KR102613860B1

KR102613860B1 - 제어 시스템, 제어 방법 및 컴퓨터 판독 가능한 기억 매체

Info

Publication number: KR102613860B1
Application number: KR1020207026081A
Authority: KR
Inventors: 마사키 나미에; 가츠유키 가와마타
Original assignee: 오므론 가부시키가이샤
Priority date: 2018-04-26
Filing date: 2019-03-29
Publication date: 2023-12-14
Also published as: KR20210004956A; WO2019208107A1; CN111902785A; JP2019188550A; CN111902785B; JP6919623B2

Abstract

시각 센서(50)의 촬상시에 발생할 수 있는 피사체 흔들림을 억제한다. 제어 시스템(1)은, 대상물을 이동시키는 이동 기구(400)와, 대상물을 촬상하여 얻어진 화상으로부터 대상물의 실제 위치를 계측하는 시각 센서(50)와, 촬상 간격보다 짧은 제어 주기마다 이동 기구(400)의 위치 관련 정보를 검출하는 검출부(412)와, 실제 위치와 위치 관련 정보에 기초하여, 대상물의 추정 위치를 결정하는 위치 결정부(252)와, 추정 위치를 목표 위치에 맞추는 이동 지령을 이동 기구(400)에 출력하는 피드백 제어부(254)와, 이동 기구(400)의 이동 속도가 소정값보다 작을 때에 대상물을 촬상시키기 위해, 촬상 지시의 출력 타이밍과 이동 지령과 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하는 조정부(256)를 구비한다.

Description

제어 시스템, 제어 방법 및 컴퓨터 판독 가능한 기억 매체

본 발명은 시각 센서에 의해 계측된 가공물의 위치에 기초하여, 가공물의 위치 결정을 행하기 위한 기술에 관한 것이다.

FA(Factory Automation)에 있어서, 가공물 등의 대상물의 위치를 목표 위치에 맞추는 기술(위치 결정 기술)이 각종 실용화되어 있다. 이 때, 대상물의 위치와 목표 위치의 편차(거리)를 계측하는 방법으로서, 시각 센서에 의해 촬상된 화상을 이용하는 방법이 있다.

일본공개특허 2017-24134호 공보(특허문헌 1)에는, 가동대와, 가동대를 이동시키는 이동 기구와, 가동대에 놓인 가공물을 반복하여 촬상하고, 그 가공물의 위치를 반복하여 검출하는 시각 센서를 구비하는 가공물 위치 결정 장치가 개시되어 있다. 가공물 위치 결정 장치는, 시각 센서에 의해 위치가 검출될 때마다 검출된 위치와 목표 위치의 차를 산출하여, 이 차가 허용 범위 내라고 판정되었을 때에, 가동대의 이동을 정지한다. 가공물 위치 결정 장치는, 가동대의 이동 정지 후에 시각 센서에 의해 검출된 위치와 목표 위치의 차를 산출하여, 산출된 차가 허용 범위 내인지 여부를 판정한다. 차가 허용 범위 밖이라고 판정되면, 그 차를 줄이는 가동대의 이동 방향이 결정되고, 결정된 이동 방향으로 가동대를 이동시키도록 이동 기구가 제어된다.

특허문헌 1: 일본공개특허 2017-24134호 공보

이동 기구의 이동 중에 대상물이 촬상되는 경우, 화상에 비치는 대상물이 흔들리는 경우가 있다(이른바 피사체 흔들림). 이러한 피사체 흔들림은, 촬상시에서의 이동 기구의 이동 속도가 빠를수록 현저해진다. 피사체 흔들림이 발생하면, 화상으로부터 검출되는 대상물의 위치에 오차가 발생하는 경우가 있다. 따라서, 피사체 흔들림을 억제하기 위한 기술이 요구되고 있다.

본 개시는 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로, 어떤 국면에서의 목적은, 시각 센서의 촬상시에 발생할 수 있는 피사체 흔들림을 억제하는 것이 가능한 제어 시스템을 제공하는 것이다. 다른 국면에서의 목적은, 시각 센서의 촬상시에 발생할 수 있는 피사체 흔들림을 억제하는 것이 가능한 제어 방법을 제공하는 것이다. 다른 국면에서의 목적은, 시각 센서의 촬상시에 발생할 수 있는 피사체 흔들림을 억제하는 것이 가능한 제어 프로그램을 제공하는 것이다.

본 개시의 일례에서는, 제어 시스템은, 대상물을 이동시키기 위한 이동 기구와, 촬상 지시를 접수한 것에 기초하여 상기 대상물을 촬상하고, 촬상에 의해 얻어진 화상으로부터 상기 대상물의 실제 위치를 계측하기 위한 시각 센서와, 상기 촬상 지시가 상기 시각 센서에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구의 위치에 관한 위치 관련 정보를 검출하기 위한 검출부와, 상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하기 위한 위치 결정부와, 상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구에 출력하는 피드백 제어부와, 상기 이동 기구의 이동 속도가 소정값보다 작을 때에 상기 시각 센서로 하여금 상기 대상물을 촬상하게 하기 위해, 상기 촬상 지시의 출력 타이밍, 상기 이동 지령 및 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하기 위한 조정부를 구비한다.

이 개시에 의하면, 이동 기구의 이동 속도가 소정값보다 작을 때에 시각 센서가 촬상 처리를 실행할 수 있어 피사체 흔들림이 억제된다. 시각 센서는, 피사체 흔들림이 억제된 화상에 기초하여 대상물의 실제 위치를 검출할 수 있으므로, 대상물의 실제 위치를 정확하게 검출할 수 있다.

본 개시의 일례에서는, 상기 조정부는, 상기 시각 센서가 촬상 가능 상태인 경우에 있어서, 상기 위치 관련 정보로부터 특정되는 상기 이동 기구의 이동 속도가 소정값보다 작을 때에, 상기 촬상 지시를 상기 시각 센서에 출력한다.

이 개시에 의하면, 이동 기구의 이동 속도가 소정값보다 작을 때에 촬상 지시가 시각 센서에 출력되므로, 피사체 흔들림이 억제된다.

본 개시의 일례에서는, 상기 조정부는, 상기 시각 센서가 상기 대상물을 촬상하고 있는 동안에 상기 이동 기구의 이동 속도가 상기 소정값보다 작아지는 이동 지령을 상기 피드백 제어부에 생성시킨다.

이 개시에 의하면, 시각 센서의 촬상시에 이동 기구의 이동 속도가 소정값보다 내려가므로, 피사체 흔들림이 억제된다.

본 개시의 일례에서는, 상기 위치 결정부는, 상기 시각 센서가 촬상 가능 상태인 경우에, 상기 실제 위치가 상기 시각 센서에 의해 새로 계측되었을 때에는, 전회에 계측된 상기 실제 위치와 상기 위치 관련 정보에 기초하여, 상기 추정 위치를 결정한다.

이 개시에 의하면, 대상물의 실제 위치가 새로 계측된 경우이어도, 시각 센서가 촬상 가능 상태일 때에는, 전회에 계측된 실제 위치와 위치 관련 정보에 기초하여, 가공물의 추정 위치가 결정된다. 이에 의해, 이동 기구의 이동 속도가 시각 센서의 촬상 중에 급변하는 것이 방지되어 피사체 흔들림이 억제된다.

본 개시의 일례에서는, 상기 조정부는, 상기 시각 센서의 촬상이 종료된 것에 기초하여 전회에 계측된 상기 실제 위치를 새로 계측된 상기 실제 위치로 갱신한다.

이 개시에 의하면, 시각 센서의 촬상 중에 대상물의 실제 위치가 갱신되지 않으므로, 이동 기구의 이동 속도가 시각 센서의 촬상 중에 급변하는 것이 방지된다. 그 결과, 피사체 흔들림이 억제된다.

본 개시의 다른 예에서는, 대상물을 이동시키기 위한 이동 기구의 제어 방법은, 촬상 지시를 시각 센서에 출력하고, 상기 대상물을 촬상하여 얻어진 화상으로부터 상기 대상물의 실제 위치를 상기 시각 센서에 계측시키는 단계와, 상기 촬상 지시가 상기 시각 센서에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구의 위치에 관한 위치 관련 정보를 검출하는 단계와, 상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하는 단계와, 상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구에 출력하는 단계와, 상기 이동 기구의 이동 속도가 소정값보다 작을 때에 상기 시각 센서에게 상기 대상물을 촬상시키기 위해, 상기 촬상 지시의 출력 타이밍, 상기 이동 지령 및 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하는 단계를 구비한다.

본 개시의 다른 예에서는, 대상물을 이동시키기 위한 이동 기구의 제어 프로그램은, 상기 이동 기구를 제어하기 위한 컨트롤러로 하여금, 촬상 지시를 시각 센서에 출력하고, 상기 대상물을 촬상하여 얻어진 화상으로부터 상기 대상물의 실제 위치를 상기 시각 센서에 계측시키는 단계와, 상기 촬상 지시가 상기 시각 센서에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구의 위치에 관한 위치 관련 정보를 검출하는 단계와, 상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하는 단계와, 상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구에 출력하는 단계와, 상기 이동 기구의 이동 속도가 소정값보다 작을 때에 상기 시각 센서에 상기 대상물을 촬상시키기 위해, 상기 촬상 지시의 출력 타이밍과 상기 이동 지령과 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하는 단계를 실행하게 한다.

어떤 국면에서, 시각 센서의 촬상시에 발생할 수 있는 피사체 흔들림을 억제할 수 있다.

도 1은, 실시형태에 따른 제어 시스템의 개요를 나타내는 모식도이다.
도 2는, 실시형태에 따른 제어 시스템의 장치 구성의 일례를 나타내는 도면이다.
도 3은, 실시형태에 따른 화상 처리 장치의 하드웨어 구성의 일례를 나타내는 모식도이다.
도 4는, 실시형태에 따른 컨트롤러의 하드웨어 구성을 나타내는 모식도이다.
도 5는, 촬상 트리거의 출력 타이밍을 조정하기 위한 제어 흐름을 나타내는 도면이다.
도 6은, 이동 기구의 이동 속도의 추이의 일례를 나타내는 도면이다.
도 7은, 서보 드라이버에 대한 이동 지령을 조정하기 위한 제어 흐름을 나타내는 도면이다.
도 8은, 이동 기구의 이동 속도의 추이의 일례를 나타내는 도면이다.
도 9는, 가공물의 실제 위치를 갱신하는 타이밍을 조정하기 위한 제어 흐름을 나타내는 도면이다.
도 10은, 도 5에 도시된 단계 S134, 도 7에 도시된 단계 S222 및 도 9에 도시된 단계 S360의 서브루틴의 처리 내용을 나타내는 흐름도이다.

이하, 도면을 참조하면서, 본 발명에 따른 각 실시형태에 대해 설명한다. 이하의 설명에서는, 동일한 부품 및 구성 요소에는 동일한 부호를 부여하고 있다. 이들의 명칭 및 기능도 동일하다. 따라서, 이들에 대한 상세한 설명은 반복하지 않는다.

<A. 적용예>

우선, 도 1을 참조하여, 본 발명이 적용되는 장면의 일례에 대해 설명한다. 도 1은, 본 실시형태에 따른 제어 시스템(1)의 개요를 나타내는 모식도이다.

제어 시스템(1)은, 화상 처리를 이용하여 정렬을 행한다. 정렬은, 전형적으로는, 공업 제품의 제조 과정 등에서, 대상물(이하, 「가공물(W)」라고도 함)을 생산 라인의 본래의 위치에 배치하는 처리 등을 의미한다. 이러한 정렬의 일례로서, 제어 시스템(1)은, 액정 패널의 생산 라인에서, 유리 기판에 회로 패턴의 소부 처리(노광 처리) 전에, 노광 마스크에 대한 유리 기판의 위치 결정을 행한다.

제어 시스템(1)은, 예를 들어, 시각 센서(50)와, 컨트롤러(200)와, 서보 드라이버(300)와, 이동 기구(400)를 포함한다. 시각 센서(50)는, 예를 들어, 촬상부(52)와 화상 처리부(54)를 포함한다. 이동 기구(400)는, 예를 들어, 서보 모터(410)와 스테이지(420)로 구성되어 있다.

촬상부(52)는, 촬상 시야에 존재하는 피사체를 촬상하여 화상 데이터를 생성하는 촬상 처리를 행하는 것으로, 스테이지(420)에 놓이는 가공물(W)를 촬상한다. 촬상부(52)는, 컨트롤러(200)로부터의 촬상 트리거(TR)에 따라 촬상을 행한다. 촬상부(52)에 의해 생성된 화상 데이터는, 화상 처리부(54)에 순차 출력된다. 화상 처리부(54)는, 촬상부(52)로부터 얻어진 화상 데이터에 대해 화상 해석을 행하여, 가공물(W)의 실제 위치(PVv)를 계측한다. 실제 위치(PVv)는, 계측될 때마다 컨트롤러(200)에 출력된다.

컨트롤러(200)는, 예를 들어 PLC(Programmable Logic Controller)로서, 각종 FA 제어를 행한다. 컨트롤러(200)는, 기능 구성의 일례로서, 위치 결정부(252)와, 피드백 제어부(254)와, 조정부(256)를 포함한다.

위치 결정부(252)는, 시각 센서(50)에 의해 계측된 실제 위치(PVv)와, 시각 센서(50)에 의한 촬상 간격(Tb)보다 짧은 제어 주기(Ts)마다 얻어지는 인코더값(PVm)(위치 관련 정보)에 기초하여, 제어 주기(Ts)마다 가공물(W)의 위치(이하, 「추정 위치(PV)」라고도 함)를 추정한다. 추정 위치(PV)는, 제어 주기(Ts)마다 피드백 제어부(254)에 출력된다.

피드백 제어부(254)는, 목표 위치(SP)와 위치 결정부(252)에 의해 결정된 추정 위치(PV)를 이용하여, 추정 위치(PV)를 목표 위치(SP)에 가까이하는 이동 지령(MV)을 제어 주기(Ts)마다 갱신하여 서보 드라이버(300)에 출력한다. 이동 지령(MV)은, 예를 들어, 서보 드라이버(300)에 대한 지령 위치, 지령 속도 또는 지령 토크 중 어느 하나이다. 피드백 제어부(254)에 의한 피드백 제어는, 예를 들어, PID(Proportional Integral Differential) 제어, PI 제어, PD 제어 또는 P 제어에 의해 실현된다.

어떤 국면에서, 목표 위치(SP)는, 생산 공정마다 미리 정해져 있고, 현재 생산 공정에 따라 순차 전환된다. 다른 국면에서, 목표 위치(SP)는, 시각 센서(50)가 소정의 화상 처리를 행함으로써 화상 내로부터 검출된다. 이 경우, 시각 센서(50)는, 미리 정해진 마크를 화상으로부터 검출하고, 그 마크를 목표 위치(SP)로서 인식한다.

조정부(256)는, 이동 기구(400)의 이동 속도가 소정값보다 작을 때에 시각 센서(50)에게 가공물(W)를 촬상시키기 위해, 시각 센서(50)에 출력하는 촬상 트리거(TR)(촬상 지시)의 출력 타이밍과, 이동 기구(400)에 출력하는 이동 지령(MV)과, 실제 위치(PVv)의 갱신 타이밍 중 적어도 하나를 조정한다. 이들의 조정 방법의 상세에 대해서는 후술한다. 이동 기구(400)의 이동 속도가 소정값보다 작을 때에 시각 센서(50)가 촬상 처리를 실행함으로써 피사체 흔들림이 억제된다. 시각 센서(50)는, 피사체 흔들림이 억제된 화상에 기초하여 가공물(W)의 실제 위치(PVv)를 검출할 수 있으므로, 가공물(W)의 실제 위치(PVv)를 정확하게 검출할 수 있다.

서보 드라이버(300)는, 제어 주기(Ts)마다 받는 이동 지령(MV)에 따라, 서보 모터(410)를 구동한다. 보다 구체적으로는, 서보 드라이버(300)는, 제어 주기(Ts)마다 인코더(412)(검출부)로부터 인코더값(PVm)을 취득한다. 서보 드라이버(300)는, 인코더값(PVm)에 의해 나타나는 속도/위치를, 이동 지령(MV)에 의해 나타나는 속도/위치에 맞추도록, 서보 모터(410)를 피드백 제어한다. 일례로서, 이러한 피드백 제어는, PID 제어, PI 제어, PD 제어 또는 P 제어에 의해 실현된다.

또, 도 1에는, 위치 결정부(252), 피드백 제어부(254), 조정부(256), 서보 드라이버(300), 서보 모터(410) 및 인코더(412)의 컴포넌트군이 하나밖에 도시되지 않았지만, 이들 컴포넌트군은 스테이지(420)를 구동하는 축수만큼 설치된다. 각 컴포넌트군은, 스테이지(420)의 하나의 축방향에서의 제어를 담당하게 된다. 이 경우, 시각 센서(50)에 의해 계측된 실제 위치(PVv)는, 각 축방향에서의 실제 위치로 분해되고, 분해 후의 각 실제 위치가 대응하는 컴포넌트군에 출력되게 된다.

<B. 제어 시스템(1)의 장치 구성>

도 2는, 제어 시스템(1)의 장치 구성의 일례를 나타내는 도면이다. 도 2에 도시된 바와 같이, 제어 시스템(1)은, 시각 센서(50)와, 컨트롤러(200)와, 하나 이상의 서보 드라이버(300)(도 2의 예에서는, 서보 드라이버(300X, 300Y))와, 이동 기구(400)를 포함한다. 시각 센서(50)는, 화상 처리 장치(100)와, 하나 이상의 카메라(도 2의 예에서는, 카메라(102 및 104))를 포함한다.

화상 처리 장치(100)는, 카메라(102, 104)가 가공물(W)를 촬영하여 얻어진 화상 데이터에 기초하여, 가공물(W)의 특징 부분(12)(예를 들어, 나사 구멍 등)을 검출한다. 화상 처리 장치(100)는, 검출한 특징 부분(12)의 위치를 가공물(W)의 실제 위치(PVv)로서 검출한다.

컨트롤러(200)에는, 하나 이상의 서보 드라이버(300)(도 2의 예에서는, 서보 드라이버(300X, 300Y))가 연결되어 있다. 서보 드라이버(300X)는, 컨트롤러(200)로부터 받는 X방향의 이동 지령에 따라, 제어 대상의 서보 모터(410X)를 구동한다. 서보 드라이버(300Y)는, 컨트롤러(200)로부터 받는 Y방향의 이동 지령에 따라, 제어 대상의 서보 모터(410Y)를 구동한다.

컨트롤러(200)는, X방향에 대해 생성된 목표 궤도(TGx)에 따라, 서보 드라이버(300X)에 대해 X방향의 목표 위치를 지령값으로서 부여한다. 또한, 컨트롤러(200)는, Y방향에 대해 생성된 목표 궤도(TGy)에 따라, 서보 드라이버(300Y)에 대해 Y방향의 목표 위치를 지령값으로서 부여한다. X, Y방향의 각각의 목표 위치가 순차 갱신됨으로써, 가공물(W)이 목표 위치(SP)로 이동된다.

컨트롤러(200) 및 서보 드라이버(300)는, 필드 네트워크를 통해 데이지 체인으로 접속되어 있다. 필드 네트워크에는, 예를 들어 EtherCAT(등록상표)이 채용된다. 단, 필드 네트워크는 EtherCAT에 한정되지 않고, 임의의 통신 수단이 채용될 수 있다. 일례로서, 컨트롤러(200) 및 서보 드라이버(300)는, 신호선으로 직접 접속되어도 된다. 또한, 컨트롤러(200) 및 서보 드라이버(300)는, 일체적으로 구성되어도 된다.

이동 기구(400)는, 베이스 플레이트(4, 7)와, 볼 나사(6, 9)와, 스테이지(420)와, 하나 이상의 서보 모터(410)(도 2의 예에서는, 서보 모터(410X, 410Y))로 구성되어 있다.

베이스 플레이트(4)에는, 스테이지(420)를 X방향을 따라 이동시키는 볼 나사(6)가 배치되어 있다. 볼 나사(6)는, 스테이지(420)에 포함되는 너트와 걸어맞춤되어 있다. 볼 나사(6)의 일단에 연결된 서보 모터(410X)가 회전 구동함으로써, 스테이지(420)에 포함되는 너트와 볼 나사(6)가 상대 회전하고, 그 결과, 스테이지(420)가 X방향을 따라 이동한다.

베이스 플레이트(7)에는, 스테이지(420) 및 베이스 플레이트(4)를 Y방향을 따라 이동시키는 볼 나사(9)가 배치되어 있다. 볼 나사(9)는, 베이스 플레이트(4)에 포함되는 너트와 걸어맞춤되어 있다. 볼 나사(9)의 일단에 연결된 서보 모터(410Y)가 회전 구동함으로써, 베이스 플레이트(4)에 포함되는 너트와 볼 나사(9)가 상대 회전하고, 그 결과, 스테이지(420) 및 베이스 플레이트(4)가 Y방향을 따라 이동한다.

또, 도 2에는, 서보 모터(410X, 410Y)에 의한 2축 구동의 이동 기구(400)가 도시되어 있지만, 이동 기구(400)는, XY 평면상의 회전 방향(θ방향)으로 스테이지(420)를 구동하는 서보 모터가 더 조립되어도 된다.

<C. 하드웨어 구성>

도 3 및 도 4를 참조하여, 시각 센서(50)를 구성하는 화상 처리 장치(100) 및 컨트롤러(200)의 하드웨어 구성에 대해 차례대로 설명한다.

(C1. 화상 처리 장치(100)의 하드웨어 구성)

도 3은, 시각 센서(50)를 구성하는 화상 처리 장치(100)의 하드웨어 구성의 일례를 나타내는 모식도이다. 도 3을 참조하여, 화상 처리 장치(100)는, 전형적으로는, 범용적인 컴퓨터 아키텍처에 따른 구조를 가지고 있고, 미리 설치된 프로그램을 프로세서가 실행함으로써, 후술하는 각종 화상 처리를 실현한다.

보다 구체적으로는, 화상 처리 장치(100)는, CPU(Central Processing Unit)나 MPU(Micro-Processing Unit) 등의 프로세서(110)와, RAM(Random Access Memory)(112)과, 표시 컨트롤러(114)와, 시스템 컨트롤러(116)와, I/O(Input Output) 컨트롤러(118)와, 하드 디스크(120)와, 카메라 인터페이스(122)와, 입력 인터페이스(124)와, 컨트롤러 인터페이스(126)와, 통신 인터페이스(128)와, 메모리 카드 인터페이스(130)를 포함한다. 이들 각 부는, 시스템 컨트롤러(116)를 중심으로 서로 데이터 통신 가능하게 접속된다.

프로세서(110)는, 시스템 컨트롤러(116)와의 사이에서 프로그램(코드) 등을 교환하여 이들을 소정 순서로 실행함으로써, 원하는 연산 처리를 실현한다.

시스템 컨트롤러(116)는, 프로세서(110), RAM(112), 표시 컨트롤러(114) 및 I/O 컨트롤러(118)와 각각 버스를 통해 접속되어 있고, 각 부와의 사이에서 데이터 교환 등을 행함과 아울러, 화상 처리 장치(100) 전체의 처리를 담당한다.

RAM(112)은, 전형적으로는, DRAM(Dynamic Random Access Memory) 등의 휘발성의 기억 장치로서, 하드 디스크(120)로부터 독출된 프로그램이나, 카메라(102 및 104)에 의해 취득된 카메라 화상(화상 데이터), 카메라 화상에 대한 처리 결과 및 가공물 데이터 등을 보유한다.

표시 컨트롤러(114)는, 표시부(132)와 접속되어 있고, 시스템 컨트롤러(116)로부터의 내부 커맨드에 따라, 각종 정보를 표시하기 위한 신호를 표시부(132)에 출력한다.

I/O 컨트롤러(118)는, 화상 처리 장치(100)에 접속되는 기록 매체나 외부 기기와의 사이의 데이터 교환을 제어한다. 보다 구체적으로는, I/O 컨트롤러(118)는, 하드 디스크(120)와, 카메라 인터페이스(122)와, 입력 인터페이스(124)와, 컨트롤러 인터페이스(126)와, 통신 인터페이스(128)와, 메모리 카드 인터페이스(130)와 접속된다.

하드 디스크(120)는, 전형적으로는, 비휘발성의 자기 기억 장치로서, 프로세서(110)에서 실행되는 제어 프로그램(150)에 더하여, 각종 설정값 등이 저장된다. 이 하드 디스크(120)에 설치되는 제어 프로그램(150)은, 메모리 카드(136) 등에 저장된 상태로 유통한다. 또, 하드 디스크(120) 대신에, 플래시 메모리 등의 반도체 기억 장치나 DVD-RAM(Digital Versatile Disk Random Access Memory) 등의 광학 기억 장치를 채용해도 된다.

카메라 인터페이스(122)는, 가공물을 촬영함으로써 생성된 화상 데이터를 접수하는 입력부에 해당하고, 프로세서(110)와 카메라(102, 104) 사이의 데이터 전송을 중개한다. 카메라 인터페이스(122)는, 카메라(102 및 104)로부터의 화상 데이터를 각각 일시적으로 저장하기 위한 화상 버퍼(122a 및 122b)를 포함한다. 복수의 카메라에 대해, 카메라의 사이에서 공유할 수 있는 단일 화상 버퍼를 설치해도 되지만, 처리 고속화를 위해, 각각의 카메라에 대응시켜 독립적으로 복수 배치하는 것이 바람직하다.

입력 인터페이스(124)는, 프로세서(110)와 키보드(134), 마우스, 터치 패널, 전용 콘솔 등의 입력 장치 사이의 데이터 전송을 중개한다.

컨트롤러 인터페이스(126)는, 프로세서(110)와 컨트롤러(200) 사이의 데이터 전송을 중개한다.

통신 인터페이스(128)는, 프로세서(110)와 도시하지 않은 다른 퍼스널 컴퓨터나 서버 장치 등의 사이의 데이터 전송을 중개한다. 통신 인터페이스(128)는, 전형적으로는, 이더넷(등록상표)이나 USB(Universal Serial Bus) 등으로 이루어진다.

메모리 카드 인터페이스(130)는, 프로세서(110)와 기록 매체인 메모리 카드(136) 사이의 데이터 전송을 중개한다. 메모리 카드(136)에는, 화상 처리 장치(100)에서 실행되는 제어 프로그램(150) 등이 저장된 상태로 유통하고, 메모리 카드 인터페이스(130)는, 이 메모리 카드(136)로부터 제어 프로그램을 독출한다. 메모리 카드(136)는, SD(Secure Digital) 등의 범용적인 반도체 기억 디바이스나, 플렉서블 디스크(Flexible Disk) 등의 자기 기록 매체나, CD-ROM(Compact Disk Read Only Memory) 등의 광학 기록 매체 등으로 이루어진다. 혹은, 통신 인터페이스(128)를 통해, 분배 서버 등으로부터 다운로드한 프로그램을 화상 처리 장치(100)에 설치될 수 있다.

상술한 바와 같은 범용적인 컴퓨터 아키텍처에 따른 구조를 갖는 컴퓨터를 이용하는 경우에는, 본 실시형태에 따른 기능을 제공하기 위한 어플리케이션에 더하여, 컴퓨터의 기본적인 기능을 제공하기 위한 OS(Operating System)가 설치되어 있어도 된다. 이 경우에는, 본 실시형태에 따른 제어 프로그램은, OS의 일부로서 제공되는 프로그램 모듈 중 필요한 모듈을 소정의 순서 및/또는 타이밍에 호출하여 처리를 실행하는 것이어도 된다.

나아가 본 실시형태에 따른 제어 프로그램은, 다른 프로그램의 일부에 조립되어 제공되는 것이어도 된다. 그 경우에도, 프로그램 자체에는, 상기와 같은 조합되는 다른 프로그램에 포함되는 모듈을 포함하지 않고, 이러한 다른 프로그램과 협동하여 처리가 실행된다. 즉, 본 실시형태에 따른 제어 프로그램으로서는, 이러한 다른 프로그램에 조립된 형태이어도 된다.

또, 대안으로, 제어 프로그램의 실행에 의해 제공되는 기능의 일부 혹은 전부를 전용의 하드웨어 회로로서 구현될 수 있다.

(C2. 컨트롤러(200)의 하드웨어 구성)

도 4는, 컨트롤러(200)의 하드웨어 구성을 나타내는 모식도이다. 도 4를 참조하여, 컨트롤러(200)는, 주제어 유닛(210)을 포함한다. 도 4에는, 3축의 서보 모터(410X, 410Y, 410θ)가 도시되어 있고, 이 축수에 따른 수의 서보 드라이버(300X, 300Y, 300θ)가 설치된다.

주제어 유닛(210)은, 칩 세트(212)와, 프로세서(214)와, 비휘발성 메모리(216)와, 주메모리(218)와, 시스템 클록(220)과, 메모리 카드 인터페이스(222)와, 통신 인터페이스(228)와, 내부 버스 컨트롤러(230)와, 필드 버스 컨트롤러(238)를 포함한다. 칩 세트(212)와 다른 컴포넌트의 사이는, 각종 버스를 통해 각각 결합되어 있다.

프로세서(214) 및 칩 세트(212)는, 전형적으로는, 범용적인 컴퓨터 아키텍처에 따른 구성을 가지고 있다. 즉, 프로세서(214)는, 칩 세트(212)로부터 내부 클록에 따라 순차 공급되는 명령 코드를 해석하여 실행한다. 칩 세트(212)는, 접속되어 있는 각종 컴포넌트와의 사이에서 내부적인 데이터를 교환함과 아울러, 프로세서(214)에 필요한 명령 코드를 생성한다. 시스템 클록(220)은, 미리 정해진 주기의 시스템 클록을 발생하여 프로세서(214)에 제공한다. 칩 세트(212)는, 프로세서(214)에서의 연산 처리의 실행 결과 얻어진 데이터 등을 캐시하는 기능을 가진다.

주제어 유닛(210)은, 기억 수단으로서, 비휘발성 메모리(216) 및 주메모리(218)를 가진다. 비휘발성 메모리(216)는, OS, 시스템 프로그램, 사용자 프로그램, 데이터 정의 정보, 로그 정보 등을 비휘발적으로 보유한다. 주메모리(218)는, 휘발성의 기억 영역으로, 프로세서(214)에서 실행되어야 할 각종 프로그램을 보유함과 아울러, 각종 프로그램의 실행시의 작업용 메모리로서도 사용된다.

주제어 유닛(210)은, 통신 수단으로서, 통신 인터페이스(228)와, 내부 버스 컨트롤러(230)와, 필드 버스 컨트롤러(238)를 가진다. 이들 통신 회로는, 데이터의 송신 및 수신을 행한다.

통신 인터페이스(228)는, 화상 처리 장치(100)와의 사이에서 데이터를 교환한다.

내부 버스 컨트롤러(230)는, 내부 버스(226)를 통한 데이터의 교환을 제어한다. 보다 구체적으로는, 내부 버스 컨트롤러(230)는, 버퍼 메모리(236)와, DMA(Dynamic Memory Access) 제어 회로(232)와, 내부 버스 제어 회로(234)를 포함한다.

메모리 카드 인터페이스(222)는, 주제어 유닛(210)에 대해 착탈 가능한 메모리 카드(224)와 프로세서(214)를 접속한다.

필드 버스 컨트롤러(238)는, 필드 네트워크에 접속하기 위한 통신 인터페이스이다. 컨트롤러(200)는, 필드 버스 컨트롤러(238)를 통해 서보 드라이버(300)(예를 들어, 서보 드라이버(300X, 300Y, 300θ))와 접속된다. 이러한 필드 네트워크에는, 예를 들어 EtherCAT(등록상표), EtherNet/IP(등록상표), CompoNet(등록상표) 등이 채용된다.

<D. 컨트롤러(200)의 제어 구조>

상술한 바와 같이, 컨트롤러(200)는, 이동 기구(400)의 이동 속도가 소정값보다 작을 때에 시각 센서(50)에 촬상 처리를 실행시킴으로써 피사체 흔들림을 억제한다. 피사체 흔들림을 억제하기 위한 방법으로서는, (a) 시각 센서(50)에 촬상 트리거(TR)를 출력하는 타이밍을 조정하는 것과, (b) 서보 드라이버(300)에 대한 이동 지령(MV)을 조정하는 것과, (c) 시각 센서(50)에 의해 계측된 가공물(W)의 실제 위치(PVv)를 갱신하는 타이밍을 조정하는 것을 들 수 있다.

이하에서는, 도 5~도 9를 참조하여, 피사체 흔들림의 억제 방법(a)~(c)에 대해 차례대로 설명한다.

(D1. 제어 흐름 1)

우선, 도 5 및 도 6을 참조하여, 상기 억제 방법(a)에 대해 설명한다. 본 예에서는, 컨트롤러(200)는, 이동 기구(400)의 이동 속도가 소정값보다 작을 때에, 촬상 트리거(TR)를 시각 센서(50)에 출력한다.

도 5는, 촬상 트리거(TR)의 출력 타이밍을 조정하기 위한 제어 흐름을 나타내는 도면이다. 도 5에 도시된 처리는, 컨트롤러(200)의 프로세서(214)가 프로그램을 실행함으로써 실현된다. 다른 국면에서, 처리의 일부 또는 전부가, 회로 소자 또는 그 밖의 하드웨어에 의해 실행되어도 된다.

단계 S110에서, 프로세서(214)는, 계측 시간(t)을 제로로 초기화한다.

단계 S120에서, 프로세서(214)는, 시각 센서(50)가 촬상 가능 상태인지 여부를 판단한다. 여기서 말하는 촬상 가능 상태란, 촬상 지시를 기다리고 있는 상태를 말한다. 전형적으로는, 시각 센서(50)가 촬상 트리거(TR)를 접수하고 나서 촬상이 종료되기까지의 시간은 촬상 불가능 상태이며, 그 이외의 시간은 촬상 가능 상태이다. 프로세서(214)는, 시각 센서(50)가 촬상 가능 상태라고 판단한 경우(단계 S120에서 YES), 제어를 단계 S130으로 전환한다. 그렇지 않은 경우에는(단계 S120에서 NO), 프로세서(214)는, 제어를 단계 S134로 전환한다.

단계 S130에서, 프로세서(214)는, 이동 기구(400)의 현재 이동 속도가 소정값 이하인지 여부를 판단한다. 이러한 이동 속도는, 예를 들어, 인코더(412)에 의해 검출되는 인코더값(PVm)으로부터 산출된다. 혹은, 이러한 이동 속도는, 서보 드라이버(300)에 출력되는 이동 지령(MV)으로부터 특정된다. 프로세서(214)는, 이동 기구(400)의 현재 이동 속도가 소정값 이하라고 판단한 경우(단계 S130에서 YES), 제어를 단계 S132로 전환한다. 그렇지 않은 경우에는(단계 S130에서 NO), 프로세서(214)는, 제어를 단계 S134로 전환한다.

어떤 국면에서, 단계 S130에서, 프로세서(214)는, 각 축방향에서의 이동 기구(400)의 이동 속도가 전부 소정값(th) 이하인지 여부를 판단한다. 다른 국면에서, 단계 S130에서, 프로세서(214)는, 이동 기구(400)의 이동 속도가 소정값(th) 이하인지 여부를 판단해도 된다. 일례로서, 이동 기구(400)가 X축 및 Y축의 2축 구동인 경우에는, 프로세서(214)는, X축 방향의 이동 속도와 Y축 방향의 이동 속도의 제곱합의 제곱근을 이동 기구(400)의 이동 속도로서 산출하고, 이 이동 속도가 소정값(th) 이하인지 여부를 판단한다.

단계 S132에서, 프로세서(214)는, 상술한 조정부(256)(도 1 참조)로서, 촬상 트리거(TR)를 시각 센서(50)에 출력한다. 시각 센서(50)는, 촬상 트리거(TR)를 접수함에 따라 촬상 처리를 개시한다. 그 후, 시각 센서(50)는, 얻어진 화상 데이터에 대해 소정의 화상 해석을 행하여, 화상 데이터에 기초하여 가공물(W)의 실제 위치(PVv)를 계측한다.

단계 S134에서, 프로세서(214)는, 상술한 피드백 제어부(254)(도 1 참조)로서, 시각 센서(50)에 의해 계측된 가공물(W)의 실제 위치(PVv)와, 인코더(412)로부터 얻어지는 인코더값(PVm)에 기초하여, 현시점에서의 가공물(W)의 추정 위치(PV)를 결정한다. 추정 위치(PV)의 결정 방법의 상세에 대해서는 후술한다.

단계 S136에서, 프로세서(214)는, 상술한 피드백 제어부(254)(도 1 참조)로서, 단계 S134에서 결정된 가공물(W)의 추정 위치(PV)를 목표 위치(SP)에 맞추기 위한 이동 지령(MV)을 생성하고, 이 이동 지령(MV)을 서보 드라이버(300)에 출력한다.

단계 S138에서, 프로세서(214)는, 계측 시간(t)에 제어 주기(Ts)를 가산하여, 계측 시간(t)을 갱신한다.

단계 S140에서, 프로세서(214)는, 이동 기구(400)의 제어 처리를 종료하는지 여부를 판단한다. 일례로서, 프로세서(214)는, 정지 작업을 접수한 것에 기초하여, 이동 기구(400)의 제어 처리를 종료한다. 프로세서(214)는, 이동 기구(400)의 제어 처리를 종료한다고 판단한 경우(단계 S140에서 YES), 도 5에 도시된 처리를 종료한다. 그렇지 않은 경우에는(단계 S140에서 NO), 프로세서(214)는, 제어를 단계 S120으로 되돌린다.

이상과 같이, 프로세서(214)는, 단계 S130, S132의 처리에 의해, 이동 기구(400)의 이동 속도가 소정값 이하인 경우에 시각 센서(50)에 촬상 트리거(TR)를 출력하고, 이동 기구(400)의 이동 속도가 소정값을 초과하는 경우에는 시각 센서(50)에 촬상 트리거(TR)를 출력하지 않는다.

도 6을 참조하여, 도 5의 단계 S130, S132에서의 촬상 트리거(TR)의 출력 타이밍의 구체예에 대해 설명한다. 도 6은, 이동 기구(400)의 이동 속도의 추이의 일례를 나타내는 도면이다.

시각(t11)에서, 시각 센서(50)의 상태가 촬상 불가능 상태에서 촬상 가능 상태로 변화한 것으로 한다. 이 때, 프로세서(214)는, 이동 기구(400)의 이동 속도가 소정값(th)을 초과하므로, 시각 센서(50)가 촬상 가능 상태였다고 해도 시각 센서(50)에 촬상 트리거(TR)를 출력하지 않는다.

시각(t12)에서, 이동 기구(400)의 이동 속도가 소정값(th)이 된 것으로 한다. 이에 기초하여, 프로세서(214)는, 촬상 트리거(TR)를 시각 센서(50)에 출력한다. 이와 같이, 프로세서(214)는, 시각 센서(50)가 촬상 가능 상태인 경우에 있어서, 이동 기구(400)의 이동 속도가 소정값(th)보다 작을 때에, 촬상 트리거(TR)를 시각 센서(50)에 출력한다. 시각 센서(50)는, 촬상 트리거(TR)를 접수한 것에 기초하여, 촬상 처리와 가공물(W)의 실제 위치(PVv)의 계측 처리를 순차 실행한다.

시각(t13)에서, 다시 시각 센서(50)의 상태가 촬상 불가능 상태에서 촬상 가능 상태로 변화한 것으로 한다. 이 때, 이동 기구(400)의 이동 속도는 소정값(th) 이하이므로, 프로세서(214)는, 촬상 트리거(TR)를 시각 센서(50)에 출력한다.

이와 같이, 이동 기구(400)의 이동 속도가 소정값(th) 이하일 때에 촬상 트리거(TR)가 출력됨으로써, 피사체 흔들림이 억제된다. 이에 의해, 시각 센서(50)는, 피사체 흔들림이 억제된 화상 데이터를 취득할 수 있고, 가공물(W)의 위치 계측 정밀도의 저하를 억제할 수 있다.

(D2. 제어 흐름 2)

다음에, 도 7 및 도 8을 참조하여, 상기 억제 방법(b)에 대해 설명한다. 본 예에서는, 컨트롤러(200)는, 시각 센서(50)가 가공물(W)를 촬상하고 있는 동안에 이동 기구(400)의 이동 속도가 소정값보다 작아지도록 이동 지령(MV)을 조정한다.

도 7은, 서보 드라이버(300)에 대한 이동 지령(MV)을 조정하기 위한 제어 흐름을 나타내는 도면이다. 도 7에 도시된 처리는, 컨트롤러(200)의 프로세서(214)가 프로그램을 실행함으로써 실현된다. 다른 국면에서, 처리의 일부 또는 전부가, 회로 소자 또는 그 밖의 하드웨어에 의해 실행되어도 된다.

단계 S210에서, 프로세서(214)는, 계측 시간(t)을 제로로 초기화한다.

단계 S222에서, 프로세서(214)는, 시각 센서(50)에 의해 계측된 가공물(W)의 실제 위치(PVv)와, 인코더(412)로부터 얻어지는 인코더값(PVm)에 기초하여, 현시점에서의 가공물(W)의 추정 위치(PV)를 결정한다. 추정 위치(PV)의 결정 방법의 상세에 대해서는 후술한다.

단계 S224에서, 프로세서(214)는, 상술한 피드백 제어부(254)(도 1 참조)로서, 단계 S222에서 결정된 가공물(W)의 추정 위치(PV)를 목표 위치(SP)에 맞추기 위한 이동 지령(MV)을 생성하고, 이 이동 지령(MV)을 서보 드라이버(300)에 출력한다.

단계 S230에서, 프로세서(214)는, 시각 센서(50)가 촬상 중인지 여부(즉, 셔터가 열려 있는지 여부)를 판단한다. 일례로서, 프로세서(214)는, 시각 센서(50)의 상태 정보를 정기적으로 시각 센서(50)로부터 취득하고, 이 정보에 기초하여 시각 센서(50)가 촬상 중인지 여부를 판단한다. 혹은, 시각 센서(50)가 촬상 트리거(TR)를 받은 후에 셔터가 열리는 타이밍, 기간이 정해져 있는 경우에는, 프로세서(214)는, 촬상 트리거(TR)의 출력 타이밍에 기초하여, 시각 센서(50)가 촬상 중인지 여부를 판단해도 된다. 프로세서(214)는, 시각 센서(50)가 촬상 중이라고 판단한 경우(단계 S230에서 YES), 제어를 단계 S232로 전환한다. 그렇지 않은 경우에는(단계 S230에서 NO), 프로세서(214)는, 제어를 단계 S234로 전환한다.

단계 S232에서, 프로세서(214)는, 상술한 조정부(256)(도 1 참조)로서, 이동 기구(400)의 이동 속도가 소정값 이하가 되도록 단계 S224에서 생성된 이동 지령(MV)을 제한한다. 보다 구체적으로는, 프로세서(214)는, 이동 기구(400)의 현시점의 이동 속도가 소정값을 초과하는 경우에는 이동 지령(MV)을 제한하고, 이동 기구(400)의 현시점의 이동 속도가 소정값 이하인 경우에는 이동 지령(MV)을 제한하지 않는다.

단계 S234에서, 프로세서(214)는, 단계 S230에서 NO라고 판단된 경우에는, 단계 S224에서 생성된 이동 지령(MV)을 서보 드라이버(300)에 출력한다. 한편, 프로세서(214)는, 단계 S230에서 YES라고 판단된 경우에는, 단계 S232에서 제한된 이동 지령(MV)을 서보 드라이버(300)에 출력한다.

단계 S236에서, 프로세서(214)는, 계측 시간(t)에 제어 주기(Ts)를 가산하여, 계측 시간(t)을 갱신한다.

단계 S240에서, 프로세서(214)는, 이동 기구(400)의 제어 처리를 종료하는지 여부를 판단한다. 일례로서, 프로세서(214)는, 정지 조작을 접수한 것에 기초하여, 이동 기구(400)의 제어 처리를 종료한다. 프로세서(214)는, 이동 기구(400)의 제어 처리를 종료한다고 판단한 경우(단계 S240에서 YES), 도 7에 도시된 처리를 종료한다. 그렇지 않은 경우에는(단계 S240에서 NO), 프로세서(214)는, 제어를 단계 S222로 되돌린다.

이상과 같이, 프로세서(214)는, 단계 S230, S232의 처리에 의해, 시각 센서(50)가 가공물을 촬상하고 있는 동안에 이동 기구(400)의 이동 속도가 소정값보다 작아지도록 이동 지령(MV)을 제한한다.

도 8을 참조하여, 도 7의 단계 S230, S232에서의 이동 지령(MV)의 제한 처리의 구체예에 대해 설명한다. 도 8은, 이동 기구(400)의 이동 속도의 추이의 일례를 나타내는 도면이다.

시각(t21)에서, 시각 센서(50)의 상태가 촬상 불가능 상태에서 촬상 가능 상태로 변화한 것으로 한다. 이에 기초하여, 프로세서(214)는, 촬상 트리거(TR)를 시각 센서(50)에 출력한다. 이에 의해, 시각 센서(50)는, 촬상 처리를 개시한다. 여기서 말하는 촬상 처리란, 화상을 생성하기 위해 실행되는 처리를 의미하고, 예를 들어 셔터의 개폐 처리 등을 포함한다. 프로세서(214)는, 시각 센서(50)의 촬상 처리 중에서, 이동 기구(400)의 이동 속도를 소정값(th) 이하로 제한하기 위한 이동 지령(MV)을 생성하여, 서보 드라이버(300)에 출력한다. 이에 의해, 이동 기구(400)의 속도는, 시각 센서(50)의 촬상 처리 중에서 소정값(th) 이하가 된다.

시각(t22)에서, 시각 센서(50)의 촬상 처리가 완료된 것으로 한다. 이에 기초하여, 프로세서(214)는, 이동 기구(400)의 이동 속도의 제한을 해제한다.

이와 같이, 프로세서(214)는, 시각 센서(50)가 가공물을 촬상하고 있는 동안에 이동 기구(400)의 이동 속도가 소정값(th)보다 작아지는 이동 지령을 생성한다. 이에 의해, 시각 센서(50)는, 피사체 흔들림이 억제된 화상 데이터를 취득할 수 있고, 가공물(W)의 위치 계측 정밀도의 저하를 억제할 수 있다.

(D3. 제어 흐름 3)

다음에, 도 9 및 도 10을 참조하여, 상기 억제 방법(c)에 대해 설명한다. 본 예에서는, 컨트롤러(200)는, 시각 센서(50)로부터 새로운 실제 위치(PVv)가 얻어졌을 때에, 시각 센서(50)에 의한 촬상이 가능한 상태가 되어 있는 경우에는, 실제 위치(PVv)의 갱신보다 시각 센서(50)의 촬상을 우선한다. 그리고, 시각 센서(50)의 촬상이 완료된 것에 기초하여, 현재 기억되어 있는 실제 위치(PVv)를 새로운 실제 위치(PVv)로 갱신한다. 통상, 실제 위치(PVv)의 갱신 직후에서는, 이동 기구(400)의 속도가 올라가는 경향이 있는데, 실제 위치(PVv)의 갱신이 촬상 중에는 멈춰짐으로써, 피사체 흔들림이 억제된다.

도 9는, 가공물(W)의 실제 위치(PVv)를 갱신하는 타이밍을 조정하기 위한 제어 흐름을 나타내는 도면이다. 도 9에 도시된 처리는, 컨트롤러(200)의 프로세서(214)가 프로그램을 실행함으로써 실현된다. 다른 국면에서, 처리의 일부 또는 전부가, 회로 소자 또는 그 밖의 하드웨어에 의해 실행되어도 된다.

단계 S310에서, 프로세서(214)는, 계측 시간(t)을 제로로 초기화한다.

단계 S320에서, 프로세서(214)는, 갱신 대기 플래그가 TRUE로 설정되어 있는지 여부를 판단한다. 갱신 대기 플래그는, 시각 센서(50)에 의해 계측된 실제 위치(PVv)의 갱신 타이밍을 관리하기 위한 플래그이다. 프로세서(214)는, 갱신 대기 플래그가 TRUE로 설정되어 있다고 판단한 경우(단계 S320에서 YES), 제어를 단계 S350으로 전환한다. 그렇지 않은 경우에는(단계 S350에서 NO), 프로세서(214)는, 제어를 단계 S330으로 전환한다.

단계 S330에서, 프로세서(214)는, 시각 센서(50)에 의한 가공물(W)의 위치 계측이 완료되어 있는지 여부를 판단한다. 프로세서(214)는, 시각 센서(50)에 의한 가공물(W)의 위치 계측이 완료되어 있다고 판단한 경우(단계 S330에서 YES), 제어를 단계 S332로 전환한다. 그렇지 않은 경우에는(단계 S330에서 NO), 프로세서(214)는, 제어를 단계 S360으로 전환한다.

단계 S332에서, 프로세서(214)는, 새로 계측된 가공물(W)의 실제 위치(PVv)를 시각 센서(50)로부터 취득한다.

단계 S340에서, 프로세서(214)는, 시각 센서(50)의 상태가 촬상 가능 상태인지 여부를 판단한다. 프로세서(214)는, 시각 센서(50)의 상태가 촬상 가능 상태라고 판단한 경우(단계 S340에서 YES), 제어를 단계 S342로 전환한다. 그렇지 않은 경우에는(단계 S340에서 NO), 프로세서(214)는, 제어를 단계 S354로 전환한다.

단계 S342에서, 프로세서(214)는, 갱신 대기 플래그를 TRUE로 설정한다.

단계 S344에서, 프로세서(214)는, 촬상 트리거(TR)를 시각 센서(50)에 출력한다.

단계 S350에서, 프로세서(214)는, 시각 센서(50)에 의한 촬상이 완료되었는지 여부를 판단한다. 프로세서(214)는, 시각 센서(50)에 의한 촬상이 완료되었다고 판단한 경우(단계 S350에서 YES), 제어를 단계 S352로 전환한다. 그렇지 않은 경우에는(단계 S350에서 NO), 프로세서(214)는, 제어를 단계 S360으로 전환한다.

단계 S352에서, 프로세서(214)는, 갱신 대기 플래그를 FALSE로 설정한다.

단계 S354에서, 프로세서(214)는, 현재 가공물(W)의 실제 위치(PVv)를, 단계 S332에서 취득된 새로운 실제 위치(PVv)로 갱신한다. 현재 가공물(W)의 실제 위치(PVv)는, 예를 들어, 컨트롤러(200)의 비휘발성 메모리(216)나 주메모리(218)(도 4 참조) 내에서 관리된다.

단계 S360에서, 프로세서(214)는, 현재 가공물(W)의 실제 위치(PVv)와, 인코더(412)로부터 얻어지는 인코더값(PVm)에 기초하여, 현시점에서의 가공물(W)의 추정 위치(PV)를 결정한다. 추정 위치(PV)의 결정 방법의 상세에 대해서는 후술한다.

단계 S362에서, 프로세서(214)는, 상술한 피드백 제어부(254)(도 1 참조)로서, 가공물(W)의 추정 위치(PV)를 목표 위치(SP)에 맞추기 위한 이동 지령(MV)을 생성하고, 이 이동 지령(MV)을 서보 드라이버(300)에 출력한다.

단계 S364에서, 프로세서(214)는, 계측 시간(t)에 제어 주기(Ts)를 가산하여, 계측 시간(t)을 갱신한다.

단계 S370에서, 프로세서(214)는, 이동 기구(400)의 제어 처리를 종료하는지 여부를 판단한다. 일례로서, 프로세서(214)는, 정지 조작을 접수한 것에 기초하여, 이동 기구(400)의 제어 처리를 종료한다. 프로세서(214)는, 이동 기구(400)의 제어 처리를 종료한다고 판단한 경우(단계 S370에서 YES), 도 9에 도시된 처리를 종료한다. 그렇지 않은 경우에는(단계 S370에서 NO), 프로세서(214)는, 제어를 단계 S320으로 되돌린다.

이상과 같이, 프로세서(214)는, 시각 센서(50)가 촬상 가능 상태인 경우에, 가공물(W)의 실제 위치(PVv)가 시각 센서(50)에 의해 새로 계측되었을 때에는, 시각 센서(50)의 촬상이 종료된 것에 기초하여 전회에 계측된 실제 위치(PVv)를 새로 계측된 실제 위치(PVv)로 갱신한다. 즉, 프로세서(214)는, 시각 센서(50)의 촬상이 종료될 때까지는 실제 위치(PVv)를 갱신하지 않고, 시각 센서(50)의 촬상이 종료된 후에 실제 위치(PVv)를 갱신한다.

위치 결정부(252)는, 실제 위치(PVv)의 갱신 전에서는, 갱신 전의 실제 위치(PVv)와 인코더값(PVm)에 기초하여, 추정 위치(PV)를 결정하고, 실제 위치(PVv)의 갱신 후에서는, 갱신 후의 실제 위치(PVv)와 인코더값(PVm)에 기초하여, 추정 위치(PV)를 결정한다.

<E. 추정 위치(PV)의 결정 처리>

위치 결정부(252)는, 예를 들어, 도 10의 흐름도에 도시된 바와 같은 처리를 행함으로써, 추정 위치(PV)를 산출한다. 도 10은, 도 5에 도시된 단계 S134, 도 7에 도시된 단계 S222 및 도 9에 도시된 단계 S360의 서브루틴의 처리 내용을 나타내는 흐름도이다.

단계 S421에서, 위치 결정부(252)는, 시각 센서(50)로부터 실제 위치(PVv)가 얻어져 있는지 여부를 검출한다. 위치 결정부(252)는, 실제 위치(PVv)가 얻어져 있으면(단계 S421에서 YES), 제어를 단계 S422로 전환한다. 그렇지 않은 경우에는(단계 S421에서 NO), 위치 결정부(252)는, 제어를 단계 S427로 전환한다.

단계 S422에서, 위치 결정부(252)는, 실제 위치(PVv)가 정상값인지 여부를 판단한다. 예를 들어, 위치 결정부(252)는, 실제 위치(PVv)가 소정 범위 내의 값이면 정상값이라고 판단한다. 위치 결정부(252)는, 실제 위치(PVv)가 정상값이라고 판단한 경우(단계 S422에서 YES), 제어를 단계 S423으로 전환한다. 그렇지 않은 경우에는(단계 S427에서 NO), 위치 결정부(252)는, 제어를 단계 S427로 전환한다.

단계 S423에서, 위치 결정부(252)는, 실제 위치(PVv)의 입력을 접수한다. 단계 S424에서, 위치 결정부(252)는, 실제 위치(PVv)의 입력을 접수하면, 그 실제 위치(PVv)의 산출원이 되는 촬상 시각의 인코더값(PVms)의 추정을 행한다. 또, 촬상부(52)의 노광 시간이 긴 경우, 촬상 시각은, 예를 들어, 노광 개시 시각(촬상부(52)의 셔터가 개방이 되는 시각)과 노광 종료 시각(촬상부(52)의 셔터가 폐쇄가 되는 시각)의 중간 시각에 의해 설정된다.

단계 S425에서, 위치 결정부(252)는, 동시각의 실제 위치(PVv) 및 인코더값(PVm)과, 그 실제 위치(PVv)의 산출원이 되는 촬상 시각의 인코더값(PVms)을 이용하여, 추정 위치(PV)를 산출한다. 보다 구체적으로는, 단계 S425에서는, 위치 결정부(252)는, 다음 (식 1)을 이용하여 추정 위치(PV)를 산출한다.

PV=PVv+(PVm-PVms) …(식 1)

단계 S426에서, 위치 결정부(252)는, 산출한 추정 위치(PV)를 피드백 제어부(254)에 출력한다. 또한, 위치 결정부(252)는, 이 추정 위치(PV)를 참조 추정 위치(PVp)로 하고, 이 시각의 인코더값(PVm)을 참조 인코더값(PVmp)으로서 기억한다.

단계 S427에서, 위치 결정부(252)는, 실제 위치(PVv)의 출력이 1회 이상인지 여부를 판단한다. 위치 결정부(252)는, 실제 위치(PVv)의 출력이 1회 이상이라고 판단한 경우(단계 S427에서 YES), 제어를 단계 S428로 전환한다. 그렇지 않은 경우에는(단계 S427에서 NO), 프로세서(214)는, 제어를 단계 S426으로 전환한다.

단계 S428에서, 위치 결정부(252)는, 인코더값(PVm), 참조 추정 위치(PVp) 및 참조 인코더값(PVmp)을 이용하여, 추정 위치(PV)를 산출한다. 보다 구체적으로는, 단계 S428에서는, 위치 결정부(252)는, 다음 (식 2)를 이용하여 추정 위치(PV)를 산출한다.

PV=PVp+PVm-PVmp …(식 2)

<F. 부기>

이상과 같이, 본 실시형태는 이하와 같은 개시를 포함한다.

[구성 1]

대상물을 이동시키기 위한 이동 기구(400)와,

촬상 지시를 접수한 것에 기초하여 상기 대상물을 촬상하고, 촬상에 의해 얻어진 화상으로부터 상기 대상물의 실제 위치를 계측하기 위한 시각 센서(50)와,

상기 촬상 지시가 상기 시각 센서(50)에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구(400)의 위치에 관한 위치 관련 정보를 검출하기 위한 검출부(412)와,

상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하기 위한 위치 결정부(252)와,

상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구(400)에 출력하는 피드백 제어부(254)와,

상기 이동 기구(400)의 이동 속도가 소정값보다 작을 때에 상기 시각 센서(50)에 상기 대상물을 촬상시키기 위해, 상기 촬상 지시의 출력 타이밍과 상기 이동 지령과 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하기 위한 조정부(256)를 구비하는, 제어 시스템(1).

[구성 2]

상기 조정부(256)는, 상기 시각 센서(50)가 촬상 가능 상태인 경우에 있어서, 상기 위치 관련 정보로부터 특정되는 상기 이동 기구(400)의 이동 속도가 소정값보다 작을 때에, 상기 촬상 지시를 상기 시각 센서(50)에 출력하는, 구성 1에 기재된 제어 시스템(1).

[구성 3]

상기 조정부(256)는, 상기 시각 센서(50)가 상기 대상물을 촬상하고 있는 동안에 상기 이동 기구(400)의 이동 속도가 상기 소정값보다 작아지는 이동 지령을 상기 피드백 제어부(254)에 생성시키는, 구성 1에 기재된 제어 시스템(1).

[구성 4]

상기 위치 결정부(252)는, 상기 시각 센서(50)가 촬상 가능 상태인 경우에, 상기 실제 위치가 상기 시각 센서(50)에 의해 새로 계측되었을 때에는, 전회에 계측된 상기 실제 위치와 상기 위치 관련 정보에 기초하여, 상기 추정 위치를 결정하는, 구성 1에 기재된 제어 시스템(1).

[구성 5]

상기 조정부(256)는, 상기 시각 센서(50)의 촬상이 종료된 것에 기초하여 전회에 계측된 상기 실제 위치를 새로 계측된 상기 실제 위치로 갱신하는, 구성 4에 기재된 제어 시스템(1).

[구성 6]

대상물을 이동시키기 위한 이동 기구(400)의 제어 방법으로서,

촬상 지시를 시각 센서(50)에 출력하고, 상기 대상물을 촬상하여 얻어진 화상으로부터 상기 대상물의 실제 위치를 상기 시각 센서(50)에 계측시키는 단계와,

상기 촬상 지시가 상기 시각 센서(50)에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구(400)의 위치에 관한 위치 관련 정보를 검출하는 단계와,

상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하는 단계와,

상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구(400)에 출력하는 단계와,

상기 이동 기구(400)의 이동 속도가 소정값보다 작을 때에 상기 시각 센서(50)로 하여금 상기 대상물을 촬상하게 하기 위해, 상기 촬상 지시의 출력 타이밍, 상기 이동 지령 및 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하는 단계를 구비하는, 제어 방법.

[구성 7]

대상물을 이동시키기 위한 이동 기구(400)의 제어 프로그램으로서,

상기 제어 프로그램은, 상기 이동 기구(400)를 제어하기 위한 컨트롤러에게,

상기 이동 기구(400)의 이동 속도가 소정값보다 작을 때에 상기 시각 센서(50)로 하여금 상기 대상물을 촬상하게 하기 위해, 상기 촬상 지시의 출력 타이밍, 상기 이동 지령 및 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하는 단계를 실행시키는, 제어 프로그램.

여기에 개시된 실시형태는 모든 점에서 예시로서 제한적인 것은 아니라고 생각되어야 한다. 본 발명의 범위는 상기한 설명이 아니라 청구범위에 의해 나타나고, 청구범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

1 제어 시스템, 4, 7 베이스 플레이트, 6, 9 볼 나사, 12 특징 부분, 50 시각 센서, 52 촬상부, 54 화상 처리부, 100 화상 처리 장치, 102, 104 카메라, 110, 214 프로세서, 112 RAM, 114 표시 컨트롤러, 116 시스템 컨트롤러, 118 I/O 컨트롤러, 120 하드 디스크, 122 카메라 인터페이스, 122a 화상 버퍼, 124 입력 인터페이스, 126 컨트롤러 인터페이스, 128, 228 통신 인터페이스, 130, 222 메모리 카드 인터페이스, 132 표시부, 134 키보드, 136, 224 메모리 카드, 150 제어 프로그램, 200 컨트롤러, 210 주제어 유닛, 212 칩 세트, 216 비휘발성 메모리, 218 주메모리, 220 시스템 클록, 226 내부 버스, 230 내부 버스 컨트롤러, 232 제어 회로, 234 내부 버스 제어 회로, 236 버퍼 메모리, 238 필드 버스 컨트롤러, 252 위치 결정부, 254 피드백 제어부, 256 조정부, 300, 300X, 300Y 서보 드라이버, 400 이동 기구, 410, 410X, 410Y 서보 모터, 412 인코더, 420 스테이지.

Claims

대상물을 이동시키기 위한 이동 기구와,
촬상 지시를 접수한 것에 기초하여 상기 대상물을 촬상하고, 촬상에 의해 얻어진 화상으로부터 상기 대상물의 실제 위치를 계측하기 위한 시각 센서와,
상기 촬상 지시가 상기 시각 센서에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구의 위치에 관한 위치 관련 정보를 검출하기 위한 검출부와,
상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하기 위한 위치 결정부와,
상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구에 출력하는 피드백 제어부와,
상기 이동 기구의 이동 속도가 소정값보다 작을 때에 상기 시각 센서로 하여금 상기 대상물을 촬상하게 하기 위해, 상기 촬상 지시의 출력 타이밍, 상기 이동 지령 및 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하기 위한 조정부를 구비하는, 제어 시스템.
청구항 1에 있어서,
상기 조정부는, 상기 시각 센서가 촬상 가능 상태인 경우에 있어서, 상기 위치 관련 정보로부터 특정되는 상기 이동 기구의 이동 속도가 소정값보다 작을 때에, 상기 촬상 지시를 상기 시각 센서에 출력하는, 제어 시스템.
청구항 1에 있어서,
상기 조정부는, 상기 시각 센서가 상기 대상물을 촬상하고 있는 동안에 상기 이동 기구의 이동 속도가 상기 소정값보다 작아지는 이동 지령을 상기 피드백 제어부에 생성시키는, 제어 시스템.
청구항 1에 있어서,
상기 위치 결정부는, 상기 시각 센서가 촬상 가능 상태인 경우에, 상기 실제 위치가 상기 시각 센서에 의해 새로 계측되었을 때에는, 전회에 계측된 상기 실제 위치와 상기 위치 관련 정보에 기초하여, 상기 추정 위치를 결정하는, 제어 시스템.
청구항 4에 있어서,
상기 조정부는, 상기 시각 센서의 촬상이 종료된 것에 기초하여 전회에 계측된 상기 실제 위치를 새로 계측된 상기 실제 위치로 갱신하는, 제어 시스템.
대상물을 이동시키기 위한 이동 기구의 제어 방법으로서,
촬상 지시를 시각 센서에 출력하고, 상기 대상물을 촬상하여 얻어진 화상으로부터 상기 대상물의 실제 위치를 상기 시각 센서에 계측시키는 단계와,
상기 촬상 지시가 상기 시각 센서에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구의 위치에 관한 위치 관련 정보를 검출하는 단계와,
상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하는 단계와,
상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구에 출력하는 단계와,
상기 이동 기구의 이동 속도가 소정값보다 작을 때에 상기 시각 센서로 하여금 상기 대상물을 촬상하게 하기 위해, 상기 촬상 지시의 출력 타이밍과 상기 이동 지령과 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하는 단계를 구비하는, 제어 방법.
대상물을 이동시키기 위한 이동 기구의 제어 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체로서,
상기 제어 프로그램은, 상기 이동 기구를 제어하기 위한 컨트롤러로 하여금 :
촬상 지시를 시각 센서에 출력하고, 상기 대상물을 촬상하여 얻어진 화상으로부터 상기 대상물의 실제 위치를 상기 시각 센서에 계측시키는 단계와,
상기 촬상 지시가 상기 시각 센서에 출력되는 간격보다 짧은 미리 정해진 제어 주기마다 상기 이동 기구의 위치에 관한 위치 관련 정보를 검출하는 단계와,
상기 실제 위치와 상기 위치 관련 정보에 기초하여, 현시점에서의 상기 대상물의 추정 위치를 상기 제어 주기마다 결정하는 단계와,
상기 추정 위치를 상기 대상물의 목표 위치에 맞추기 위한 이동 지령을 상기 제어 주기마다 상기 이동 기구에 출력하는 단계와,
상기 이동 기구의 이동 속도가 소정값보다 작을 때에 상기 시각 센서로 하여금 상기 대상물을 촬상하게 하기 위해, 상기 촬상 지시의 출력 타이밍과 상기 이동 지령과 상기 실제 위치의 갱신 타이밍 중 적어도 하나를 조정하는 단계를 실행하게 하는 제어 프로그램인, 컴퓨터 판독 가능한 기억 매체.