KR101485722B1 - 화상 처리 장치 및 화상 처리 시스템 - Google Patents

Abstract

본 발명의 화상 처리 장치는, 반송 장치(10)의 반송 경로에서의 이동량을 나타내는 신호를 접수하는 인터페이스(14)와, 반송 경로에서 촬상부의 촬상 범위보다 하류측에 배치되고, 워크를 취급하는 이동 기계(300)를 제어하기 위한 제어 장치(200)와 통신하기 위한 인터페이스(NW)와, 촬상부(100)의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득하는 수단(100) 및 제어 장치(200)의 사이에서, 반송 경로에서의 이동량을 동기하여 유지하는 수단과, 촬상 지시에 응답하여 촬상부에 의한 촬상을 시작하는 수단(100)과, 위치 정보 및, 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량을 제어 장치에 송신하는 수단을 포함한다.

Description

화상 처리 장치 및 화상 처리 시스템{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING SYSTEM}

본 발명은, 컨베이어 트래킹 등을 위한 화상 처리 장치 및 화상 처리 시스 관한 것이다.

팩토리 오토메이션(FA) 분야에서는, 성력화(省力化)를 위해, 화상 처리를 이용하여 각종의 공정을 제어한 기술이 많이 이용되고 있다. 이와 같은 화상 처리 기술의 적용례의 하나로서, 벨트 컨베이어 등의 반송 장치에 의해 워크를 반송함과 함께, 그 반송중의 워크를 이동 기계(이하, 「산업용 로봇」 또는 단지 「로봇」이라고도 칭한다.)를 이용하여, 추적(트래킹) 및 파지(把持)하는 작업 공정이 있다. 이와 같은 작업 공정은, 컨베이어 트래킹 등이라고 칭하여진다.

이 컨베이어 트래킹의 기술에서는, 촬상 장치를 이용하여 반송 장치상의 워크를 촬상하고, 그 촬상에 의해 얻어진 화상에 대해, 화상 처리 장치를 이용하여 패턴 매칭 또는 2치화 처리 등의 계측 처리를 행함으로써, 각 워크의 존재 위치(좌표)를 특정한다. 그리고, 이 특정된 각 워크의 존재 위치(좌표)에 의거하여, 로봇이 각 워크를 추적 및 파지한다.

예를 들면, 특허 문헌 1(일본국 특개평09-072717호 공보)에는, 시각(視覺) 센서를 이용하여 간소한 시스템으로 화상 취득·처리를 행함으로써, 로봇의 트래킹 처리 등에 응용하는 구성이 개시되어 있다.

또한, 컨베이어 트래킹을 위한 것은 아니지만, 시각 센서에 관련되는 선행 기술 문헌으로서, 특허 문헌 2(일본국 특개2005-293567호 공보), 특허 문헌 3(일본국 특개2005-063176호 공보), 및 특허 문헌 4(국제공개 WO2006/075354 팜플렛)를 들 수 있다.

특허 문헌 2에는, 계측 대상물의 계측치를, 계측치가 얻어진 시간에 관한 정보와 함께 외부 제어 기기에 출력할 수 있는 계측 장치가 개시되어 있다.

특허 문헌 3에는, 컨베이어상의 워크와 같은, 촬상 수단에 대해 상대 이동한 물체의 촬상 결과를 화상 처리하여, 워크의 상태를 인식하는 물체 인식 장치가 개시되어 있다. 특히, 특허 문헌 3은, 촬상 타이밍에서의 촬상 수단과 워크와의 위치 관계를 정밀도 좋게 얻어, 정밀도가 높은 화상 처리 결과를 얻을 수 있는 물체 인식 장치를 개시한다.

특허 문헌 4에는, 컨베이어 트래킹을 위한 것은 아니지만, 반도체 칩으로서의 워크가 XY 테이블상에 위치 결정되는 일 없이 실려져 있는 경우에, 워크를 카메라로 촬상함으로써, 워크를 미리 지정된 위치에 위치 결정하기 위한 구성이 개시되어 있다.

특허 문헌 1 : 일본국 특개평09-072717호 공보 특허 문헌 2 : 일본국 특개2005-293567호 공보 특허 문헌 3 : 일본국 특개2005-063176호 공보 특허 문헌 4 : 국제공개 WO2006/075354 팜플렛

상술한 특허 문헌 1의 구성에서는, 컨베이어에는, 이동량을 검출하기 위해, 펄스-코더가 장착되고, 펄스-코더로부터의 검출 출력은 로봇 제어부에 입력된다. 화상 처리 장치 및 카메라를 갖는 시각 센서는, 펄스-코더의 검출 출력을 이용하여, 촬상이나 트래킹을 행한다.

그러나, 특허 문헌 1의 구성에서는, 화상 처리 장치가 펄스-코더로부터의 검출 출력이 소정 조건을 만족한다고 판단한 타이밍에서 시각 센서에 촬상 지시를 주는데, 이 시각 센서에 촬상 지시를 주는 타이밍과 실제로 시각 센서가 촬상을 행하는 타이밍은 완전하게는 일치하지 않고, 다소의 타임 래그가 생긴다. 이 타임 래그의 길이에 비교하여, 컨베이어의 반송 속도가 상대적으로 낮은 경우에는, 그다지 문제로는 되지 않지만, 컨베이어의 반송 속도가 고속화하면, 이 타임 래그에 의해, 트래킹의 어긋남 등이 생길 수 있다.

그래서, 특허 문헌 2에는, 이와 같은 타임 래그를 해소하기 위한 1개의 어프로치가 개시되어 있다. 보다 구체적으로는, 특허 문헌 2는, 신호 처리부에 계측 제어부를 마련하고, 계측시의 시간을 측정함으로써, 계측 결과에 계측시의 시간 정보를 부가하여 출력하는 구성을 개시한다. 이와 같은 구성을 상술한 바와 같은 컨베이어 트래킹에 적용한 경우에는, 반송 장치의 반송 속도가 일정한 경우에는, 당해 계측시의 시간 정보에 의거하여 이동량을 계산함으로써, 상술한 바와 같은 타임 래그에 의한 영향을 저감할 수 있다.

그러나, 현실의 생산 라인에서는, 반송 장치의 반송 속도는 변화하기 때문에, 특허 문헌 2의 수법을 그대로 적용한 것만으로는, 트래킹 처리를 확실하게 행할 수가 없는 경우도 있다.

또한, 특허 문헌 3은, 인코더에 의한 계측 결과가 아니라, 인코더와는 별도로 마련된 트리거 센서를 이용하여, 촬상 타이밍을 생성한다는 구성을 개시하고 있다. 이 때, 트리거 센서에 의해 워크의 도착을 검출하는 타이밍과, 촬상의 타이밍과의 사이에 타임 래그가 생기기 때문에, 인코더에 의한 계측 결과를 이용하여, 촬상시의 워크와 촬상 수단과의 사이의 위치 관계의 정보를 생성하고, 이 위치 관계의 정보를 이용하여 화상 인식이 행하여진다.

그러나, 현실의 생산 라인에서는, 반송 경로상에 복수의 워크가 배치되는 것도 많고, 특허 문헌 3에 개시되는 바와 같은 트리거 센서로 워크의 도착을 검출하는 것은 현실적이 아니다. 그 때문에, 특허 문헌 3의 수법을 적용하여도, 트래킹 처리를 확실하게 행할 수가 없다.

또한, 특허 문헌 4에는, 위치 검출기로부터의 위치 검출 신호가 모터 제어 장치를 통하여 화상 처리 장치에 보내진다. 화상 처리 장치는, 도체 칩을 카메라로 촬상하면서, 마스터 장치로부터의 위치 지령 신호와, 위치 검출기로부터의 위치 검출 신호에 의거하여, 모터 제어 장치를 제어한다. 특허 문헌 4에 개시된 구성에서는, 모터 제어 장치를 경유하여 화상 처리 장치에 송신되는 위치 검출기로부터의 위치 검출 신호의 송신 지연이 XY 테이블의 위치 결정 제어의 주기에 비교하여 상대적으로 무시할 수 있는 것이 전제로 되어 있고, 특허 문헌 4의 수법은, 컨베이어 트래킹 등에는 그대로 적용할 수가 없다. 그 때문에, 특허 문헌 4의 수법을 채용하였다고 하여도, 트래킹 처리를 확실하게 행할 수는 없다.

그래서, 본 발명은, 상술한 바와 같은 과제를 해결하기 위해 이루어진 것이고, 그 목적은, 촬상 장치에 대한 촬상 지시를 발생하고 나서 실제로 촬상이 행하여질 때까지 타임 래그가 존재하는 경우라도, 정확하게 트래킹 처리를 행할 수 있는 시각 센서를 제공하는 것이다.

본 발명의 어느 국면에 의하면, 반송 장치상을 반송되는 워크를 촬상하도록 배치된 촬상부에 접속되는 화상 처리 장치를 제공한다. 화상 처리 장치는, 반송 장치의 반송 경로에서의 이동량을 나타내는 신호를 접수하는 인터페이스와, 반송 경로에서 촬상부의 촬상 범위보다 하류측에 배치됨과 함께 워크를 취급하는 이동 기계를 제어하기 위한 제어 장치와 통신하기 위한 인터페이스와, 촬상부의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득하는 수단과, 제어 장치와의 사이에서 반송 경로에서의 이동량을 동기하여 유지하는 수단과, 촬상 지시에 응답하여 촬상부에 의한 촬상을 시작하는 수단과, 위치 정보와 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량을 제어 장치에 송신하는 수단을 포함한다.

바람직하게는, 위치 정보는, 화상중의 미리 등록된 워크에 대응하는 영역을 이동 기계의 좌표계로 나타낸 좌표치를 포함한다.

또한 바람직하게는, 위치 정보는, 미리 등록된 워크의 자세를 기준으로 한, 화상중의 당해 워크에 대응하는 영역의 회전 각도를 또한 포함한다.

바람직하게는, 반송 장치의 반송 경로에서의 이동량을 나타내는 신호는, 펄스 신호이다.

또한 바람직하게는, 펄스 신호는, 화상 처리 장치 및 제어 장치에 입력되도록 구성되어 있다. 동기하여 유지하는 수단은, 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 제1의 카운터를 포함한다. 제1의 카운터는, 제어 장치가 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 제2의 카운터와의 사이에서, 카운트에 관해 동일한 파라미터가 설정되어 있다.

또한 바람직하게는, 제1의 카운터는, 펄스 신호에 포함되는 펄스 수의 카운트 시작 전에, 제2의 카운터와 함께, 리셋된다.

또는 바람직하게는, 펄스 신호는, 화상 처리 장치에 입력되도록 구성되어 있고, 동기하여 유지하는 수단은, 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 카운터를 포함하고, 제어 장치에 송신하는 수단은, 송수신에 관한 지연시간이 일정하게 되도록 구성되어 있다.

바람직하게는, 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량은, 카운터에 의한 카운터값으로 나타난다.

바람직하게는, 화상 처리 장치는, 촬상 지시를 제어 장치로부터 수신하도록 구성되어 있다.

본 발명의 다른 국면에 따르면, 반송 장치상을 반송되는 워크를 촬상하도록 배치된 촬상부와, 반송 장치의 반송 경로에서 촬상부의 촬상 범위보다 하류측에 배치됨과 함께 워크를 취급하는 이동 기계를 제어하기 위한 제어 장치와, 촬상부 및 제어 장치에 접속되는 화상 처리 장치를 포함하는 화상 처리 시스템을 제공한다. 화상 처리 장치는, 반송 장치의 반송 경로에서의 이동량을 나타내는 신호를 접수하는 인터페이스와, 촬상부의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득하는 수단과, 제어 장치와의 사이에서 반송 경로에서의 이동량을 동기하여 유지하는 수단과, 촬상 지시에 응답하여 촬상부에 의한 촬상을 시작하는 수단과, 위치 정보와 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량을 제어 장치에 송신하는 수단을 포함한다.

본 발명에 의하면, 촬상 장치에 대한 촬상 지시를 발생하고 나서 실제로 촬상이 행하여질 때까지 타임 래그가 존재하는 경우라도, 정확하게 트래킹 처리를 행할 수 있는 화상 처리 장치 및 그것을 포함하는 화상 처리 시스템을 제공하는 것이다.

도 1은 본 발명의 실시의 형태 1에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템의 구성을 도시하는 모식도.
도 2는 본 발명의 실시의 형태 1에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템에서의 위치 결정 및 트래킹 처리를 설명하기 위한 도면.
도 3은 본 발명의 실시의 형태 1에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템의 하드웨어 구성에 관해 도시하는 모식도.
도 4는 본 발명의 실시의 형태에 관한 컨베이어 트래킹 시스템을 관련되는 구성과 대비하고 도시하는 도면.
도 5는 본 발명에 관련되는 트래킹 시스템에서의 제어 동작을 도시하는 시퀀스도.
도 6은 본 발명에 관련되는 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트.
도 7은 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서의 제어 동작을 도시하는 시퀀스도.
도 8은 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서 송신되는 계측 결과의 포맷례를 도시하는 도면.
도 9는 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트.
도 10은 본 발명의 실시의 형태 1의 변형례에 관한 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트.
도 11은 본 발명의 실시의 형태 1의 다른 변형례에 관한 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트.
도 12는 본 발명의 실시의 형태 1에 관한 로봇 제어 장치에서의 처리를 도시하는 플로 차트.
도 13은 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서의 전체의 제어 동작을 도시하는 타임 차트.
도 14는 본 발명의 실시의 형태 2에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템에서의 위치 결정 및 트래킹 처리를 설명하기 위한 도면.
도 15는 본 발명의 실시의 형태 2에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템의 하드웨어 구성에 관해 도시하는 모식도.
도 16은 본 발명의 실시의 형태 2에 관한 필드 네트워크에서의 지연시간의 영향을 설명하기 위한 도면.
도 17은 본 발명의 실시의 형태 3에 관한 서포트 장치의 하드웨어 구성을 도시하는 모식도.

본 발명의 실시의 형태에 관해, 도면을 참조하면서 상세히 설명한다. 또한, 도면중의 동일 또는 상당 부분에 관해서는, 동일 부호를 붙이고 그 설명은 반복하지 않는다.

[실시의 형태 1]

<A. 시스템 구성>

도 1은, 본 발명의 실시의 형태 1에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템의 구성을 도시하는 모식도이다. 도 1에 도시하는 컨베이어 트래킹 시스템은, 2개의 반송 장치(컨베이어)(10 및 20)를 포함한다. 컨베이어(10 및 20)는, 각각 구동 롤러(12 및 22)에 의해 회전 구동된다. 이하에서는, 컨베이어(10 및 20)를 각각 라인(1) 및 라인(2)이라고도 칭한다. 도 1에 도시하는 예에서는, 라인(1)은, 지면 우측으로 이동하고, 라인(2)은, 지면 좌측으로 이동한다. 라인(1)에는, 반출 장치(30) 등에 의해 지면 좌측으로부터 워크(W)가 랜덤하게 제공된다. 이 라인(1)상의 워크(W)는, 지면 좌측으로부터 지면 우측으로 이동한다. 워크(W)로서는, 전형적으로는, 과자 등의 식품이나 각종의 정제 등이 상정된다.

본 실시의 형태에 관한 시각 센서(100)는, 라인(1)상의 소정 위치에 마련된다. 후술하는 바와 같이, 시각 센서(100)는, 워크 등의 피사체를 촬상하기 위한 촬상부와 당해 촬상부에 의해 촬상된 화상을 처리하기 위한 화상 처리부를 일체적으로 구성한 것이다. 단, 촬상부와 화상 처리부를 별체로서 구성하여도 좋다.

시각 센서(100)는, 그 촬상 시야가 라인(1)의 폭방향(반송 방향과는 직교하는 방향)의 전체를 포함하도록 설정된다. 그리고, 시각 센서(100)가 소정 주기로 촬상을 행함으로써, 라인(1)상을 랜덤하게 흘러 오는 워크(W)를 순차적으로 촬상할 수 있다. 시각 센서(100)는, 이 순차적으로 촬상되는 화상에 대해 패턴 매칭 등의 계측 처리를 행함으로써, 각 워크의 위치 결정 및 트래킹 처리를 행한다. 이와 같이, 시각 센서(100)의 촬상부(도 3에 도시하는 촬상부(110))는, 반송 장치인 컨베이어(10)상을 반송되는 워크(W)를 촬상하도록 배치되어 있다. 그리고, 이 촬상부에 화상 처리 장치(도 3에 도시하는 화상 처리부(120))가 접속된다.

라인(1)의 반송 방향에는, 시각 센서(100)의 하류측에, 워크(W)를 파지하여 라인(2)에 이동시키는 로봇(300)이 배치되어 있다. 이 로봇(300)은, 워크(W)를 파지하기 위한 암을 갖고 있고, 이 암을 목적 위치에 이동시킴으로써, 라인(2)상의 워크를 파지한다. 즉, 로봇(300)은, 반송 장치인 컨베이어(10)(라인(1))의 반송 경로에서, 시각 센서(100)의 촬상부의 촬상 범위보다 하류측에 배치됨과 함께 워크(W)를 취급하는 이동 기계에 상당한다. 보다 구체적으로는, 로봇(300)은, 그 암을 목적하는 워크(W)에 위치 결정하여, 픽업하여 라인(2)상에 정렬한다.

또한, 로봇(300)은, 라인(1)에 따라 이동하기 위한 이동 기구(400)(도 2 참조)상에 배치되어 있고, 소정의 범위에 걸쳐서 이동한다. 이 로봇(300)의 이동 범위를 트래킹 범위라고도 칭한다.

로봇(300)의 트래킹 처리 및 위치 결정 처리에 관해서는, 라인(1)에 마련된 인코더(14)에 의한 검출 결과를 이용하여 제어된다. 이 인코더(14)는, 전형적으로는, 로터리 인코더가 채용되고, 회전에 수반하여 펄스 신호를 발생한다. 이 발생하는 펄스 신호의 펄스 수를 카운트함으로써, 컨베이어(10)(라인(1))와 연결된 롤러의 회전수, 즉, 인코더(14)가 발생하는 펄스 신호는, 반송 장치인 컨베이어(10)의 반송 경로에서의 이동량을 나타내는 신호에 상당하고, 이 펄스 신호에 의거하여, 컨베이어(10)의 이동량이 산출된다.

로봇(300)은, 로봇 제어 장치(200)로부터의 지시에 따라 동작한다. 즉, 로봇 제어 장치(200)는, 이동 기계인 로봇(300)을 제어하기 위한 제어 장치이다. 로봇 제어 장치(200)는, 시각 센서(100)와 네트워크(NW)를 통하여 접속되어 있고, 시각 센서(100)에 의해 검출된 각 워크(W)의 위치에 의거하여, 로봇(300)에 대해 워크(W)의 파지 동작에 필요한 지시를 준다.

로봇 제어 장치(200)에는, 로봇(300)의 캘리브레이션 등을 행하기 위한 티칭 펜던트(2100)가 접속되어 있다. 유저는, 티칭 펜던트(2100)를 조작하여, 캘리브레이션 등에 필요한 위치에 로봇(300)을 이동시킨다.

네트워크(NW)에는, 시각 센서(100) 및 로봇 제어 장치(200)에 더하여, 조작 표시 장치(500) 및 서포트 장치(600)가 접속되어 있어도 좋다. 조작 표시 장치(500)는, 시각 센서(100)로부터의 처리 결과나 로봇 제어 장치(200)로부터의 로봇(300)의 동작 상태 등을 표시함과 함께, 유저로부터의 조작에 응답하여, 시각 센서(100) 및/또는 로봇 제어 장치(200)에 각종의 지시를 준다.

도 1에 도시하는 컨베이어 트래킹 시스템에서는, 생산성을 향상하기 위해, 라인 속도(반송 속도)를 보다 높이고 싶다는 잠재적인 니즈가 존재한다. 이와 같은 니즈에 대처하기 위해, 본 실시의 형태에 관한 컨베이어 트래킹 시스템에서는, 인코더(14)가 발생하는 펄스 신호를 로봇 제어 장치(200)만이 아니라, 시각 센서(100)에도 입력한다는 구성을 채용한다. 이와 같이, 시각 센서(100) 및 로봇 제어 장치(200)가 동기(同期)하여 대상의 반송 장치(컨베이어)의 위치 정보를 취득함으로써, 로봇 제어 장치(200)와 시각 센서(100)와의 사이의 네트워크(NW)를 통한 통신에 의한 지연시간이 문제가 되는 경우라도, 그 영향을 회피할 수 있다. 이 상세에 관해서는, 후술한다.

<B. 위치 결정 및 트래킹 처리>

다음에, 도 1에 도시하는 컨베이어 시스템에서의 위치 결정 및 트래킹 처리의 상세에 관해 설명한다.

도 2는, 본 발명의 실시의 형태 1에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템에서의 위치 결정 및 트래킹 처리를 설명하기 위한 도면이다. 도 2를 참조하면, 시각 센서(100)는, 내장한 촬상부를 이용하여 라인(1)을 촬상한다. 시각 센서(100)의 촬상 동작은, 로봇 제어 장치(200)로부터의 촬상 지시에 응하여 시작된다. 이 촬상 지시는, 시각 센서(100)와 로봇 제어 장치(200)를 접속하는 네트워크(NW) 경유로 반송된다. 이 네트워크(NW)는, 전형적으로는, 이서넷(등록상표) 등의 범용적인 네트워크를 채용할 수 있다.

시각 센서(100)는, 촬상 지시를 로봇 제어 장치(200)로부터 수신하도록 구성되어 있고, 이 촬상 지시에 응답하여 촬상을 시작한다. 이에 의해, 시각 센서(100)는, 촬상 시야를 찍은 화상을 순차적으로 취득한다. 그리고, 시각 센서(100)는, 당해 화상에 대해 계측 처리(전형적으로는, 미리 등록된 워크(W)에 관한 모델 화상에 의거한 패턴 매칭 처리, 또는, 2치화 처리)를 실행한다. 또한, 시각 센서(100)는, 이 계측 처리에 의해 얻어진 각 워크(W)의 촬상시의 위치 정보(X, Y, θ)를 로봇 제어 장치(200)에 송신한다. 이와 같이, 시각 센서(100)는, 촬상부의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득한다.

위치 정보는, 컨베이어(10)상의 워크(W)의 위치(X, Y) 및 워크(W)의 회전 각도(θ)를 포함한다. 또한, 워크(W)의 위치(X, Y)는, 로봇 제어 장치(200)에서의 중복 배제 처리 등을 간소화하는 관점에서, 로봇(300)을 제어하기 위한 좌표계로 환산한 값이 사용된다. 예를 들면, 도 2에 도시하는 바와 같이, 로봇(300)의 암(피킹) 위치를 X좌표(컨베이어의 반송 방향) 및 Y좌표(컨베이어의 반송 방향과는 직교하는 방향)로 정의하여 두고, 이 XY좌표계(이하 「로봇 좌표계」라고도 칭한다.)를 이용하여 패턴 매칭 처리에 의해 검출된 각 워크의 위치를 특정한다. 즉, 위치 정보는, 촬상에 의해 취득된 화상중의 미리 등록된 워크에 대응하는 영역을 이동 기계인 로봇(300)의 좌표계 「로봇 좌표계」로 나타낸 좌표치를 포함한다. 이와 같이, 각 워크(W)의 계측된 위치 정보를 로봇 좌표계의 값으로서 출력할 수 있도록, 시각 센서(100) 및 로봇 제어 장치(200)는, 미리 캘리브레이션되어 있다.

또한, 워크(W)의 회전 각도(θ)는, 워크(W)의 모델 화상을 기준으로 한 경우의 회전 각도를 의미한다. 즉, 위치 정보는, 미리 등록된 워크의 자세를 기준으로 한, 화상중의 당해 워크에 대응하는 영역의 회전 각도를 또한 포함한다. 워크(W)의 형상에 의해서는, 이 회전 각도의 정보에 의거하여, 로봇(300)의 암의 회전 각도 등이 적절히 제어된다.

보다 구체적으로는, 로봇 제어 장치(200)는, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수를 카운트하고, 미리 정하여진 값 이상의 수의 펄스가 입력된 타이밍에서, 네트워크(NW)를 경유하여 시각 센서(100)에 대해 촬상 지시를 송출한다.

시각 센서(100)로부터의 각 워크의 위치 정보는, 네트워크(NW)를 통하여 로봇 제어 장치(200)에 송신되고, 로봇 제어 장치(200)의 내부에 있는 메모리에 격납된다. 시각 센서(100)가 순차적으로 촬상함으로써, 동일한 워크(W)가 다른 타이밍에서 촬상되는 일도 있다. 이와 같은 경우, 동일한 워크(W)에 대한 위치 정보가 중복되어 로봇 제어 장치(200)에 송신되지만, 이 로봇 제어 장치(200)에서는, 이와 같은 중복을 배제하고 나서, 메모리에 기억한다. 또한, 로봇 제어 장치(200)는, 인코더(14)로부터의 펄스 신호를 받을 때마다, 메모리 내에 격납되어 있는 모든 워크(W)의 위치 정보(좌표치(X, Y))를 갱신한다. 이것은, 로봇 제어 장치(200)의 메모리상에 있어서, 실제로 벨트 컨베이어상을 반송하는 워크(W)를 트래킹하기 위해서다. 그리고, 어는 하나의 워크(W)의 갱신 후의 위치 정보(좌표치)가 로봇(300)의 트래킹 범위에 들어가면, 로봇(300)에 대해 파지 동작에 필요한 지시를 준다.

라인(1)에 마련된 인코더(14)의 검출 결과에 응하여 생성된 펄스 신호는, 시각 센서(100) 및 로봇 제어 장치(200)에 입력되도록 구성되어 있다. 시각 센서(100) 및 로봇 제어 장치(200)는, 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 인코더 카운터를 각각 갖고 있다. 인코더(14)로부터의 펄스 신호는, 병렬적으로, 시각 센서(100) 및 로봇 제어 장치(200)에 입력되기 때문에, 각각의 인코더 카운터를 동일한 타이밍에서 초기화(카운터 리셋)하여 두면, 그 후에 입력되는 펄스 신호에 관한 카운터값은, 서로 같은 값, 즉, 카운터값에 관한 동기를 취할 수 있다.

보다 구체적으로는, 시각 센서(100) 및 로봇 제어 장치(200)에는, 모두, 인코더(14)로부터의 펄스 신호에 포함되는 1펄스당의 컨베이어의 이동량이 미리 설정되어 있다. 또한, 시각 센서(100) 및 로봇 제어 장치(200)의 각각의 인코더 카운터에 대해서도, 서로 동일한 파라미터(카운터 최대치, 카운터 최소치, 1펄스에 대한 증가치 등)가 설정되어 있다. 즉, 시각 센서(100)의 인코더 카운터는, 로봇 제어 장치(200)의 인코더 카운터와의 사이에서, 카운트에 관해 동일한 파라미터가 설정되어 있다.

또한, 이들의 인코더 카운터에 의한 카운터값은, 생산 라인의 가동 전에 0으로 초기화된다. 즉, 시각 센서(100)의 인코더 카운터는, 펄스 신호에 포함되는 펄스 수의 카운트 시작 전에, 로봇 제어 장치(200)의 인코더 카운터와 함께, 리셋된다.

이와 같이 본 실시의 형태에서는, 시각 센서(100)와 로봇 제어 장치(200)의 사이에서 컨베이어(10)의 반송 경로에서의 이동량을 동기하여 유지하는 수단이 실현된다.

특히, 본 실시의 형태에 관한 시각 센서(100)는, 로봇 제어 장치(200)로부터의 촬상 지시에 따라 실제로 촬상을 행한 때의 카운터값을 각 워크의 위치 정보에 부가하여, 로봇 제어 장치(200)에 송신한다. 상술한 바와 같이, 시각 센서(100)와 로봇 제어 장치(200)의 사이에서 카운터값을 동기하여 유지하고 있기 때문에, 로봇 제어 장치(200)로부터 촬상 지시를 송출한 타이밍과, 촬상 지시에 응답하여 시각 센서(100)가 실제로 촬상을 행한 타이밍과의 사이에 라임 래그가 있어도, 실제로 촬상이 행하여진 타이밍이 공통의 시간축상에서, 즉 동기된 카운터값을 이용하여, 특정된다.

이와 같이, 시각 센서(100)는, 검출된 워크(W)의 위치 정보와 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 컨베이어(10)에서의 이동량을 로봇 제어 장치(200)에 송신한다. 이 워크(W)의 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량은, 카운터에 의한 카운터값으로 나타난다.

로봇 제어 장치(200)에서는, 시각 센서(100)로부터 수신한 촬상시의 카운터값을 이용하여, 대응하는 위치 정보를 보정한 다음, 자체장치의 메모리에 격납한다. 이에 의해, 라인 속도가 높고, 촬상 지시의 출력으로부터 현실의 촬상까지의 타임 래그가, 로봇(300)에서의 위치 결정 및 트래킹 처리에 영향을 준다는 사태를 회피할 수 있다.

<C. 하드웨어 구성>

도 3은, 본 발명의 실시의 형태 1에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템의 하드웨어 구성에 관해 도시하는 모식도이다. 도 3을 참조하면, 시각 센서(100)는, 촬상부(110)와, 화상 처리부(120)를 포함한다.

촬상부(110)는, 촬상 시야에 존재하는 피사체를 촬상하는 장치이고, 주체인 구성 요소로서, 렌즈나 조리개 등의 광학계와, CCD(Charge Coupled Device) 이미지 센서나 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 수광 소자를 포함한다. 촬상부(110)는, 화상 처리부(120)로부터의 지령에 따라 촬상함과 함께, 그 촬상에 의해 얻어진 화상 데이터를 화상 처리부(120)에 출력한다.

화상 처리부(120)는, CPU(Central Processing Unit)(122)와, 메모리(124)와, 촬상 제어부(126)와, 통신 인터페이스(I/F)(128)와, 입출력 인터페이스(I/F)(130)와, 인코더 카운터(132)를 포함한다. 이들의 컴포넌트는, 버스(134)를 통하여 서로 데이터 통신 가능하게 접속되어 있다.

CPU(122)는, 화상 처리부(120)에 있어서 주된 연산을 행하는 프로세서이다. 메모리(124)는, CPU(122)에 의해 실행되는 각종 프로그램, 촬상부(110)에 의해 촬상된 화상 데이터, 각종 파라미터 등을 격납한다. 전형적으로는, 메모리(124)는, DRAM(Dynamic Random Access Memory) 등의 휘발성 기억 장치와, FLASH 메모리 등의 불휘발성 기억 장치로 이루어진다.

촬상 제어부(126)는, CPU(122) 등으로부터의 내부 커맨드에 따라, 접속되어 있는 촬상부(110)에서의 촬상 동작을 제어한다. 촬상 제어부(126)는, 촬상부(110)에 대해 각종 커맨드를 송신하는 인터페이스와, 촬상부(110)로부터의 화상 데이터를 수신하는 인터페이스를 갖고 있다.

통신 인터페이스(128)는, 로봇 제어 장치(200)와의 사이에서 각종 데이터를 주고 받는다. 전형적으로는, 시각 센서(100) 및 로봇 제어 장치(200)는 이서넷(등록상표)을 통하여 접속되어 있고, 통신 인터페이스(128)는, 이와 같은 이서넷(등록상표)에 준거한 하드웨어이다.

입출력 인터페이스(130)는, 화상 처리부(120)로부터 외부에 각종 신호를 출력하고, 또는, 외부로부터의 각종 신호를 입력한다. 특히, 입출력 인터페이스(130)는, 인코더(14)에서 생성되는 펄스 신호를 받아들이고, 그 신호를 디지털 신호로 변환하여 인코더 카운터(132)에 출력한다.

인코더 카운터(132)는, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수를 카운트한다. 이 인코더 카운터(132)는, 기본적으로는, CPU(122)의 연산 사이클과는 독립하여 동작하기 때문에, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수를 놓치는 일이 없다.

한편, 로봇 제어 장치(200)는, 연산 처리부(210)와, 통신 인터페이스(I/F)(228)와, 입출력 인터페이스(I/F)(230)와, 인코더 카운터(232)와, 피킹 제어부(240)와, 이동 제어부(250)를 포함한다.

연산 처리부(210)는, 시각 센서(100)로부터의 위치 정보에 의거하여, 로봇(300) 및 이동 기구(400)에 대해 커맨드를 출력하기 위한 연산을 행하는 프로세서이고, 각각의 워크(W)를 트래킹 하기 위한 메모리(220)를 포함한다. 메모리(220)에는, 시각 센서(100)의 계측 처리에 의해 검출된 각각의 워크(W)의 위치 정보가 격납된다. 연산 처리부(210)는, 대상의 컨베이어의 이동(인코더(14)로부터의 펄스 신호에 의거하여 검출)에 응하여, 각각의 워크(W)의 위치 정보를 순차적으로 갱신한다.

통신 인터페이스(I/F)(228)는, 시각 센서(100)의 화상 처리부(120)와의 사이에서 각종 데이터를 주고 받는다. 전형적으로는, 시각 센서(100) 및 로봇 제어 장치(200)는 이서넷(등록상표)을 통하여 접속되어 있고, 통신 인터페이스(228)는, 이와 같은 이서넷(등록상표)에 준거한 하드웨어이다.

입출력 인터페이스(230)는, 로봇 제어 장치(200)로부터 외부에 각종 신호를 출력하고, 또는, 외부로부터의 각종 신호를 입력한다. 특히, 입출력 인터페이스(230)는, 인코더(14)에서 생성되는 펄스 신호를 받아들이고, 그 신호를 디지털 신호로 변환하여 인코더 카운터(232)에 출력한다.

인코더 카운터(232)는, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수를 카운트한다. 이 인코더 카운터(232)는, 기본적으로는, 연산 처리부(210)의 연산 사이클과는 독립하여 동작하기 때문에, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수를 놓치는 일이 없다.

피킹 제어부(240)는, 연산 처리부(210) 등으로부터의 내부 커맨드에 따라, 접속되어 있는 로봇(300)에서의 파지 동작을 제어한다. 피킹 제어부(240)는, 로봇(300)의 각각의 가동축에서의 목표 위치 등을 송신하는 인터페이스와, 로봇(300)의 각각의 가동축에서의 현재 위치를 수신하는 인터페이스를 갖고 있다.

이동 기구(400)는, 연산 처리부(210) 등으로부터의 내부 커맨드에 따라, 접속되어 있는 로봇(300)을 구동하는 이동 기구(400)에서의 트래킹을 제어한다. 이동 기구(400)는, 이동 기구(400)의 목표 위치 및 목표 속도 등을 송신하는 인터페이스와, 이동 기구(400)의 이동축에서의 현재 위치를 수신하는 인터페이스를 갖고 있다.

<D. 본 발명에 관한 과제>

다음에, 본 발명에 관한 과제 등에 관해, 보다 상세히 설명한다.

도 4는, 본 발명의 실시의 형태에 관한 컨베이어 트래킹 시스템을 관련되는 구성과 대비하여 도시하는 도면이다. 즉, 도 4(a)는, 본 발명에 관련되는 컨베이어 트래킹 시스템의 모식적 구성을 도시하고, 도 4(b)는, 본 실시의 형태에 관한 컨베이어 트래킹 시스템의 모식적 구성을 도시한다.

도 4(a)에 도시하는 본 발명에 관련되는 컨베이어 트래킹 시스템에서는, 컨베이어(10)의 이동량을 검출하는 인코더(14)로부터의 펄스 신호가 로봇 제어 장치(200)에만 입력되는 것으로 한다. 이 구성에서는, 로봇 제어 장치(200)가 인코더(14)로부터의 펄스 신호에 의거하여, 컨베이어(10)가 소정 거리만큼 이동할 때마다, 화상 처리부(120A)에 촬상 지시를 준다. 화상 처리부(120A)는, 로봇 제어 장치(200)로부터의 촬상 지시에 응답하여, 피사체를 촬상하고, 그 촬상에 의해 얻어진 화상 데이터에 대해 계측 처리를 실행한다. 그리고, 그 계측 처리의 결과는, 화상 처리부(120A)로부터 로봇 제어 장치(200)에 되돌려진다.

또한, 촬상부(110)의 전회의 촬상에서의 촬상 범위와 금회의 촬상에서의 촬상 범위와의 사이에서 적어도 일부는 중복되도록, 촬상부(110)에 의한 촬상 타이밍이 설정된다. 이것은, 컨베이어(10)상을 흐르는 모든 워크(W)를 촬상할 수 있도록, 각 촬상에서의 촬상 범위 사이에 어느 정도의 마진을 설정할 필요가 있기 때문이다.

도 4(a)에 도시하는 바와 같은 시스템 구성을 채용한 경우에는, 컨베이어의 반송 속도(라인 속도)가 높아지면, 트래킹 처리를 정확하게 행할 수가 없는 경우가 생긴다. 이하, 이 이유에 관해서는, 도 5 및 도 6을 참조하여 설명한다.

도 5는, 본 발명에 관련되는 트래킹 시스템에서의 제어 동작을 도시하는 시퀀스도이다. 도 6은, 본 발명에 관련되는 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트이다.

도 5에는, 컨베이어(10)가 소정 거리만큼 이동할 때마다, 촬상부(110)에 대해 로봇 제어 장치(200)가 촬상 지시를 (화상 처리부(120A)를 통하여) 주는 경우의 처리를 나타낸다. 도 5를 참조하면, 로봇 제어 장치(200)의 연산 처리부(210)는, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수가 전회 촬상한 때의 값부터 소정치 이상 증가하였는지의 여부를 판단한다(스텝 S100). 즉, 인코더 카운터(232)에서의 현재의 카운터값이 촬상 타이밍에 상당하는 거리 이상 증가하였는지의 여부가 판단된다.

인코더(14)로부터의 펄스 신호에 포함되는 펄스 수가 소정치 이상에 도달하면, 로봇 제어 장치(200)의 연산 처리부(210)는, 인코더 카운터(232)를 참조하여, 현재의 카운터값(C0')을 취득한다(스텝 S102). 계속해서, 로봇 제어 장치(200)의 연산 처리부(210)는, 화상 처리부(120A)에 대해, 촬상 지시를 송신한다(스텝 S104). 이 촬상 지시는, 네트워크(NW)를 통하여, 화상 처리부(120A)에 전송된다. 화상 처리부(120A)는, 로봇 제어 장치(200)로부터의 촬상 지시에 응답하여, 촬상부(110)에 촬상을 실행시킨다(스텝 S106). 촬상부(110)가 촬상하여 얻어진 화상은, 화상 처리부(120A)에 전송된다. 화상 처리부(120A)는, 촬상부(110)로부터의 화상에 대해 계측 처리를 실행한다(스텝 S108). 또한, 화상 처리부(120A)는, 스텝 S108에서의 계측 처리에 의해 얻어진 계측 결과(각각의 워크의 위치 정보(X, Y, θ))를 로봇 제어 장치(200)에 송신한다(스텝 S110).

로봇 제어 장치(200)는, 화상 처리부(120A)로부터의 계측 결과에 의거하여, 중복 배제 처리를 실행한다(스텝 S112). 상술한 바와 같이, 연속하는 촬상의 사이에서 각각의 촬상 범위가 중복되도록, 촬상부(110)에서의 촬상 타이밍이 제어된다. 그 때문에, 동일한 워크(W)가 복수의 화상에 포함되는 일도 있다. 이와 같은 복수의 화상에 포함되는 동일한 워크(W)에 의한 트래킹의 부적합함을 막기 위해, 중복되어 취득된 위치 정보에 대해 삭제하는 처리가 중복 배제 처리이다.

로봇 제어 장치(200)의 연산 처리부(210)는, 새로운 워크(W)에 대한 위치 정보가 취득되었는지의 여부를 판단하고(스텝 S114), 새로운 워크(W)에 대한 위치 정보가 취득된 경우(스텝 S114에서 YES인 경우)에는, 메모리에 당해 새로운 위치 정보를 격납한다(스텝 S116). 그리고, 처리는 리턴한다.

이 때, 로봇 제어 장치(200)는, 스텝 S110에서 화상 처리부(120A)로부터 송신된 계측 결과에 관해서는, 대응하는 스텝 S102에서 취득된 카운터값(C0')에서 취득된 값이라고 취급한다. 그 때문에, 컨베이어(10)의 이동에 수반하는 워크(W)의 위치 정보(좌표치(X, Y))의 갱신 처리에서는, 카운터값(C0')과 갱신 타이밍에서 취득된 카운터값(C1)과의 차분에 의거하여, 갱신량(△X, △Y)이 산출된다. 그 때문에, 각각의 워크(W)의 위치 정보와 관련지어지는, 촬상 타이밍을 나타내는 카운터값(C0')은 실제의 촬상 타이밍을 정확하게 반영시킬 필요가 있다.

그러나, 도 4(a)에 도시하는 구성에서는, 스텝 S102에서 취득되는 카운터값(C0')은 실제의 촬상 타이밍을 정확하게 반영하지 않는 경우가 있다. 즉, 이하에 나타내는 (1) 및 (2)의 요인에 의해, 로봇 제어 장치(200)가 촬상 지시를 송신하고 나서 실제로 촬상이 행하여질 때까지 지연(타임 래그)이 발생할 가능성이 있기 때문에, 컨베이어(10)의 반송 속도가 높은 경우에는, 취득된 카운터값이 본래의 촬상 타이밍을 나타내는 카운터값으로부터 괴리되기 때문에, 위치 결정 및 트래킹 처리에서 무시할 수가 없는 오차가 될 수 있다.

(1) 로봇 제어 장치(200)가 인코더(14)로부터의 펄스 신호를 일단 받은 다음, 촬상 지시를 발생하기 때문에, 펄스 신호의 입력 타이밍부터 실제로 촬상 지시가 출력될 때까지에, 로봇 제어 장치(200)에서 실행되는 프로그램 1사이클분(分)의 지연이 발생한다.

(2) 로봇 제어 장치(200)와 화상 처리부(120A)와의 사이가 네트워크(예를 들면, 이서넷(등록상표)) 등을 통하여 접속되어 있는 경우에는, 촬상 지시의 전송 지연이 발생한다.

도 6을 참조하여, 보다 구체적인 제어 동작에 관해 설명한다. 도 6에 도시하는 타임 차트에서는, 로봇 제어 장치(200)는, 인코더(14)로부터 3개의 펄스 수가 발생할 때마다, 촬상 지시를 발생하는 것으로 한다. 인코더 카운터(232)가 초기화(카운터 리셋)되어 있는 것이면, 우선, 인코더 카운터(232)의 카운터값이 「3」에 도달하면, 촬상 지시가 화상 처리부(120A)에 출력된다. 단, 로봇 제어 장치(200)의 연산 처리부(210)가, 카운터값이 「3」에 도달하였다고 판단할 수 있는 것은, 카운터값이 실제로 「3」에 도달한 후의 타이밍이기 때문에, 컨베이어(10)의 반송 속도가 상대적으로 큰 경우에는, 다음의 펄스가 이미 입력되어 있을 가능성도 있다. 즉, 도 6에 도시하는 바와 같이, 로봇 제어 장치(200)가 촬상 지시를 출력하는 타이밍에서는, 인코더 카운터(232)의 카운터값이 이미 「4」가 되어 있을 가능성도 있다.

또한, 로봇 제어 장치(200)로부터 화상 처리부(120A)에 네트워크(NW)를 통하여 촬상 지시가 송신되는 경우에는, 그 전송 지연이 발생하고, 또한, 촬상부(110)에서의 촬상 동작 및 화상 처리부(120A)에서의 계측 처리가 직렬적으로 실행되고, 그 후, 재차 네트워크를 통하여 계측 결과가 로봇 제어 장치(200)로 되돌아온다.

이와 같은 일련의 처리를 경유하기 때문에, 예를 들면, 인코더 카운터(232)가 「3」에 도달한 타이밍에서 촬상 지시를 출력하도록 설정하였다고 하여도, 실제로 촬상된 것은, 인코더 카운터(232)가 「5」에 도달한 타이밍이 되어 있을 가능성이 있다.

본 실시의 형태에 관한 시각 센서(100)에서는, 이와 같은 지연(타임 래그)에 의한 위치 결정 처리 및 트래킹 처리에 대한 영향을 극력 없애는 방법을 채용한다.

또한, 상술한 바와 같은 지연에 의한 오차를 경감하기 위해, 카운터값에 대해 일정량의 오프셋으로 보정한다는 대처 방법도 생각되지만, 컨베이어(10)의 이동 속도가 변화할 때마다 당해 오프셋을 변경할 필요가 있기 때문에, 실용적이 아니다.

<E. 본 실시의 형태에서의 동작>

다음에, 본 실시의 형태 1에 관한 컨베이어 트래킹 시스템에 관해 설명한다. 도 4(b)에 도시하는 본 실시의 형태에 관한 컨베이어 트래킹 시스템에서는, 컨베이어(10)의 이동량을 검출하는 인코더(14)로부터의 펄스 신호가 로봇 제어 장치(200)에 더하여, 시각 센서(100)에도 입력된다. 시각 센서(100) 및 로봇 제어 장치(200)는, 각각 인코더 카운터(132 및 232)를 갖고 있다. 인코더 카운터의 각각이 인코더(14)로부터의 펄스 신호에 포함되는 펄스를 서로 독립하여 카운트한다. 단, 이들의 인코더 카운터(132 및 232)는, 동작 전에 모두 카운터 리셋됨과 함께, 카운트 동작에 관한 파라미터가 서로 동일하게 설정된다. 그 때문에, 인코더 카운터(132)에 의해 카운트된 카운터값 및 인코더 카운터(232)에 의해 카운트된 카운터값은, 서로 동기하여 같은 값을 나타내게 된다.

이와 같이, 시각 센서(100)와 로봇 제어 장치(200)와의 사이에서 카운터값을 동기적으로 유지하는 환경을 실현함과 함께, 시각 센서(100)에서 촬상이 행하여진 때의 카운터값이 그 촬상에 의해 얻어진 계측 결과(각각의 워크의 위치 정보)와 함께, 로봇 제어 장치(200)에 송신된다. 이와 같이, 본 실시의 형태에 관한 시각 센서(100)는, 실제의 촬상이 행하여진 타이밍을 나타내는 카운터값을 그 계측 결과와 관련지어서 출력한다. 이에 의해, 로봇 제어 장치(200)에서 실행되는 위치 결정 및 트래킹 시스템 처리를 정확하게 행할 수 있다. 또한, 로봇 제어 장치(200)에서의 중복 배제 처리가 실행된 경우에는, 당해 중복 배제 처리에 대해서도 정확하게 실행할 수 있다.

도 7 내지 도 9를 참조하여, 본 실시의 형태에 관한 트래킹 시스템에서의 제어 동작에 관해 보다 상세히 설명한다.

도 7은, 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서의 제어 동작을 도시하는 시퀀스도이다. 도 8은, 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서 송신되는 계측 결과의 포맷례를 도시하는 도면이다. 도 9는, 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트이다.

도 7에는, 상술한 도 5와 마찬가지로, 컨베이어(10)가 소정 거리만큼 이동할 때마다, 촬상부(110)에 대해 로봇 제어 장치(200)가 시각 센서(100)에 대해 촬상 지시를 주는 경우의 처리를 나타낸다.

도 7을 참조하면, 우선, 시각 센서(100) 및 로봇 제어 장치(200)의 어느 것에 대해서도, 서로 동일한 파라미터(카운터 최대치, 카운터 최소치, 1펄스에 대한 증가치 등)가 설정된다(스텝 S1 및 S2). 그리고, 시각 센서(100) 및 로봇 제어 장치(200)의 어느 것에 대해서도, 각각의 인코더 카운터에 대한 리셋(카운터 리셋)이 실행된다(스텝 S3 및 S4). 이와 같은 인코더 카운터에 대한 공통 파라미터의 설정 및 카운터 리셋이 실행되어, 시각 센서(100) 및 로봇 제어 장치(200)의 사이에서, 인코더(14)로부터의 펄스 신호에 포함되는 펄스의 수에 관한 카운트 동작을 동기시킬 수 있다.

계속해서, 로봇 제어 장치(200)의 연산 처리부(210)는, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수가 전회 촬상한 때의 값부터 소정치 이상 증가하였는지의 여부를 판단한다(스텝 S5). 즉, 인코더 카운터(232)에서의 현재의 카운터값이 촬상 타이밍에 상당하는 거리 이상 증가하였는지의 여부가 판단된다.

인코더(14)로부터의 펄스 신호에 포함되는 펄스 수가 소정치 이상에 도달하면, 로봇 제어 장치(200)의 연산 처리부(210)는, 시각 센서(100)에 대해, 촬상 지시를 송신한다(스텝 S6). 이 촬상 지시는, 네트워크(NW)를 통하여, 시각 센서(100)에 전송된다. 시각 센서(100)의 화상 처리부(120)는, 로봇 제어 장치(200)로부터의 촬상 지시에 응답하여, 시각 센서(100)의 화상 처리부(120)는, 인코더 카운터(132)를 참조하여, 촬상시의 카운터값(C0)을 취득한다(스텝 S7).

계속해서, 시각 센서(100)의 화상 처리부(120)는, 촬상부(110)에 촬상을 실행시킨다(스텝 S8). 촬상부(110)가 촬상하여 얻어진 화상은, 화상 처리부(120)에 전송된다. 화상 처리부(120)는, 촬상부(110)로부터의 화상에 대해 계측 처리를 실행한다(스텝 S9). 또한, 화상 처리부(120)는, 스텝 S9에서 계측 처리에 의해 얻어진 계측 결과(각각의 워크의 위치 정보(X, Y, θ))를, 스텝 S7에서 취득한 카운터값(C0)과 함께, 로봇 제어 장치(200)에 송신한다(스텝 S10).

로봇 제어 장치(200)는, 화상 처리부(120)로부터의 계측 결과에 의거하여, 중복 배제 처리를 실행한다(스텝 S11). 이 중복 배제 처리는, 상술한 것과 마찬가지의 처리이다.

로봇 제어 장치(200)의 연산 처리부(210)는, 새로운 워크(W)에 대한 위치 정보가 취득되었는지의 여부를 판단하고(스텝 S12), 새로운 워크(W)에 대한 위치 정보가 취득된 경우(스텝 S12에서 YES인 경우)에는, 메모리에 당해 새로운 위치 정보를 격납한다(스텝 S13). 그리고, 처리는 리턴한다.

도 7의 시퀀스도의 스텝 S10에서 송신된 계측 결과는, 도 8에 도시하는 바와 같은 포맷에 따라 송신된다. 도 8에는, 한 예로서, 모델 화상과 일치한 워크(W)가 3개 검출된 경우의 데이터례를 나타낸다.

즉, 제1번째의 아이템에는, 검출된 워크(W)의 수인 「3」이 격납되고, 계속된 제2번째부터 제10번째의 아이템에는, 검출된 3개의 워크(W)에 대한 위치 정보(X좌표치, Y좌표치, 회전 각도(θ))가 격납된다. 또한, 최후의 아이템에는, 당해 검출 결과를 생성하기 위해 사용된 화상이 촬상된 타이밍을 나타내는 카운터값이 격납된다. 도 8에 도시하는 예에서는, 카운터값이 「100」인 때에 촬상이 행하여진 예를 나타낸다.

또한, 도 8에 도시하는 포맷은, 검출 수에 응하여 확장되는 것은 용이하게 이해될 것이다. 또한, 미리 정하여진 모델 화상에 일치하는 워크(W)가 검출되지 않은 경우에는, 검출 결과로서 「null」을 송신하여도 좋다.

도 9를 참조하여, 본 실시의 형태에 관한 컨베이어 트래킹 시스템에서의 보다 구체적인 제어 동작에 관해 설명한다. 도 9에 도시하는 타임 차트에서는, 로봇 제어 장치(200)는, 인코더(14)로부터 3개의 펄스 수가 발생할 때마다, 촬상 지시를 발생하는 것으로 한다.

상술한 바와 같이, 시각 센서(100) 및 로봇 제어 장치(200)의 어느 것에 대해서도, 인코더 카운터에 관해 공통 파라미터가 설정되고, 또한, 어느 인코더 카운터도 미리 초기화(카운터 리셋)되기 때문에, 인코더(14)로부터 발생하는 펄스 신호에 응답하여, 각각의 인코더 카운터는 실질적으로 동기하여 카운트업하게 된다.

처리 시작 후, 우선, 인코더 카운터(232)의 카운터값이 「3」에 도달하면, 시각 센서(100)에 촬상 지시가 출력된다. 도 6에 도시하는 타임 차트와 마찬가지로, 로봇 제어 장치(200)가 촬상 지시를 출력하는 타이밍에서는, 인코더 카운터(232)의 카운터값이 이미 「4」로 되어 있을 가능성도 있다. 또한, 로봇 제어 장치(200)로부터 시각 센서(100)에 네트워크(NW)를 통하여 촬상 지시가 송신되는 경우에는, 그 전송 지연이 발생한다.

한편, 시각 센서(100)에게서 보면, 어느 한 타이밍에서 촬상 지시를 받으면, 촬상부(110)를 이용한 촬상 동작 및 화상 처리부(120A)에서의 계측 처리를 실행한다. 이 촬상 및 계측 처리와 병행하여, 시각 센서(100)에서는 촬상시의 카운터값이 취득된다. 그리고, 시각 센서(100)는, 이 촬상시의 카운터값과 함께, 계측 결과를 로봇 제어 장치(200)에 송신한다.

이후 마찬가지로 하여, 로봇 제어 장치(200)로부터 시각 센서(100)에 촬상 지시가 출력되고, 시각 센서(100)에서는, 이 촬상 지시에 응답하여, 촬상 및 계측 처리가 실행된다.

상술한 바와 같이, 시각 센서(100)에서의 촬상 타이밍을 나타내는 카운터값이 부가되어 계측 결과가 송신되기 때문에, 로봇 제어 장치(200)에서는, 각 계측치에 대응하는 카운터값에 의거하여 정확한 트래킹 처리를 행할 수가 있다.

즉, 본 실시의 형태에 관한 컨베이어 트래킹 시스템에서는, 로봇 제어 장치(200)가 촬상 지시를 송신하는 타이밍을 엄밀하게 제어할 필요는 없고(환언하면, 컨베이어의 반송 속도에 응한 주기로 촬상 지시가 송신되면 충분하다), 또한, 시각 센서(100)로부터 로봇 제어 장치(200)에의 계측 결과의 송신 지연은 문제가 되지 않는다.

<F. 촬상시 카운터값의 결정 방법의 변형례>

상술한 도 9에 도시하는 타임 차트에서는, 시각 센서(100)의 촬상 동작 전에 카운터값을 취득하는 예를 나타냈지만, 촬상 동작은, 인코더(14)가 펄스 신호를 발생하는 타이밍과는 독립하여 행하여지기 때문에, 촬상 동작 중에 카운터값이 갱신되는 경우도 있다. 특히, 반송 속도가 높은 벨트 컨베이어라면, 그 가능성은 보다 높아진다.

또한, 촬상 환경에 따라서는, 인코더(14)가 펄스 신호를 발생하는 주기보다도 긴 기간을 촬상에 필요로 하는 경우도 생각된다.

이와 같은 경우에는, 촬상 동작 중(시작 전 및 종료 후도 포함한다)의 복수의 타이밍에서 각각 카운터값을 취득하고, 취득한 복수의 카운터값에 의거하여, 촬상 타이밍을 나타내는 카운터값으로서 결정하여도 좋다.

도 10은, 본 발명의 실시의 형태 1의 변형례에 관한 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트이다. 도 10에 도시하는 타임 차트에서는, 한 예로서, 촬상 동작의 전후에서 각각 카운터값을 취득하고, 당해 취득한 2개의 카운터값을 평균함으로써, 촬상 동작에서의 카운터값으로서 취급한다.

이와 같은 처리를 채용함으로써, 촬상 동작에 필요로 하는 시간이 펄스 신호의 발생 주기보다도 긴 경우라도, 촬상 타이밍을 나타내는 카운터값을 정확하게 취득할 수 있다.

<G. 촬상 지시 발생의 변형례>

상술한 바와 같이, 본 실시의 형태에 관한 컨베이어 트래킹 시스템에서는, 로봇 제어 장치(200)가 촬상 지시를 송신하는 타이밍을 엄밀하게 제어할 필요는 없다. 그 때문에, 로봇 제어 장치(200)가 촬상 지시를 발생하는 형태에 대신하여, 시각 센서(100) 자신이 내부적으로 촬상 지시를 발생하여도 좋다.

도 11은, 본 발명의 실시의 형태 1의 다른 변형례에 관한 트래킹 시스템에서의 제어 동작을 도시하는 타임 차트이다. 도 11에 도시하는 예에서는, 시각 센서(100)가 자신의 인코더 카운터(132)의 카운터값을 참조하여, 인코더(14)로부터 3개의 펄스 수가 발생할 때마다, 내부적으로 촬상 지시를 발생한다.

로봇 제어 장치(200)에서 보면, 촬상 동작이 행하여진 타이밍을 나타내는 카운터값을 취득할 수 있기 때문에, 이와 같은 구성을 채용하였다고 하여도, 워크의 위치 결정 및 트래킹 처리에 관해서는, 전혀 문제 없이 실현할 수 있다. 또한, 네트워크(NW)상을 촬상 지시가 전송되지 않기 때문에, 네트워크(NW)상의 부하를 경감할 수 있는 이점이 있다.

<H. 로봇 제어 장치에서의 처리>

다음에, 로봇 제어 장치(200)에서의 처리에 관해 설명한다.

도 12는, 본 발명의 실시의 형태 1에 관한 로봇 제어 장치(200)에서의 처리를 도시하는 플로 차트이다. 도 12(a) 내지 도 12(d)에는, 로봇 제어 장치(200)에서 실행되는 주요한 처리를 예시하지만, 로봇 제어 장치(200)에서의 처리는 도 12에 도시하는 것으로 한정되지 않는다.

도 12(a)는, 인코더(14)가 펄스 신호를 발생한 경우에 생기는 처리를 도시한다. 보다 구체적으로는, 도 12(a)의 처리는, 인코더(14)가 펄스 신호를 발생하고, 인코더 카운터(232)가 카운트업하는(스텝 S50) 것을 이벤트로 하여 기동된다. 인코더 카운터(232)가 카운트업하면, 로봇 제어 장치(200)의 메모리에 격납되어 있는 각각의 워크의 위치 정보가 갱신된다(스텝 S51). 이 위치 정보의 갱신 방법에 관해서는, 이하와 같다.

도 2에 도시하는 바와 같이, 워크가 X방향으로 반송되고, 로봇(300)의 트래킹 범위의 우단(右端)을 X방향의 원점으로 한다. 이 때, 인코더(14)의 1펄스당의 컨베이어의 이동량(이동 벡터)을 (△Mx, △My)로 하면, 갱신 전의 위치 정보가 (X0, Y0, θ0)인 워크(W)의 위치 정보는, n개의 펄스가 입력하였다고 하면, 갱신 후의 위치 정보는, (X0-△Mx×n, Y0-△My×n, θ0)이 된다. 즉, 1펄스당의 컨베이어상의 단위 이동량에 펄스의 수를 곱하여 얻어진 값이 워크(W)의 이동량(△Mx×n, My×n)이 된다. 그리고, 워크(W)가 원점 방향으로 이동하고 있다고 하면, 이 이동량(이동 벡터)의 분만큼 워크의 위치 정보가 갱신된다.

그리고, 인코더 카운터(232)가 새롭게 카운트업할 때까지 대기한다.

도 12(b)에서도, 인코더(14)가 펄스 신호를 발생한 경우에 생기는 처리를 나타낸다. 보다 구체적으로는, 도 12(b)의 처리는, 인코더(14)가 펄스 신호를 발생하고, 인코더 카운터(232)가 카운트업하는(스텝 S50) 것을 이벤트로 하여 기동된다. 인코더 카운터(232)가 카운트업하면, 촬상 지시의 발생 조건이 성립하는지의 여부가 판단된다. 예를 들면, 상술한 예에서는, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 수가 전회 촬상한 때의 값부터 소정치 이상 증가하였는지의 여부가 판단된다. 그리고, 촬상 지시의 발생 조건이 성립한 경우(스텝 S50에서 YES인 경우)에는, 로봇 제어 장치(200)로부터 시각 센서(100)에 촬상 지시가 송신된다.

도 12(c)는, 로봇(300)에 의한 파지 동작에 관해 설명하는 것이다. 도 12(c)의 플로는, 워크의 위치 정보가 갱신된(스텝 S60) 것을 이벤트로 하여 기동된다. 보다 구체적으로는, 워크의 위치 정보가 갱신되면, 로봇(300)의 트래킹 범위 내에 어느 하나의 워크(W)가 존재하고 있는지의 여부가 판단된다(스텝 S61). 로봇(300)의 트래킹 범위 내에 어느 하나의 워크(W)가 존재하고 있는 경우(스텝 S61에서 YES인 경우)에는, 로봇(300)에 의한 워크(W)의 파지 동작의 제어가 시작된다. 구체적으로는, 트래킹 범위 내에 있는 파지 대상 워크의 위치 정보의 취득(스텝 S62), 파지 대상 워크와 로봇(300)과의 편차의 산출(스텝 S63), 스텝 S63에서 산출된 편차에 의거하여, 로봇(300) 및 이동 기구(400)에 관한 지시의 생성(스텝 S64), 및, 워크(W)의 위치 정보의 갱신(스텝 S65)이 반복된다. 그리고, 로봇(300)이 워크(W)를 파지할 수 있는 위치까지 이동하면, 로봇 제어 장치(200)는, 로봇(300)에 대해 파지 동작의 지시를 출력한다(스텝 S66). 계속해서, 파지 상태의 로봇(300)에 대해, 파지하고 있는 워크(W)를 목적하는 위치까지 이동시키기 위한, 이동 동작의 지시를 로봇(300)에 대해 출력한다(스텝 S67). 그리고 처리는, 리턴한다.

도 12(d)는, 다른 위치 정보를 받는 것을 이벤트로 하여 기동된다. 보다 구체적으로는, 현재의 위치 정보가 산출되고(스텝 S69), 또한, 중복 배제 처리가 실행된다(스텝 S70). 그 후, 위치 정보가 메모리에 격납된다(스텝 S71).

스텝 S69에 나타내는 워크(W)의 현재의 위치 정보의 산출 방법에 관해서는, 촬상시의 카운터값과 각 시점의 카운터값과의 차분을 산출하고, 이 차분에 1펄스당의 컨베이어상의 단위 이동량을 곱하여 얻어진 값이 보정량이 된다. 이 보정량을 계측 결과(시각 센서(100)로부터 수신한 워크의 위치 정보)에 적용함으로서, 현재의 위치 정보가 산출된다.

도 13은, 본 발명의 실시의 형태 1에 관한 트래킹 시스템에서의 전체의 제어 동작을 도시하는 타임 차트이다. 도 13을 참조하면, 예를 들면, 로봇 제어 장치(200)의 인코더 카운터(232)의 카운터값이 「7」이 된 타이밍에서, 촬상 지시가 생성되었다고 한다. 이 촬상 지시는, 시각 센서(100)에 송출되어, 촬상 및 계측 처리가 실행된다. 그리고, 시각 센서(100)의 인코더 카운터(132)의 촬상시의 카운터값인 「9」와 함께, 그 계측 결과가 로봇 제어 장치(200)에 송신된다.

로봇 제어 장치(200)는, 시각 센서(100)로부터 계측 결과를 수신하면, 중복 배제 처리 등의 후, 관련지어져 있는 (촬상시의) 카운터값(이 예에서는 「9」)과, 현재의 카운터값(이 예에서는 「12」)을 비교하여, 그 차분인 카운터값「13」만큼 계측 결과가 보정된다(좌표 계산). 또한, 로봇 제어 장치(200)는, 인코더 카운터(232)가 카운트업할 때마다, 격납하고 있는 위치 정보(각각의 워크의 좌표 위치)를 갱신한다(좌표 갱신).

그 후, 대상의 워크(W)가 로봇(300)의 트래킹 범위에 들어가면, 로봇 제어 장치(200)는, 로봇(300)에 대해 파지 동작을 지시한다. 로봇(300)에 의한 파지 동작이 완료되면, 로봇 제어 장치(200)에 격납되어 있는 워크의 위치 정보는 삭제된다.

이상과 같은 처리 순서에 의해, 본 실시의 형태에 관한 컨베이어 트래킹이 실현된다.

<I. 이점>

본 실시의 형태에 의하면, 시각 센서(100)(화상 처리부(120))가 인코더(14)로부터의 펄스 신호의 입력을 직접적으로 받기 때문에, 촬상 동작 및 당해 촬상 동작에 의해 얻어진 화상에 대한 계측 처리가, 로봇 제어 장치(200)의 프로그램 실행 사이클에 영향받지 않는다.

또한, 로봇 제어 장치(200)로부터의 촬상 지시가 어떤 타이밍에서 발행되어도, 시각 센서(100)(촬상부(110))에서의 촬상시의 카운터값을 정확하게 취득할 수 있다. 이에 의해, 촬상 지시와 실제의 촬상 동작과의 사이에 무시할 수 없는 지연시간이 생긴다고 하여도, 정확한 트래킹 처리 및 로봇(300)의 정확한 제어가 가능해진다.

또한, 컨베이어의 속도가 변화한 경우에도, 촬상시의 카운터값을 정확하게 취득할 수 있기 때문에, 카운터 동작에 관한 파라미터를 컨베이어 속도에 의존하여 조정할 필요가 없다.

[실시의 형태 2]

상술한 실시의 형태 1에서는, 시각 센서(100) 및 로봇 제어 장치(200)의 어느 것에도 인코더(14)로부터의 펄스 신호가 입력되고, 각각의 주체가 동일한 파라미터로 설정된 인코더 카운터(132 및 232)에서 당해 펄스 신호에 포함되는 펄스의 수를 카운트함으로써, 컨베이어의 이동량(카운터값)을 동기하여 유지한다. 이것에 대해, 실시의 형태 2에서는, 네트워크를 통하여, 컨베이어의 이동량(카운터값)을 동기하여 유지하는 구성에 관해 예시한다.

도 14는, 본 발명의 실시의 형태 2에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템에서의 위치 결정 및 트래킹 처리를 설명하기 위한 도면이다. 도 14를 참조하면, 실시의 형태 2에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템은, 인코더(14)로부터의 펄스 신호가 시각 센서(100#)에만 입력되고 있고, 또한, 시각 센서(100#)와 로봇 제어 장치(200#)와의 사이에 필드 네트워크(FN)가 마련되어 있는 점에서, 도 2에 도시하는 실시의 형태 1에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템과는 다르다. 그 밖의 구성에 관해서는, 실시의 형태 1과 마찬가지이기 때문에, 이하에서는, 주로 상위점에 관해서만 설명한다.

도 15는, 본 발명의 실시의 형태 2에 관한 시각 센서를 이용한 컨베이어 트래킹 시스템의 하드웨어 구성에 관해 도시하는 모식도이다. 도 15를 참조하면, 실시의 형태 2에 관한 시각 센서(100#)를 구성하는 화상 처리부(120#)는, 도 3에 도시하는 화상 처리부(120)에 비교하여, 필드 네트워크 인터페이스(I/F)(160)를 또한 구비하고 있다. 또한, 실시의 형태 2에 관한 로봇 제어 장치(200#)는, 도 3에 도시하는 로봇 제어 장치(200)에 비교하여, 인코더 카운터(232) 및 입출력 인터페이스(I/F)(230)에 대신하여, 필드 네트워크 인터페이스(I/F)(260)가 마련되어 있다. 그 밖의 구성에 관해서는, 실시의 형태 1과 마찬가지이기 때문에, 이하에서는, 주로 상위점에 관해서만 설명한다.

시각 센서(100#)를 구성하는 화상 처리부(120#)와 로봇 제어 장치(200#)와의 사이에서는, 필드 네트워크(FN)를 통하여, 화상 처리부(120#) 내의 인코더 카운터(132)에서 카운트된 카운터값이 공유된다.

필드 네트워크(FN)로서는, 전형적으로는, 각종의 산업용 이서넷(등록상표)을 이용할 수 있다. 산업용 이서넷(등록상표)으로서는, 예를 들면, EtherCAT(등록상표), Profinet IRT, MECHATROLINK(등록상표)-Ⅲ, Powerlink, SERCOS(등록상표)-Ⅲ, CIP Motion 등이 알려져 있고, 이 중의 어느 것을 채용하여도 좋다. 또한, 산업용 이서넷(등록상표) 이외의 필드 네트워크를 이용하여도 좋다. 예를 들면, 모션 제어를 행하지 않는 경우라면, DeviceNet, CompoNet/IP(등록상표) 등을 이용하여도 좋다. 본 실시의 형태에서는, 전형적으로, 산업용 이서넷(등록상표)인 EtherCAT(등록상표)를 필드 네트워크(FN)로서 채용한다.

일반적인 필드 네트워크에서는, 송수신에 관한 지연시간이 일정하게 되도록 구성되어 있고, 이 지연시간은 수㎱ 정도로 억제할 수 있다. 그 때문에, 상술한 바와 같은, 로봇 제어 장치(200)가 촬상 지시를 송신하고 나서 실제로 촬상이 행하여질 때까지의 지연(타임 래그)에 비하면 충분히 작고, 시각 센서(100#)와 로봇 제어 장치(200#)와의 사이에서, 카운트 값을 실질적으로 동기하여 유지하고 있다고 간주할 수 있다.

그 때문에, 실시의 형태 1에서 설명한 바와 같은 공통의 파라미터가 설정된 인코더 카운터를 각각 마련할 필요가 없고, 보다 간소한 구성으로, 2개의 장치사이에서 카운터값을 동기하여 유지할 수 있다. 즉, 시각 센서(100)와 로봇 제어 장치(200)와의 사이에서 컨베이어(10)의 반송 경로에서의 이동량을 동기하여 유지하는 수단으로서는, 시각 센서(100)(또는, 로봇 제어 장치(200))에 마련된 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 카운터와, 당해 카운터에 의한 카운터값을 장치 사이에서 실질적으로 동기하여 공유하는 필드 네트워크(FN)에 의해 실현된다.

또한, 필드 네트워크(FN) 내의 지연시간의 크기가 무시할 수 없는 경우라도, 필드 네트워크(FN)에서의 지연시간은 일정치로 제어되기 때문에, 이하와 같은 방법에 의해, 카운터값을 동기하여 유지할 수 있다.

도 16은, 본 발명의 실시의 형태 2에 관한 필드 네트워크(FN)에서의 지연시간의 영향을 설명하기 위한 도면이다. 도 16을 참조하면, 예를 들면, 시각 센서(100#)에서 갱신되는 카운터값이 지연시간(△D)만큼 지연되고, 로봇 제어 장치(200#)에 전해진다고 한다. 이 지연시간(△D)은 기본적으로는 일정(예상 가능)하기 때문에, 이 지연시간(△D)을 고려하여 제어 타이밍 등을 비켜 놓는 대처가 생각된다.

예를 들면, 시각 센서(100#)가 카운터값에 의거하여 시작하는 제어 동작의 시작 타이밍을 지연시간(△D)만큼 지연시키면, 로봇 제어 장치(200#)와의 사이의 지연시간(△D)을 실질적으로 상쇄할 수 있다.

또는, 지연시간(△D)이 카운터값의 갱신 주기보다 긴 경우에는, 인코더(14)로부터의 펄스 신호에 포함되는 펄스 주기에 지연시간(△D)을 곱하여 얻어지는 보정량(카운터 보정치)을 카운터값에 더하여, 제어에 이용하도록 하여도 좋다.

또한, 상술한 실시의 형태 2에서는, 시각 센서(100#)가 필드 네트워크(FN)의 호스트가 되고, 로봇 제어 장치(200#)가 필드 네트워크(FN)의 슬레이브로서 구성된 예를 나타냈지만, 호스트와 슬레이브와의 관계는 반대라도 좋다. 이 경우에는, 로봇 제어 장치(200#)측에만 인코더(14)로부터의 펄스 신호가 입력함과 함께, 로봇 제어 장치(200#) 내에 인코더 카운터가 마련된다.

[실시의 형태 3]

다음에, 시각 센서(100) 및 로봇 제어 장치(200)와 네트워크(NW)를 통하여 접속되는 서포트 장치(600)에 관해 설명한다.

도 17은, 본 발명의 실시의 형태 3에 관한 서포트 장치(600)의 하드웨어 구성을 도시하는 모식도이다. 서포트 장치(600)는, 전형적으로는, 범용의 컴퓨터로 구성된다. 또한, 메인터넌스성의 관점에서는, 가반성에 우수한 노트형의 퍼스널 컴퓨터가 바람직하다.

도 17을 참조하면, 서포트 장치(600)는, OS를 포함하는 각종 프로그램을 실행하는 CPU(61)와, BIOS나 각종 데이터를 격납한 ROM(Read Only Memory)(62)과, CPU(61)에서의 프로그램의 실행에 필요한 데이터를 격납하기 위한 작업 영역을 제공하는 메모리 RAM(63)과, CPU(61)에서 실행되는 프로그램 등을 불휘발적으로 격납하는 하드 디스크(HDD)(64)를 포함한다.

서포트 장치(600)는, 또한, 유저로부터의 조작을 접수하는 키보드(65) 및 마우스(66)와, 정보를 유저에게 제시하기 위한 모니터(67)를 포함한다.

후술하는 바와 같이, 서포트 장치(600)에서 실행되는 각종 프로그램은, CD-ROM(69)에 격납되어 유통된다. 이 CD-ROM(69)에 격납된 프로그램은, CD-ROM(Compact Disk-Read Only Memory) 드라이브(68)에 의해 판독되어, 하드 디스크(HDD)(64) 등에 격납된다. 또는, 상위의 호스트 컴퓨터 등으로부터 네트워크를 통하여 프로그램을 다운로드하도록 구성하여도 좋다.

상술한 바와 같이, 서포트 장치(600)는, 범용적인 컴퓨터를 이용하여 실현되기 때문에, 이 이상의 상세한 설명은 행하지 않는다.

이와 같은 서포트 장치(600)는, 시각 센서(100) 및 로봇 제어 장치(200)의 어느 것과도 데이터 통신 가능하기 때문에, 각종의 데이터를 수집할 수 있다. 그래서, 본 실시의 형태에 관한 서포트 장치(600)는, 조정시에 있어서 계측 처리의 대상이 된 화상을 시각 센서(100)로부터 수집하도록 구성된다.

이 시각 센서(100)로부터 계측 처리의 대상이 된 화상을 수집하는 경우에, 대응하는, 카운터값 및 계측치(좌표 정보 및 각도 등)와 각 화상을 관련지어서 보존한다. 이들의 정보는, 네트워크(NW)를 통하여, 시각 센서(100)로부터 서포트 장치(600)에 송신된다. 그리고, 서포트 장치(600)의 하드 디스크(64) 등에 격납된다.

특히, 대응하는 카운터값을 키로 하여, 화상 및 계측 결과를 관련지어서 보존함으로써, 소망하는 타이밍에 대응하는 카운터값을 이용하여, 필요한 화상 및 계측 결과를 용이하게 검색할 수 있다.

이와 같은 화상 및 계측 결과의 데이터베이스를 준비함으로써, 이하와 같은 기능을 제공할 수 있다. 즉, 로봇(300)에서, 로봇 동작(위치 결정 및 트래킹 처리)을 카운터값과 관련지어서 기록하여 둠으로써, 로봇 동작과 대응하는 화상 처리를 관련지을 수 있다. 이에 의해, 예를 들면, 파지 동작이 실패한 경우 등에, 그 실패한 원인을 추구하기 위해, 파지 대상이였던 워크의 화상 및 계측 결과를 서포트 장치(600)상에서 재현할 수 있다. 그 때문에, 부적합 원인을 보다 용이하게 해석할 수 있다.

금회 개시된 실시의 형태는 모든 점에서 예시이고 제한적인 것이 아니라고 생각되어야 할 것이다. 본 발명의 범위는, 상기한 설명이 아니라, 청구의 범위에 의해 나타나고, 청구의 범위와 균등한 의미 및 범위 내에서의 모든 변경이 포함되는 것이 의도된다.

10 : 컨베이어
12 : 구동 롤러
14 : 인코더
30 : 반출 장치
61, 122 : CPU
63 : RAM
64 : 하드 디스크
65 : 키보드
66 : 마우스
67 : 모니터
68 : 드라이브
69 : CD-ROM
100 : 시각 센서
110 : 촬상부
120, 120A : 화상 처리부
124, 220 : 메모리
126 : 촬상 제어부
128, 228 : 통신 인터페이스
130, 230 : 입출력 인터페이스
132, 232 : 인코더 카운터
134 : 버스
200 : 로봇 제어 장치
210 : 연산 처리부
240 : 피킹 제어부
250 : 이동 제어부
300 : 로봇
400 : 이동 기구
500 : 조작 표시 장치
600 : 서포트 장치
2100 : 티칭 펜던트
FN : 필드 네트워크
NW : 네트워크
W : 워크

Claims (10)

1. 반송 장치상을 반송되는 워크를 촬상하도록 배치된 촬상부에 접속되는 화상 처리 장치로서,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호를 접수하는 인터페이스와,
   상기 반송 경로에서 상기 촬상부의 촬상 범위보다 상기 워크의 반송 방향의 측에 배치됨과 함께 상기 워크를 취급하는 이동 기계를 제어하기 위한 제어 장치와 통신하기 위한 인터페이스와,
   상기 촬상부의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득하는 수단과,
   상기 제어 장치와의 사이에서 상기 반송 경로에서의 이동량을 동기하여 유지하는 수단과,
   촬상 지시에 응답하여 상기 촬상부에 의한 촬상을 시작하는 수단과,
   상기 위치 정보와 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량을 상기 제어 장치에 송신하는 수단을 구비하고,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호는 펄스 신호이며,
   상기 펄스 신호는, 상기 화상 처리 장치 및 상기 제어 장치에 입력되도록 구성되어 있고,
   상기 동기하여 유지하는 수단은, 상기 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 제1의 카운터를 포함하고,
   상기 제1의 카운터는, 상기 제어 장치가 상기 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 제2의 카운터와의 사이에서, 카운트에 관해 동일한 파라미터가 설정되어 있는 것을 특징으로 하는 화상 처리 장치.
2. 제 1항에 있어서,
   상기 제1의 카운터는, 상기 펄스 신호에 포함되는 펄스 수의 카운트 시작 전에, 상기 제2의 카운터와 함께, 리셋되는 것을 특징으로 하는 화상 처리 장치.
3. 반송 장치상을 반송되는 워크를 촬상하도록 배치된 촬상부에 접속되는 화상 처리 장치로서,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호를 접수하는 인터페이스와,
   상기 반송 경로에서 상기 촬상부의 촬상 범위보다 상기 워크의 반송 방향의측에 배치됨과 함께 상기 워크를 취급하는 이동 기계를 제어하기 위한 제어 장치와 통신하기 위한 인터페이스와,
   상기 촬상부의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득하는 수단과,
   상기 제어 장치와의 사이에서 상기 반송 경로에서의 이동량을 동기하여 유지하는 수단과,
   촬상 지시에 응답하여 상기 촬상부에 의한 촬상을 시작하는 수단과,
   상기 위치 정보와 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량을 상기 제어 장치에 송신하는 수단을 구비하고,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호는 펄스 신호이며,
   상기 펄스 신호는, 상기 화상 처리 장치에 입력되도록 구성되어 있고,
   상기 동기하여 유지하는 수단은, 상기 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 카운터를 포함하고,
   상기 제어 장치에 송신하는 수단은, 송수신에 관한 지연시간이 일정하게 되도록 구성되어 있는 것을 특징으로 하는 화상 처리 장치.
4. 제 1항 또는 제 3항에 있어서,
   상기 위치 정보는 상기 화상중의 미리 등록된 워크에 대응하는 영역을 상기 이동 기계의 좌표계로 나타낸 좌표치를 포함하는 것을 특징으로 하는 화상 처리 장치.
5. 제 4항에 있어서,
   상기 위치 정보는, 미리 등록된 워크의 자세를 기준으로 한, 상기 화상중의 당해 워크에 대응하는 영역의 회전 각도를 또한 포함하는 것을 특징으로 하는 화상 처리 장치.
6. 제 1항 또는 제 3항에 있어서,
   상기 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량은, 카운터에 의한 카운터값으로 나타나는 것을 특징으로 하는 화상 처리 장치.
7. 제 1항 또는 제 3항에 있어서,
   상기 화상 처리 장치는, 상기 촬상 지시를 상기 제어 장치로부터 수신하도록 구성되어 있는 것을 특징으로 하는 화상 처리 장치.
8. 반송 장치상을 반송되는 워크를 촬상하도록 배치된 촬상부와,
   상기 반송 장치의 반송 경로에서 상기 촬상부의 촬상 범위보다 상기 워크의 반송 방향의 측에 배치됨과 함께 상기 워크를 취급하는 이동 기계를 제어하기 위한 제어 장치와,
   상기 촬상부 및 상기 제어 장치에 접속되는 화상 처리 장치를 구비하고,
   상기 화상 처리 장치는,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호를 접수하는 인터페이스와,
   상기 촬상부의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득하는 수단과,
   상기 제어 장치와의 사이에서 상기 반송 경로에서의 이동량을 동기하여 유지하는 수단과,
   촬상 지시에 응답하여 상기 촬상부에 의한 촬상을 시작하는 수단과,
   상기 위치 정보와 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량을 상기 제어 장치에 송신하는 수단을 구비하고,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호는 펄스 신호이며,
   상기 펄스 신호는, 상기 화상 처리 장치 및 상기 제어 장치에 입력되도록 구성되어 있고,
   상기 동기하여 유지하는 수단은, 상기 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 제1의 카운터를 포함하고,
   상기 제1의 카운터는, 상기 제어 장치가 상기 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 제2의 카운터와의 사이에서, 카운트에 관해 동일한 파라미터가 설정되어 있는 것을 특징으로 하는 화상 처리 시스템.
9. 반송 장치상을 반송되는 워크를 촬상하도록 배치된 촬상부와,
   상기 반송 장치의 반송 경로에서 상기 촬상부의 촬상 범위보다 상기 워크의 반송 방향의 측에 배치됨과 함께 상기 워크를 취급하는 이동 기계를 제어하기 위한 제어 장치와,
   상기 촬상부 및 상기 제어 장치에 접속되는 화상 처리 장치를 구비하고,
   상기 화상 처리 장치는,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호를 접수하는 인터페이스와,
   상기 촬상부의 촬상에 의해 얻어진 화상에 대해 계측 처리를 행함으로써, 화상중의 미리 등록된 워크에 대응하는 영역의 위치 정보를 취득하는 수단과,
   상기 제어 장치와의 사이에서 상기 반송 경로에서의 이동량을 동기하여 유지하는 수단과,
   촬상 지시에 응답하여 상기 촬상부에 의한 촬상을 시작하는 수단과,
   상기 위치 정보와 당해 위치 정보의 취득에 이용한 화상을 촬상한 때의 이동량을 상기 제어 장치에 송신하는 수단을 구비하고,
   상기 반송 장치의 반송 경로에서의 이동량을 나타내는 신호는 펄스 신호이며,
   상기 펄스 신호는, 상기 화상 처리 장치에 입력되도록 구성되어 있고,
   상기 동기하여 유지하는 수단은, 상기 펄스 신호에 포함되는 펄스 수를 카운트하기 위한 카운터를 포함하고,
   상기 제어 장치에 송신하는 수단은, 송수신에 관한 지연시간이 일정하게 되도록 구성되어 있는 것을 특징으로 화상 처리 시스템.
10. 삭제

Images