KR20180038480A

KR20180038480A - 원격 조작 로봇 시스템

Info

Publication number: KR20180038480A
Application number: KR1020187006316A
Authority: KR
Inventors: 야스히코 하시모토; 마사유키 카몬
Original assignee: 카와사키 주코교 카부시키 카이샤
Priority date: 2015-08-25
Filing date: 2016-05-27
Publication date: 2018-04-16
Also published as: US10932874B2; EP3342555A1; WO2017033378A1; WO2017033365A1; TW201710043A; EP3342549A4; US20180257240A1; KR102018242B1; JP2021053802A; JPWO2017033359A1; US10806534B2; TW201707885A; TW201714102A; US20180243910A1; TW201713473A; EP3342552A4; WO2017033351A1; WO2017033356A1; US10631942B2; EP3342549A1

Abstract

소정의 작업을 수행하는 로봇 암과, 조작자가 로봇 암의 동작을 원격으로 조작하기 위한 원격 조작 장치와, 로봇 암의 작업을 촬영하는 복수의 카메라와, 전송된 촬영화상이 표시된 모니터와, 조작자로부터 복수의 카메라 중 하나의 카메라의 선택을 접수함으로써, 모니터에 표시된 촬영화상을 선택된 카메라로부터의 촬영화상으로 전환하기 위한 카메라 선택정보를 생성하는 카메라 선택 장치와, 작업에 있어서의 로봇 암의 동작에 관한 동작 정보와, 카메라 선택정보를 관련 짓는 정보를 자동전환 정보로써 기억하는 기억장치와, 복수의 카메라 중에서 기억장치에 기억된 자동전환 정보에 기초하여 선택된 카메라로부터의 촬영화상을 모니터로 전송하는 화상 처리부를 구비한다.

Description

원격 조작 로봇 시스템

본 발명은 원격 조작 로봇 시스템에 관한 것이다.

종래부터 부품의 조립 작업 등의 반복 작업에는 산업용 로봇이 이용되고 있다. 산업용 로봇은 작업에 필요한 정보를 교시(敎示)됨에 의해, 교시된 동작을 자동으로 고속, 그리고 정도(精度) 좋게 수행할 수 있다. 그러나 미묘한 위치 맞추기를 필요로 하는 작업을 수행하거나, 작업 환경에 변화가 생기거나 하는 경우에는, 로봇이 자동으로 작업을 수행하는 것보다도 조작자가 로봇을 원격 조작하여 작업을 수행한 쪽이 형편이 더 나을 수 있다. 특허문헌1에는 조작자로부터의 조작지시에 기초하여 로봇을 동작시킬 수 있는 원격 조작 로봇 시스템이 제안되고 있다.

특허문헌1에 개시된 원격 조작 로봇 시스템은 작업 환경을 촬영하는 카메라와, 카메라가 촬영한 화상을 표시하는 표시장치를 구비하고 있으며, 자동화가 어려운 작업으로 들어가는 곳에서, 로봇 암이 자동운전에서 수동운전으로 전환할 수 있도록 구성되어있다. 조작자는 표시장치에 표시된 촬영화상을 보면서 로봇 암을 원격 조작하여, 로봇 암에게 소정의 작업을 수행하게 한다.

이러한 원격 조작 로봇 시스템에서는 작업 환경을 촬영하는 카메라가 1대밖에 설치되어 있지 않은 경우, 조작자는 작업 대상물과 로봇과의 위치 관계를 한 방향으로만 파악할 수 밖에 없다. 이 때문에, 조작자가 원격 조작하여 로봇 암이 정도(精度) 좋게 작업을 수행하게 하는 것이 어려워진다. 특허문헌1에는 복수대의 카메라를 설치하는 구성으로 하여 표시장치에 표시된 촬영화상을 읽어 들이는 카메라가 전환되도록 하는 것이 기재되어있다.

일본등록특허 제3924495호 공보

원격 조작 로봇 시스템이 복수대의 카메라를 구비한 구성인 경우, 조작자가 표시장치를 보고 작업 대상물과 로봇의 위치 관계를 정확하게 파악할 수 있도록、 작업 전에 카메라가 전환되는 타이밍을 미리 조정할 필요가 있다. 이 조정 작업은 조작자에게는 시간이 걸리는 일이며, 또한 작업 대상물 등에 변경이 생겼을 경우에는 다시 조정 작업을 할 필요가 생긴다. 이 때문에, 카메라 전환 타이밍을 조정하는 작업의 부담을 경감하는 것이 바람직하지만, 특허문헌1에는 이 점에 관해서 일절 기재되어 있지 않다.

그래서, 본 발명은 로봇 암을 원격 조작하는 데 적절한 화상을 모니터에 표시하기 위한 카메라의 전환을 쉽게 할 수 있는 원격 조작 로봇 시스템을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위하여, 본 발명의 원격 조작 로봇 시스템은 소정의 작업을 수행하는 로봇 암과, 조작자가 상기 로봇 암의 동작을 원격으로 조작하기 위한 원격 조작 장치와, 상기 로봇 암의 작업을 촬영하는 복수의 카메라와, 전송된 촬영화상이 표시된 모니터와, 조작자로부터 상기 복수의 카메라 중 하나의 카메라의 선택을 접수함으로써, 상기 모니터에 표시된 촬영화상을 상기 선택된 카메라로부터의 촬영화상으로 전환하기 위한 카메라 선택정보를 생성하는 카메라 선택 장치와, 상기 작업에 있어서의 상기 로봇 암의 동작에 관한 동작 정보와, 상기 카메라 선택정보를 관련 짓는 정보를 자동전환 정보로써 기억하는 기억장치와, 상기 복수의 카메라 중에서 상기 기억장치에 기억된 상기 자동전환 정보에 기초하여 선택된 카메라로부터의 촬영화상을 상기 모니터로 전송하는 화상 처리부를 구비한다.

상기 구성에 의하면, 카메라 선택 장치에 의해 복수의 카메라 중 하나의 카메라가 선택되어, 모니터에 표시된 촬영화상이 전환된다. 또한 기억장치에는 작업에 있어서의 로봇 암의 동작에 관한 동작 정보와 카메라 선택정보를 관련 짓는 정보가 자동전환 정보로서 기억된다. 이 때문에, 다음 회 이후의 로봇 암의 작업에서는, 카메라 선택 장치에 의해 카메라가 선택 되지 않더라도, 화상처리부는 기억장치에 기억된 자동전환 정보에 기초하여 모니터에 표시된 촬영화상을 로봇 암을 원격 조작하는데 적합하도록 자동적으로 전환할 수 있다. 더욱이, 실제 작업 중에 카메라 선택 장치를 이용한 카메라 전환을 수행함으로써 자동전환 정보를 기억할 수 있기 때문에, 작업 전에 카메라 전환의 타이밍을 미리 조정하지 않아도 실제 작업 중에 카메라가 자동으로 전환되는 타이밍을 조정할 수 있다.

상기 원격 조작 로봇 시스템은 상기 화상 처리부의 처리 모드로써, 상기 카메라 선택 장치로부터 전송된 상기 카메라 선택정보에 기초하여 선택된 카메라로부터의 촬영화상을 상기 모니터에 전송하는 카메라 선택모드와, 상기 기억장치에 기억된 상기 자동전환 정보에 기초하여 선택된 카메라로부터의 촬영화상을 상기 모니터에 전송하는 자동전환모드 중 어느 하나의 모드의 선택을 조작자로부터 접수하는 전환모드 선택부를 더 구비해도 좋다. 이 구성에 의하면, 전환모드 선택부에 의해 모니터에 표시된 촬영화상을 조작자의 선택에 따라 전환 또는 자동전환 여부를 선택할 수 있다. 이 때문에 조작자는 작업 내용이나 작업 대상물 등에 따라 카메라 전환 방법을 임기응변으로 변경할 수 있다.

상기의 원격 조작 로봇 시스템은 상기 복수의 카메라에 각각 대응하여 설치되고, 상기 복수의 카메라 중 대응하는 카메라로부터의 촬영화상이 각각 표시되는 상기 모니터와는 다른 복수의 서브 모니터를 구비하고, 상기 카메라 선택 장치는 조작자의 시선을 검출함으로써, 상기 복수의 서브 모니터 중 조작자의 시선이 소정시간 향해진 서브 모니터를 특정하고, 특정된 서브 모니터에 대응하는 카메라를 조작자에 의해 선택된 카메라로써 접수해도 좋다. 이 구성에 의하면, 모니터의 화상을 전환하기 위한 카메라의 선택을 수작업 없이 할 수 있다.

본 발명은 로봇 암을 원격 조작하는데 적절한 화상을 모니터에 표시하기 위한 카메라의 전환을 쉽게 할 수 있는 원격 조작 로봇 시스템을 제공 할 수 있다.

도1은 제1실시 예에 관계되는 원격 조작 로봇 시스템의 구성을 나타내는 모식도이다.
도2는 도1에 나타낸 원격 조작 로봇 시스템의 제어 계통의 구성을 보여주는 모식도이다.
도3은 제2실시 예에 관계되는 원격 조작 로봇 시스템의 제어 계통의 구성을 보여주는 모식도이다.

<제1 실시 예>

이하, 본 발명의 제1 실시 예에 관계되는 원격 조작 로봇 시스템에 대하여 도면을 참조하여 설명한다. 본 실시 예에 따른 로봇 시스템(100)은 소정의 작업을 반복하는 로봇 암(1)과, 수동 조작에 의해 로봇 암(1)의 동작을 원격 조작하기 위한 원격 조작 장치(2)를 구비한 시스템이다. 로봇 시스템(100)에서는 로봇 암(1)의 작업 영역에서 떨어진 위치(작업 영역 외)에 있는 조작자가 원격 조작 장치(2)를 수동 조작하여 지령을 입력함으로써, 로봇 암(1)이 그 지령에 대응한 동작을 수행하고, 특정 작업을 수행 할 수 있다. 또는, 로봇 시스템(100)에서 로봇 암(1)은 조작자에 의한 원격 조작 장치(2)의 조작 없이 소정의 작업을 자동으로 수행 할 수도 있다.

본 명세서에서는 원격 조작 장치(2)를 통해 입력된 지령에 따라서, 로봇 암(1)을 동작시키는 운전모드를 "수동모드"라고 칭한다. 또한, 상술(上述)한 "수동모드"에는 조작자가 원격 조작 장치(2)를 조작함으로써 입력된 지령에 기초해서 동작중인 로봇 암(1)의 동작의 일부가 자동으로 동작 보정이 되는 경우도 포함한다. 또, 미리 설정된 작업 프로그램에 따라, 로봇 암(1)을 동작시키는 운전모드를 "자동모드"라고 칭한다.

더욱이, 본 실시형태의 로봇 시스템(100)에서는 로봇 암(1)이 자동으로 동작하는 도중에, 원격 조작 장치(2)의 조작을 로봇 암(1)의 자동 동작에 반영시켜, 자동으로 수행하기로 되어 있던 동작을 수정할 수 있도록 구성되어 있다. 본 명세서에서는 원격 조작 장치(2)를 통해 입력된 지령을 반영 가능한 상태에서, 미리 설정된 태스크(task) 프로그램에 따라 로봇 암(1)을 동작시키는 운전모드를 "수정 자동모드"라고 칭한다. 또한, 상술한 "자동모드"는 로봇 암(1)을 동작시키는 운전모드가 자동모드일 때는 원격 조작 장치(2)의 조작이 로봇 암(1)의 동작에 반영되지 않는다는 점에서 "수정 자동모드"와 구별된다.

먼저, 도1을 참조하여 본 실시형태에 관계되는 로봇 시스템(100)의 구성에 대해 설명한다. 도1은 본 실시형태에 관계되는 로봇 시스템(100)의 구성의 일례를 나타내는 모식도이다. 도1에 나타낸 바와 같이, 로봇 시스템(100)은 산업용 로봇(10)과, 원격 조작 장치(2)와, 카메라 시스템(4)과, 모니터 시스템(5)과, 기억장치(6)와, 입력 장치(7), 시선 검출 장치(8)와를 구비한다. 이하에서는 로봇 시스템(100)의 각 구성 요소에 대해 상세히 설명한다.

(산업용 로봇(10)의 구성)

산업용 로봇(10)은 로봇 암(1)과 로봇 암(1)의 선단에 장착되는 엔드 이펙터(16)(End effector)와, 로봇 암(1) 및 엔드 이펙터(16)의 동작을 관리하는 제어장치(3)를 구비하고 있다. 본 실시형태에서는 산업용 로봇(10)은 조립물(組付物)(W1)을 피조립물(被組付物)(W2)에 조립하는 조립작업을 행하는 로봇이다. 보다 구체적으로는, 피조립물(W2)은 지지대(도시 생략)에 지지되어 있어, 조립물(W1)이 조립되는 상하 방향으로 관통한 구멍부을 가지고 있다. 엔드 이펙터(16)는 조립물(W1)을 파지(把持)하는 파지부이다. 단, 산업용 로봇(10)은 특별히 한정되지 않고, 예를 들어, 용접 로봇이나 도장 로봇, 도포 로봇, 검사 로봇 등 이어도 좋다.

로봇 암(1)은 기대(基台)(15)와, 기대(15)에 지지된 완부(腕部)(13)와, 완부(13)의 선단에 지지되어, 엔드 이펙터(16)가 장착되는 손목부(手首部)(14)를 구비하고 있다. 로봇 암(1)은 도1에 나타낸 바와 같이 3이상의 복수의 관절(JT1~JT6)을 갖는 다관절 로봇 암이며, 복수의 링크 (11a~11f)가 순차적으로 연결되어 구성되어 있다. 더 상세하게는, 제1관절(JT1)에서는 기대(15)와 제1링크(11a)의 기단부가 연직방향으로 연장되는 축 주위로 회전 가능하게 연결되어 있다. 제2관절(JT2)에서는 제1링크(11a)의 선단부와 제2링크(11b)의 기단부가 수평방향으로 연장되는 축 주위로 회전 가능하게 연결되어 있다. 제3관절(JT3)에서는 제2링크(11b)의 선단부 및 제3링크(11c)의 기단부가 수평방향으로 연장되는 축 주위로 회전 가능하게 연결되어 있다. 제4관절(JT4)에서는 제3링크(11c)의 선단부와 제4링크(11d)의 기단부가 제4링크(11c)의 긴 쪽 방향으로 연장되는 축 주위로 회전 가능하게 연결되어있다. 제5관절(JT5)에서는 제4링크(11d)의 선단부와 제5링크(11e)의 기단부가 링크(11d)의 긴 쪽 방향과 직교하는 축 주위로 회전 가능하게 연결되어 있다. 제6관절(JT6)에서는 제5링크(11e)의 선단부와 제6링크(11f)의 기단부가 뒤틀림 회전이 가능하게 연결되어있다. 그리고 제6링크(11f)의 선단부에는 메커니컬 인터페이스가 설치되어 있다. 이 메커니컬 인터페이스에는 작업 대상물(본 실시형태에서는 조립물(W1)과 피조립물(W2))에 대한 작업내용에 대응하는 엔드 이펙터(본 실시형태에서는 파지부)(16)가 탈착 가능하게 장착된다.

상기 제1관절(JT1), 제1링크(11a), 제2관절(JT2), 제2링크(11b), 제3관절(JT3) 및 제3링크(11c)로 이루어진 링크와 관절의 연결체에 의해 로봇 암(1)의 완부(13)가 형성되어 있다. 또, 상기 제4관절(JT4), 제4링크(11d), 제5관절(JT5), 제5링크(11e), 제6관절(JT6), 및 제4링크(11f)로 이루어진 링크와 관절의 연결체에 의해 로봇 암(1)의 손목부(14)가 형성되어 있다.

관절(JT1~JT6)에는 그것이 연결하는 2개의 부재를 상대적으로 회전시키는 액추에이터의 일례로서의 구동모터(도시 생략)가 설치되어 있다. 구동모터는 예를 들어, 제어장치(3)에 의해 서보 제어되는 서보모터이다. 또, 관절(JT1~JT6)에는 구동모터의 회전 위치를 검출하기 위한 회전 센서(도시 생략)와, 구동모터의 회전을 제어하는 전류를 검출하기 위한 전류 센서(도시 생략)가 설치되어 있다. 회전 센서는, 예를 들어 인코더(encoder)이다.

제어장치(3)는 예를 들어, 마이크로 컨트롤러, MPU, PLC(Programmable Logic Controller), 논리 회로 등으로 이루어진 연산부(미도시)와, ROM 또는 RAM 등으로 이루어진 메모리부(미도시)로 구성되어 있다.

도2는 로봇 시스템(100)의 제어 계통의 구성을 나타내는 모식도이다. 도2에 나타낸 바와 같이, 제어장치(3)는 기능블록으로서, 동작 제어부(31), 화상 처리부(32) 관련지음부(關連付け部)(33), 및 자동전환 정보 생성부(34)를 구비하고 있다. 제어장치(3)가 구비한 기능블록은, 예를 들어, 제어장치(3)의 연산부가 메모리부에 저장되어 있는 프로그램을 읽어내어 실행함으로써 실현할 수 있다. 각 기능블록(31~34)에 대한 자세한 내용은 후술한다.

(원격 조작 장치(2))

도1로 돌아와서, 원격 조작 장치(2)는 조작자로부터의 조작 지시를 접수하는 장치이다. 원격 조작 장치(2)는 로봇 암(1)의 작업영역 외부에 설치되어 있다. 본 실시형태에 있어서의 원격 조작 장치(2)는, 예를 들어 조이스틱이다. 원격 조작 장치(2)를 조작함으로써 조작 정보가 생성되고, 생성된 조작정보는 제어장치(3)로 전송된다. 본 실시형태의 로봇 시스템(100)에서는 로봇 암(1)을 동작시키는 운전모드가 수동모드일 때, 조작정보가 제어장치(3)로 전송되면, 로봇 암(1)은 조작정보에 응한 동작을 행한다. 또, 로봇 암(1)을 동작시키는 운전모드가 수정 자동모드일 때, 조작정보가 제어장치(3)에 전송되면 자동으로 동작하고 있는 도중의 로봇 암(1)의 동작이 조작정보에 의해 수정된다.

(카메라 시스템(4))

카메라 시스템(4)은 제1카메라(41), 제2카메라(42), 제3카메라(43), 및 제4카메라(44)로 구성된다. 제1카메라(41), 제2카메라(42), 제3카메라(43), 및 제4카메라(44)는 로봇 암(1)이 설치되어있는 공간에 설치되어 있으며, 서로 다른 방향에서 로봇 암(1)의 작업을 촬영한다. 구체적으로, 제1카메라(41)는 지지된 피조립물(W2) 및 로봇 암(1)보다 상방에 배치되어 있으며, 상방에서 피조립물(W2) 및 로봇 암(1)의 전체를 촬영한다. 제2카메라(42)는 엔드 이펙터(16)에 고정된 지지암(42a)의 선단에 부착되어 있고, 제2카메라(42)의 시야가 엔드 이펙터(16)의 선단 부분(즉, 조립물(W1)을 파지하는 부분)을 포함하도록 배치되어 있다. 즉, 엔드 이펙터(16)가 조립물(W1)을 파지하고 있는 경우에는, 제2카메라(42)는 엔드 이펙터(16)의 선단부분뿐만 아니라 조립물(W1)도 촬영한다. 제3카메라(43)는 지지대에 지지된 피조립물(W2)을 가로 방향에서 촬영하도록 설치되어 있다. 제4카메라(44)는 지지대에 지지된 피조립물(W2)을 하방에서 촬영하도록 설치되어 있다. 예를 들어, 피조립물(W2)은 그 구멍부의 연장되는 방향과 제4카메라(44)의 광축(光軸)의 연장되는 방향이 일치하도록 설치되어 있다.

제1카메라(41), 제2카메라(42), 제3카메라(43), 및 제4카메라(44)는 각각 제어장치(3)에 유선 또는 무선으로 접속되어 있으며, 각 카메라(41~44)에 의해 촬영된 촬영화상은 제어장치(3)의 화상처리부(32)로 전송된다.

(모니터 시스템(5))

모니터 시스템(5)은 메인 모니터(50), 제1서브 모니터(51), 제2서브 모니터(52), 제3서브 모니터(53), 및 제4서브 모니터(54)에 의해 구성된다. 메인 모니터(50) 및 제1~제4서브 모니터(51~54)는 각각 제어장치(3)에 유선 또는 무선으로 접속되어 있으며, 각 모니터(50~54)에는 제어장치(3)에서 전송된 촬영화상이 표시된다. 메인 모니터(50)는 제1~제4서브 모니터(51~54)에 비해 화면 크기가 크고, 조작자(조작자)는 메인 모니터(50)에 출력된 촬영화상을 보면서 원격 조작 장치(2)를 조작한다. 메인 모니터(50)에는 화상 처리부(32)에서 선택된 카메라로부터의 촬영화상이 전송된다.

제1~제4서브 모니터(51~54)는, 제1~제4카메라(41~44)에 각각 대응하여 설치된 모니터이다. 제1~제4서브 모니터(51~54)에는, 대응하는 카메라로부터의 촬영화상이 각각 표시된다. 즉, 제1서브 모니터(51)에는 그에 대응하는 제1카메라(41)로부터의 촬영화상이 표시되고, 제2서브 모니터(52)에는 그에 대응하는 제2카메라(42)로부터의 촬영화상이 표시되고, 제3서브 모니터(53)에는 그에 대응하는 제3카메라(43)로부터의 촬영화상이 표시되고, 제4서브 모니터(54)에는 그에 대응하는 제4카메라(44)로부터의 촬영화상이 표시된다. 본 실시 예에서는 제1~제4서브 모니터(51~54)에는 각각 제1~제4카메라(41~44)로 촬영된 촬영화상이 제어장치(3)를 통해 전송되는데, 제1~제4서브 모니터(51~54)에는 각각 제1~제4카메라(41~44)로 촬영된 촬영화상이 직접 또는 다른 장치를 통해 전송되어도 좋다.

(시선 검출 장치(8))

시선 검출 장치(8)는 조작자의 시선을 검출하는 장치이다. 본 실시형태에서는, 시선 검출 장치(8)는 조작자로부터 제1~제4카메라(41~44) 중 하나의 카메라의 선택을 접수한 본 발명의 카메라 선택 장치로서 기능한다. 즉, 시선 검출 장치(8)는 제1~제4카메라(41~44) 중 어느 하나의 카메라에서 촬영된 촬영화상을 메인 모니터(50)에 표시할지에 대해 조작자가 선택하기 위해 이용된다.

시선 검출 장치(8)는 원격 조작 장치(2)를 조작하는 조작자의 시선이 제1~제4서브 모니터(51~54) 중 어느 쪽으로 향해 있는지를 검출하여, 조작자의 시선이 향한 서브 모니터를 특정한다. 그리고 시선 검출 장치(8)는 특정된 서브 모니터에 대응하는 카메라를 조작자에 의해 선택된 카메라로 접수한다. 예를 들어, 시선 검출 장치(8)는 어떤 하나의 서브 모니터에 대해 조작자의 시선이 소정시간 향했는지 아닌지를 판정하고, 소정시간 시선이 향했다고 판정된 경우에 그 서브 모니터를 조작자에 의해 선택된 카메라로서 접수한다.

시선 검출 장치(8)는 시선에 의한 조작자로부터의 카메라 선택을 접수함으로써, 카메라 선택정보를 생성한다. 카메라 선택정보는 메인 모니터(50)에 표시된 촬영화상을 해당 선택된 카메라로부터의 촬영화상으로 전환하기 위한 정보이다. 시선 검출 장치(8)는 유선 또는 무선으로 제어장치(3)에 접속되어 있으며, 생성된 카메라 선택정보는 제어장치(3)의 화상 처리부(32) 및 관련지음부(33)에 전송된다. 본 실시형태에서는 시선 검출 장치(8)는 조작자에게 장착 가능한 장착형이여도 좋고, 비장착형이여도 좋다.

(입력 장치(7))

입력 장치(7)는 조작자로부터 조작지시를 접수하고, 접수한 조작지시를 제어장치(3)에 입력하는 입력 장치이다. 입력 장치(7)는 원격 조작 장치(2)와 함께 작업 공간 외부에 설치되어 있다. 본 실시형태에서는 입력 장치(7)는 태블릿 단말이다. 단, 입력 장치(7)의 구성은 특별히 한정되지 않으며, 예를 들면, 스위치, 조정 손잡이, 조작 레버 또는 개인용 컴퓨터 등 이여도 좋다. 도2에 나타낸 바와 같이, 입력 장치(7)는 운전모드 선택부(71), 전환모드 선택부(72), 및 화상 조작부(73)를 구비하고 있다. 본 실시형태에서는, 운전모드 선택부(71), 전환모드 선택부(72) 및 화상 조작부(73)는 각각 태블릿 단말의 표시 화면상의 조작 버튼 등으로 구성되어 있다.

운전모드 선택부(71)는 로봇 암(1)을 동작시키는 운전모드를 상술한 자동모드, 수정 자동모드 및 수동모드에서 조작자가 선택하기 위해 사용된다. 운전모드 선택부(71)에 의해 선택된 운전모드에 관한 정보는 제어장치(3)의 동작 제어부(31)에 전송된다. 동작 제어부(31)는 운전모드 선택부(71)로부터 전송된 정보에 기초하여, 즉 운전모드 선택부(71)에 의해 선택된 운전모드에 따라 로봇 암(1)을 동작시킨다.

구체적으로, 동작 제어부(31)에는 원격 조작 장치(2)를 조작함으로써 생성된 조작정보가 전송된다. 또, 제어장치(3)의 메모리부에는 로봇 암(1)에 자동으로 동작시키기 위한 예정궤도정보가 기억되어 있으며, 동작 제어부(31)에 그 예정궤도정보가 전송된다. 동작 제어부(31)는 운전모드 선택부(71)에서 선택되어 있는 운전모드에 따라서 예정궤도정보 및 조작정보의 한쪽 또는 양쪽 모두를 이용한다.

운전모드 선택부(71)에서 선택되어 있는 운전모드가 수동모드일 때, 동작 제어부(31)는 조작정보를 이용한다. 더 자세히는, 동작 제어부(31)는 로봇 암(1)을 동작시키는 운전모드가 수동모드일 때, 예정궤도정보를 이용하지 않고, 원격 조작장치(2)를 조작함에 의해 전송된 조작정보(입력 지령)를 이용하여, 로봇 암(1)의 동작을 제어한다.

또한, 운전모드 선택부(71)에서 선택되어 있는 운전모드가 자동모드일 때, 동작 제어부(31)는 예정궤도정보를 이용한다. 더 자세히는, 동작 제어부(31)는 로봇 암(1)을 동작시키는 운전모드가 자동모드일 때, 원격 조작 장치(2)로부터 전송된 조작정보를 이용하지 않고, 미리 설정된 태스크 프로그램에 따라 예정궤도정보를 이용하여 로봇 암(1)의 동작을 제어한다.

또, 운전모드 선택부(71)에서 선택된 운전모드가 수정 자동모드일 때, 동작 제어부(31)는 예정 궤도정보와 조작정보를 양쪽 다 이용한다. 또한 운전모드가 수정자동모드일 때, 조작정보가 동작제어부(31)에 전송되지 않은 경우에는, 동작 제어부(31)는 예정궤도정보만을 이용한다. 더 자세히는, 동작 제어부(31)는 로봇 암(1)을 동작시키는 운전모드가 수정자동모드일 때, 로봇 암(1)이 예정궤도정보를 이용하여 자동으로 동작하는 도중에 조작정보를 받으면, 예정궤도정보와 조작정보를 양쪽 다 이용하여 로봇 암(1)의 동작을 제어한다. 이에 따라, 로봇 암(1)이 예정궤도정보에 기초하여 자동으로 따라가기로 되어 있던 예정궤도가 수정된다.

전환모드 선택부(72)는 로봇 암(1)의 작업에 있어서, 메인 모니터(50)에 표시된 촬영화상을 자동적으로 전환하는지, 조작자의 선택에 따라 전환하는지를 조작자가 선택하기 위해 이용된다. 전환모드 선택부(72)는 화상 처리부(32)의 처리 모드로써, 카메라 선택모드와 자동전환모드 중 어느 쪽의 모드로 할지에 대한 선택을 조작자로부터 접수한다. 카메라 선택모드는 화상 처리부(32)가 시선 검출 장치(8)로부터 전송된 카메라 선택정보에 기초하여 메인 모니터(50)에 표시된 촬영화상을 전환하는 처리 모드이다. 또, 자동전환모드는 화상 처리부(32)가 기억장치(6)에 기억된 자동전환 정보에 기초하여 메인 모니터(50)에 표시된 촬영화상을 전환하는 처리 모드이다.

화상 조작부(73)는 메인 모니터(50)에 표시된 촬영화상을 조작자가 조작하기 위해 이용된다. 예를 들어, 화상 조작부(73)는 메인 모니터(50)에 표시된 촬영화상을 확대 및 축소할 수 있도록 구성되어 있어도 좋다.

(기억장치(6))

기억장치(6)는 읽기 및 쓰기가 가능한 기록 매체이며, 메인 모니터(50)에 표시된 촬영화상을 자동으로 전환하기 위한 정보인 자동전환정보(61)가 기억되어 있다. 자동전환정보(61)는 제어장치(3)의 관련지음부(33)에서 생성된다.

관련지음부(關連付け部)(33)는 시선 검출 장치(8)에서 전송된 카메라 선택정보를 하나의 작업에 있어서의 로봇 암(1)의 동작에 관한 정보(이하 "동작정보"라 한다)와 관련 지어서 자동전환 정보를 생성한다.

여기서, 동작 정보는, 예를 들어 로봇 암(1)의 선단부의 위치 정보, 로봇 암(1)의 자세 정보, 엔드 이펙터(16)의 상태 정보, 또는 이들의 조합이다. 상기 위치 정보나 자세 정보는, 예를 들어, 로봇 암(1)의 회전 센서로부터 전송된 각 구동모터의 회전 위치 정보로부터 산출된다. 엔드 이펙터(16)의 상태 정보는, 예를 들어, 엔드 이펙터(16)가 파지부인 경우에는 파지부가 작업 대상물을 파지한 상태에 있는지 아닌지에 관한 정보이다. 본 실시 형태에서는, 동작 정보는 동작 제어부(31)로부터 관련지음부(33)로 전송된다.

자동전환 정보(61)는 다음 회 이후의 로봇 암(1)의 작업에 있어서, 시선 검출 장치(8)에 의한 조작자의 카메라 선택 없이, 메인 모니터(50)에 표시된 촬영화상을 자동으로 전환하기 위한 정보이다. 자동전환 정보(61)가 이용됨에 따라, 조작자의 선택에 의해 촬영화상의 전환을 행한 경우와 같은 타이밍으로 메인 모니터(50)에 표시된 촬영화상의 전환이 자동으로 이루어진다. 단, 기억장치(6)에 자동전환 정보(61)가 기억된 후의 작업에 있어서, 반드시 자동전환 정보(61)가 이용될 필요는 없다. 예를 들어, 기억장치(6)에 자동전환 정보(61)가 기억된 후의 작업이어도, 전환모드 선택부(72)에 의해 카메라 선택모드가 선택되어 있다면 자동전환 정보(61)가 이용되는 일 없이, 메인 모니터(50)에 표시되는 촬영화상은 시선 검출 장치(8)에 의해 전환된다.

또, 자동전환 정보(61)는 로봇 암(1)에 의해 반복되는 작업 중 한 회의 작업에 있어서의 카메라 전환 타이밍에 관한 것이다. 본 실시형태에서는 관련지음부(33)가 엔드 이펙터(16)가 조립물(W1)의 파지를 파지하고 나서 조립물(W1)의 파지를 해제할 때까지의 로봇 암(1)의 동작에 관한 정보와 카메라 선택정보를 관련 지어서, 자동전환 정보(61)를 생성한다. 그리고 엔드 이펙터(16)가 조립물(W1)의 파지를 해제했을 때 기억장치(6)에 자동전환 정보(61)가 기억된다.

로봇 암(1)은 원격 조작 장치(2)를 수동 조작되어 동작하기 때문에 로봇 암(1)은 반복되는 작업의 각각에 있어서, 서로 다른 동작을 하는(예를 들어, 서로 다른 궤도를 따라가는)경우가 많다. 이 때문에, 관련지음부(33)는 로봇 암(1)의 동작이 시선 검출 장치(8)에 의해 메인 모니터(50)상의 촬영화상을 전환했을 때와 완전히 같은 동작 상태가 아니어도, 거의 같은 동작 상태가 되었을 때에 메인 모니터(50)상의 촬영화상이 자동으로 전환되도록 자동전환정보를 생성한다. 예를 들어, 관련지음부(33)는 로봇 암(1)의 선단부의 위치가 시선 검출 장치(8)보다 메인 모니터(50)상의 촬영화상을 전환했을 때와 완전히 동일한 위치에 있지 않아도, 대체로 같은 위치가 되었을 때에는 메인 모니터(50)상의 촬영화상이 자동으로 전환되도록 자동전환정보를 생성해도 좋다. 보다 구체적으로는 관련지음부(33)는 로봇 암(1)의 선단부의 위치가 시선 검출 장치(8)에 의해 메인 모니터(50)상의 촬영화상을 전환했을 때의 위치로부터 소정의 거리범위 내에 위치한 때에 메인 모니터(50)의 촬영화상이 자동으로 전환되도록 자동전환정보를 생성해도 좋다.

다음으로, 화상 처리부(32)에 의한 화상전환 처리에 대해 설명한다. 상술한 바와 같이, 화상 처리부(32)의 처리 모드는, 전환모드 선택부(72)가 조작됨으로써, 메인 모니터(50)에 표시된 촬영화상을 조작자의 선택에 따라 전환하는 카메라 선택모드와, 메인 모니터(50)에 표시된 촬영화상을 자동으로 전환하는 자동전환모드를 취할 수 있다. 또한 기억장치(6)에 자동전환 정보(61)가 하나도 기억되어 있지 않은 경우, 화상 처리부(32)의 처리모드로써, 자동적으로 카메라 선택모드가 선택된다.

전환모드 선택부(72)에 의해 카메라 선택모드가 선택되어있는 경우, 화상 처리부(32)는 시선 검출 장치(8)로부터 전송된 카메라 선택정보를 이용하여 메인 모니터(50)에 표시된 촬영화상의 전환을 행한다. 구체적으로는 전환모드 선택부(72)에 의해 카메라 선택모드가 선택되어 있는 경우, 화상 처리부(32)는 시선 검출 장치(8)로부터 카메라 선택정보가 전송되면, 제1카메라(41)~제4카메라(44) 중에서 카메라 선택정보에 기초하여 선택된 카메라의 촬영화상을 메인 모니터(50)로 전송한다.

즉, 전환모드 선택부(72)에 의해 카메라 선택모드가 선택되어 있는 경우, 조작자는 시선 검출 장치(8)에 의해 적절히 메인 모니터(50)에 표시된 촬영화상을 전환하면서 로봇 암(1)이 조립 작업을 행하도록 원격 조작 장치(2)를 조작한다. 또, 전환모드 선택부(72)에 의해 카메라 선택모드가 선택된 상태에서, 로봇 암(1)이 1회의 조립 작업을 끝내면 기억장치(6)에 자동전환 정보(61)가 기억된다.

다음 회 이후의 조립 작업에서도, 전환모드 선택부(72)에 의해 카메라 선택모드가 선택되어 있는 동안은, 로봇 암(1)이 1회의 조립 작업을 끝낼 때마다 기억장치(6)에 자동전환 정보(61)가 기억된다. 본 실시형태에서는 로봇 암(1)이 조립 작업을 끝낼 때마다 기억장치(6)에 기억된 자동전환 정보(61)가 증가해 간다. 단, 예를 들어 로봇 암(1)이 조립 작업을 끝낸 때에 생성되는 자동전환 정보(61)가 전회(前回)의 작업에서 기억된 자동전환 정보(61)을 덮어씌워서 기억장치(6)에 기억되어도 좋다.

전환모드 선택부(72)에 의해 자동전환모드가 선택되어 있는 경우, 화상 처리부(32)는 기억장치(6)에 기억된 자동전환 정보(61)를 이용하여 메인 모니터(50)에 표시되는 촬영화상의 전환을 행한다. 구체적으로는 전환모드 선택부(72)에 의해 자동전환모드가 선택되어 있는 경우, 화상 처리부(32)는 제1카메라(41)~제4카메라(44) 중에서 기억장치(6)에 기억된 자동전환 정보에 기초하여 선택된 카메라로부터의 촬영화상을 메인 모니터(50)로 전송한다.

본 실시형테에서, 기억장치(6)에 복수의 자동전환 정보(61)가 기억되어 있는 경우에는, 자동전환 정보 생성부(34)가 기억장치(6)에 기억된 복수의 자동전환 정보(61)을 이용하여, 새로운 자동전환 정보(61)를 생성하는 것이 가능하다. 그리고 화상 처리부(32)는 자동전환 정보 생성부(34)에서 생성된 자동전환 정보(61)에 기초하여 선택된 카메라로부터의 촬영화상을 메인 모니터(50)에 전송하는 것이 가능하다. 자동전환 정보 생성부(34)에 의한 새로운 자동전환 정보(61)의 생성방법은, 특별히 한정되지 않고, 촬영화상의 전환 타이밍이 보다 적절하게 되는 알고리즘이 채용된다. 예를 들어, 자동전환 정보 생성부(34)는 기억장치(6)에 기억된 복수의 자동전환 정보(61)로부터, 어떤 카메라(예를 들어, 제1카메라(41))에서 다른 카메라(예를 들면 제2카메라(42))로 전환할 때의 로봇 암(1)의 선단부의 위치좌표를 추출하고, 추출된 위치좌표의 평균이 되는 위치좌표나 추출된 위치좌표와 평균이 되는 위치좌표와의 오차 등을 산출해도 좋다. 그리고 산출한 값에 기초하여 새로운 자동전환 정보(61)를 생성해도 좋다.

이상 설명한 바와 같이, 본 실시형태에 관계되는 로봇 시스템(100)에서는 카메라 선택 장치로서의 시선 검출 장치(8)에 의해, 제1~제4카메라(41~~44) 중 하나의 카메라가 선택되어 메인 모니터(50)에 표시 되는 촬영화상이 전환된다. 또, 기억장치(6)에는 작업에 있어서의 로봇 암(1)의 동작에 관한 동작정보와 카메라 선택정보와를 관련 짓는 정보가 자동전환 정보(61)로써 기억된다. 이 때문에, 다음회 이후의 로봇 암(1)의 작업에서는 시선 검출 장치(8)에 의해 카메라 선택이 되지 않더라도, 화상 처리부(32)는 기억장치(6)에 기억된 자동전환 정보(61)에 기초하여 메인 모니터(50)에 표시된 촬영화상을 로봇 암(1)을 원격 조작 하는데 적합하도록 자동적으로 전환할 수 있다. 더욱이 실제 작업 중에서 시선 검출 장치(8)를 이용한 카메라 전환을 행함으로써, 자동전환 정보(61)를 기억할 수 있기 때문에, 작업 전에 카메라 전환의 타이밍을 미리 조정하지 않아도 실제 작업 중에 카메라가 자동으로 전환되는 타이밍을 조정할 수 있다.

또한, 본 실시형태에서는 전환모드 선택부(72)에 의해 메인 모니터(50)에 표시된 촬영화상을 조작자의 선택에 따라 전환할지 또는 자동으로 전환할지를 선택할 수 있다. 이 때문에, 조작자는 작업 내용이나 작업 대상물 등에 따라 카메라 전환 방법을 임기응변으로 변경할 수 있다.

또, 본 실시형태에서는 조작자가 카메라를 선택하기 위한 수단으로서, 조작자의 시선을 검출하는 시선 검출 장치(8)을 이용하고 있다. 이 때문에, 메인 모니터(50)의 화상 전환을 위한 카메라 선택을 손을 사용하지 않고 할 수 있다. 또, 시선 검출 장치(8)가 조작자의 시선을 검출함에 따라, 조작자의 시선이 소정시간 향한 서브 모니터를 특정하고, 특정된 서브 모니터에 대응하는 카메라를, 조작자에 의해 선택된 카메라로써 접수한다. 이 때문에 조작자는 메인 모니터(50)의 촬영화상을 전환하기 전에 각 서브 모니터에 표시된 촬영화상을 확인할 수 있다.

또한, 본 실시형태에서는 기억장치(6)에 복수의 자동전환 정보(61)가 기억되어 있는 경우에는, 자동전환 정보 생성부(34)에 의해 기억장치(6)에 기억된 복수의 자동전환 정보(61)를 이용하여 보다 적절한 카메라 전환 타이밍을 제공하는 자동전환 정보(61)를 생성할 수 있다.

<제2 실시 예>

다음으로, 도3을 참조하여 제2 실시형태에 관계되는 원격 조작 로봇 시스템을 설명한다. 또한, 본 실시형태에서, 제1 실시형태와 동일한 구성 요소에는 동일 부호를 붙이고 중복된 설명은 생략한다.

도3은 제2 실시형태에 따른 원격 조작 로봇 시스템의 제어 계통의 구성을 나타내는 모식도이다. 본 실시형태에서는 제1실시형태의 시선 검출 장치(8) 대신에 입력 장치(7)가 카메라 선택 장치로서 기능하는 카메라 선택부(74)를 구비한다. 본 실시형태에서도, 입력 장치(7)는 태블릿 단말 이지만, 제1실시형태와 마찬가지로, 이에 한정되지 않는다. 카메라 선택부(74)는 조작자로부터의 수동조작에 의한 제1~제4카메라(41~44) 중 하나의 카메라의 선택을 접수한다. 그리고 카메라 선택부(74)는 카메라 선택정보를 생성하고 제어장치(3)의 화상 처리부(32)및 관련지음부(33)로 전송한다.

본 실시형태에서는 제1~제4서브 모니터(51~54)는 조작자가 제1~제4카메라(41~44)에서 촬영되어 있는 촬영화상을 확인하기 위해 사용된다. 즉, 조작자는 메인모니터(50)에 표시된 촬영화상을 보면서 원격 조작장치(2)를 조작한다. 조작자는, 적절히 제1~제4서브 모니터(51~54)상의 촬영화상을 확인하고, 카메라 선택부(74)를 조작하여, 메인모니터(50)에 표시된 촬영화상을 전환한다. 제1~제4서브 모니터(51~54) 대신에, 하나의 서브모니터에 제1~제4카메라(41~44)로부터의 4개의 촬영화상을 표시해도 좋다.

본 실시형태에서도, 제1실시형태와 동일한 효과를 얻을 수 있다.

<그 외의 실시형태>

본 발명은 상술한 실시형태에 한정되는 것이 아닌, 본 발명의 요지를 벗어나지 않는 범위에서 여러 변형이 가능하다.

예를 들어, 상기 실시형태에서는 원격 조작장치(2)는 조이스틱이었지만, 특별히 한정되지 않고, 예를 들어, 원격 조작 장치(2)는 수동 조작되는 마스터 암이어도 좋다.

상기 실시형태에서는, 운전모드 선택부(71)나 전환모드 선택부(72) 등의 각 입력부(71~74)는 하나의 입력 장치(7)에 구비되어 있지만, 별개의 입력 장치에 설치되어도 좋다. 또, 원격 조작 장치(2)와 입력 장치(7)가 일체적으로 구성되어도 좋다. 또, 상기 실시형태에서, 동작 제어부(31)와 화상 처리부(32)가 하나의 제어장치(3)에 설치되어 있지만, 동작 제어부(31)와 화상 처리부(32)는 별개의 제어장치에 설치되어 있어도 좋다.

또, 상기 실시형태에서는, 로봇 암(1)을 동작시키는 운전모드로서, 자동모드, 수정 자동모드 및 수동모드 중에서 조작자가 선택가능 했지만, 로봇 암(1)을 동작시키는 운전모드는 수동모드 및 수정자동모드 중 적어도 하나를 포함하고 있으면 된다.

또, 상기 실시형태에서는, 기억장치(6)에 복수의 자동전환 정보(61)가 기억되어 있는 경우에, 화상 처리부(32)는 자동전환 정보 생성부(34)에서 생성된 자동전환 정보(61)에 기초하여 선택된 카메라로부터의 촬영화상을 메인 모니터(50)에 전송 했지만, 이에 한정되지 않는다. 예를 들어, 화상 처리부(32)는 기억장치(6)에 기억된 복수의 자동전환 정보(61) 중 최신 자동전환 정보(61)에 기초하여 선택된 카메라로부터의 촬영화상을 메인 모니터(50)에 보내도록 구성되어 있어도 좋다. 또는 화상 처리부(32)는 기억장치(6)에 기억된 복수의 자동전환 정보(61) 중 최신 자동전환 정보(61)에 기초하여 선택된 카메라로부터의 촬영화상을 메인 모니터(50)에 보내도록 구성되어 있어도 좋다. 예를 들어, 입력 장치(7)에 의해 기억장치(6)에 기억된 복수의 자동전환 정보(61) 중에서 화상 처리부(32)에서 사용되는 자동전환 정보가 선택되어도 좋다. 이들의 경우, 제어장치(3)는 자동전환 정보 생성부(34)를 구비하고 있지 않아도 된다.

또, 상기 실시형태에 있어서, 로봇 암(1)에 고정된 제2카메라(42) 이외의 카메라 (41), (43), (44)는, 피조립물(W2)에 대한 상대 위치가 일정하도록 설치되어 있었지만, 피조립물(W2)에 대한 상대 위치가 변경되도록 구성되어도 좋다. 예를 들어, 카메라는 피조립물(W2)에 접근 가능하도록 구성되어 있어도 좋다. 예를 들어, 산업용 로봇(10)이 도장 작업을 하는 로봇인 경우, 카메라는 엔드 이펙터(16)인 도장건(gun)의 위치결정을 할 때에는 피조립물(W2)에 접근하고, 도장건으로부터 도료를 분출 할 때에는 도료에 의해 오염되지 않도록 피조립물(W2)로부터 떨어지도록 구성되어 있어도 좋다.

1: 로봇 암
16: 엔드 이펙터
2: 원격 조작 장치
33: 화상 처리부
41: 제1카메라
42: 제2카메라
43: 제3카메라
44: 제4카메라
50: 메인 모니터(모니터)
51: 제1서브 모니터(서브 모니터)
52: 제2서브 모니터(서브 모니터)
53: 제3서브 모니터(서브 모니터)
54: 제4서브 모니터(서브 모니터)
6: 기억장치
61: 자동전환 정보
71: 운전모드 선택부
72: 전환모드 선택부
8: 시선 검출 장치(카메라 선택 장치)
100: 원격 조작 로봇 시스템

Claims

소정의 작업을 수행하는 로봇 암과,
조작자가 상기 로봇 암의 동작을 원격으로 조작하기 위한 원격 조작 장치와,
상기 로봇 암의 작업을 촬영하는 복수의 카메라와,
전송된 촬영화상이 표시된 모니터와,
조작자로부터 상기 복수의 카메라 중 하나의 카메라의 선택을 접수함으로써, 상기 모니터에 표시된 촬영화상을 상기 선택된 카메라로부터의 촬영화상으로 전환하기 위한 카메라 선택정보를 생성하는 카메라 선택 장치와,
상기 작업에 있어서의 상기 로봇 암의 동작에 관한 동작 정보와, 상기 카메라 선택정보를 관련 짓는 정보를 자동전환 정보로써 기억하는 기억장치와,
상기 복수의 카메라 중에서, 상기 기억장치에 기억된 상기 자동전환 정보에 기초하여 선택된 카메라로부터의 촬영화상을 상기 모니터로 전송하는 화상처리부를 구비하는 원격조작 로봇시스템.
제1항에 있어서,
상기 화상 처리부의 처리 모드로서, 상기 카메라 선택 장치로부터 전송된 상기 카메라 선택정보에 기초하여 선택된 카메라로부터의 촬영화상을 상기 모니터로 전송하는 카메라 선택모드와, 상기 기억장치에 기억된 상기 자동전환 정보에 기초하여 선택된 카메라로부터의 촬영화상을 상기 모니터로 전송하는 자동전환모드 중 어느 하나의 모드의 선택을 조작자로부터 접수하는 전환모드 선택부를 더 구비하는 원격조작 로봇시스템.
제1항 또는 제2항에 있어서,
상기 복수의 카메라에 각각 대응하여 설치되고, 상기 복수의 카메라 중 대응하는 카메라로부터의 촬영화상이 각각 표시되는 상기 모니터와는 다른 복수의 서브 모니터를 구비하고,
상기 카메라 선택 장치는 조작자의 시선을 검출함으로써, 상기 복수의 서브 모니터 중 조작자의 시선이 소정시간 향해진 서브 모니터를 특정하고, 특정된 서브 모니터에 대응하는 카메라를, 조작자에 의해 선택된 카메라로써 접수하는 원격조작 로봇시스템.