KR20210075865A

KR20210075865A - 원격 조작 시스템 및 원격 조작 방법

Info

Publication number: KR20210075865A
Application number: KR1020200171172A
Authority: KR
Inventors: 다카시 야마모토
Original assignee: 도요타지도샤가부시키가이샤
Priority date: 2019-12-13
Filing date: 2020-12-09
Publication date: 2021-06-23
Also published as: CN112975952A; JP2021094605A; US20210178598A1; EP3835002B1; US11904481B2; KR102573687B1; EP3835002A1; JP7342676B2; KR20230022918A

Abstract

원격 조작 시스템은, 엔드 이펙터를 구비하는 피조작 대상이 존재하는 환경을 촬상하는 촬상부와, 촬상부가 촬상한 환경의 촬상 화상에 기초하여, 엔드 이펙터가 파지 가능한 파지 가능부를 인식하는 인식부와, 촬상 화상을 표시함과 함께, 표시한 촬상 화상에 대한 수기 입력 정보의 입력을 접수하는 조작 단말기와, 파지 가능부와, 촬상 화상에 대하여 입력된 수기 입력 정보에 기초하여, 파지 가능부 중에서 엔드 이펙터에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 파지 대상물에 대하여 요구되고 있는 엔드 이펙터에 의한 파지 동작의 방법을 추정하는 추정부를 구비한다.

Description

원격 조작 시스템 및 원격 조작 방법{REMOTE CONTROL SYSTEM AND REMOTE CONTROL METHOD}

본 개시는, 원격 조작 시스템 및 원격 조작 방법에 관한 것이다.

엔드 이펙터를 구비하는 피조작 대상(예를 들어, 암의 선단 파지부(예를 들어, 핸드나 흡착부)을 엔드 이펙터로서 구비하는 로봇 등)을 원격 조작하여 파지 동작 등을 실행시키는 기술이 알려져 있다. 예를 들어, 일본 특허 제5326794호 공보에는, 로봇 주변을 촬상한 촬상 화상을 표시하고, 유저가 촬상 화상에 대하여 수기로 입력한 지시에 기초하여, 로봇에 대한 조작 내용을 추정하는 기술이 개시되어 있다.

그러나, 일본 특허 제5326794호 공보에 개시된 기술은, 미리 설정된 지시 도형(○, ×, △ 등)을 수기로 입력함으로써, 로봇을 원격 조작하는 것이다. 그 때문에, 최근에는, 보다 직감적인 조작에 의해 피조작 대상을 원격 조작하는 것이 요망되고 있다.

본 개시는, 이러한 문제를 해결하기 위하여 이루어진 것이고, 보다 직감적인 조작이 가능한 원격 조작 시스템 및 원격 조작 방법을 제공하는 것이다.

본 개시의 제1 양태에 있어서의 원격 조작 시스템은,

엔드 이펙터를 구비하는 피조작 대상을 원격 조작하는 원격 조작 시스템이며,

상기 피조작 대상이 존재하는 환경을 촬상하는 촬상부와,

상기 촬상부가 촬상한 상기 환경의 촬상 화상에 기초하여, 상기 엔드 이펙터가 파지 가능한 파지 가능부를 인식하는 인식부와,

상기 촬상 화상을 표시함과 함께, 표시한 상기 촬상 화상에 대한 수기 입력 정보의 입력을 접수하는 조작 단말기와,

상기 인식부가 인식한 상기 파지 가능부와, 상기 촬상 화상에 대하여 입력된 상기 수기 입력 정보에 기초하여, 상기 파지 가능부 중에서 상기 엔드 이펙터에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 상기 파지 대상물에 대하여 요구되고 있는 상기 엔드 이펙터에 의한 파지 동작의 방법을 추정하는 추정부를

구비한다.

본 개시의 제2 양태에 있어서의 원격 조작 방법은,

엔드 이펙터를 구비하는 피조작 대상을 원격 조작하는 원격 조작 시스템에 의한 원격 조작 방법이며,

상기 피 조작 대상이 존재하는 환경을 촬상하고,

상기 환경의 촬상 화상을 표시한 조작 단말기에 있어서, 표시한 상기 촬상 화상에 대한 수기 입력 정보의 입력을 접수하고,

상기 촬상 화상에 기초하여, 상기 엔드 이펙터가 파지 가능한 파지 가능부를 인식하고,

상기 파지 가능부와, 상기 촬상 화상에 대하여 입력된 상기 수기 입력 정보에 기초하여, 상기 파지 가능부 중에서 상기 엔드 이펙터에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 상기 파지 대상물에 대하여 요구되고 있는 상기 엔드 이펙터에 의한 파지 동작의 방법을 추정한다.

상술한 본 개시의 양태에 의하면, 보다 직감적인 조작이 가능한 원격 조작 시스템 및 원격 조작 방법을 제공할 수 있다.

본 발명의 상기 및 다른 목적, 특징 및 이점은 단지 예시로서 제공된 첨부된 도면 및 이하에 제공된 상세한 설명으로부터 보다 완전히 이해될 것이며, 따라서 본 개시 내용을 제한하는 것으로 간주되어서는 안된다.

도 1은, 본 실시 형태에 관한 원격 조작 시스템이 이용되는 전체 환경의 예를 도시하는 개념도이다.
도 2는, 로봇이 존재하는 제1 환경의 예를 도시하는 도면이다.
도 3은, 수기 입력 정보의 예를 도시하는 도면이다.
도 4는, 수기 입력 정보의 예를 도시하는 도면이다.
도 5는, 수기 입력 정보의 예를 도시하는 도면이다.
도 6은, 로봇의 외관 구성예를 도시하는 외관 사시도이다.
도 7은, 로봇의 블록 구성예를 도시하는 블록도이다.
도 8은, 로봇이 취득한 촬상 화상의 예를 도시하는 도면이다.
도 9는, 제1 학습 완료 모델이 출력하는 파지 가능 영역의 예를 도시하는 도면이다.
도 10은, 수기 입력 정보의 예를 도시하는 도면이다.
도 11은, 제2 학습 완료 모델용의 교사 데이터의 예를 도시하는 도면이다.
도 12는, 제2 학습 완료 모델용의 교사 데이터의 예를 도시하는 도면이다.
도 13은, 원격 단말기의 블록 구성예를 도시하는 블록도이다.
도 14는, 본 실시 형태에 관한 원격 조작 시스템의 전체적인 처리의 흐름의 예를 도시하는 흐름도이다.
도 15는, 도 14의 스텝 S13의 처리의 상세한 흐름의 예를 도시하는 흐름도이다.
도 16은, 수기 입력 정보의 예를 도시하는 도면이다.
도 17은, 수기 입력 정보가 복수 입력된 예를 도시하는 도면이다.

이하, 발명의 실시 형태를 통하여 본 개시를 설명하지만, 특허 청구 범위에 관한 발명을 이하의 실시 형태에 한정하는 것이 아니다. 또한, 실시 형태에서 설명하는 구성의 전체가 과제의 해결 수단으로서 필수적이라고는 할 수 없다. 또한, 이하의 실시 형태에서는, 피조작 대상으로서, 암의 선단의 핸드를 엔드 이펙터로서 구비하는 로봇을 예로 들어 설명하지만, 피조작 대상은 이것에 한정되는 것은 아니다.

도 1은, 본 실시 형태에 관한 원격 조작 시스템(10)이 이용되는 전체 환경의 예를 도시하는 개념도이다. 제1 환경에 있어서 여러가지 동작을 실행하는 로봇(100)은, 제1 환경으로부터 이격된 제2 환경에 있는 원격 조작자인 유저가 원격 단말기(300)(조작 단말기)를 조작함으로써, 인터넷(600)에 접속된 시스템 서버(500)를 통해, 원격 조작된다.

로봇(100)은, 제1 환경에 있어서, 무선 라우터(700)를 통해 인터넷(600)과 접속되어 있다. 또한, 원격 단말기(300)는, 제2 환경에 있어서, 무선 라우터(700)를 통해 인터넷(600)과 접속되어 있다. 시스템 서버(500)는, 인터넷(600)에 접속되어 있다. 로봇(100)은, 원격 단말기(300)의 조작에 따라, 핸드(124)에 의한 파지 동작 등을 실행한다.

또한, 본 실시 형태에 있어서는, 핸드(124)에 의한 파지 동작에는, 파지 대상물을 단순히 파지하는(쥐는) 동작에 한하지 않고, 예를 들어 이하의 동작 등도 포함한다로 한다.

·파지 대상물을 쥐어서 들어 올리는 동작

·파지 대상물이 장 등의 문이나 서랍의 손잡이인 경우, 손잡이를 쥐어서 문이나 서랍을 개폐하는 동작

·파지 대상물이 도어의 도어 노브인 경우, 도어 노브를 쥐어서 도어를 개폐하는 동작

로봇(100)은, 스테레오 카메라(131)(촬상부)에 의해, 로봇(100)이 존재하는 제1 환경을 촬상하고, 인터넷(600)을 통해, 촬상 화상을 원격 단말기(300)에 송신한다. 또한, 로봇(100)은, 촬상 화상에 기초하여, 핸드(124)가 파지 가능한 파지 가능물을 인식한다.

도 2는, 로봇(100)이 존재하는 제1 환경의 예를 도시하는 도면이다. 도 2의 예에서는, 제1 환경에 있어서, 테이블(400), 장롱(410, 420, 430) 및 도어(440)가 존재하고 있다. 또한, 제1 환경에 존재하는 파지 가능물은, 테이블(400)에 적재된 물체(401, 402), 장롱(410)의 손잡이(411), 장롱(420)의 손잡이(421, 422), 장롱(430)의 손잡이(431, 432) 및 도어(440)의 도어 노브(441)이다.

원격 단말기(300)는, 예를 들어 태블릿 단말기이고, 터치 패널이 중첩하여 배치된 표시 패널(341)을 갖는다. 표시 패널(341)에는, 로봇(100)으로부터 수신한 촬상 화상이 표시되고, 유저는, 로봇(100)이 존재하는 제1 환경을 간접적으로 시인할 수 있다. 또한, 유저는, 표시 패널(341)에 표시된 촬상 화상에 대하여, 핸드(124)에 의한 파지를 요구하는 파지 대상물에 대한 파지 동작의 방법을 모의한 화상(제1 화상)인 수기 입력 정보를 수기로 입력할 수 있다. 수기 입력 정보의 입력 방법으로서는, 표시 패널(341)에 중첩하여 배치된 터치 패널 상에서, 유저의 손가락이나 터치펜 등을 사용하여, 촬상 화상의 해당 부분을 터치하는 방법 등이 있지만, 이것에 한정되지는 않는다. 도 3 내지 도 5는, 촬상 화상(310)에 대하여 입력된 수기 입력 정보의 예를 도시하는 도면이다. 도 3의 예는, 테이블(400)에 적재된 직육면체 상의 물체(401)를 위에서 쥐는 것을 모의한 수기 입력 정보(901)를 도시하고 있다. 도 4의 예는, 테이블(400)에 적재된 원주 상의 물체(402)를 옆에서 쥐는 것을 모의한 수기 입력 정보(902)를 도시하고 있다. 도 5의 예는, 장롱(410)의 손잡이(411)를 쥐어서 문을 여는 것을 모의한 수기 입력 정보(903)를 도시하고 있다. 도 3 내지 도 5에 도시된 바와 같이, 수기 입력 정보의 화상은, 선 등의 도형만으로 이루어지는 화상이어도 되고, 선 등의 도형과 문자의 조합으로 이루어지는 화상이어도 된다. 유저가 촬상 화상에 대하여 입력한 수기 입력 정보는, 인터넷(600)을 통해 로봇(100)에 송신된다.

로봇(100)은, 촬상 화상으로부터 인식한 파지 가능물과, 그 촬상 화상에 대하여 유저가 입력한 수기 입력 정보에 기초하여, 파지 가능부 중에서 핸드(124)에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 추정한 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법을 추정한다.

도 6은, 로봇(100)의 외관 구성예를 도시하는 외관 사시도이다. 로봇(100)은, 크게 나누어, 대차부(110)와 본체부(120)에 의해 구성된다. 대차부(110)는, 원통 형상의 하우징 내에, 각각이 주행면에 접지하는 2개의 구동륜(111)과 1개의 캐스터(112)를 지지하고 있다. 2개의 구동륜(111)은, 서로 회전 축심이 일치하도록 배치되어 있다. 각각의 구동륜(111)은, 도시하지 않은 모터에 의해 독립적으로 회전 구동된다. 캐스터(112)는, 종동륜이고, 대차부(110)로부터 연직 방향으로 연장되는 선회 축이 차륜의 회전축으로부터 이격되어서 차륜을 축 지지하도록 마련되어 있고, 대차부(110)의 이동 방향을 따르도록 추종한다.

대차부(110)는, 상면의 주연부에 레이저 스캐너(133)를 구비한다. 레이저 스캐너(133)는, 수평면 내의 일정한 범위를 스텝 각마다 스캔하여, 각각의 방향에 장해물이 존재하는지의 여부를 출력한다. 또한, 레이저 스캐너(133)는, 장해물이 존재하는 경우에는, 그 장해물까지의 거리를 출력한다.

본체부(120)는, 주로, 대차부(110)의 상면에 탑재된 동체부(121), 동체부(121)의 상면에 적재된 헤드부(122), 동체부(121)의 측면에 지지된 암(123) 및 암(123)의 선단부에 설치된 핸드(124)를 구비한다. 암(123)과 핸드(124)는, 도시하지 않은 모터를 통해 구동되어, 파지 대상물을 파지한다. 동체부(121)는, 도시하지 않은 모터의 구동력에 의해, 대차부(110)에 대하여 연직 축 주위로 회전할 수 있다.

헤드부(122)는, 주로, 스테레오 카메라(131) 및 표시 패널(141)을 구비한다. 스테레오 카메라(131)는, 동일 화각을 갖는 2개의 카메라 유닛이 서로 이격하여 배치된 구성을 갖고, 각각의 카메라 유닛에서 촬상된 촬상 신호를 출력한다.

표시 패널(141)은, 예를 들어 액정 패널이고, 설정된 캐릭터의 얼굴을 애니메이션으로 표시하거나, 로봇(100)에 관한 정보를 텍스트나 아이콘으로 표시하거나 한다. 표시 패널(141)에 캐릭터의 얼굴을 표시하면, 표시 패널(141)이 의사적인 얼굴부인지의 인상을 주위의 사람들에게 부여할 수 있다.

헤드부(122)는, 도시하지 않은 모터의 구동력에 의해, 동체부(121)에 대하여 연직 축 주위로 회전할 수 있다. 그 때문에, 스테레오 카메라(131)는, 임의의 방향을 촬상할 수 있고, 또한, 표시 패널(141)은, 임의의 방향을 향하여 표시 내용을 제시할 수 있다.

도 7은, 로봇(100)의 블록 구성예를 도시하는 블록도이다. 여기에서는, 파지 대상물 및 파지 동작의 방법의 추정에 관계하는 주된 요소에 대하여 설명하지만, 로봇(100)의 구성으로서는 다른 요소도 구비하고, 또한, 파지 대상물 및 파지 동작의 방법 추정에 기여하는 다른 요소가 더하여질 수도 있다.

제어부(150)는, 예를 들어 CPU이고, 예를 들어 동체부(121)에 구비된 컨트롤 유닛에 저장되어 있다. 대차 구동 유닛(145)은, 구동륜(111)과, 구동륜(111)을 구동하기 위한 구동 회로나 모터를 포함한다. 제어부(150)는, 대차 구동 유닛(145)으로 구동 신호를 보냄으로써, 구동륜의 회전 제어를 실행한다. 또한, 제어부(150)는, 대차 구동 유닛(145)으로부터 인코더 등의 피드백 신호를 수취하여, 대차부(110)의 이동 방향이나 이동 속도를 파악한다.

상체 구동 유닛(146)은, 암(123) 및 핸드(124)와, 동체부(121) 및 헤드부(122)와, 이들을 구동하기 위한 구동 회로나 모터를 포함한다. 제어부(150)는, 상체 구동 유닛(146)으로 구동 신호를 보냄으로써, 파지 동작이나 제스처를 실현한다. 또한, 제어부(150)는, 상체 구동 유닛(146)으로부터 인코더 등의 피드백 신호를 수취하여, 암(123) 및 핸드(124)의 위치나 이동 속도, 동체부(121) 및 헤드부(122)의 방향이나 회전 속도를 파악한다.

표시 패널(141)은, 제어부(150)가 생성한 화상 신호를 수신하여 표시한다. 또한, 제어부(150)는, 상술한 바와 같이, 캐릭터 등의 화상 신호를 생성하여, 표시 패널(141)에 표시시킨다.

스테레오 카메라(131)는, 제어부(150)로부터의 요구에 따라, 로봇(100)이 존재하는 제1 환경을 촬상하고, 촬상 신호를 제어부(150)로 넘겨준다. 제어부(150)는, 촬상 신호를 사용하여 화상 처리를 실행하거나, 미리 정해진 포맷을 따라서 촬상 신호를 촬상 화상으로 변환하거나 한다. 레이저 스캐너(133)는, 제어부(150)로부터의 요구에 따라서 이동 방향에 장해물이 존재하는지의 여부를 검출하고, 그 검출 결과인 검출 신호를 제어부(150)로 넘겨준다.

핸드 카메라(135)는, 예를 들어 거리 화상 센서이고, 파지 대상물의 거리, 형상, 방향 등을 인식하기 위하여 사용된다. 핸드 카메라(135)는, 대상 공간으로부터 입사하는 광학 상을 광전 변환하는 픽셀이 이차원상으로 배열된 촬상 소자를 포함하고, 픽셀마다 피사체까지의 거리를 제어부(150)로 출력한다. 구체적으로는, 핸드 카메라(135)는, 패턴 광을 대상 공간에 조사하는 조사 유닛을 포함하고, 그 패턴 광에 대한 반사광을 촬상 소자에서 수광하고, 화상에 있어서의 패턴의 변형이나 크기로부터 각 픽셀이 파악한 피사체까지의 거리를 출력한다. 또한, 제어부(150)는, 더 넓은 주변 환경의 모습을 스테레오 카메라(131)로 파악하고, 파지 대상물 근방의 모습을 핸드 카메라(135)로 파악한다.

메모리(180)는, 불휘발성의 기억 매체이고, 예를 들어 솔리드 스테이트 드라이브가 사용된다. 메모리(180)는, 로봇(100)을 제어하기 위한 제어 프로그램 이외에도, 제어나 연산에 사용되는 여러가지 파라미터값, 함수, 룩 업 테이블 등을 기억하고 있다. 특히, 메모리(180)는, 촬상 화상을 입력 화상으로 하여, 그 촬상 화상에 찍히고 있는 파지 가능물을 출력하는 제1 학습 완료 모델(181)과, 수기 입력 정보의 화상을 입력 화상으로 하여, 그 수기 입력 정보가 모의하는 파지 동작의 의미를 출력하는 제2 학습 완료 모델(182)을 기억하고 있다.

통신 유닛(190)은, 예를 들어 무선 LAN 유닛이고, 무선 라우터(700) 사이에서 무선 통신을 행한다. 통신 유닛(190)은, 원격 단말기(300)로부터 보내져 오는 수기 입력 정보를 수신하여 제어부(150)로 넘겨준다. 또한, 통신 유닛(190)은, 제어부(150)의 제어에 따라, 스테레오 카메라(131)로 촬상된 촬상 화상을 원격 단말기(300)로 송신한다.

제어부(150)는, 메모리(180)로부터 판독한 제어 프로그램을 실행함으로써 로봇(100) 전체의 제어와 다양한 연산 처리를 실행한다. 또한, 제어부(150)는, 제어에 관계되는 다양한 연산이나 제어를 실행하는 기능 실행부로서의 역할도 담당한다. 이러한 기능 실행부로서, 제어부(150)는, 인식부(151) 및 추정부(152)를 포함한다.

인식부(151)는, 스테레오 카메라(131)의 어느 한쪽의 카메라 유닛으로 촬상된 촬상 화상을 입력 화상으로 하고, 메모리(180)로부터 판독한 제1 학습 완료 모델(181)로부터, 그 촬상 화상에 찍혀 있는, 핸드(124)가 파지 가능한 파지 가능 영역을 얻어, 파지 가능부를 인식한다.

도 8은, 로봇(100)이 스테레오 카메라(131)에 의해 취득한, 제1 환경의 촬상 화상(310)의 예를 도시하는 도면이다. 도 8의 촬상 화상(310)에는, 손잡이(411)를 구비하는 장롱(410)과, 손잡이(421, 422)를 구비하는 장롱(420)이 찍혀 있다. 인식부(151)는, 이러한 촬상 화상(310)을 입력 화상으로 하여 제1 학습 완료 모델(181)에 부여한다.

도 9는, 도 8의 촬상 화상(310)을 입력 화상으로 한 경우에, 제1 학습 완료 모델(181)이 출력하는 파지 가능 영역의 예를 도시하는 도면이다. 구체적으로는, 손잡이(411)를 둘러싸는 영역이 파지 가능 영역(801)으로서, 손잡이(421)를 둘러싸는 영역이 파지 가능 영역(802)으로서, 손잡이(422)를 둘러싸는 영역이 파지 가능 영역(803)으로서, 각각 검출된다. 그 때문에, 인식부(151)는, 파지 가능 영역(801, 802, 803)에 각각 둘러싸인 손잡이(411, 421, 422)를, 파지 가능부로서 인식한다.

제1 학습 완료 모델(181)은, 핸드(124)가 파지 가능한 파지 가능부가 찍히는 화상과, 그 화상 중 어느 영역이 파지 가능부인지의 정답값의 조합인 교사 데이터에 의해 학습을 행한 신경망이다. 이때, 교사 데이터를, 화상 중의 파지 가능부의 거리, 방향을 또한 나타내는 교사 데이터로 함으로써, 제1 학습 완료 모델(181)을, 촬상 화상을 입력 화상으로 하여, 파지 가능부를 출력할 뿐만 아니라, 그 파지 가능부의 거리, 방향도 출력하는 학습 완료 모델로 할 수도 있다. 또한, 제1 학습 완료 모델(181)은, 심층 학습에 의해 학습을 행한 신경망이면 된다. 또한, 제1 학습 완료 모델(181)은, 교사 데이터를 수시 추가하여, 추가 학습을 시켜도 된다.

추정부(152)는, 인식부(151)가 촬상 화상으로부터 인식한 파지 가능물과, 그 촬상 화상에 대하여 유저가 입력한 수기 입력 정보에 기초하여, 인식부(151)가 인식한 파지 가능부 중에서 핸드(124)에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 추정한 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법을 추정한다.

도 10은, 원격 단말기(300)에 있어서, 유저가 도 8의 촬상 화상(310)에 대하여 입력한 수기 입력 정보의 예를 도시하는 도면이다. 도 10의 예에서는, 촬상 화상(310) 상의 손잡이(411)의 위치에 있어서, 수기 입력 정보(904)가 입력되어 있다. 그 때문에, 추정부(152)는, 인식부(151)가 파지 가능부로서 인식한 손잡이(411, 421, 422) 중, 핸드(124)에 의한 파지가 요구되고 있는 파지 대상물은, 손잡이(411)라고 추정한다. 또한, 추정부(152)는, 촬상 화상(310) 상의 수기 입력 정보(904)의 입력 위치를 임의의 방법으로 인식할 수 있다. 예를 들어, 원격 단말기(300)가, 촬상 화상(310) 상의 수기 입력 정보(904)의 입력 위치를 나타내는 위치 정보를, 수기 입력 정보(904)에 포함하여 송신하는 것으로 하면, 추정부(152)는, 그 위치 정보에 기초하여, 수기 입력 정보(904)의 입력 위치를 인식할 수 있다. 또는, 원격 단말기(300)가, 수기 입력 정보(904)가 입력된 상태로 가공된 촬상 화상(310)을 송신하는 것으로 하면, 추정부(152)는, 그 촬상 화상(310)에 기초하여, 수기 입력 정보(904)의 입력 위치를 인식할 수 있다.

또한, 추정부(152)는, 유저가 촬상 화상에 대하여 입력한 수기 입력 정보의 화상을 입력 화상으로 하고, 메모리(180)로부터 판독한 제2 학습 완료 모델(182)로부터, 그 수기 입력 정보가 모의하는 파지 동작의 의미를 얻어, 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법을 추정한다.

제2 학습 완료 모델(182)은, 수기 입력 정보의 화상과, 그 수기 입력 정보가 모의하는 파지 동작의 의미의 조합인 교사 데이터에 의해 학습을 행한 신경망이다. 도 11은, 제2 학습 완료 모델(182)용의 교사 데이터의 예를 도시하는 도면이다. 도 11의 예는, 「쥐다」라고 하는 파지 동작을 의미하는 3개의 화상과, 「열다」라고 하는 파지 동작을 의미하는 4개의 화상을 제2 학습 완료 모델(182)에 학습시키기 위한 교사 데이터이다. 또한, 도 11의 교사 데이터와 비교하여, 보다 미세한 교사 데이터를 제2 학습 완료 모델(182)에 학습시켜도 된다. 도 12는, 「쥐다」라고 하는 파지 동작을 보다 미세하게 제2 학습 완료 모델(182)에 학습시키기 위한 교사 데이터의 예를 도시하는 도면이다. 도 12의 예에서는, 교사 데이터는, 「위에서 쥐다」, 「옆에서 쥐다」, 「비스듬하게 위에서 쥐다」라고 하는 파지 동작을 각각 의미하는 화상을, 제2 학습 완료 모델(182)에 학습시키기 위한 교사 데이터이다. 또한, 제2 학습 완료 모델(182)은, 심층 학습에 의해 학습을 행한 신경망이면 된다. 또한, 제2 학습 완료 모델(182)은, 교사 데이터를 수시 추가하여, 추가 학습을 시켜도 된다.

도 10의 예에서는, 추정부(152)는, 제2 학습 완료 모델(182)로부터, 수기 입력 정보(904)가 「열다」라고 하는 파지 동작의 의미인 것을 인식한다. 그 때문에, 추정부(152)는, 파지 대상물인 손잡이(411)에 대하여 요구되고 있는 파지 동작은, 손잡이(411)를 쥐어서 문을 연다고 하는 동작이라고 추정한다.

이상과 같이 하여, 추정부(152)는, 핸드(124)에 의한 파지가 요구되고 있는 파지 대상물과, 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법을 추정할 수 있다. 또한, 제1 학습 완료 모델(181)에 따라서는, 스테레오 카메라(131)에 의해 취득한 촬상 화상으로부터, 파지 대상물의 거리, 방향을 얻을 수 있다. 또한, 파지 대상물의 거리, 방향은, 제1 환경의 촬상 화상을 화상 해석하여 얻어도 되고, 그 밖의 센서로부터의 정보에 의해 얻어도 된다. 또한, 레이저 스캐너(133)로부터의 검출 신호에 의해 로봇(100)의 이동 방향에 장해물이 존재하는지의 여부를 검출할 수도 있다.

그 때문에, 제어부(150)는, 파지 대상물의 거리, 방향, 장해물의 존재 유무 등에 기초하여, 로봇(100)이, 현재 위치로부터, 장해물을 회피하면서, 파지 대상물의 근방으로 이동시키기 위한 경로를 생성하고, 생성한 경로에 따른 구동 신호를, 대차 구동 유닛(145)으로 송신한다. 대차 구동 유닛(145)은, 그 구동 신호에 따라, 파지 대상물의 근방으로 로봇(100)을 이동시킨다.

제어부(150)는, 로봇(100)이 파지 대상물의 근방으로 이동한 시점에서, 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작을 개시하기 위한 준비를 행한다. 구체적으로는, 먼저, 제어부(150)는, 핸드 카메라(135)가 파지 대상물을 관찰할 수 있는 위치로 암(123)을 구동한다. 계속해서, 제어부(150)는, 핸드 카메라(135)에 파지 대상물을 촬상시켜, 파지 대상물의 상태를 인식한다.

그리고, 제어부(150)는, 파지 대상물의 상태와, 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법에 기초하여, 파지 대상물에 대하여 요구되고 있는 파지 동작을 실현하기 위한 핸드(124)의 궤도를 생성한다. 이때, 제어부(150)는, 소정의 파지 조건을 만족시키도록, 핸드(124)의 궤도를 생성한다. 소정의 파지 조건은, 핸드(124)가 파지 대상물을 파지할 때의 조건이나, 핸드(124)가 파지 대상물을 파지할 때까지의 궤도의 조건 등을 포함한다. 핸드(124)가 파지 대상물을 파지할 때의 조건은, 예를 들어 핸드(124)가 파지 대상물을 파지할 때에, 암(123)을 너무 신장시키지 않도록 하는 등이다. 또한, 핸드(124)가 파지 대상물을 파지할 때까지의 궤도의 조건은, 예를 들어 파지 대상물이 서랍의 손잡이인 경우, 핸드(124)가 직선 궤도를 취하는 것 등이다.

제어부(150)는, 핸드(124)의 궤도를 생성하면, 생성한 궤도에 따른 구동 신호를 상체 구동 유닛(146)으로 송신한다. 핸드(124)는, 그 구동 신호에 따라, 파지 대상부에 대한 파지 동작을 행한다.

도 13은, 원격 단말기(300)의 블록 구성예를 도시하는 블록도이다. 여기에서는, 로봇(100)으로부터 수신한 촬상 화상에 대하여 수기 입력 정보를 입력하는 처리에 관계하는 주된 요소에 대하여 설명하지만, 원격 단말기(300)의 구성으로서는 다른 요소도 구비하고, 또한, 수기 입력 정보를 입력하는 처리에 기여하는 다른 요소가 더하여질 수도 있다.

연산부(350)는, 예를 들어 CPU이고, 메모리(380)로부터 판독한 제어 프로그램을 실행함으로써 원격 단말기(300) 전체의 제어와 다양한 연산 처리를 실행한다. 표시 패널(341)은, 예를 들어 액정 패널이고, 예를 들어 로봇(100)으로부터 보내져 온 촬상 화상을 표시한다.

입력 유닛(342)은, 표시 패널(141)에 중첩하여 배치된 터치 패널이나, 표시 패널(141)의 주연부에 마련된 누름 버튼 등을 포함한다. 입력 유닛(342)은, 유저가 터치 패널로의 터치에 의해 입력한, 핸드(124)에 의한 파지를 요구하는 파지 대상물에 대한 파지 동작의 방법을 모의한 화상인 수기 입력 정보를, 연산부(350)로 넘겨준다. 수기 입력 정보의 예는, 예를 들어 도 3 내지 도 5에 도시한 대로이다.

메모리(380)는, 불휘발성의 기억 매체이고, 예를 들어 솔리드 스테이트 드라이브가 사용된다. 메모리(380)는, 원격 단말기(300)를 제어하기 위한 제어 프로그램 이외에도, 제어나 연산에 사용되는 다양한 파라미터값, 함수, 룩 업 테이블 등을 기억하고 있다.

통신 유닛(390)은, 예를 들어 무선 LAN 유닛이고, 무선 라우터(700) 사이에서 무선 통신을 행한다. 통신 유닛(390)은, 로봇(100)으로부터 보내져 오는 촬상 화상을 수신하여 연산부(350)에 넘겨준다. 또한, 통신 유닛(390)은, 연산부(350)와 협동하여, 수기 입력 정보를 로봇(100)으로 송신한다.

이어서, 본 실시 형태에 관한 원격 조작 시스템(10)의 전체적인 처리에 대하여 설명한다. 도 14는, 본 실시 형태에 관한 원격 조작 시스템(10)의 전체적인 처리의 흐름의 예를 도시하는 흐름도이다. 좌측의 플로는 로봇(100)의 처리 플로를 도시하고, 우측의 플로는 원격 단말기(300)의 처리 플로를 나타낸다. 또한, 시스템 서버(500)를 통해 행하는, 수기 입력 정보나 촬상 화상의 교환을, 점선의 화살표로 나타내고 있다.

로봇(100)의 제어부(150)는, 로봇(100)이 존재하는 제1 환경을, 스테레오 카메라(131)에 촬상시켜(스텝 S11), 그 촬상 화상을, 통신 유닛(190)을 통해 원격 단말기(300)로 송신한다(스텝 S12).

원격 단말기(300)의 연산부(350)는, 로봇(100)으로부터 통신 유닛(390)을 통해 촬상 화상을 수신하면, 수신한 촬상 화상을 표시 패널(341)에 표시한다. 이후, 연산부(350)는, 촬상 화상에 대한 수기 입력 정보의 입력을 접수하는 상태로 천이한다(스텝 S31). 유저가, 터치 패널인 입력 유닛(342)을 통해, 촬상 화상에 대하여 수기 입력 정보를 입력하면(스텝 S31의 "예"), 연산부(350)는, 그 수기 입력 정보를, 통신 유닛(390)을 통해 로봇(100)으로 송신한다(스텝 S32).

로봇(100)의 인식부(151)는, 원격 단말기(300)로부터, 유저가 촬상 화상에 대하여 입력한 수기 입력 정보를 수신하면, 그 촬상 화상에 기초하여, 파지 가능물을 인식한다. 로봇(100)의 추정부(152)는, 인식부(151)가 촬상 화상으로부터 인식한 파지 가능물과, 그 촬상 화상에 대하여 유저가 입력한 수기 입력 정보에 기초하여, 인식부(151)가 인식한 파지 가능부 중에서 핸드(124)에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 추정한 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법을 추정한다(스텝 S13).

이후, 로봇(100)의 제어부(150)는, 대차 구동 유닛(145)을 제어하여, 파지 대상물의 근방에 로봇(100)을 이동시켜, 로봇(100)이 파지 대상물의 근방으로 이동한 시점에서, 파지 대상물에 대하여 요구되고 있는 파지 동작을 실현하기 위한 핸드(124)의 궤도를 생성한다(스텝 S14). 제어부(150)는, 핸드(124)의 궤도를 생성하면, 생성한 궤도에 따라서 상체 구동 유닛(146)을 제어하고, 핸드(124)에 의해 파지 대상부에 대한 파지 동작이 행하여진다(스텝 S15).

이어서, 도 14의 스텝 S13의 처리 상세에 대하여 설명한다. 도 15는, 로봇(100)에 의한 도 14의 스텝 S13의 처리의 상세한 흐름의 예를 도시하는 흐름도이다.

원격 단말기(300)로부터, 유저가 촬상 화상에 대하여 입력한 수기 입력 정보를 수신하면, 먼저, 인식부(151)는, 그 촬상 화상을 입력 화상으로 하고, 메모리(180)로부터 판독한 제1 학습 완료 모델(181)로부터, 그 촬상 화상에 찍혀 있는 파지 가능 영역을 얻어, 파지 가능부를 인식한다(스텝 S131).

이어서, 추정부(152)는, 인식부(151)가 인식한 파지 가능부 중에서, 촬상 화상 상의 수기 입력 정보의 입력 위치에 기초하여, 핸드(124)에 의한 파지가 요구되고 있는 파지 대상물을 추정한다(스텝 S132). 또한, 촬상 화상 상의 수기 입력 정보의 입력 위치는, 예를 들어 상술한 방법과 마찬가지의 방법을 사용하여 인식하면 된다.

이어서, 추정부(152)는, 수기 입력 정보의 화상을 입력 화상으로 하고, 메모리(180)로부터 판독한 제2 학습 완료 모델(182)로부터, 그 수기 입력 정보가 모의하는 파지 동작의 의미를 얻어, 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법을 추정한다(스텝 S133).

이상 설명한 바와 같이 본 실시 형태에 따르면, 인식부(151)는, 로봇(100)이 존재하는 환경을 촬상한 촬상 화상에 기초하여, 핸드(124)가 파지 가능한 파지 가능부를 인식한다. 추정부(152)는, 인식부(151)가 촬상 화상으로부터 인식한 파지 가능부와, 그 촬상 화상에 대하여 유저가 입력한 수기 입력 정보에 기초하여, 파지 가능부 중에서 핸드(124)에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 추정한 파지 대상물에 대하여 요구되고 있는 핸드(124)에 의한 파지 동작의 방법을 추정한다.

이에 의해, 유저는, 미리 설정된 지시 도형을 상기하면서 수기 입력을 하지 않아도, 원격 조작에 의해 로봇(100)에 파지 동작을 실행시킬 수 있다. 따라서, 보다 직감적인 조작이 가능한 원격 조작 시스템(10)을 실현할 수 있다.

또한, 본 개시는 상기 실시 형태에 한정된 것은 아니고, 취지를 일탈하지 않는 범위에서 적절히 변경하는 것이 가능하다.

예를 들어, 상기 실시 형태에서는, 수기 입력 정보는, 핸드(124)에 의한 파지를 요구하는 파지 대상물에 대한 파지 동작의 방법을 모의한 화상이었지만, 이것에 한정되지는 않는다. 수기 입력 정보는, 파지 동작의 정도를 나타내는 화상을 더 포함하고 있어도 된다. 이 경우, 추정부(152)는, 수기 입력 정보에 기초하여, 파지 대상물에 대하여 요구되고 있는 파지 동작의 정도를 더 추정해도 된다. 도 16은, 파지 동작의 정도를 나타내는 화상을 포함하는 수기 입력 정보의 예를 도시하는 도면이다. 도 16의 예는, 도 5의 수기 입력 정보(903)와 마찬가지의 화상에, 파지 동작의 정도를 나타내는 「30°」라고 하는 화상이 추가된 수기 입력 정보(905)를 도시하고 있다. 도 16의 예에서는, 추정부(152)는, 손잡이(411)에 대하여 요구되고 있는 파지 동작은, 손잡이(411)를 쥐어서 문을 30° 연다고 하는 동작이라고 추정한다. 이에 의해, 유저는, 보다 정교한 직감적인 조작이 가능해진다.

또한, 상기 실시 형태에서는, 촬상 화상에 대하여 1개의 수기 입력 정보가 입력되는 예를 설명했지만, 이것에 한정되지는 않는다. 촬상 화상에 대해서는 복수의 수기 입력 정보가 입력되어도 된다. 촬상 화상에 대하여 복수의 수기 입력 정보가 입력된 경우, 추정부(152)는, 복수의 수기 입력 정보마다, 파지 대상물 및 파지 동작의 방법을 추정한다. 이때, 추정부(152)는, 파지 동작의 순번을, 파지 동작에 대응하는 수기 입력 정보가 입력된 순번으로 추정해도 된다. 또는, 수기 입력 정보는, 파지 동작의 순번을 나타내는 화상을 더 포함하는 것으로 하고, 추정부(152)는, 수기 입력 정보에 기초하여, 파지 동작의 순번을 더 추정해도 된다. 도 17은, 파지 동작의 순번을 나타내는 화상을 포함하는 수기 입력 정보가 복수 입력된 예를 도시하는 도면이다. 도 17의 예는, 촬상 화상(310)에 대하여, 손잡이(422)에 대한 수기 입력 정보(906) 및 손잡이(411)에 대한 수기 입력 정보(907)라고 하는 2개의 수기 입력 정보가 입력된 예를 도시하고 있다. 여기서, 수기 입력 정보(906)는, 파지 동작의 순번을 나타내는 「1」이라고 하는 화상을 포함하고, 수기 입력 정보(907)는, 파지 동작의 순번을 나타내는 「2」라고 하는 화상을 포함하고 있다. 그 때문에, 도 17의 예에서는, 추정부(152)는, 첫번째로, 손잡이(422)에 대하여 요구되고 있는 파지 동작(손잡이(422)를 쥐어서 서랍을 연다고 하는 동작)을 실행하고, 두번째로, 손잡이(411)에 대하여 요구되고 있는 파지 동작(손잡이(411)를 쥐어서 문을 연다고 하는 동작)을 실행한다고 추정한다.

또한, 상기 실시 형태에서는, 제1 학습 완료 모델(181) 및 제2 학습 완료 모델(182)이라고 하는 2개의 학습 완료 모델을 사용하고 있었지만, 이것에 한정되지는 않는다. 제1 학습 완료 모델(181) 및 제2 학습 완료 모델(182) 대신에, 제1 학습 완료 모델(181)의 출력을 제2 학습 완료 모델(182)에 적용한 전이 학습 완료 모델을 사용해도 된다. 이 전이 학습 완료 모델은, 예를 들어 수기 입력 정보가 입력된 촬상 화상을 입력 화상으로 하여, 그 촬상 화상에 찍혀 있는 파지 가능물과, 그 파지 가능물 중 파지 대상물과, 그 수기 입력 정보가 모의하는 파지 대상물에 대한 파지 동작의 의미를 출력하는 모델이 된다.

또한, 상기 실시 형태에서는, 인식부(151) 및 추정부(152)가 로봇(100)에 구비되어 있었지만, 이것에 한정되지는 않는다. 인식부(151) 및 추정부(152)는, 원격 단말기(300)에 구비되어 있어도 되고, 시스템 서버(500)에 구비되어 있어도 된다.

또한, 상기 실시 형태에서는, 로봇(100)과 원격 단말기(300)가 인터넷(600) 및 시스템 서버(500)를 통해, 촬상 화상이나 수기 입력 정보를 주고받고 있었지만, 이것에 한정되지는 않는다. 로봇(100)과 원격 단말기(300)는, 직접 통신에 의해, 촬상 화상이나 수기 입력 정보를 주고받아도 된다.

또한, 상기 실시 형태에서는, 로봇(100)에 구비되어 있는 촬상부(스테레오 카메라(131))를 사용하고 있었지만, 이것에 한정되지는 않는다. 촬상부는, 로봇(100)이 존재하는 제1 환경의 임의의 장소에 구비된 임의의 촬상부이면 된다. 또한, 촬상부는, 스테레오 카메라에 한정되지 않고, 단안 카메라 등이어도 된다.

또한, 상기 실시 형태에서는, 피조작 대상이, 암(123)의 선단 핸드(124)를 엔드 이펙터로서 구비하는 로봇(100)인 예를 설명했지만, 이것에 한정되지는 않는다. 피조작 대상은, 엔드 이펙터를 구비하고, 엔드 이펙터를 사용하여 파지 동작을 실행하는 것이면 된다. 또한, 엔드 이펙터는, 핸드 이외의 다른 파지부(예를 들어, 흡착부 등)여도 된다.

또한, 상기 실시 형태에서는, 로봇(100) 및 원격 단말기(300)에 있어서, CPU가, 메모리로부터 판독한 제어 프로그램을 실행함으로써 제어와 연산 처리를 실행하는 것에 대하여 설명하였다. 시스템 서버(500)에 있어서도, 로봇(100) 및 원격 단말기(300)와 마찬가지로, CPU가, 메모리로부터 판독한 제어 프로그램을 실행함으로써 제어와 연산 처리를 실행해도 된다.

또한 상기 실시 형태에서는, 프로그램은, 여러 가지 타입의 비일시적인 컴퓨터 가독 매체를 사용해서 저장되어, 컴퓨터에 공급할 수 있다. 비일시적인 컴퓨터 가독 매체는, 여러 가지 타입의 실체가 있는 기록 매체를 포함한다. 비일시적인 컴퓨터 가독 매체의 예는, 자기 기록 매체(예를 들어 플렉시블 디스크, 자기 테이프, 하드디스크 드라이브), 광자기 기록 매체(예를 들어 광자기 디스크), CD-ROM(Read Only Memory), CD-R, CD-R/W, 반도체 메모리[예를 들어, 마스크 ROM, PROM(Programmable ROM), EPROM(Erasable PROM), 플래시 ROM, RAM(random access memory)]를 포함한다. 프로그램은, 여러 가지 타입의 일시적인 컴퓨터 가독 매체에 의해 컴퓨터에 공급되어도 된다. 일시적인 컴퓨터 가독 매체의 예는, 전기 신호, 광 신호 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는, 전선 및 광 파이버 등의 유선 통신로, 또는 무선 통신로를 통해, 프로그램을 컴퓨터에 공급할 수 있다.

이상의 본 개시의 설명으로부터, 본 개시의 실시형태를 다양하게 변형할 수 있는 것은 명확하다. 그러한 변형은 본 발명의 사상 및 범위로부터 일탈하는 것이라 간주되는 것은 아니며, 또한 모든 당업자에게 있어서 자명한 그러한 개량은 이하의 청구범위에 포함되는 것이다.

Claims

엔드 이펙터를 구비하는 피조작 대상을 원격 조작하는 원격 조작 시스템이며,
상기 피조작 대상이 존재하는 환경을 촬상하는 촬상부와,
상기 촬상부가 촬상한 상기 환경의 촬상 화상에 기초하여, 상기 엔드 이펙터가 파지 가능한 파지 가능부를 인식하는 인식부와,
상기 촬상 화상을 표시함과 함께, 표시한 상기 촬상 화상에 대한 수기 입력 정보의 입력을 접수하는 조작 단말기와,
상기 인식부가 인식한 상기 파지 가능부와, 상기 촬상 화상에 대하여 입력된 상기 수기 입력 정보에 기초하여, 상기 파지 가능부 중에서 상기 엔드 이펙터에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 상기 파지 대상물에 대하여 요구되고 있는 상기 엔드 이펙터에 의한 파지 동작의 방법을 추정하는 추정부를
구비하는, 원격 조작 시스템.
제1항에 있어서, 상기 수기 입력 정보는, 상기 파지 대상물에 대한 파지 동작의 방법을 모의한 제1 화상을 포함하는,
원격 조작 시스템.
제1항에 있어서, 상기 추정부는, 상기 인식부가 인식한 상기 파지 가능부와, 상기 촬상 화상에 대하여 입력된 상기 수기 입력 정보에 기초하여, 상기 파지 대상물에 대하여 요구되고 있는 상기 파지 동작의 정도를 더 추정하는,
원격 조작 시스템.
제3항에 있어서, 상기 수기 입력 정보는, 상기 파지 대상물에 대한 파지 동작의 방법을 모의한 제1 화상과, 해당 파지 동작의 정도를 나타내는 화상을 포함하는,
원격 조작 시스템.
제1항에 있어서, 상기 추정부는, 상기 촬상 화상에 대하여 복수의 상기 수기 입력 정보가 입력된 경우, 상기 인식부가 인식한 상기 파지 가능부와, 상기 촬상 화상에 대하여 입력된 복수의 상기 수기 입력 정보에 기초하여, 복수의 상기 수기 입력 정보마다, 상기 파지 대상물을 추정함과 함께, 상기 파지 대상물에 대하여 요구되고 있는 상기 파지 동작의 방법을 추정하는,
원격 조작 시스템.
제5항에 있어서, 상기 추정부는, 상기 인식부가 인식한 상기 파지 가능부와, 상기 촬상 화상에 대하여 입력된 복수의 상기 수기 입력 정보에 기초하여, 복수의 상기 수기 입력 정보에 의해 각각 요구되고 있는 복수의 상기 파지 동작의 순번을 더 추정하는,
원격 조작 시스템.
제6항에 있어서, 상기 수기 입력 정보는, 상기 파지 대상물에 대한 파지 동작의 방법을 모의한 제1 화상과, 해당 파지 동작의 순번을 나타내는 화상을 포함하는,
원격 조작 시스템.
제5항에 있어서, 상기 추정부는, 복수의 상기 수기 입력 정보가 입력된 순번에 기초하여, 복수의 상기 수기 입력 정보에 의해 각각 요구되고 있는 복수의 상기 파지 동작의 순번을 더 추정하는,
원격 조작 시스템.
제2항, 제4항 또는 제7항에 있어서, 상기 추정부는, 상기 수기 입력 정보의 상기 제1 화상을 입력 화상으로 하는 학습 완료 모델을 사용하여, 상기 파지 대상물에 대하여 요구되고 있는 상기 파지 동작의 방법을 추정하는,
원격 조작 시스템.
엔드 이펙터를 구비하는 피조작 대상을 원격 조작하는 원격 조작 시스템에 의한 원격 조작 방법이며,
상기 피조작 대상이 존재하는 환경을 촬상하고,
상기 환경의 촬상 화상을 표시한 조작 단말기에 있어서, 표시한 상기 촬상 화상에 대한 수기 입력 정보의 입력을 접수하고,
상기 촬상 화상에 기초하여, 상기 엔드 이펙터가 파지 가능한 파지 가능부를 인식하고,
상기 파지 가능부와, 상기 촬상 화상에 대하여 입력된 상기 수기 입력 정보에 기초하여, 상기 파지 가능부 중에서 상기 엔드 이펙터에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 상기 파지 대상물에 대하여 요구되고 있는 상기 엔드 이펙터에 의한 파지 동작의 방법을 추정하는,
원격 조작 방법.
기록 매체에 저장된 프로그램이며,
컴퓨터에,
엔드 이펙터를 구비하는 피조작 대상이 존재하는 환경을 촬상한 촬상 화상에 기초하여, 상기 엔드 이펙터가 파지 가능한 파지 가능부를 인식하는 수순과,
조작 단말기에 표시된 상기 촬상 화상에 대하여 입력된 수기 입력 정보와, 상기 파지 가능부에 기초하여, 상기 파지 가능부 중에서 상기 엔드 이펙터에 의한 파지가 요구되고 있는 파지 대상물을 추정함과 함께, 상기 파지 대상물에 대하여 요구되고 있는 상기 엔드 이펙터에 의한 파지 동작의 방법을 추정하는 수순을
실행시키기 위한 프로그램.