KR20210055650A - 역각 시각화 장치, 로봇 및 역각 시각화 프로그램 - Google Patents

Abstract

역각 시각화 장치는, 로봇의 주변 환경을 촬상한 촬상 데이터 및 당해 로봇이 외부로부터 받은 역각에 관한 역각 데이터를 취득하는 데이터 취득부와, 역각 데이터에 기초하여 역각을 오노매토피어의 문자 정보로 변환하는 변환부와, 촬상 데이터의 화상에 문자 정보를 중첩하여 출력하는 화상 출력부를 구비한다.

Description

역각 시각화 장치, 로봇 및 역각 시각화 프로그램 {FORCE-SENSE VISUALIZATION APPARATUS, ROBOT, AND FORCE-SENSE VISUALIZATION PROGRAM}

본 개시는 역각 시각화 장치, 로봇 및 역각 시각화 프로그램에 관한 것이다.

원격지의 이동 로봇을 조작하여 작업을 행하는 기술이 알려져 있다. 또한, 자율 이동하는 이동 로봇으로부터 보내져 오는 화상에 의해 이격된 장소의 관찰을 행하는 기술이 알려져 있다. 원격지의 유저가, 이동 로봇이 받은 역각을, 촉각 디바이스를 통해 의사적으로 체감시킬 수 있는 기술도 알려져 왔다(예를 들어, 일본 특허 공표 제2005-510289호 공보를 참조).

촉각 디바이스는, 예를 들어 로봇 핑거가 받은 역각을 유저의 손끝으로 전달하는 등의 용도로 이용되고, 재현할 수 있는 개소가 국소적이고, 재현할 수 있는 역각도 한정적이다. 로봇의 용도에 따라서는, 당해 로봇이 받은 역각을 유저가 그대로 체감할 필요성은 없다. 로봇으로부터 이격되어 있는 유저는, 당해 로봇이 어떤 외력을 받은 것인지를, 직감적으로 빠르게 알고 싶은 경우가 있다.

본 개시는 원격지에서 작업하는 로봇이 어떤 외력을 받은 것인지를, 유저가 직감적으로 빠르게 인식할 수 있는 기술을 제공하는 것이다.

본 개시의 제1 양태에 있어서의 역각 시각화 장치는, 로봇의 주변 환경을 촬상한 촬상 데이터 및 당해 로봇이 외부로부터 받은 역각에 관한 역각 데이터를 취득하는 데이터 취득부와, 역각 데이터에 기초하여 역각을 오노매토피어의 문자 정보로 변환하는 변환부와, 촬상 데이터의 화상에 문자 정보를 중첩하여 출력하는 화상 출력부를 구비한다.

이와 같은 구성에 의해, 유저는, 원격지에서 작업하는 로봇이 외력을 받은 사실을, 로봇의 주변 화상에 중첩된 시각 정보로서 순시에 인식할 수 있다. 또한, 표시를 의음어나 의태어인 오노매토피어의 문자 정보로 함으로써, 로봇이 받은 역각의 성질을 직감적으로 인식할 수 있다.

상기한 역각 시각화 장치에 있어서, 역각 데이터는, 로봇이 역각을 받은 위치 정보를 포함하고, 화상 출력부는, 위치 정보에 기초하여 문자 정보를 중첩하는 화상 위의 위치를 결정하면 된다. 유저는, 접촉의 발생 장소를 문자 정보의 위치에 따라 인식할 수 있으므로, 접촉의 발생 원인 등을 추정하기 쉽다. 또한, 변환부는, 받은 힘의 크기, 단위 시간당의 힘의 변화량, 및 접촉 대상물의 경도의 적어도 어느 것의 변환 정보를 역각 데이터로부터 추출하고, 당해 변환 정보에 기초하여 오노매토피어를 변화시키면 된다. 유저는 오노매토피어가 갖는 뉘앙스에 따라 접촉 상황을 직감적으로 인식할 수 있다.

상기한 역각 시각화 장치에 있어서, 데이터 취득부는, 원격지에서 동작하는 로봇이 출력하는 촬상 데이터 및 역각 데이터를, 네트워크를 통해 취득해도 된다. 네트워크를 통함으로써, 로봇의 작업 장소를 각별히 확장할 수 있다. 또한, 화상 출력부는, 유저가 장착하는 헤드 마운트 디스플레이로 문자 정보를 중첩한 화상을 출력하면 된다. 특히, 로봇을 원격 조작하는 유저는 몰입감을 얻을 수 있고, 조작 정밀도를 향상시킬 수 있다.

본 개시의 제2 양태에 있어서의 로봇은, 주변 환경을 촬상하는 촬상부와, 외부로부터 받은 역각을 검출하는 검출부와, 역각을 오노매토피어의 문자 정보로 변환하는 변환부와, 촬상부가 촬상한 화상에 문자 정보를 중첩하여 출력하는 화상 출력부를 구비한다. 이와 같이, 로봇 자신이 오노매토피어의 문자 정보를 중첩한 주변 환경 화상을 출력할 수 있도록 하면, 하류측의 단말기에서의 처리를 생략할 수 있음과 함께, 제1 양태에 있어서의 역각 시각화 장치와 동일한 효과를 얻을 수 있다.

본 개시의 제3 양태에 있어서의 역각 시각화 프로그램은, 로봇의 주변 환경을 촬상한 촬상 데이터를 취득하는 촬상 데이터 취득 스텝과, 로봇이 외부로부터 받은 역각에 관한 역각 데이터를 취득하는 역각 데이터 취득 스텝과, 역각 데이터에 기초하여 역각을 오노매토피어의 문자 정보로 변환하는 변환 스텝과, 촬상 데이터의 화상에 문자 정보를 중첩하여 출력하는 화상 출력 스텝을 컴퓨터에 실행시킨다. 이와 같은 프로그램이 실행되는 컴퓨터를 통해서도, 제1 양태에 있어서의 역각 시각화 장치와 동일한 효과를 얻을 수 있다.

본 개시에 의하면, 원격지에서 작업하는 로봇이 어떤 외력을 받은 것인지를, 유저가 직감적으로 빠르게 인식할 수 있다.

본 발명의 상기 및 다른 목적, 특징 및 이점은 단지 예시의 방식으로 아래에 주어진 상세한 설명 및 주어진 첨부 도면으로부터 더 완전히 이해되는 것이며, 따라서 이로써 본 발명을 제한하는 것으로 간주되어는 안 된다.
도 1은 상정하는 사용 환경과 전체 구성을 설명하기 위한 개념도이다.
도 2는 유저가 장착하는 헤드 마운트 디스플레이의 표시예이다.
도 3은 이동 로봇의 구성을 도시하는 블록도이다.
도 4는 시스템 서버의 구성을 도시하는 블록도이다.
도 5는 오노매토피어 변환 테이블의 일례이다.
도 6은 유저가 장착하는 헤드 마운트 디스플레이의 표시예이다.
도 7은 유저가 장착하는 헤드 마운트 디스플레이의 표시예이다.
도 8은 시스템 서버의 처리 흐름도이다.
도 9는 다른 실시예에 있어서의 이동 로봇의 구성을 도시하는 블록도이다.

도 1은 본 실시 형태에 관한 역각 시각화 장치를 내장한 로봇 원격 조작 시스템이 상정하는 사용 환경과, 그 전체 구성을 설명하기 위한 개념도이다. 제1 환경에 있어서 다양한 작업을 담당하는 이동 로봇(100)은 제1 환경으로부터 이격된 제2 환경에 있는 유저에 의해, 인터넷(600)에 접속된 시스템 서버(500)를 통해, 원격 조작된다. 본 실시 형태에 있어서는, 접속하는 네트워크로서 인터넷을 이용하지만, 인트라넷 등 다른 네트워크여도 상관없다.

도면의 예에서는, 이동 로봇(100)이 테이블(900)에 적재된 보틀인 반송물(910)을 파지하여 반송하는 태스크를 행하고 있는 모습을 나타내고 있다. 이동 로봇(100)은 크게 나누어 대차부(110)와 본체부(120)에 의해 구성된다.

대차부(110)는 원통 형상의 하우징 내에, 도시하지 않은 구동륜과 캐스터를 지지하고 있다. 구동륜이 모터에 의해 회전 구동됨으로써, 이동 로봇(100)은 임의의 방향으로 병진, 선회할 수 있다. 대차부(110)는 상면의 주연부에 레이저 스캐너(132)를 구비한다. 레이저 스캐너(132)는 수평면 내의 일정한 범위를 스텝각마다 스캔하고, 각각의 방향에 장해물이 존재하는지 여부를 출력한다. 또한, 대차부(110)는 원통측면에 복수의 접촉 센서(142)를 구비한다. 각각의 접촉 센서(142)는 장해물 등인 접촉 대상물이 접촉한 경우에, 그 압박력을 출력한다. 접촉 센서(142)는, 예를 들어 정전 용량 변화형의 압력 센서이다.

본체부(120)는 주로, 대차부(110)의 상면에 탑재된 동체부(121), 동체부(121)의 상면에 적재된 헤드부(122), 동체부(121)의 측면에 지지된 암(123) 및 암(123)의 선단부에 설치된 핸드(124)를 구비한다. 암(123)과 핸드(124)는 도시하지 않은 모터를 통해 구동되고, 다양한 물체를 제어된 자세로 파지한다. 핸드(124)에는 역각 센서(141)가 매립되어 있고, 역각 센서(141)는 핸드(124)가 파지물을 파지하는 파지력, 핸드(124)에 가해지는 외력을 출력한다. 역각 센서(141)는, 예를 들어 변형 게이지식의 역각 센서이다. 역각 센서(141)는 핸드(124)의 형상, 상정하는 파지물 등에 따라, 핸드(124)에 복수 매립되어 있어도 되고, 핸드(124)의 기부(손목)나 암(123)의 기부(어깨)에 있어도 된다. 역각 센서(141)는 정전 용량식 등의 다른 방식이어도 된다. 또한 역각 센서(141) 대신에 암(123)의 각 관절의 전류 센서나 각도 센서, 토크 센서 등으로부터 역각 정보를 취득 혹은 추정해도 된다.

헤드부(122)는 주로, 촬상부로서의 스테레오 카메라(131)를 구비한다. 스테레오 카메라(131)는 동일한 화각을 갖는 2개의 카메라 유닛이 서로 이격되어 배치된 구성을 갖고, 각각의 카메라 유닛에서 촬상된 화상을 화상 신호로서 출력한다. 헤드부(122)는 도시하지 않은 모터의 구동력에 의해, 동체부(121)에 대하여 연직축(팬축) 주위나 수평축(틸트축) 주위로 회전할 수 있다. 또한 스테레오 카메라(131)의 정면 방향의 축(롤축) 주위로 회전할 수 있는 구성으로 해도 된다. 따라서, 스테레오 카메라(131)는 임의의 방향의 대상물을 촬영할 수 있다.

이동 로봇(100)은 제1 환경에 있어서, 무선 라우터(700)를 통해 인터넷(600)과 접속되어 있다. 이동 로봇(100)은 유저로부터의 조작 신호를 수신하고, 이동 동작이나 파지 동작을 실행한다. 또한, 이동 로봇(100)은 스테레오 카메라(131)가 출력한 화상 신호로부터, 미리 정해진 화상 포맷에 의거한 촬상 데이터를 생성하고, 시스템 서버(500)로 송신한다. 또한, 접촉 센서(142)나 역각 센서(141)가 출력한 출력 신호부터 역각에 관한 역각 데이터를 생성하고, 시스템 서버(500)로 송신한다.

시스템 서버(500)는 유저가 조작하는 조작 단말기(320)로부터의 조작 신호를 수신하고, 이동 로봇(100)으로 송신한다. 또한, 시스템 서버(500)는, 이동 로봇(100)으로부터 취득한 촬상 데이터를, 유저의 헤드 마운트 디스플레이(310)[이하, HMD(310)라고 기재함]로 송신한다. 시스템 서버(500)는 역각 데이터를 취득한 때에는, 이동 로봇(100)이 외부로부터 받은 역각을 오노매토피어의 문자 정보로 변환하고, 당해 문자 정보를 촬상 데이터의 화상에 중첩하고, 유저의 HMD(310)로 송신한다.

조작 단말기(320) 및 HMD(310)는 제1 환경으로부터 이격된 제2 환경에 있어서, 무선 라우터(700)를 통해 인터넷(600)과 접속되어 있다. 유저는 보내져 오는 화상 데이터의 화상을 HMD(310)로 관찰하면서, 조작 단말기(320)를 조작하여 이동 로봇(100)을 조작한다. 조작 단말기(320)에서 생성된 조작 신호는, 인터넷(600)을 통해, 시스템 서버(500)로 송신된다. 유저는, 이동 로봇(100)이 주변 환경으로부터 외력을 받은 때에, 주변 환경 화상에 중첩된 오노매토피어의 문자 정보에 의해 그 모습을 인식할 수 있다.

이동 로봇(100)이 받은 외력을, 구체적으로 어떤 표시 양태로 인식할 수 있는지에 대하여 설명한다. 도 2는 유저가 장착하는 HMD(310)의 디스플레이에 표시되는 표시 화면의 예이다. 도 2의 예는, 도 1의 상황에 있어서, 유저가 원격 조작에 의해 암(123)을 반송물(910)로 접근시키고 있는 과정에 있어서, 핸드(124)의 선단이 테이블(900)의 천장판의 단에 접촉한 장면을 나타내고 있다.

도시한 바와 같이, 핸드(124)의 선단과 테이블(900)의 천장판의 접촉 개소 근방에, 오노매토피어인 「콘」의 문자열(410)이, 주변 화상에 중첩되어 표시되어 있다. 이 문자열(410)로부터, 유저는 핸드(124)의 선단이 테이블(900)의 천장판과 접촉한 것을 인식할 수 있다. 게다가, 「콘」이 의음어로서 갖는 뉘앙스로부터, 접촉이 가벼운 충돌이었던 것을 직감적으로 인식할 수 있다.

이어서, 이동 로봇(100)의 구성에 대하여 설명한다. 도 3은 이동 로봇(100)의 구성을 도시하는 블록도이다. 여기서는, 로봇 원격 조작 시스템 중 역각의 시각화에 관계되는 주된 요소에 대하여 설명하지만, 이동 로봇(100)의 구성으로서는 다른 요소도 구비하고, 또한 역각의 시각화에 기여하는 다른 요소가 더해지는 경우도 있을 수 있다.

제어부(150)는, 예를 들어 CPU이고, 예를 들어 동체부(121)에 구비된 컨트롤 유닛에 저장되어 있다. 대차 구동 유닛(160)은 구동륜을 구동하기 위한 구동 회로나 모터를 포함한다. 제어부(150)는 유저로부터의 조작 신호에 따라 대차 구동 유닛(160)으로 구동 신호를 보냄으로써, 구동륜의 회전 제어를 실행한다. 상체 구동 유닛(170)은 암(123) 및 핸드(124)를 포함하는 파지부, 동체부(121) 및 헤드부(122)를 구동하기 위한 구동 회로나 모터를 포함한다. 제어부(150)는 유저로부터의 조작 신호에 따라 상체 구동 유닛(170)으로 구동 신호를 보냄으로써, 파지 제어나, 동체부(121) 및 헤드부(122)의 회전 제어를 실행한다. 또한, 제어부(150)는 상체 구동 유닛(170)으로부터 인코더 등의 피드백 신호를 수취하고, 암(123) 및 핸드(124)의 현재 위치나 동체부(121) 및 헤드부(122)의 방향을 파악한다.

메모리(180)는 불휘발성의 기억 매체이고, 예를 들어 솔리드 스테이트 드라이브가 사용된다. 메모리(180)는 이동 로봇(100)을 제어하기 위한 제어 프로그램 외에도, 제어에 사용되는 다양한 파라미터값, 함수, 룩업 테이블 등을 기억하고 있다.

통신 유닛(190)은, 예를 들어 무선 LAN 유닛이고, 무선 라우터(700)와의 사이에서 무선 통신을 행한다. 조작 단말기(320)에서 생성된 조작 신호는 통신 유닛(190)에서 수신되고, 제어부(150)로 인도된다.

스테레오 카메라(131)는 제어부(150)로부터의 요구에 따라 주변 환경을 촬상하고, 촬상 신호를 제어부(150)로 인도한다. 원격 조작의 실행 중에 있어서는, 스테레오 카메라(131)는 계속적으로 주변 환경의 촬상을 실행한다. 레이저 스캐너(132)는 제어부(150)로부터의 요구에 따라 장해물이 존재하는지 여부를 검출하고, 그 결과인 검출 신호를 제어부(150)로 인도한다.

역각 센서(141) 및 접촉 센서(142)는 역각 검출부(140)를 구성하는 센서이다. 제어부(150)는 역각 검출부(140)를 구성하는 각 센서로부터의 출력 신호를 계속적으로 감시한다. 본 실시 형태에 있어서는, 역각 검출부(140)를 구성하는 센서로서, 핸드(124)에 매립된 역각 센서(141)와, 대차부(110)의 원통면에 마련된 접촉 센서(142)를 예시하지만, 이동 로봇(100)이 외력을 받을 수 있는 다양한 개소에 외력을 검출하는 센서를 마련해도 된다. 특히, 스테레오 카메라(131)의 화각에 들어갈 수 있는 암(123)과 핸드(124)에는 다양한 타입의 힘 센서를 배치하면 된다.

제어부(150)는 제어나 처리에 관련되는 다양한 연산을 실행하는 기능 연산부로서의 역할도 담당한다. 데이터 생성부(151)는 기능 연산부의 하나이다. 데이터 생성부(151)는 스테레오 카메라(131)로부터 받아들인 각각의 카메라 유닛으로부터의 촬상 신호에 화상 조정이나 압축 처리를 실시하고, 미리 정해진 스테레오 화상 포맷에 따른 촬상 데이터를 생성한다. 생성된 촬상 데이터는, 통신 유닛(190)을 통해 시스템 서버(500)로 송신된다. 상술한 바와 같이, 스테레오 카메라(131)는 계속적으로 주변 환경의 촬상을 실행하고 있으므로, 촬상 데이터는 이것에 대응하여 순차 생성되고 시스템 서버(500)로 송신된다.

또한, 데이터 생성부(151)는 역각 검출부(140)로부터 수신한 출력 신호를 처리하고, 미리 정해진 데이터 형식에 의거한 역각 데이터를 생성한다. 역각 데이터는 당해 출력 신호를 출력한 센서의 위치 정보를 포함한다. 예를 들어, 핸드(124)에 매립된 역각 센서(141)가 출력한 출력 신호로부터 생성된 역각 데이터는, 당해 역각 센서(141)의 매립 위치와, 암(123) 및 핸드(124)의 자세로부터 산출되는, 신호 출력 시의 공간 좌표를 위치 정보로서 포함한다. 생성된 역각 데이터는, 통신 유닛(190)을 통해 시스템 서버(500)로 송신된다.

이어서, 로봇 원격 조작 시스템 중 역각 시각화 장치로서 기능하는 시스템 서버(500)의 구성에 대하여 설명한다. 도 4는 시스템 서버(500)의 구성을 도시하는 블록도이다. 여기서는, 역각의 시각화에 관계되는 주된 요소에 대하여 설명하지만, 시스템 서버(500)의 구성으로서는 다른 요소도 구비하고, 또한 역각의 시각화에 기여하는 다른 요소가 더해지는 경우도 있을 수 있다.

연산부(550)는, 예를 들어 CPU이고, 역각의 시각화에 관한 다양한 처리를 실행한다. 통신 유닛(560)은, 예를 들어 유선 LAN 유닛이고, 인터넷(600)과의 사이에서 데이터의 송수신을 행한다. 통신 유닛(560)은 조작 단말기(320)로부터 보내져 오는 조작 신호를 수신하고, 연산부(550)의 지시에 따라 조작 대상이 되는 이동 로봇(100)을 향해 당해 조작 신호를 송신한다. 또한, 통신 유닛(560)은 이동 로봇(100)으로부터 보내져 오는 촬상 데이터 및 역각 데이터를 수신하여 연산부(550)로 전달한다. 즉, 통신 유닛(560)은 촬상 데이터 및 역각 데이터를 취득하는 데이터 취득부로서의 기능을 담당한다.

연산부(550)는, 촬상 데이터에 더하여 역각 데이터도 취득한 경우에는, 후술하는 처리를 실시하지만, 촬상 데이터를 단독으로 취득하고 있는 기간에 있어서는, 당해 촬상 데이터를 순차 HMD(310)로 전송한다. 또한, 연산부(550)는 HMD(310)가 3D 표시에 대응하고 있지 않은 경우에는, 수신한 촬상 데이터를 2D 표시용의 화상 포맷으로 변환하고 나서 HMD(310)로 전송한다.

메모리(570)는 불휘발성의 기억 매체이고, 예를 들어 솔리드 스테이트 드라이브가 사용된다. 메모리(570)는 로봇 원격 조작 시스템을 제어하기 위한 제어 프로그램, 이동 로봇(100)이 외부로부터 받은 역각을 시각화하는 역각 시각화 프로그램 외에도, 제어나 연산에 사용되는 다양한 파라미터값, 함수, 룩업 테이블 등을 기억하고 있다.

오노매토피어 DB(580)는, 역각 데이터로부터 추출되는 파라미터값을 입력값으로 하고, 특정한 오노매토피어의 문자열로 변환하는 오노매토피어 변환 테이블을 저장하는 데이터베이스이다. 오노매토피어는 의음어 및 의태어의 총칭이다. 의음어는 생물이나 물건이 발하는 소리를 자구로 모방한 것이고, 돈, 가탄, 바탄 등이 상당한다. 의태어는 상태나 감정 등의 소리를 발하지 않는 것을 자구로 모방한 것이고, 기윳, 귁 등이 상당한다. 구체적으로는 후술하지만, 오노매토피어 변환 테이블은 이와 같은 의음어 및 의태어가 복수 열거되어 있고, 각각의 의음어 및 의태어가, 역각 데이터로부터 추출되는 각 파라미터의 값 혹은 범위에 대응지어져 있다.

연산부(550)는 제어나 처리에 관련되는 다양한 연산을 실행하는 기능 연산부로서의 역할도 담당한다. 변환부(551) 및 중첩부(552)는 각각, 기능 연산부의 하나이다. 변환부(551)는 취득한 역각 데이터에 기초하여, 이동 로봇(100)의 외부로부터 받은 역각을 오노매토피어의 문자 정보로 변환한다. 구체적으로는 후술하지만, 변환부(551)는 취득한 역각 데이터로부터 오노매토피어 변환에 사용하는 파라미터값을 산출하고, 오노매토피어 DB(580)로부터 판독한 오노매토피어 변환 테이블에 입력하고, 오노매토피어의 문자 정보로 변환한다.

중첩부(552)는 취득한 촬상 데이터의 화상에, 변환부(551)가 변환한 오노매토피어의 문자 정보를 중첩한다. 중첩부(552)는 문자 정보를 중첩한 화상으로부터 소정의 포맷에 의거한 화상 데이터를 생성하고, 생성한 화상 데이터를 통신 유닛(560)으로부터 HMD(310)로 출력한다. 중첩부(552)는 통신 유닛(560)과 협동하여 화상 데이터를 출력하는 화상 출력부로서의 기능을 담당한다.

이어서, 변환부(551)가 실행하는, 이동 로봇(100)이 외부로부터 받은 역각을 오노매토피어의 문자 정보로 변환하는 처리에 대하여 설명한다. 도 5는 오노매토피어 변환 테이블의 일례이다. 여기서는, 이해를 용이하게 하기 위해, 「구」, 「후왓」, 「콘」, 「곤」의 4개의 오노매토피어의 예에 대하여 설명한다.

일반적으로 사람은, 「구」에 누름이나 물건의 무게를 느끼고 있는 상태를 이미지하고, 「후왓」에 유연물과의 접촉을 이미지하고, 「콘」 및 「곤」에 단단한 물건과의 접촉을 이미지한다. 또한, 「콘」에는 경미한 접촉을 이미지하고, 「곤」에는 강한 충돌을 이미지한다. 즉, 각각의 오노매토피어는 사람에게 특정한 인상을 부여하는 뉘앙스를 갖고 있다.

여기서, 취득한 역각 데이터가 역각 센서(141)의 출력으로부터 생성된 데이터이고, 3축의 병진력의 값을 포함하는 것으로 한다. i번째의 샘플링에 있어서의 3축 병진력 벡터의 놈(받은 힘의 크기)을 |fi|, 샘플링 주기를 ΔT라고 하면, 단위 시간당의 힘의 변화량인 Δf는,

로 표시된다. 또한, 역각 센서(141)의 위치를 미분함으로써 얻어지는 당해 역각 센서(141)의 속도의 놈을 |vi|라고 하면, 힘의 변화량과 속도로부터 접촉하고 있는 물체의 경도(접촉 대상물의 경도)를 평가하는 평가량 K는,

로 표시된다.

본 실시 형태에 있어서는, 역각 데이터로부터 얻어지는 이들 3개의 파라미터값 K, Δf, |fi|를 오노매토피어 변환 테이블로 적용시킴으로써, 이동 로봇(100)이 외부로부터 받은 역각을 오노매토피어의 문자 정보로 변환한다. 도 5의 오노매토피어 변환 테이블을 참조하면, 예를 들어 K＝0.7, Δf＝0.05[N/ms], |fi|＝2.3 [N]이라면 「콘」이 선택되고, 텍스트 데이터로서의 「콘」의 문자 정보로 변환된다. 또한, K＝0.3, Δf＝0.08[N/ms], |fi|＝2.1[N]이라면 「후왓」이 선택되고, 텍스트 데이터로서의 「후왓」의 문자 정보로 변환된다. 각 파라미터의 역치는, 각각의 오노매토피어가 갖는 뉘앙스와 역각이 대응하도록, 실험적으로 결정될 수 있다.

또한, 여기서는 3개의 파라미터를 기준으로 하여, 4개의 오노매토피어로부터 하나를 선택하는 예를 설명했지만, 다른 평가 기준이 되는 파라미터를 선택적 혹은 추가적으로 채용해도 되고, 물론, 다른 많은 오노매토피어에 대해서도 변환 테이블을 정하고, 선택되도록 준비해도 된다.

또한, 변환부(551)는 오노매토피어 변환 테이블에서 선택된 문자열을 문자 정보로 변환하는 경우에, 또한 역각 데이터로부터 얻어지는 파라미터값을 이용하여, 문자 정보를 변화시키거나, 표현 양태를 지정하거나 해도 된다. 예를 들어, 다른 파라미터값을 참조하여, 중첩 시에 있어서의 문자열의 사이즈 지정, 폰트 지정, 색 지정 등을 행해도 된다.

이어서, 도 2에 도시한 HMD(310)의 표시예에 더하여, 다른 몇 가지의 표시예와 함께, 오노매토피어의 문자 정보를 촬상 데이터의 화상에 중첩하는 중첩 처리에 대하여 설명한다. 도 6 및 도 7은 도 2와 마찬가지로, 유저가 장착하는 HMD(310)의 표시예이다.

도 2의 예에서는, 상술한 바와 같이 「콘」의 문자열이, 스테레오 카메라(131)가 파악한 주변 화상 중 핸드(124)와 테이블(900)의 접촉 개소의 근방에 중첩되어 있다. 즉, 중첩부(552)는 역각 데이터에 포함되는 센서의 위치 정보로부터 촬상 데이터의 화상의 대응 위치를 연산하고, 당해 대응 위치로 변환부(551)가 변환한 문자 정보를 중첩하고 있다.

구체적으로는, 중첩부(552)는 센서의 위치 정보인 공간 좌표를, 촬상 데이터의 카메라 좌표계의 좌표값으로 변환하고, 당해 좌표값에 대응하는 화상 위의 대응 위치를 결정한다. 또한, 중첩부(552)는 오노매토피어 변환 테이블에 의해 변환한 텍스트 데이터에, 미리 정해진 장식을 실시하여 문자열 화상을 생성한다. 문자열 정보가 장식 정보(사이즈 지정, 폰트 지정, 색 지정 등)를 포함하는 경우에는, 당해 장식 정보를 참조하여 문자열 화상을 생성한다. 그리고, 중첩부(552)는 연산한 대응 위치에 생성한 문자열 화상을 중첩하고, 출력용의 화상 데이터를 생성한다.

중첩부(552)는 센서의 위치 정보로부터 연산한 대응 위치가 화상 영역 중이라면, 도 2의 문자열(410)과 같이, 접촉 개소의 근방에 문자 정보를 중첩시킬 수 있다. 한편, 연산한 대응 위치가, 취득한 화상 데이터의 화상 영역으로부터 벗어나 있는 경우에는, 도 6에 도시한 바와 같이, 화상 영역 중의 당해 대응 위치에 가까운 주변부에, 예를 들어 화살표로 표현되는 방향 지표(420)를 중첩하고, 그 근방에 생성한 문자열 화상을 중첩한다. 또한, 도 6의 예는, 핸드(124)가 반송물(910)을 파지한 후에 이동 로봇(100)이 방향 전환을 행하는 중에, 접촉 센서(142)의 하나와 테이블(900)의 다리가 접촉한 상황을 나타내고 있다. 이 경우, 당해 접촉 센서(142)는 스테레오 카메라(131)의 화각에 들어 있지 않으므로, 접촉의 모습은 화상에 비치고 있지 않다. 이와 같은 경우라도, 방향 지표(420)와 함께 문자열(410)을 중첩하면, 유저는 접촉의 발생 개소와 받은 역각의 성질을 직감적으로 인식할 수 있다.

도 2의 예 및 도 6의 예에서는, 중첩부(552)는 이동 로봇(100)이 외부로부터 받은 센서 위치를, 대상물과의 접촉 개소라고 가정하고, 화상 위의 대응 위치에 문자열(410)을 중첩했다. 그러나, 실제로는 센서 위치가 대상물과의 접촉 개소라고는 할 수 없다. 예를 들어 도 7에 도시한 바와 같이, 파지한 반송물(910)이 테이블(900)의 천장판 위에서 질질 끌어짐으로써, 반송물(910)과 테이블(900) 사이에서 접촉 미끄럼 이동이 발생한다. 이 경우는, 핸드(124)에 매립되어 있는 역각 센서(141)에 대응하는 위치에 문자열(410)을 겹쳐도, 유저의 직감에는 합치하지 않는다.

그래서, 중첩부(552)는 연속적으로 취득하는 화상 데이터의 화상으로부터, 이동 로봇(100)측의 동작에 연동하는 요소와, 주변 환경측의 변화에 연동하는 요소의 경계를 해석하고, 당해 경계에 있어서의 거리 정보를 참조하여 접촉 개소를 추정한다. 그리고, 센서의 위치 정보로부터 연산되는 대응 위치를, 추정한 접촉 개소로 수정한다. 이와 같이 수정한 대응 위치에 문자열(410)을 중첩하면, 유저의 직감에 합치한 화상이 된다. 도 7의 예에서는, 대응 위치가, 반송물(910)과 테이블(900)의 접촉 개소로 수정되어 있다. 또한, 도 7의 예에서는, 오노매토피어로서 미끄럼 이동의 뉘앙스를 포함하는 「즈즈즈」가 선택되어 있다.

도 2, 도 6, 도 7의 예와 같이 오노매토피어의 문자열(410)을 중첩하는 처리는, 시스템 서버(500)가 역각 데이터를 취득한 것을 트리거로 하여 행해지지만, 시스템 서버(500)가 역각 데이터를 취득하지 않게 되고 나서도, 잠시 동안은 중첩 처리를 계속해도 된다. 즉, 외부로부터 받는 힘이 소멸한 후에도, 유저가 발생한 접촉의 상황을 인식할 수 있을 정도로 중첩 처리를 계속하면 된다. 예를 들어, 순간적인 충돌이 발생한 경우에는, 그 충돌의 발생 후에도 0.5초 내지 1.0초 정도의 동안은 문자열(410)을 중첩하면 된다.

이어서, 역각 시각화 장치로서 기능하는 시스템 서버(500)의 처리 수순에 대하여 설명한다. 도 8은 시스템 서버(500)의 처리 흐름도이다. 플로는 로봇 원격 조작 시스템이 기동한 후에 개시된다.

연산부(550)는 스텝 S101에서, 통신 유닛(560)을 통해, 이동 로봇(100)으로부터 촬상 데이터를 취득한다. 계속되는 스텝 S102에서, 연산부(550)는, 역각 데이터도 더불어 취득했는지 여부를 확인한다. 역각 데이터를 취득하고 있지 않은 경우에는, 스텝 S105로 진행되고, 스텝 S101에서 취득한 촬상 데이터를 HMD(310)에서 표시시키는 표시 화상 데이터로 하고, 통신 유닛(560)으로부터 HMD(310)로 출력한다.

역각 데이터를 취득한 경우에는 스텝 S103으로 진행되고, 변환부(551)는 취득한 역각 데이터와, 오노매토피어 DB(580)로부터 판독한 오노매토피어 변환 테이블을 사용하여, 이동 로봇(100)이 외부로부터 받은 역각을 오노매토피어의 문자 정보로 변환한다. 계속해서 스텝 S104에서, 중첩부(552)는 변환부(551)가 변환한 문자 정보를, 스텝 S101에서 취득한 촬상 데이터의 화상에 중첩하여 표시 화상 데이터를 생성한다. 표시 화상 데이터를 생성하면, 중첩부(552)는 스텝 S105로 진행되고, 당해 표시 화상 데이터를 통신 유닛(560)으로부터 HMD(310)로 출력한다.

연산부(550)는 스텝 S106에서, 유저측으로부터 종료의 지시를 받은 것인지 여부를 확인한다. 종료 지시를 받고 있지 않으면 스텝 S101로 복귀된다. 종료 지시를 받고 있으면 일련의 처리를 종료한다. 이와 같은 처리에 의해, 유저는, 문자 정보가 중첩되는 경우도 그렇지 않은 경우도, HMD(310)에서 이동 로봇(100)의 주변의 모습을 거의 리얼타임의 라이브 동화상으로서 시인할 수 있다.

이상 설명한 실시예에 있어서는, 시스템 서버(500)가 역각 시각화 장치로서 기능했지만, 이동 로봇이 역각 시각화 장치를 포함하는 구성이어도 된다. 도 9는 다른 실시예에 있어서의 이동 로봇(100')의 구성을 도시하는 블록도이다. 이동 로봇(100')은 도 3에서 도시하는 각 요소에 더하여, 도 4에서 도시하는 오노매토피어 DB(580)와, 기능 연산부로서의 변환부(551) 및 중첩부(552)를 구비한다.

이와 같이 구성된 이동 로봇(100')에 의하면, 변환부(551)는 소정의 포맷에 의거한 역각 데이터를 통하는 일 없이, 역각 검출부의 출력 신호를 직접적으로 이용하여 각 파라미터값을 연산할 수 있다. 또한, 중첩부(552)는 카메라 유닛으로부터 출력되는 화상 신호를 직접적으로 이용하여, 문자 정보를 중첩할 수 있다. 이와 같이, 이동 로봇(100') 자신이 오노매토피어의 문자 정보를 중첩한 주변 환경 화상을 출력할 수 있도록 하면, 하류측의 단말기에서의 처리를 생략할 수 있다.

이상 설명한 본 실시 형태에 있어서는, 오노매토피어의 문자열(410)을 접촉의 발생 장소라고 추정되는 근방에 중첩했다. 이와 같이 중첩 위치를 조정하면, 유저는, 접촉의 발생 장소를 문자 정보의 위치에 따라 인식할 수 있으므로, 접촉의 발생 원인 등을 추정하기 쉽다. 한편, 중첩 위치를 조정하지 않고, 예를 들어 문자열(410)을 화상 영역의 중앙에 중첩하거나, 화상 영역 외의 표시 영역에 표시하거나 해도 된다. 이와 같은 표시 양태라도, 유저는, 이동 로봇(100)의 주변의 모습을 거의 리얼타임의 라이브 동화상으로서 시인하고 있으므로, 어느 정도는 접촉의 발생 원인 등을 추정할 수 있다. 이 경우에 있어서는, 역각 데이터는 센서의 위치 정보를 포함하고 있지 않아도 된다.

또한, 본 실시 형태에 있어서는, 원격지로부터 이동 로봇(100)을 조작하는 로봇 원격 조작 시스템에 역각 시각화 장치가 내장되는 예를 설명했지만, 이동 로봇(100)은 자율 이동하는 로봇이어도 된다. 이 경우, 유저는, 원격지에서 자율 이동 로봇이 동작하는 모습을, HMD(310)를 통해 관찰할 수 있다. 또한, 원격 조작되는 경우와 자율 동작하는 경우에 한정되지 않고, 암 로봇과 같은 거치형의 작업 로봇이어도 된다. 또한, 원격지에서 관찰하는 경우에 한정되지 않고, 예를 들어 이동 로봇(100)이 구비하는 표시 패널에 문자 정보를 탑승한 화상을 표시하도록 해도 된다. 이동 로봇(100) 자신이 이와 같은 표시를 행하면, 예를 들어 이동 로봇(100)에 수행하는 보행자가, 이동 로봇(100)의 이상을 빠르게 파악할 수 있다.

또한, 본 실시 형태에 있어서는, 표시 화상 데이터의 화상을 유저가 헤드부에 장착하는 HMD(310)에 표시했다. 이에 의해, 유저는 몰입감을 얻을 수 있고, 원격지에 있는 이동 로봇(100)의 조작 정밀도를 향상시킬 수 있다. 그러나, 표시 화상 데이터의 화상을 표시시키는 디바이스는 HMD(310)에 한정되지 않는다. 예를 들어, 대형의 스크린에 투영하면, 복수의 유저가 동시에 이동 로봇(100)의 모습을 인식할 수 있다.

또한, 본 실시 형태에 있어서는, 역각을 오노매토피어의 문자 정보로 변환했다. 이것은, 수치나 막대 그래프 등에 비교하여, 로봇이 받은 역각의 성질을 유저가 직감적이고 또한 순시에 인식할 수 있기 때문이다. 그러나, 보조적으로 사용하는 것이라면, 수치나 막대 그래프 등도 추가적 혹은 선택적으로 중첩해도 된다. 또한, 오노매토피어의 문자열뿐만 아니라, 애니메이션이나 효과음을 더해도 된다. 예를 들어, 받은 힘의 방향을 화살표의 애니메이션으로 표현해도 된다.

또한, 받은 외력이 이동 로봇(100)의 실행 태스크에 수반하는 예정된 외력일 때와 그렇지 않을 때에, 중첩하는 문자 정보의 양태를 변화시켜도 된다. 예정된 외력일 때에는, 중첩 처리를 행하지 않아도 된다. 예를 들어, 태스크로서 반송물을 파지하는 경우에, 대상물이 되는 반송물을 파지한 때에 역각 센서가 출력하는 출력 신호에 대해서는, 중첩 처리를 행하지 않아도 된다. 또한, 중첩하는 문자 정보도, 상황에 따라 위치나 투과율, 중첩을 계속하는 시간 등을 변화시켜도 된다.

프로그램은 임의의 타입의 비일시적 컴퓨터 판독 가능 매체를 사용하는 컴퓨터에 제공되며 저장될 수 있다.　 비일시적 컴퓨터 판독 가능 매체는 임의의 타입의 유형 저장 매체들을 포함한다. 　비일시적 컴퓨터 판독 가능 매체들의 예는 자기 저장 매체(예를 들어, 플로피 디스크, 자기 테이프, 하드 디스크 드라이브 등), 광자기 저장 매체(예컨대, 광자기 디스크), CD-ROM(컴팩트 디스크 판독 전용 메모리), CD-R(기록 가능 컴팩트 디스크), CD-R/W(재기록 가능 컴팩트 디스크), 반도체 메모리[예컨대, 마스크 ROM, PROM(프로그래밍 가능 ROM), EPROM(소거 가능 PROM), 플래시 ROM 및 RAM(랜덤 액세스 메모리) 등]를 포함한다.　 이러한 프로그램은 임의의 타입의 일시적 컴퓨터 판독 가능 매체를 사용하는 컴퓨터에 제공될 수 있다.　 일시적 컴퓨터 판독 가능 매체들의 예는 전기 신호, 광 신호 및 전자기파를 포함한다.　 일시적 컴퓨터 판독 가능 매체는, 유선 통신 라인(예컨대, 전선 및 광 파이버) 또는 무선 통신 라인을 통해 프로그램을 컴퓨터에 제공할 수 있다.

이상 설명한 본 발명에 의하면, 본 발명의 실시 형태가 여러 가지로 변형될 수 있음은 자명하다. 이러한 변형은 본 발명의 사상 및 범위로부터 벗어나는 것으로 간주되어는 안 되며, 통상의 기술자에게 자명한 이러한 모든 변형은 아래의 청구범위 내에 포함되는 것으로 의도된다.

Claims (6)

1. 로봇의 주변 환경을 촬상한 촬상 데이터 및 상기 로봇이 외부로부터 받은 역각에 관한 역각 데이터를 취득하는 데이터 취득부와,
   상기 역각 데이터에 기초하여 상기 역각을 오노매토피어의 문자 정보로 변환하는 변환부와,
   상기 촬상 데이터의 화상에 상기 문자 정보를 중첩하여 출력하는 화상 출력부를 구비하고,
   상기 변환부는, 받은 힘의 크기, 단위 시간당의 힘의 변화량, 및 접촉 대상물의 경도를 포함하는 변환 정보를 상기 역각 데이터로부터 추출하고, 상기 변환 정보에 기초하여 상기 오노매토피어를 변화시키는,
   역각 시각화 장치.
2. 제1항에 있어서, 상기 역각 데이터는, 상기 로봇이 상기 역각을 받은 위치 정보를 포함하고,
   상기 화상 출력부는, 상기 위치 정보에 기초하여 상기 문자 정보를 중첩하는 상기 화상 위의 위치를 결정하는, 역각 시각화 장치.
3. 제1항 또는 제2항에 있어서, 상기 데이터 취득부는, 원격지에서 동작하는 상기 로봇이 출력하는 상기 촬상 데이터 및 상기 역각 데이터를, 네트워크를 통해 취득하는, 역각 시각화 장치.
4. 제1항 또는 제2항에 있어서, 상기 화상 출력부는, 유저가 장착하는 헤드 마운트 디스플레이로 상기 문자 정보를 중첩한 상기 화상을 출력하는, 역각 시각화 장치.
5. 주변 환경을 촬상하는 촬상부와,
   외부로부터 받은 역각을 검출하는 검출부와,
   검출부로부터 수신한 출력 신호를 처리하고, 역각 데이터를 생성하는 데이터 생성부와,
   상기 역각을 오노매토피어의 문자 정보로 변환하는 변환부와,
   상기 촬상부가 촬상한 화상에 상기 문자 정보를 중첩하여 출력하는 화상 출력부를 구비하고,
   상기 변환부는, 받은 힘의 크기, 단위 시간당의 힘의 변화량, 및 접촉 대상물의 경도를 포함하는 변환 정보를 상기 역각 데이터로부터 추출하고, 상기 변환 정보에 기초하여 상기 오노매토피어를 변화시키는, 로봇.
6. 로봇의 주변 환경을 촬상한 촬상 데이터를 취득하는 촬상 데이터 취득 스텝과,
   상기 로봇이 외부로부터 받은 역각에 관한 역각 데이터를 취득하는 역각 데이터 취득 스텝과,
   상기 역각 데이터에 기초하여 상기 역각을 오노매토피어의 문자 정보로 변환하는 변환 스텝과,
   상기 촬상 데이터의 화상에 상기 문자 정보를 중첩하여 출력하는 화상 출력 스텝을 컴퓨터에 실행시키고,
   상기 변환 스텝은, 받은 힘의 크기, 단위 시간당의 힘의 변화량, 및 접촉 대상물의 경도를 포함하는 변환 정보를 상기 역각 데이터로부터 추출하고, 상기 변환 정보에 기초하여 상기 오노매토피어를 변화시키는, 기록 매체에 저장된 역각 시각화 프로그램.
   
   

Images