KR20210069041A - 정보 처리 장치, 제어 방법 및 프로그램 - Google Patents

Abstract

물체의 원활한 전달을 가능하게 한다. 정보 처리 장치는, 매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 제어부(12, 11)를 구비한다.

Description

정보 처리 장치, 제어 방법 및 프로그램

본 개시는, 정보 처리 장치, 제어 방법 및 프로그램에 관한 것이다.

근년, 가정이나 개호 시설이나 점포 등에 있어서 인간과의 인터랙션을 실행하는 것을 목적으로 한 로봇의 개발이 활발히 행해지고 있다. 인간과 로봇이 행하는 인터랙션에는, 예를 들어 회화나 물체의 수수 등이 존재한다.

일본 특허 공개 제2013-111737호 공보

여기서, 물체의 수수에서는, 물체의 원활한 전달을 달성하기 위해서, 전달의 대상이 되는 물체나 받는 사람이 되는 인간의 행동거지나 상황 등에 따른 섬세한 제어가 요구된다.

그래서 본 개시에서는, 물체의 원활한 전달을 가능하게 하는 정보 처리 장치, 제어 방법 및 프로그램을 제안한다.

상기의 과제를 해결하기 위해서, 본 개시의 일 형태에 관한 정보 처리 장치는, 매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 제어부를 구비한다.

(작용) 본 개시의 일 형태에 관한 정보 처리 장치에 의하면, 물체를 수수 대상자에게 전달할 때, 물체의 수수 방향으로의 이동 속도의 연속성이 유지되도록, 매니퓰레이터가 제어된다. 이에 의해, 물체의 수수 방향으로의 변위가 급격하게 변화하는 것을 저감할 수 있기 때문에, 물체의 원활한 전달이 가능하게 된다.

도 1은, 일 실시 형태에 따른 자율 로봇으로부터 수수 대상자에게 물체를 건네는 동작을 설명하기 위한 모식도이다.
도 2는, 일 실시 형태에 있어서의 최적인 수수 동작의 일례를 도시하는 그래프이다.
도 3은, 일 실시 형태에 있어서의 최적이 아닌 수수 동작의 일례를 도시하는 그래프이다.
도 4는, 일 실시 형태에 따른 자율 로봇의 개략 구성예를 도시하는 블록도이다.
도 5는, 일 실시 형태에 따른 수부의 구성예를 도시하는 외관도이다.
도 6은, 도 5에 있어서의 방향 A2로부터 수부를 본 경우의 구성예를 도시하는 외관도이다.
도 7은, 일 실시 형태에 따른 자율 로봇의 수수 동작을 실행하기 위한 기능 구성의 일례를 도시하는 블록도이다.
도 8은, 일 실시 형태에 따른 기계 학습 프로세스에 있어서의 입출력 정보의 일례를 도시하는 모식도이다.
도 9는, 일 실시 형태에 따른 개략적인 동작예를 도시하는 흐름도이다.
도 10은, 일 실시 형태의 제1 예에 관한 수수 동작을 도시하는 흐름도이다.
도 11은, 일 실시 형태의 제2 예에 관한 수수 동작을 도시하는 흐름도이다.
도 12는, 일 실시 형태의 제3 예에 관한 수수 동작을 도시하는 흐름도이다.
도 13은, 일 실시 형태의 제4 예에 관한 수수 동작을 도시하는 흐름도이다.
도 14는, 일 실시 형태에 따른 파지 동작과 릴리스 동작의 블렌드를 설명하기 위한 도면이다.
도 15는, 일 실시 형태의 변형예에 관한 파지 동작과 릴리스 동작의 블렌드를 설명하기 위한 도면이다.
도 16은, 일 실시 형태에 따른 비전 센서를 사용하여 구성된 미끄럼 센서의 일례를 도시하는 모식도이다.
도 17은, 도 16에 도시하는 변형부의 일례를 도시하는 도면이다.
도 18은, 일 실시 형태에 따른 비전 센서로 검출되는 초기 미끄럼을 설명하기 위한 도면이다(첫째).
도 19는, 일 실시 형태에 따른 비전 센서로 검출되는 초기 미끄럼을 설명하기 위한 도면이다(둘째).
도 20은, 일 실시 형태에 따른 비전 센서로 검출되는 초기 미끄럼을 설명하기 위한 도면이다(셋째).
도 21은, 일 실시 형태에 따른 압력 분포 센서를 사용하여 구성된 미끄럼 센서의 일례를 도시하는 모식도이다.
도 22는, 일 실시 형태에 따른 압력 분포 센서로 검출되는 초기 미끄럼을 설명하기 위한 도면이다(첫째).
도 23은, 일 실시 형태에 따른 압력 분포 센서로 검출되는 초기 미끄럼을 설명하기 위한 도면이다(둘째).
도 24는, 일 실시 형태에 따른 시스템 구성의 일례를 도시하는 블록도이다.

이하에, 본 개시의 실시 형태에 대하여 도면에 기초하여 상세하게 설명한다. 또한, 이하의 각 실시 형태에 있어서, 동일한 부위에는 동일한 번호를 붙임으로써 중복되는 설명을 생략한다.

또한, 이하에 나타내는 항목 순서에 따라 본 개시를 설명한다.

1. 일 실시 형태

1.1 자율 로봇의 개요

1.2 물체의 수수 동작에 대해서

1.3 자율 로봇의 개략 구성

1.4 수부의 구성

1.5 자율 로봇의 기능 구성

1.6 수수 행동의 기계 학습에 대해서

1.7 동작예

1.8 수수 동작의 구체예

1.8.1 제1 예

1.8.2 제2 예

1.8.3 제3 예

1.8.4 제4 예

1.9 파지 동작과 릴리스 동작의 블렌드에 대해서

1.9.1 변형예

1.10 초기 미끄럼의 계측에 대해서

1.10.1 비전 센서

1.10.2 압력 분포 센서

1.11 시스템 구성

1.12 작용·효과

1. 일 실시 형태

이하, 본 개시의 일 실시 형태에 따른 정보 처리 장치, 제어 방법 및 프로그램에 대해서, 도면을 참조하여 상세하게 설명한다. 본 실시 형태에서는, 로봇 핸드나 인간형 로봇이나 페트 로봇 등의 암(매니퓰레이터라고도 함)을 구비한 자율 로봇과 인간 사이에서 미지의 물체를 수수하는 물리 인터랙션을 원활하게 행하는 것을 가능하게 하는 정보 처리 장치, 제어 방법 및 프로그램에 대해서, 예를 들어서 설명한다.

1.1 자율 로봇의 개요

도 1은, 본 실시 형태에 따른 자율 로봇으로부터 인간(이하, 수수 대상자라고 함)에게 물체를 건네는 동작을 설명하기 위한 모식도이다. 도 1에 도시한 바와 같이, 자율 로봇(1)은, 예를 들어 헤드부(41)와, 동체부(42)와, 대차부(43)와, 매니퓰레이터(44L 및 44R)를 구비하는 인간형 로봇이다. 동체부(42)와 대차부(43)는, 예를 들어 바닥 P1 등의 위를 이동 가능한 이동체를 구성한다.

대차부(43)에는, 예를 들어 차륜이나 캐터필러 등의 주행 기구 외에, 주행용 모터나 배터리나 컨트롤부 등이 수용되어 있다. 단, 주행 기구는, 차륜이나 캐터필러 등에 한정되지 않고, 2개 이상의 다리 등으로 구성된 보행 기구 등이어도 된다. 또한, 자율 로봇(1)은 인간형 로봇에 한정되지 않고, 매니퓰레이터 단체나, 매니퓰레이터가 탑재된 자율 이동체 등, 적어도 하나의 암부를 구비한 여러가지 로봇을 자율 로봇(1)으로서 적용하는 것도 가능하다.

각 매니퓰레이터(44L 및 44R)(이하, 매니퓰레이터(44L 및 44R)를 구별하지 않는 경우, 그 부호를 단순히 44로 함)는, 동체부(42)의 어깨에 상당하는 개소에 설치된 상완부(441)과, 매니퓰레이터(44)의 팔꿈치에 상당하는 개소에서 상완부(441)에 설치된 전완부(442)와, 매니퓰레이터(44)의 손목에 상당하는 개소에서 전완부(442)에 설치된 수부(443)를 구비한다. 상완부(441)와 전완부(442)는, 예를 들어 매니퓰레이터(44)에 있어서의 암부를 구성한다. 매니퓰레이터(44)의 어깨와 팔꿈치와 손목에 상당하는 각 관절에는, 예를 들어 매니퓰레이터(44)를 인간의 팔과 같이 가동하기 위한 구동부나 관절 기구 등이 마련되어 있다. 구동부로서는, 예를 들어 전자 모터, 유압 액추에이터, 공압 액추에이터 등을 사용할 수 있다.

또한, 수부(443)에는, 물체를 파지하기 위한 기구로서, 손가락부도 마련되어 있다. 또한, 이하의 설명에서는, 수부(443)가 2 손가락인 경우를 예시하지만, 이것에 한정되지 않고, 예를 들어 3 손가락이나 4 손가락이나 5 손가락 등, 여러가지로 변형하는 것이 가능하다. 또한, 재밍 전이를 이용한 핸드나, 공기 압력 제어에 의한 흡인을 이용한 핸드 등을 수부(443)로서 사용하는 것도 가능하다.

1.2 물체의 수수 동작에 대해서

이러한 자율 로봇(1)에서는, 수부(443)에 파지한 물체 B1을 수수 대상자의 손 H1에 손전달하는 경우, 도 2에 도시한 바와 같이, 수수 동작의 실행 기간 중, 물체 B1의 수수 방향 A1로의 변위가 연속적, 예를 들어 직선적인 것이 되는 것이 바람직하다. 한편, 도 3에 도시한 바와 같이, 수수 동작의 실행 기간 중의 물체 B1의 수수 방향 A1로의 변위에 급격한 변화가 포함되는 경우, 수부(443)로부터 수수 대상자의 손 H1로 물체 B1을 잘 수수하지 못하여, 물체 B1이 낙하하거나, 물체 B1의 내용물이 흘러넘치거나 하는 등의 사상이 발생해버릴 가능성이 높다.

인간과 자율 로봇 사이의 물체의 수수 동작에는, 자율 로봇이 물체를 파지하는 파지 동작과, 자율 로봇이 물체를 릴리스하는 릴리스 동작과, 인간이 물체를 수취하는 수취 동작이 포함되고, 물체를 인간에 전달할 때는, 자율 로봇(1)은, 파지 동작으로 파지한 물체를 릴리스 동작으로 릴리스한다. 즉, 파지한 물체를 인간에 전달할 때, 자율 로봇(1)은, 파지 동작과 릴리스 동작의 블렌드율을 변화시켜서 릴리스 동작이 차지하는 비율을 점점 증가시켜, 최종적으로 물체를 릴리스한다.

여기서, 예를 들어 자율 로봇이 실행하는 릴리스 동작에는, 미리 결정된 패턴이 존재하지 않고, 물체나 수수 대상자마다 최적의 동작이 다르다. 예를 들어, 열탕이 든 찻잔을 수수하는 경우와, 테니스 볼을 수수하는 경우는, 최적의 릴리스 동작이 다르다.

이것은, 물체 B1의 수수 방향 A1로의 단위 시간당 이동량은, 수수 대상자가 수취 동작에 있어서 물체 B1에 부여하는 외력의 크기에 따라 변화하지만, 이 이동량의 변화가, 물체 B1에 고유한 특성, 예를 들어 정지 마찰계수, 운동 마찰계수, 질량, 형상 치수, 강성, 강도, 온도, 습도 등의 차이에 의존하여 다르기 때문이다.

그 때문에, 특성이 다른 모든 물체에 대해서, 자율 로봇의 설계자가 최적의 릴리스 동작을 미리 계획해 두는 것은 곤란하다. 마찬가지로, 수수 대상자의 행동거지나 상황 등이 다른 모든 케이스에 대해서도, 설계자가 최적의 릴리스 동작을 미리 계획해 두는 것은 곤란하다.

그래서 본 실시 형태에서는, 인간과 자율 로봇이 공존하는 가정이나 개호 시설이나 점포 등, 전달의 대상이 되는 물체가 미지인 환경이나, 수수 대상자의 행동거지나 상황 등이 미지인 환경, 즉, 최적인 릴리스 동작의 모델을 사전에 제작할 수 없는 환경에 있어서, 인간과 자율 로봇 사이에서 품질이 높은 물리 인터랙션, 구체적으로는 물체의 수수를 가능하게 하는 구성 및 동작에 대해서, 구체예를 들어 설명한다.

예를 들어, 본 실시 형태에서는, 자율 로봇(1)에 탑재한 각종 센서로부터의 정보를 활용함으로써, 전달의 물체 B1이나 수수 대상자의 행동거지나 상황 등에 따른 최적의 수수 동작을 가능하게 한다.

또한, 본 설명에 있어서, 최적의 수수 동작이란, 예를 들어 물체를 수수할 때의 수수 방향의 미끄럼양의 변화율이 연속성을 유지하고 있는 것이면 된다(예를 들어, 도 2 참조). 단, 이것에 한정되지 않고, 수수 대상자가 자율 로봇(1)으로부터 스트레스 없이 물체를 수취할 수 있는 여러가지 수수 동작을 최적의 수수 동작이라고 정의할 수 있다.

한편, 적절하지 않은 수수 동작이란, 예를 들어 수수 대상자가 자율 로봇(1)으로부터 물체를 수취할 때 필요 이상의 큰 힘이 발생하거나, 수취했을 때 물체의 변형이나 파손이나 내용물의 튀어나옴 등을 일으키는 힘이 발생해버리는 등의 사상으로 연결되는 동작이면 된다.

또한, 적절하지 않은 수수 동작에는, 릴리스 동작에 필요 이상으로 시간을 들임으로써, 수수 대상자가 수취를 포기해 버리거나, 그 결과로서 물체의 낙하나 내용물의 튀어나옴이 발생해버리는 등의 동작도 포함될 수 있다.

이들과 같은 적절하지 않은 수수 동작이 행하여진 경우, 자율 로봇(1)에 있어서 필요 이상의 외력이나 외란이 발생하여, 물체의 수수 방향의 미끄럼양의 변화율이 불연속이 된다(예를 들어, 도 3 참조). 또한, 적절하지 않은 수수 동작이 행하여진 경우에는, 물체의 수수 방향의 미끄럼양의 변화율이 단속적이 되는데, 이것도 물체의 수수 방향의 미끄럼양의 변화율이 불연속이 되는 요인이 된다.

그래서 본 실시 형태에서는, 예를 들어 수부(443)의 파지력의 변화율이나 수부(443)에 탑재한 각종 센서로 검출된 정보 등을 입력으로 하고, 물체 B1의 수수 방향 A1로의 이동 속도의 연속성을 출력으로 한 기계 학습을 행한다. 이에 의해, 물체 B1의 특성(정지 마찰계수, 운동 마찰계수, 질량, 형상 치수, 강성, 강도, 온도, 습도 등) 및 수수 대상자의 행동거지나 상황 등에 따른 원활한 물체 B1의 전달을 가능하게 할 수 있다.

또한, 본 실시 형태에서는, 예를 들어 수부(443)가 파지하는 물체 B1의 미끄럼양 또는 초기 미끄럼양의 변화를 계측하여, 그 변화가 중력 방향과는 다른 방향의 성분, 예를 들어 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 수수 방향 A1(예를 들어, 수수 대상자의 손 H1의 위치 방향)의 성분을 포함할 때, 릴리스 동작을 개시한다. 이에 의해, 릴리스 동작을 수수 동작의 초기 단계에 개시하는 것이 가능하게 되기 때문에, 물체 B1에 걸리는 부하나 수부(443)의 파지력의 변동을 최소한으로 억제하는 것이 가능하게 되고, 그것에 의하여, 보다 원활한 물체 B1의 전달이 가능하게 된다.

또한, 본 실시 형태에서는, 물리 인터랙션의 가일층의 고품질화를 위해서, 상기에 추가하여, 화상 입력 정보나 음성 입력 정보 등으로부터 얻어지는 수수 대상자의 존재나 감정의 변화 등을 기계 학습의 입력이나 출력에 추가해도 된다.

예를 들어, 화상 처리의 결과나 측거 센서로부터의 정보를 사용하여 수수 대상자의 존재나 손 H1의 존재를 확인한 뒤에 릴리스 동작을 개시해도 된다. 이에 의해, 잘못 릴리스 동작을 개시하는 것을 피할 수 있기 때문에, 보다 안전하고 또한 확실하게 물체 B1의 전달을 실행하는 것이 가능하게 된다. 또한, 화상 처리의 결과나 측거 센서로부터의 정보에 한하지 않고, 예를 들어 음성 입출력 정보 등을 사용하여 수수 대상자의 존재를 확인해도 된다. 또한, 음성 입출력 정보 등을 사용하여 수수 대상자의 파지 의사나 릴리스 동작 중의 감정 변화를 인식한 뒤에, 릴리스 동작의 개시나 동작 계속의 판단을 실행하도록 해도 된다.

또한, 예를 들어 릴리스 동작의 실행 중에, 물체 B1의 수수 방향 A1로의 미끄럼양의 변화를 계속하여 계측함으로써, 물체 B1의 수수 방향 A1로의 이동 속도의 연속성이 유지되도록, 릴리스 동작을 제어해도 된다. 이에 의해, 물체 B1의 수수 방향 A1로의 변위가 급격하게 변화하는 것을 저감할 수 있기 때문에, 보다 원활한 물체 B1의 전달이 가능하게 된다.

또한, 예를 들어 릴리스 동작의 실행 중에, 물체 B1의 중력 방향으로의 미끄럼양 또는 초기 미끄럼양을 계속하여 계측해도 된다. 이에 의해, 물체 B1을 잘못 낙하시키거나, 물체 B1이 수부(443) 내에서 부자연스럽게 상하로 변위하는 것을 저감하는 것이 가능하게 된다.

또한, 본 설명에 있어서, 수수 방향 A1은, 예를 들어 수수 대상자의 손 H1의 위치, 자세 및 형상을 인식한 뒤에, 제3 손가락 중수골 상단과 수근골을 연결한 선 위의 수근골 방향이라고 정의한다. 또한, 수수 방향 A1을, 수수 대상자의 손 H1과 체간의 위치와 형상을 인식한 뒤에, 수근골 중심과 흉골 중심을 연결한 선 상의 흉골 방향이라 정의하는 것도 가능하다. 혹은, 수수 방향 A1을, 수수 대상자의 손 H1과 체간의 위치와 형상을 인식한 뒤에, 수근골 중심과 상완골두 중심을 연결한 선 상의 상완골두 방향이라 정의하는 것도 가능하다. 단, 수수 방향 A1의 정의는, 상기에 한정되지 않고, 여러가지로 변경하는 것이 가능하다.

또한, 본 실시 형태에 따른 릴리스 동작에는, 수부(443)의 파지력 제어, 매니퓰레이터(44)에 있어서의 암부의 동작 제어(이하, 암 동작 제어라고 함), 자율 로봇(1)의 전신 동작 제어 등이 포함될 수 있다. 이들, 수부(443)의 파지력 제어, 매니퓰레이터(44)에 있어서의 암부의 암 동작 제어, 자율 로봇(1)의 전신 동작 제어 등은, 어떤 블렌드율로 블렌드되는데, 본 실시 형태에서는, 이 블렌드율을 평가하기 위한 평가 함수를 정의하고, 이 평가 함수의 최적 해를 구하기 위해서, 상기 에 나타낸, 수부(443)에 부여한 파지력의 변화율이나 수부(443)에 탑재한 각종 센서로 검출된 정보 등을 입력으로 하고, 물체 B1의 수수 방향 A1로의 이동 속도의 연속성을 출력으로 한 기계 학습을 활용한다.

또한, 본 설명에 있어서, 파지력 제어란, 물체 B1을 파지하기 위하여 수부(443)에 발생하고 있는 파지력을 릴리스를 향하여 감소시킬 때의 단위 시간에 있어서의 힘의 변화량을 제어하는 것이어도 된다.

또한, 암 동작 제어란, 물체 B1을 파지하여 목표 좌표 공간에 물체 B1을 배치하고 있는 암부의 자세를 변화시켜서 물체 B1의 위치를 수수 방향 A1로 이동시키는 것이어도 되고, 그때의 단위 시간당 변화량을 제어하는 것이어도 된다. 이러한 암 동작 제어에 의해, 릴리스 동작의 개시를 검지한 시점에서 수부(443)로부터 물체 B1을 즉시 릴리스했을 때 물체 B1에 발생하는 수수 방향 A1로의 관성력을 감소시키는 것이 가능하게 된다.

또한, 로봇 전신 동작 제어란, 물체 B1을 파지하여 목표 좌표 공간에 물체 B1을 배치하고 있는 자율 로봇(1)의 위치 및 자세를 변화시켜서 물체 B1의 위치를 수수 방향 A1로 이동시키는 것이어도 되고, 그때의 단위 시간당 위치 변화량을 제어하는 것이어도 된다.

1.3 자율 로봇의 개략 구성

이어서, 본 실시 형태에 따른 자율 로봇(1)의 개략 구성에 대해서, 도면을 참조하여 상세하게 설명한다. 도 4는, 본 실시 형태에 따른 자율 로봇의 개략 구성예를 도시하는 블록도이다. 도 4에 도시한 바와 같이, 자율 로봇(1)은, 예를 들어 CPU(Central Processing Unit)(12), DRAM(Dynamic Random Access Memory)(13), 플래시 ROM(Read Only Memory)(14), PC(Personal Computer) 카드 인터페이스(I/F)(15), 무선 통신부(16) 및 신호 처리 회로(11)가 내부 버스(17)를 통해 서로 접속됨으로써 형성된 컨트롤부(10)와, 이 자율 로봇(1)의 동력원으로서의 배터리(18)를 구비한다.

또한, 자율 로봇(1)은, 이동이나 제스처 등의 동작을 실현하기 위한 가동 기구로서, 매니퓰레이터(44)의 관절 부분이나 동체부(42)의 관절 부분((목 관절이나 허리 관절 등)이나 차륜이나 캐터필러 등의 가동부(26)와, 이 가동부(26)를 구동하기 위한 액추에이터(27)를 구비한다.

또한, 자율 로봇(1)은, 이동 거리나 이동 속도나 이동 방향이나 자세 등의 정보를 취득하기 위한 센서(이하, 내계 센서라고 함)로서, 자기(自機)의 방향이나 움직임의 가속도를 검출하기 위한 관성 계측 장치(Inertial Measurement Unit: IMU)(20)와, 액추에이터(27)의 구동량을 검출하는 인코더(또는 포텐시오미터)(28)를 구비한다. 또한, 내계 센서로서는, 이들 외에도, 가속도 센서나 각속도 센서 등을 사용할 수 있다.

또한, 자율 로봇(1)은, 자기의 주위의 지형이나 자기의 주위에 존재하는 물체까지의 거리나 방향 등의 정보를 취득하는 센서(이하, 외계 센서라고 함)로서, 외부의 상황을 촬상하는 카메라(19)와, 자기에 대하여 특정한 방향에 존재하는 물체까지의 거리를 측정하는 ToF(Time of Flight) 센서(21)를 구비한다. 또한, 외계 센서로서는, 이들 외에도, LIDAR(Light Detection and Ranging 또는 Laser Imaging Detection and Ranging) 센서, GPS(Global Positioning System) 센서, 자기 센서, Bluetooth(등록 상표)나 Wi-Fi(등록 상표) 등의 무선 통신부(16)에 있어서의 전파 강도의 측정부(이하, 전파 강도 센서라고 함) 등을 사용할 수 있다.

또한, 자율 로봇(1)에는, 외부로부터 받은 물리적인 압력을 검출하기 위한 터치 센서(22)나, 외부음을 집음하기 위한 마이크(23)나, 주위로 음성 등을 출력하기 위한 스피커(24)나, 유저 등에 각종 정보를 표시하기 위한 표시부(25) 등이 마련되어도 된다.

또한, 자율 로봇(1)의 가동부(26)에는, 물체 B1의 수수를 제어하기 위한 센서로서, 6축 역각 센서(501)와, 3축 역각 센서(502)와, 미끄럼 센서(503)와, 측거 센서(504)와, 3축 센서(261)와, 1축 센서(262)와, 3축 센서(263)와, 1축 센서(264)와, 2축 센서(265)와, 3축 센서(266)를 구비한다.

6축 역각 센서(501)는, 예를 들어 매니퓰레이터(44)에 있어서의 손목 부분에 설치되어, 손목 부분에 가해진 힘 및 토크의 크기와 방향을 검출한다.

3축 역각 센서(502)는, 예를 들어 수부(443)에 있어서의 각 손가락 관절에 설치되어, 손가락 관절에 가해진 힘 또는 토크의 크기와 방향을 검출한다.

미끄럼 센서(503)는, 예를 들어 수부(443)에 있어서의 손바닥이나 손가락 패드 등, 파지하는 물체 B1과 접촉하는 부분에 설치되어, 물체 B1과 이것에 접촉하는 부분 사이의 전단 미끄럼의 크기(미끄럼양) 및 그 방향을 검출한다. 또한, 미끄럼 센서(503)는, 물체 B1과 이것에 접촉하는 부분 사이에서 발생하는 초기 미끄럼의 크기(초기 미끄럼양) 및 그 방향을 검출해도 된다. 이 미끄럼 센서(503)에는, 예를 들어 수부(443)에 있어서의 물체 B1에 접촉하는 부분에 설치된 소정 형상의 점탄성체의 변형을 관측하는 비전 센서나, 압력의 2차원 분포를 계측하는 압력 분포 센서 등을 사용할 수 있다.

측거 센서(504)는, 예를 들어 매니퓰레이터(44)에 있어서의 손목이나 손바닥이나 손등이나 손끝 등, 수부(443)가 파지한 물체 B1을 관측할 수 있는 장소에 설치되어, 수부(443)와 물체 B1 사이의 거리를 계측한다.

3축 센서(261)는, 예를 들어 어깨 부분에 설치되어, 동체부(42)에 대한 상완부(441)의 롤각, 피치각 및 요각을 검출한다.

1축 센서(262)는, 예를 들어 팔꿈치 부분에 설치되어, 상완부(441)에 대한 전완부(442)의 피치각을 검출한다.

3축 센서(263)는, 예를 들어 손목 부분에 설치되어, 전완부(442)에 대한 수부(443)의 롤각, 피치각 및 요각을 검출한다.

1축 센서(264)는, 예를 들어 수부(443)의 각 손가락 관절에 설치되어, 각 관절의 피치각을 검출한다.

2축 센서(265)는, 예를 들어 대차부(43)와 동체부(42)의 관절 부분에 설치되어, 대차부(43)에 대한 동체부(42)의 롤각 및 피치각을 검출한다.

3축 센서(266)는, 예를 들어 넥 부분에 설치되어, 동체부(42)에 대한 헤드부(41)의 롤각, 피치각 및 요각을 검출한다.

이상의 구성에 있어서, IMU(20), 터치 센서(22), ToF 센서(21), 마이크(23), 스피커(24), 인코더(또는 포텐시오미터)(28) 등의 각종 센서, 표시부(25), 액추에이터(27), 카메라(19) 및 배터리(18)는, 각각 컨트롤부(10)의 신호 처리 회로(11)와 접속되어 있다.

신호 처리 회로(l4)는, 상술한 각종 센서로부터 공급되는 센서 데이터나 화상 데이터 및 음성 데이터를 순차 도입하여, 이들을 각각 내부 버스(17)를 통해 DRAM(13) 내의 소정 위치에 순차 저장한다. 또한, 신호 처리 회로(11)는, 이것과 함께 배터리(18)로부터 공급되는 배터리 잔량을 나타내는 배터리 잔량 데이터를 순차 도입하여, 이것을 DRAM(13) 내의 소정 위치에 저장한다.

이와 같이 하여 DRAM(13)에 저장된 각 센서 데이터, 화상 데이터, 음성 데이터 및 배터리 잔량 데이터는, CPU(12)가 자율 로봇(1)의 동작 제어를 행할 때 이용됨과 함께, 필요에 따라, 무선 통신부(16)를 통해 외부의 서버 등으로 송신된다. 또한, 무선 통신부(16)는, Bluetooth(등록 상표)나 Wi-Fi(등록 상표) 등 외에, 무선 LAN(Local Area Network)이나 이동체 통신망 등의 소정의 네트워크를 통해 외부의 서버 등과 통신을 행하기 위한 통신부이면 된다.

CPU(12)는, 예를 들어 자율 로봇(1)의 전원이 투입된 초기 시, 도시하지 않은 PC 카드 슬롯에 장전된 메모리 카드(30) 또는 플래시 ROM(14)에 저장된 제어 프로그램을 PC 카드 I/F(15)를 통해 또는 직접 판독하여, 이것을 DRAM(13)에 저장한다.

또한, CPU(12)는, 상술한 바와 같이 신호 처리 회로(11)로부터 DRAM(13)에 순차 저장되는 각 센서 데이터, 화상 데이터, 음성 데이터 및 배터리 잔량 데이터에 기초하여 자기(自機) 및 주위의 상황이나, 유저로부터의 지시 및 활동의 유무 등을 판단한다.

또한, CPU(12)는, DRAM(13) 등에 저장되어 있는 지도 데이터 또는 무선 통신부(16)를 통해 외부의 서버 등으로부터 취득한 지도 데이터와 각종 정보를 이용하여, 자기(自己) 위치 추정이나 여러가지 동작을 실행해도 된다.

그리고, CPU(12)는, 상술한 판단 결과나 추정된 자기 위치나 DRAM(13)에 저장되어 있는 제어 프로그램 등에 기초하여, 그 후의 행동을 결정함과 함께, 당해 결정 결과에 기초하여 필요한 액추에이터(27)를 구동시킴으로써, 물체 B1의 수수 동작 외에, 이동이나 제스처 등의 각종 행동을 실행한다.

그때, CPU(12)는, 필요에 따라 음성 데이터를 생성하여, 이것을 신호 처리 회로(11)를 통해 음성 신호로서 스피커(24)에 부여함으로써 당해 음성 신호에 기초하는 음성을 외부에 출력시키거나, 표시부(25)에 각종 정보를 표시시키거나 한다.

이와 같이 하여, 자율 로봇(1)은, 자기 및 주위의 상황이나, 유저로부터의 지시 및 행동 제시에 따라서 자율적으로 행동할 수 있도록 구성되어 있다.

1.4 수부의 구성

계속해서, 본 실시 형태에 따른 자율 로봇(1)의 수부(443)의 구성에 대해서, 도면을 참조하여 상세하게 설명한다. 또한, 본 설명에서는, 간략화를 위해, 수부(443)가 2 손가락인 경우를 예시한다. 도 5는, 본 실시 형태에 따른 수부의 구성예를 도시하는 외관도이다. 또한, 도 6은, 도 5에 있어서의 방향 A2로부터 수부를 본 경우의 구성예를 도시하는 외관도이다.

도 5 및 도 6에 도시한 바와 같이, 수부(443)는, 예를 들어 손바닥 및 손등에 상당하는 기저부(4431)와, 2개의 손가락부(4432a 및 4432b)(이하, 손가락부(4432a 및 4432b)를 구별하지 않는 경우, 그 부호를 4432로 함)를 구비한다. 기저부(4431)는, 예를 들어 손목에 상당하는 관절 기구(444)를 통해 전완부(442)에 설치되어 있다.

손목에 상당하는 관절 기구(444)에는, 상술한 바와 같이, 손목 부분에 가해진 힘 및 토크의 크기와 방향을 검출하는 6축 역각 센서(501)와, 전완부(442)에 대한 수부(443)의 롤각, 피치각 및 요각을 검출하는 3축 센서(263)가 마련되어 있다.

각 손가락부(4432)는, 기저부(4431)에 손가락 관절(제3 관절)에 상당하는 관절 기구(4433)를 통해 설치된 기절부(4434)와, 기절부(4434)에 손가락 관절(제1 관절)에 상당하는 관절 기구(4435)를 통해 설치된 말절부(4436)를 구비한다. 이들 2개의 손가락부(4432a 및 4432)는, 예를 들어 손가락 패드에 상당하는 면이 서로 마주 향하도록, 기저부(4431)에 설치되어 있다.

각 손가락부(4432)의 각 손가락 관절에 상당하는 관절 기구(4433 및 4435)에는, 상술한 바와 같이, 각 손가락 관절에 가해진 힘 또는 토크의 크기와 방향을 검출하는 3축 역각 센서(502)와, 각 관절의 피치각을 검출하는 1축 센서(264)가 마련되어 있다.

또한, 물체 B1을 파지했을 때 손가락부(4432)에 있어서의 물체 B1과 접촉하는 부분, 예를 들어 말절부(4436)의 손가락 패드에 상당하는 부분에는, 미끄럼 센서(503)가 마련되어 있다. 또한, 기저부(4431)에 있어서의 손바닥에 상당하는 면, 즉, 손가락부(4432)를 접었을 때 말절부(4436)에 설치된 미끄럼 센서(503)와 대향하는 면에는, 측거 센서(504)로서의 ToF 센서(504a)가 마련되어 있다. 또한, 기저부(4431)에 있어서의 손등에 상당하는 부분에는, 측거 센서(504)로서의 카메라(504b)가, 그 롤각, 피치각 및 요각을 조정 가능하게 마련되어 있다.

1.5 자율 로봇의 기능 구성

이어서, 본 실시 형태에 따른 자율 로봇(1)의 수수 동작을 실행하기 위한 기능 구성에 대해서, 도면을 참조하여 상세하게 설명한다. 도 7은, 본 실시 형태에 따른 자율 로봇의 수수 동작을 실행하기 위한 기능 구성의 일례를 도시하는 블록도이다. 또한, 도 7에 도시하는 기능 구성 중, 물리 인터랙션 실행부(55) 및 학습 정보 기억부(54) 이외의 구성은, 예를 들어 도 4에 도시하는 CPU(12)가 플래시 ROM(14) 또는 메모리 카드에 저장되어 있는 소정의 프로그램, 혹은, 무선 통신부(16)를 통해 다운로드된 프로그램을 실행함으로써, 실현될 수 있다. 또한, 물리 인터랙션 실행부(55)는, 예를 들어 도 4에 도시하는 CPU(12), 신호 처리 회로(11), 가동부(26) 및 액추에이터(27)로 실현될 수 있다. 또한, 학습 정보 기억부(54)는, 예를 들어 도 4에 도시하는 플래시 ROM(14) 또는 메모리 카드(30)에 의해 실현될 수 있다.

도 7에 도시한 바와 같이, 자율 로봇(1)은, 수수 대상자와의 물체 B1의 수수 동작을 실행하기 위한 기능 구성으로서, 수수 대상자 인식부(51)와, 물체 인식부(52)와, 수수 행동 계획부(53)와, 학습 정보 기억부(54)와, 물리 인터랙션 실행부(55)와, 파지 정보 취득부(56)와, 리스폰스 시간 계측부(57)와, 감정 맵 생성부(58)와, 수수 행동 평가부(59)를 구비한다. 또한, 자율 로봇(1)이 구비하는 센서 중, 예를 들어 카메라(19)와, 마이크(23)와, 6축 역각 센서(501)와, 3축 역각 센서(502)와, 미끄럼 센서(503)와, 측거 센서(504)는, 수수 동작의 실행에 있어서 사용하는 각종 정보를 취득하기 위한 센서 군(50)을 구성한다.

수수 대상자 인식부(51)는, 예를 들어 카메라(19)로 취득된 화상 데이터나 마이크(23)로부터 입력된 음성 데이터를 해석함으로써, 수수 대상자 및/또는 수수 대상자의 손 H1의 존재나, 수수 대상자에 있어서의 물체 B1을 수취하는 의사나, 수수 대상자의 행동거지나 상황 등(이하, 수수 대상자의 자세라고 함)을 인식하여, 그 결과를 수수 행동 계획부(53)에 입력한다. 또한, 수수 대상자 인식부(51)는, 후술하는 물리 인터랙션 실행부(55)가 실행하는 릴리스 동작의 과정에서, 카메라(19)로 취득된 화상 데이터나 마이크(23)로부터 입력된 음성 데이터를 해석함으로써, 릴리스 동작의 과정에 있어서의 수수 대상자에 감정의 변화, 예를 들어 뜨거움이나 차가움이나 타이밍이 맞지 않는 등의 이유로 수취 동작을 중단 또는 포기해버리는 등의 감정의 변화를 검출하여, 그 결과를 감정 맵 생성부(58)에 입력한다.

물체 인식부(52)는, 예를 들어 카메라(19)로 취득된 화상 데이터의 해석 결과나, 6축 역각 센서(501), 3축 역각 센서(502) 및 미끄럼 센서(503)로부터 입력된 센서 데이터 등에 기초함으로써, 물체 B1의 위치나, 물체 B1의 특성, 예를 들어 정지 마찰계수, 운동 마찰계수, 질량, 형상 치수, 강성, 강도, 온도, 습도 등을 인식 또는 추정하고, 그 결과를 수수 행동 계획부(53)에 입력한다.

학습 정보 기억부(54)는, 예를 들어 과거에 행한 수수 동작을 기계 학습함으로써 구축된 학습 완료 모델이나, 수수 행동 계획부(53)에서 계획된 수수 행동 계획 및 그 평가 결과 등을 기억한다. 또한, 과거에 행한 수수 동작에 대하여 기계 학습함으로써 학습 완료 모델을 구축하는 구성은, 예를 들어 자율 로봇(1) 내에 배치되어도 되고, 자율 로봇(1)과 소정의 네트워크를 통해 접속된 서버 상에 배치되어도 된다.

수수 행동 계획부(53)는, 수수 대상자 인식부(51)로부터 입력된 수수 대상자의 인식 결과와, 물체 인식부(52)로부터 입력된 물체 B1의 인식 또는 추정 결과로부터, 학습 정보 기억부(54)에 기억되어 있는 학습 완료 모델이나 과거에 계획한 수수 행동 계획 및 그 평가 결과 등에 기초하여, 물체 B1을 수수 대상자에게 전달하기 위한 수수 행동 계획을 제작한다. 제작된 수수 행동 계획에는, 예를 들어 물체 B1을 테이블이나 바닥 등으로부터 들어 올리는 또는 인간 등으로부터 수취하는 동작으로부터 수수 대상자에게 전달할 때까지의 동작이 포함될 수 있다.

물리 인터랙션 실행부(55)는, 수수 행동 계획부(53)에서 제작된 수수 행동 계획을 실행함으로써, 물체 B1을 수수 대상자에게 전달하는 물리 인터랙션(수수 행동)을 실행한다.

파지 정보 취득부(56)는, 물리 인터랙션 실행부(55)에 의한 릴리스 동작의 개시 타이밍을 결정하기 위해서, 예를 들어 미끄럼 센서(503)로 검출된 미끄럼양 또는 초기 미끄럼양 혹은 측거 센서(504)로 검출된 미끄럼양에 있어서의 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 수수 대상자의 손 H1의 위치 방향의 성분으로부터, 수수 대상자가 수취 동작을 개시한 타이밍을 검출하여, 검출한 타이밍을 물리 인터랙션 실행부(55)에 입력한다.

또한, 파지 정보 취득부(56)는, 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중의 물체 B1의 수수 방향 A1로의 이동 속도의 연속성을 확보하기 위해, 예를 들어 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중, 미끄럼 센서(503) 및/또는 측거 센서(504)로 검출된 물체 B1의 수수 방향 A1로의 미끄럼양을 물리 인터랙션 실행부(55)에 계속하여 입력한다.

또한, 파지 정보 취득부(56)는, 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중의 물체 B1의 낙하나 부자연스러운 상하 이동을 저감하기 위해서, 예를 들어 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중, 미끄럼 센서(503) 및/또는 측거 센서(504)로 검출된 물체 B1의 중력 방향으로의 미끄럼양을 물리 인터랙션 실행부(55)에 계속하여 입력한다.

또한, 파지 정보 취득부(56)는, 수수 동작의 기계 학습에 있어서의 입력으로서, 예를 들어 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중에 수부(443)에 마련된 각종 센서로 검출된 정보, 예를 들어 3축 역각 센서(502)로 검출된 파지력이나, 미끄럼 센서(503)로 검출된 미끄럼양 및/또는 초기 미끄럼양 등의 정보를, 도시하지 않은 기계 학습부에 입력한다. 게다가, 파지 정보 취득부(56)는, 수수 동작의 기계 학습에 있어서의 출력으로서, 예를 들어 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중에 측거 센서(504)로 검출된 물체 B1까지의 거리를, 도시하지 않은 기계 학습부에 입력한다.

리스폰스 시간 계측부(57)는, 예를 들어 자율 로봇(1)이 릴리스 동작을 개시하여 수부(443)의 파지력을 감소시키고 나서 물체 B1의 수수 방향 A1로의 이동 속도가 증가할 때까지의 시간(리스폰스 시간)을 계측하여, 측정된 리스폰스 시간을 물리 인터랙션 실행부(55)에 입력한다.

감정 맵 생성부(58)는, 예를 들어 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중에, 수수 대상자 인식부(51)로부터 입력된 수수 대상자의 감정 변화에 관한 정보에 기초하여, 릴리스 동작 실행 중의 시간축을 따른 수수 대상자의 감정의 변화를 매핑한 감정 맵을 생성하여, 생성한 감정 맵을 수수 행동 평가부(59)에 입력한다. 또한, 매핑되는 감정에는, 예를 들어 뜨거움이나 차가움이나 타이밍이 맞지 않는다는 등의 네거티브한 감정뿐만 아니라, 쾌적하게 수취하였다는 등의 포지티브한 감정 등도 포함될 수 있다.

수수 행동 평가부(59)는, 수수 행동 계획부(53)에서 계획된 수수 행동 계획을, 감정 맵 생성부(58)로부터 입력된 감정 맵에 기초하여 평가하고, 그 평가 결과를 수수 행동 계획과 함께 학습 정보 기억부(54)에 입력한다.

1.6 수수 행동의 기계 학습에 대해서

여기서, 수수 행동의 기계 학습에 대하여 설명한다. 도 8은, 기계 학습 프로세스에 있어서의 입출력 정보의 일례를 도시하는 모식도이다. 도 8에 도시한 바와 같이, 본 실시 형태에 있어서의 수수 행동의 기계 학습 프로세스에서는, 입력층에 수부(443)에 마련된 각종 센서로 검출된 정보 또는 이들 정보로부터 얻어진 정보, 예를 들어 3축 역각 센서(502)로 검출된 파지력 또는 그 변화율이나, 미끄럼 센서(503)로 검출된 미끄럼양 및/또는 초기 미끄럼양 또는 그 변화율 등의 정보가 부여되고, 출력층에 수수 방향 A1로의 물체 B1의 이동 속도의 연속성에 관한 정보가 부여되고, 입력층으로부터 은폐층을 통해 출력층까지의 각 층의 노드(뉴런이라고도 함)(60) 사이를 연결하는 각 에지(61)의 가중치가 구해진다. 이에 의해, 수수 동작에 최적의 학습 완료 모델이 제작된다. 또한, 상술한 바와 같이, 수수 대상자의 감정을 기계 학습의 입력이나 출력에 사용하는 것도 가능하다.

또한, 기계 학습에서는, 예를 들어 수수 방향 A1로의 물체 B1의 이동 속도의 연속성이 높을수록, 플러스의 보수가 설정되는 것으로 한다. 한편, 수수 방향 A1로의 물체 B1의 이동 속도의 연속성이 낮을수록, 즉, 물체 B1의 수수 방향 A1로의 단위 시간당 이동량이 불연속일수록, 마이너스의 보수가 설정되는 것으로 한다.

또한, 기계 학습에서는, 물리 인터랙션 실행부(55)가 릴리스 동작을 실행하고 있는 기간 중의 수수 대상자의 감정 및/또는 그 변화에 기초하여 보수가 설정되어도 된다. 예를 들어, 릴리스 동작을 실행하고 있는 기간 중에 수수 대상자로부터 네거티브한 감정이 인식되어 있는 경우에는 마이너스의 보수를 설정하고, 포지티브 감정이 인식되어 있는 경우에는 플러스의 보수를 설정하도록 해도 된다. 수수 대상자가 네거티브한 감정인지 포지티브한 감정인지에 대해서는, 예를 들어 감정 맵 생성부(58)에서 생성된 감정 맵에 기초하여 판정할 수 있다.

1.7 동작예

이어서, 본 실시 형태에 따른 자율 로봇(1)의 동작예에 대해서, 도면을 참조하여 상세하게 설명한다. 도 9는, 본 실시 형태에 따른 개략적인 동작예를 도시하는 흐름도이다. 도 9에 도시한 바와 같이, 본 동작에서는, 먼저, 물체 인식부(52)가, 예를 들어 카메라(19)로 취득된 화상 데이터를 해석함으로써, 수수 대상의 물체 B1의 위치나 형상 치수 등을 인식한다(스텝 S101). 계속해서, 물체 인식부(52)에 의해 인식된 물체 B1의 위치나 형상 치수 등에 기초하여, 물리 인터랙션 실행부(55)가 물체 B1을 파지한다(스텝 S102).

이어서, 물리 인터랙션 실행부(55)가 물체 B1을 들어 올렸을 때 매니퓰레이터(44)의 각종 센서(6축 역각 센서(501), 3축 역각 센서(502), 미끄럼 센서(503) 등)로 검출된 센서 데이터에 기초하여, 물체 인식부(52)가, 물체 B1의 들어 올림에 의한 부하를 계산하고(스텝 S103), 계산된 부하에 기초하여, 물체 B1의 특성, 예를 들어 정지 마찰계수, 운동 마찰계수, 질량, 강성, 강도, 온도, 습도 등을 인식 또는 추정한다(스텝 S104).

이어서, 수수 대상자 인식부(51)가, 예를 들어 카메라(19)로 취득된 화상 데이터나 마이크(23)로부터 입력된 음성 데이터를 해석함으로써, 수수 대상자의 위치를 인식하고(스텝 S105), 계속하여, 수수 행동 계획부(53)가, 수수 대상자 인식부(51)에 의해 인식된 수수 대상자의 위치로부터 결정되는 물체 B1의 전달 장소까지의 이동 계획을 제작한다(스텝 S106). 그리고, 물리 인터랙션 실행부(55)가, 수수 행동 계획부(53)에 의해 제작된 이동 계획에 따라, 자율 로봇(1)을 전달 장소까지 이동시킨다(스텝 S107).

이어서, 수수 대상자 인식부(51)가, 예를 들어 카메라(19)로 취득된 화상 데이터를 해석함으로써, 수수 대상자의 손 H1의 위치를 인식하고(스텝 S108), 계속하여, 수수 행동 계획부(53)가, 수수 대상자 인식부(51)에 의해 인식된 수수 대상자의 손 H1의 위치로부터 결정되는 자율 로봇(1)의 전달 자세까지의 자세 제어 계획을 제작한다(스텝 S109). 그리고, 물리 인터랙션 실행부(55)가, 수수 행동 계획부(53)에 의해 제작된 자세 제어 계획에 따라, 자율 로봇(1)의 자세를 제어한다(스텝 S110). 또한, 자율 로봇(1)의 자세 제어에는, 예를 들어 매니퓰레이터(44)의 기울기 제어나 동체부(42) 및 헤드부(41)의 기울기 제어 등도 포함될 수 있다. 또한, 스텝 S108에서는, 수수 대상자의 손 H1의 위치에 추가하여, 수수 대상자의 손 H1의 행동거지나 상황 등도 인식될 수 있다.

이어서, 수수 행동 계획부(53)가, 물체 인식부(52)에서 인식 또는 추정된 물체 B1의 특성과, 수수 대상자 인식부(51)에서 인식된 수수 대상자의 손 H1의 위치나 행동거지나 상황 등으로부터, 학습 정보 기억부(54)에 기억되어 있는 학습 완료 모델이나 과거에 계획한 수수 행동 계획 및 그 평가 결과 등에 기초하여, 물체 B1을 수수 대상자에게 전달하기 위한 수수 동작 계획을 제작하고(스텝 S111), 계속하여, 물리 인터랙션 실행부(55)가, 수수 행동 계획부(53)에 의해 제작된 수수 동작 계획에 따라, 물체 B1을 수수 대상자에게 전달하는 수수 행동을 실행하고(스텝 S112), 그 후, 본 동작을 종료한다.

1.8 수수 동작의 구체예

계속해서, 도 9의 스텝 S112에 도시하는 수수 동작에 대해서, 몇 가지 예를 들어서 설명한다.

1.8.1 제1 예

먼저, 제1 예에 관한 수수 동작에 대하여 설명한다. 도 10은, 본 실시 형태의 제1 예에 관한 수수 동작을 도시하는 흐름도이다. 또한, 제1 예에서는, 물리 인터랙션 실행부(55)가 파지력 제어만으로 릴리스 동작을 실행하는 경우를 예시한다.

도 10에 도시한 바와 같이, 제1 예에 관한 릴리스 동작에서는, 먼저, 파지 정보 취득부(56)가, 예를 들어 미끄럼 센서(503)로 검출된 미끄럼양 U 또는 초기 미끄럼양 u 혹은 측거 센서(504)로 검출된 미끄럼양 U에 있어서의 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 수수 대상자의 손 H1의 위치 방향(이하, 이들을 특정 방향이라고 함)의 성분이 제로보다 커졌는지 여부를 판정한다(스텝 S121). 즉, 수수 대상자에 의한 수취 동작이 개시되었는지 여부를 판정한다. 특정 방향의 미끄럼양 U 또는 초기 미끄럼양 u가 제로 이하인 경우(스텝 S121의 "아니오"), 즉, 수수 대상자에 의한 수취 동작이 아직 개시되지 않은 경우, 본 동작이 스텝 S121로 리턴하고, 수수 대상자에 의한 수취 동작의 개시를 대기한다.

한편, 특정 방향의 미끄럼양 U 또는 초기 미끄럼양 u가 제로보다 커진 경우(스텝 S121의 "예"), 즉, 수수 대상자에 의한 수취 동작이 개시된 경우, 파지 정보 취득부(56)는, 예를 들어 측거 센서(504)에 있어서의 카메라(504b)로 취득된 화상 데이터를 해석함으로써, 수수 방향 A1을 특정한다(스텝 S122). 특정된 수수 방향 A1은, 특정 방향의 미끄럼양 U 또는 초기 미끄럼양 u가 제로보다 커진 것에 기초하는 릴리스 동작의 개시 트리거와 함께, 파지 정보 취득부(56)로부터 물리 인터랙션 실행부(55)에 입력된다. 이에 비해, 물리 인터랙션 실행부(55)는, 물체 B1의 수수 방향 A1로의 릴리스 동작을 개시한다(스텝 S123).

이와 같이 하여 릴리스 동작을 개시하면, 물리 인터랙션 실행부(55)는, 이어서, 수부(443)의 파지력 제어를 실행한다(스텝 S124). 구체적으로는, 물리 인터랙션 실행부(55)는, 물체 B1을 파지하기 위하여 수부(443)에 발생시키고 있는 파지력 F를 릴리스를 향하여 감소시킬 때의 단위 시간에 있어서의 힘의 변화량을 제어한다.

또한, 물리 인터랙션 실행부(55)가 릴리스 동작을 개시 후, 파지 정보 취득부(56)는, 물체 B1의 수수 방향 A1로의 미끄럼양의 변화를 계속하여 계측함으로써, 물체 B1의 수수 방향 A1로의 이동 속도를 계측한다(스텝 S125). 계측된 물체 B1의 수수 방향 A1로의 이동 속도는, 물리 인터랙션 실행부(55)에 입력됨으로써, 물리 인터랙션 실행부(55)에 있어서의 파지력 제어에 사용된다. 즉, 물리 인터랙션 실행부(55)는, 물체 B1의 수수 방향 A1로의 이동 속도가 연속성을 유지하도록, 수부(443)에 발생시키고 있는 파지력의 단위 시간당 감소량을 제어한다(피드백 제어).

그 후, 물리 인터랙션 실행부(55)는, 수부(443)에 발생시키고 있는 파지력 F가 제로에 도달했는지 여부를 판정하고(스텝 S126), 제로에 달하였을 경우(스텝 S126의 "예"), 릴리스 동작을 완료하고(스텝 S127), 본 수수 동작을 종료한다.

한편, 파지력 F가 제로에 달하지 않은 경우(스텝 S126의 "아니오"), 본 동작이 스텝 S124로 리턴하고, 이후의 동작을 파지력 F가 제로에 도달할 때까지 반복 실행한다.

이와 같이, 미끄럼 센서(503)로 검출된 미끄럼양 U 또는 초기 미끄럼양 u 혹은 측거 센서(504)로 검출된 미끄럼양 U에 있어서의 특정 방향의 성분이 제로보다 커진 것(스텝 S121의 "예")에 기초하여, 물리 인터랙션 실행부(55)가 릴리스 동작을 개시(스텝 S123)하는 구성으로 함으로써, 릴리스 동작을 수수 동작의 초기 단계에 개시하는 것이 가능하게 되기 때문에, 물체 B1에 걸리는 부하나 수부(443)의 파지력의 변동을 최소한으로 억제하는 것이 가능하게 되고, 그것에 의하여, 보다 원활한 물체 B1의 전달이 가능하게 된다.

또한, 물리 인터랙션 실행부(55)가 릴리스 동작을 개시 후, 계속하여 물체 B1의 수수 방향 A1로의 미끄럼양의 변화를 계측(스텝 S125)하고, 계측된 물체 B1의 수수 방향 A1로의 미끄럼양의 변화에 기초하여, 수부(443)에 발생시키고 있는 파지력 F의 단위 시간에 있어서의 감소량을 제어함으로써, 물체 B1의 수수 방향 A1로의 변위가 급격하게 변화하는 것을 저감할 수 있기 때문에, 보다 원활한 물체 B1의 전달이 가능하게 됨과 함께, 물체 B1을 잘못 낙하시키거나, 물체 B1이 수부(443) 내에서 부자연스럽게 상하로 변위하거나 하는 것을 저감하는 것이 가능하게 된다.

또한, 물리 인터랙션 실행부(55)는, 스텝 S123에 있어서 릴리스 동작을 개시 후, 예를 들어 리스폰스 시간 계측부(57)에서 계측된 리스폰스 시간에 기초하여, 일정 시간 이상, 물체 B1의 수수 방향 A1로의 이동 속도가 증가하지 않는 경우에는, 릴리스 동작을 정지 또는 종료하게 해도 된다.

또한, 본 실시 형태에서는, 수부(443)가 2 손가락인 경우를 예시했지만, 예를 들어 수부(443)가 3 손가락 이상인 경우, 파지력 제어로는, 물체 B1을 집는 2개의 손가락부 이외의 손가락부로부터 그 파지력을 점점 감소시켜도 된다. 이에 의해, 물체 B1이 낙하할 위험성을 저감하여, 보다 안정된 수수 동작을 실행하는 것이 가능하게 된다.

1.8.2 제2 예

이어서, 제2 예에 관한 수수 동작에 대하여 설명한다. 도 11은, 본 실시 형태의 제2 예에 관한 수수 동작을 도시하는 흐름도이다. 제2 예에서는, 물리 인터랙션 실행부(55)가, 릴리스 동작으로서, 학습 완료 모델에 기초하여 특정된 블렌드율로 파지력 제어와 암 동작 제어를 블렌드하여 실행하는 경우를 예시한다.

도 11에 도시한 바와 같이, 제2 예에 관한 수수 동작에서는, 예를 들어 도 9를 사용하여 설명한 제1 예에 관한 수수 동작과 마찬가지의 흐름에 있어서, 도 9의 스텝 S124가, 스텝 S224로 치환되어 있다.

스텝 S224에서는, 물리 인터랙션 실행부(55)가, 학습 완료 모델에 기초하여 특정된 블렌드율로 블렌드된 수부(443)의 파지력 제어 및 암부의 암 동작 제어를 실행한다. 구체적으로는, 물리 인터랙션 실행부(55)는, 물체 B1을 파지하기 위하여 수부(443)에 발생시키고 있는 파지력 F를 릴리스를 향하여 감소시킬 때의 단위 시간에 있어서의 힘의 변화량을 제어(파지력 제어)함과 함께, 물체 B1을 파지하여 목표 좌표 공간에 물체 B1을 배치하고 있는 암부의 자세를 변화시켜서 물체 B1의 위치를 수수 방향 A1로 이동시킬 때의 단위 시간당 위치 변화량을 제어한다. 그때, 수수 방향 A1로의 물체 B1의 이동 속도가 연속성을 유지하도록, 파지력 F의 단위 시간당 감소량과, 암부의 자세의 변화량이, 상술한 블렌드율로 블렌드된다.

1.8.3 제3 예

이어서, 제3 예에 관한 수수 동작에 대하여 설명한다. 도 12는, 본 실시 형태의 제3 예에 관한 수수 동작을 도시하는 흐름도이다. 제3 예에서는, 물리 인터랙션 실행부(55)가, 릴리스 동작으로서, 학습 완료 모델에 기초하여 특정된 블렌드율로 파지력 제어와 암 동작 제어와 전신 동작 제어를 블렌드하여 실행하는 경우를 예시한다.

도 12에 도시한 바와 같이, 제3 예에 관한 수수 동작에서는, 예를 들어 도 9를 사용하여 설명한 제1 예에 관한 수수 동작과 마찬가지의 흐름에 있어서, 도 9의 스텝 S124가, 스텝 S324로 치환되어 있다.

스텝 S324에서는, 물리 인터랙션 실행부(55)가, 학습 완료 모델에 기초하여 특정된 블렌드율로 블렌드된 수부(443)의 파지력 제어와 암부의 암 동작 제어와 자율 로봇(1)의 전신 동작 제어를 실행한다. 구체적으로는, 물리 인터랙션 실행부(55)는, 물체 B1을 파지하기 위하여 수부(443)에 발생시키고 있는 파지력 F를 릴리스를 향하여 감소시킬 때의 단위 시간에 있어서의 힘의 변화량을 제어(파지력 제어)하여, 물체 B1을 파지하여 목표 좌표 공간에 물체 B1을 배치하고 있는 암부의 자세를 변화시켜서 물체 B1의 위치를 수수 방향 A1로 이동시킬 때의 단위 시간당 위치 변화량을 제어함과 함께, 물체 B1을 파지하여 목표 좌표 공간에 물체 B1을 배치하고 있는 자율 로봇(1)의 위치 및 자세를 변화시켜서 물체 B1의 위치를 수수 방향 A1로 이동시킨다. 그때, 수수 방향 A1로의 물체 B1의 이동 속도가 연속성을 유지하도록, 파지력 F의 단위 시간당 감소량과, 암부의 자세의 변화량과, 자율 로봇(1)의 위치 및 자세의 변화량이, 상술한 블렌드율로 블렌드된다.

1.8.4 제4 예

이어서, 제4 예에 관한 수수 동작에 대하여 설명한다. 도 13은, 본 실시 형태의 제4 예에 관한 수수 동작을 도시하는 흐름도이다. 제4 예에서는, 예를 들어 제3 예에 도시한 수수 동작에 추가하여, 물리 인터랙션 실행부(55)가, 수수 대상자의 감정 변화에 따라서 릴리스 동작의 정지나 종료를 실행하는 경우를 예시한다. 또한, 본 설명에서는, 제3 예를 베이스로 하지만, 이에 한정되지 않고, 제1 예 또는 제2 예를 베이스로 하는 것도 가능하다.

도 13에 도시한 바와 같이, 제4 예에 관한 수수 동작에서는, 예를 들어 도 12를 사용하여 설명한 제3 예에 관한 수수 동작과 마찬가지의 흐름에 있어서, 스텝 S324와 스텝 S125 사이에, 스텝 S401 내지 S403이 추가되어 있다.

스텝 S401에서는, 수수 대상자 인식부(51)가, 예를 들어 카메라(19)로 취득된 화상 데이터나 마이크(23)로부터 입력된 음성 데이터를 해석함으로써, 수수 대상자의 감정 변화를 검출한다. 검출된 수수 대상자의 감정 변화에 관한 정보는, 예를 들어 기계 학습의 입력이나 출력으로서, 감정 맵 생성부(58)에 입력되어도 된다.

이어서, 스텝 S402에서는, 수수 대상자 인식부(51)가, 검출된 변화 후의 감정이 특정한 감정인지 여부를 판정한다. 특정한 감정이란, 예를 들어 수수 대상자에 의한 수수 동작의 중단이나 포기로 연결되는 것과 같은 네거티브한 감정이면 된다. 특정한 감정이 검출되지 않은 경우(스텝 S402의 "아니오"), 본 동작은, 스텝 S125로 진행한다. 한편, 특정한 감정이 검출된 경우(스텝 S402의 "예"), 물리 인터랙션 실행부(55)가, 릴리스 동작을 정지 또는 종료하고(스텝 S403), 그 후, 스텝 S121로 리턴한다. 또한, 릴리스 동작의 정지 지시는, 수수 대상자 인식부(51)로부터 물리 인터랙션 실행부(55)에 직접 입력되어도 되고, 감정 맵 생성부(58)를 통해 입력되어도 된다.

이상과 같이, 물리 인터랙션 실행부(55)가 스텝 S123에 있어서 릴리스 동작을 개시 후, 수수 대상자 인식부(51)가 카메라(19)로부터의 화상 데이터나 마이크(23)로부터의 음성 데이터를 해석함으로써, 수수 대상자의 감정 변화를 검출하고, 검출된 감정이 수수 동작의 중단이나 포기로 연결되는 특정한 감정인 경우에는, 물리 인터랙션 실행부(55)에 의한 릴리스 동작이 중단되도록 구성해도 된다. 이에 의해, 수수 대상자가 수취 동작을 중단 또는 포기했을 때 물리 인터랙션 실행부(55)에 신속히 릴리스 동작의 정지 또는 종료를 실행시키는 것이 가능하게 되기 때문에, 물체 B1의 낙하나 내용물의 튀어나옴 등을 저감하는 것이 가능하게 된다.

1.9 파지 동작과 릴리스 동작의 블렌드에 대해서

이어서, 파지 동작과 릴리스 동작의 블렌드에 대해서, 도면을 사용하여 상세하게 설명한다. 도 14는, 본 실시 형태에 따른 파지 동작과 릴리스 동작의 블렌드를 설명하기 위한 도면이다. 또한, 도 14에서는, 물리 인터랙션 실행부(55)가, 릴리스 동작으로서, 학습 완료 모델에 기초하여 특정된 블렌드율로 파지력 제어와 암 동작 제어와 전신 동작 제어를 블렌드하여 실행하는 경우(제3 예)를 예시한다.

도 14에 도시한 바와 같이, 파지한 물체를 수수 대상자에게 전달할 때, 자율 로봇(1)은, 파지 동작(71)과 릴리스 동작(72)을 블렌드율(76)로 블렌드(가산)하고, 그 결과(73)에 기초하여 파지력 제어(74)를 실행한다. 자율 로봇(1)이 물체 B1을 릴리스하는 과정에 있어서, 블렌드율(76)을 감소시킴으로써, 최종적으로, 자율 로봇(1)이 물체 B1을 릴리스한다.

블렌드율(76)은, 예를 들어 물리 인터랙션 실행부(55)가 릴리스 동작을 실행 후에 매니퓰레이터(44)의 각종 센서(6축 역각 센서(501), 3축 역각 센서(502), 미끄럼 센서(503) 등)로 검출된 센서 데이터(파지력 F, 회전 모멘트 F 등)로부터 부하를 계산(75)하고, 그 결과에 기초하여 구할 수 있다.

이와 같이 하여 구해진 블렌드율은, 암 동작 제어(77)에 있어서의 파라미터로서도 이용된다. 암 동작 제어(77)는, 물리 인터랙션 실행부(55)가 릴리스 동작을 실행 후에 매니퓰레이터(44)의 각종 센서(6축 역각 센서(501), 3축 역각 센서(502), 미끄럼 센서(503) 등)로 검출된 센서 데이터(파지력 F, 회전 모멘트 F 등)와, 블렌드율(76)에 기초하여 그 제어량이 결정되고, 그리고, 암 동작 제어(77)를 서포트하도록, 전신 동작 제어(78)의 제어량이 결정된다.

1.9.1 변형예

도 15는, 본 실시 형태의 변형예에 관한 파지 동작과 릴리스 동작의 블렌드를 설명하기 위한 도면이다. 도 15에 도시한 바와 같이, 블렌드율(76)은, 센서 데이터(파지력 F, 회전 모멘트 F 등)에 추가하여, 리스폰스 시간 계측부(57)에서 계측된 리스폰스 시간 T나, 수수 대상자 인식부(51)에서 검출된 수수 대상자의 감정 변화에 기초하여 요구되어도 된다. 이에 의해, 예를 들어 수수 대상자가 불쾌함을 느끼고 있는 경우에는, 보다 정중하게 혹은 신속하게 물체 B1을 릴리스하도록 블렌드율(76)을 조정하는 것이 가능하게 된다.

1.10 초기 미끄럼의 계측에 대해서

이어서, 초기 미끄럼의 계측에 대해서, 구체예를 들어 설명한다.

1.10.1 비전 센서

먼저, 초기 미끄럼을 계측하기 위한 센서(미끄럼 센서(503)에 상당)로서, 비전 센서를 사용한 경우에 대하여 설명한다. 도 16은, 비전 센서를 사용하여 구성된 미끄럼 센서의 일례를 도시하는 모식도이다.

도 16에 도시한 바와 같이, 비전 센서(83)를 사용하여 구성된 미끄럼 센서(503A)는, 자율 로봇(1)의 하우징(81)의 일부에 마련된 변형부(82)와, 하우징(81)의 내부로부터 변형부(82)의 변형을 관측하는 비전 센서(83)를 구비한다.

도 17에 도시한 바와 같이, 변형부(82)는, 예를 들어 실리콘 고무 등의 점탄성체(821)로 구성된다. 점탄성체(821)에는, 예를 들어 2차원 격자상으로 배열하는 복수의 마커(822)가 마련된다. 이러한 구조의 변형부(82)에 대하여, 도 17에 예시한 바와 같이, 영역 R1에 압력을 가하면, 영역 R1 내의 마커(822)가 변형 또는 위치 어긋남을 일으킨다. 따라서, 미끄럼 센서(503A)는, 변형 또는 위치 어긋남을 일으킨 마커(822)의 영역을 비전 센서(83)로 관측함으로써, 어느 영역에 압력이 가해지고 있는지, 즉, 어느 영역이 물체 B1과 접촉하고 있는지를 특정할 수 있다.

또한, 예를 들어 변형부(82)에 접촉하고 있는 물체 B1에 외력이 가해지면, 물체 B1이 변형부(82)에 대하여 실제로 미끄러지기 시작하기 전의 단계로서, 초기 미끄럼이 발생한다. 초기 미끄럼이란, 접촉 영역의 중앙 부분은 미끄럼이 발생하고 있지 않은 상태에서 주변 부분에 미끄럼이 발생하는 현상이다.

예를 들어, 도 18 내지 도 20에 예시한 바와 같이, 변형부(82)의 전체에 접촉하고 있는 물체 B1에 도면 중 우측 방향의 외력을 부여하면, 변형부(82)의 좌측으로부터 초기 미끄럼(823)이 발생하고(도 18 참조), 그 영역이 점점 확대되고(도 18 내지 도 20 참조), 최종적으로는, 변형부(82)의 전체에서 미끄럼이 검출된다.

따라서, 비전 센서(83)를 사용하여 구성된 미끄럼 센서(503A)를 사용하는 경우에는, 수부(443)가 물체 B1을 파지하여 들어 올린 상태를 기준으로 하여, 이 상태로부터 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 수수 대상자의 손 H1의 위치 방향의 초기 미끄럼을 미끄럼 센서(503A)로 검출하여, 초기 미끄럼이 검출된 타이밍을 수수 대상자가 수취 동작을 개시한 타이밍으로 하는 것이 가능하게 된다.

1.10.2 압력 분포 센서

또한, 초기 미끄럼을 계측하기 위한 센서(미끄럼 센서(503)에 상당)에는, 압력 분포 센서를 사용할 수도 있다. 도 21은, 압력 분포 센서를 사용하여 구성된 미끄럼 센서의 일례를 도시하는 모식도이다.

도 21에 도시한 바와 같이, 압력 분포 센서(91)를 사용하여 구성된 미끄럼 센서(503B)는, 물체 B1과 접촉하는 면이 왜곡되어 있다. 따라서, 미끄럼 센서(503B)에 대하여 물체 B1을 접촉시킨 경우, 도 22에 도시한 바와 같이, 접촉 영역 R2에 있어서의 중앙 부분에서 검출되는 압력이 가장 높아진다. 또한, 도 22 및 도 23 중, 접촉 영역 R2 내의 색의 농도는, 압력의 높이를 나타내고 있는 것으로 한다.

이 상태에서 도면중 우측 방향의 외력을 부여하면, 도 23에 도시한 바와 같이, 접촉 영역 R2에 있어서의 가장 압력이 높은 영역은 이동하지 않기는 하지만, 그 주변 영역은 도면 중 우측 방향으로 시프트한다.

따라서, 압력 분포 센서(91)를 사용하여 구성된 미끄럼 센서(503B)를 사용하는 경우에는, 수부(443)가 물체 B1을 파지하여 들어 올린 상태를 기준으로 하여, 이 상태로부터 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 수수 대상자의 손 H1의 위치 방향의 초기 미끄럼을 미끄럼 센서(503B)로 검출하여, 초기 미끄럼이 검출된 타이밍을 수수 대상자가 수취 동작을 개시한 타이밍으로 하는 것이 가능하게 된다.

1.11 시스템 구성

본 실시 형태에 따른 자율 로봇(1)은, 도 24에 예시한 바와 같이, 예를 들어 도 24에 예시한 바와 같이, 소정의 네트워크(3)를 통해 서버(2)에 접속하는 것이 가능해도 된다. 서버(2)는, 예를 들어 클라우드 서버 등, 복수의 서버로 구성된 서버 군이어도 된다. 네트워크(3)는, 예를 들어 인터넷이나 LAN이나 이동체 통신망 등, 여러가지 네트워크를 적용하는 것이 가능하다.

이러한 시스템 구성에 있어서, 상술한 기계 학습부는, 각 자율 로봇(1)에 배치되어도 되고, 서버(2)에 배치되어도 된다. 또한, 기계 학습부를 각 자율 로봇(1)에 배치하는지 서버(2)에 배치하는지에 관계없이, 기계 학습부에 의한 기계 학습의 결과(예를 들어, 학습 완료 모델)는, 소정의 네트워크(3)를 통해 접속된 복수의 자율 로봇(1)에서 공유할 수 있으면 된다.

기계 학습부를 실현하는 장치에는, 범용의 계산기 또는 프로세서(CPU)가 사용되어도 되고, GPGPU(General-Purpose Computing on Graphics Processing Units)나 대규모 PC(Personal Computer)나 FPGA(Field-Programmable Gate Array) 등이 사용되어도 된다.

1.12 작용·효과

이상과 같이, 본 실시 형태에 따르면, 릴리스 동작의 실행 중에, 물체 B1의 수수 방향 A1로의 미끄럼양의 변화를 계속하여 계측하여, 물체 B1의 수수 방향 A1로의 이동 속도의 연속성이 유지되도록, 릴리스 동작이 제어된다. 이에 의해, 물체 B1의 수수 방향 A1로의 변위가 급격하게 변화하는 것을 저감할 수 있기 때문에, 원활한 물체 B1의 전달이 가능하게 된다.

또한, 본 실시 형태에서는, 수부(443)의 파지력의 변화율이나 수부(443)에 탑재한 각종 센서로 검출된 정보 등을 입력으로 하고, 물체 B1의 수수 방향 A1로의 이동 속도의 연속성을 출력으로 한 기계 학습을 행한다. 이에 의해, 물체 B1의 특성(정지 마찰계수, 운동 마찰계수, 질량, 형상 치수, 강성, 강도, 온도, 습도 등) 및 수수 대상자의 행동거지나 상황 등에 따른 보다 원활한 물체 B1의 전달을 가능하게 할 수 있다.

또한, 본 실시 형태에서는, 예를 들어 수부(443)가 파지하는 물체 B1의 미끄럼양 또는 초기 미끄럼양의 변화를 계측하고, 그 변화의 방향이, 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 수수 대상자의 손 H1의 위치 방향의 성분을 가질 때, 릴리스 동작을 개시한다. 이에 의해, 릴리스 동작을 수수 동작의 초기 단계에 개시하는 것이 가능하게 되기 때문에, 물체 B1에 걸리는 부하나 수부(443)의 파지력의 변동을 최소한으로 억제하는 것이 가능하게 되고, 그것에 의하여, 보다 원활한 물체 B1의 전달이 가능하게 된다.

또한, 본 실시 형태에서는, 릴리스 동작의 실행 중에, 물체 B1의 중력 방향으로의 미끄럼양 또는 초기 미끄럼양을 계속하여 계측한다. 이에 의해, 물체 B1을 잘못 낙하시키거나, 물체 B1이 수부(443) 내에서 부자연스럽게 상하로 변위하는 것을 저감하는 것이 가능하게 된다.

또한, 본 실시 형태에서는, 화상 입력 정보나 음성 입력 정보 등으로부터 얻어지는 수수 대상자의 존재나 감정의 변화 등을 기계 학습의 입력이나 출력에 추가한다. 이에 의해, 물리 인터랙션의 가일층의 고품질화를 달성할 수 있다.

또한, 본 실시 형태에서는, 화상 처리의 결과나 측거 센서로부터의 정보를 사용하여 수수 대상자의 존재나 손 H1의 존재를 확인한 뒤에 릴리스 동작을 개시할 수 있다. 이에 의해, 잘못 릴리스 동작을 개시하는 것을 피할 수 있기 때문에, 보다 안전하고 또한 확실하게 물체 B1의 전달을 실행하는 것이 가능하게 된다. 또한, 화상 처리의 결과나 측거 센서로부터의 정보에 한하지 않고, 예를 들어 음성 입출력 정보 등을 사용하여 수수 대상자의 존재를 확인할 수도 있다. 또한, 음성 입출력 정보 등을 사용하여 수수 대상자의 파지의 의사나 릴리스 동작 중의 감정 변화를 인식한 뒤에, 릴리스 동작의 개시나 동작 계속의 판단을 실행하는 것도 가능하게 된다.

또한, 상기한 실시 형태에서는, 물체 B1을 1개의 매니퓰레이터(44)로 파지하여 수수 대상자에게 전달하는 경우를 예시했지만, 이것에 한정되는 것은 아니다. 예를 들어, 양쪽의 매니퓰레이터(44R 및 44L)를 사용하여 물체 B1을 파지하여 수수 대상자에게 전달하는 경우 등에도, 상술한 실시 형태를 적용하는 것이 가능하다.

또한, 1대의 자율 로봇(1)뿐만 아니라, 복수대의 자율 로봇(1)이 연계하여, 물체 B1을 들어 올려서 한사람 이상의 수수 대상자에게 전달하는 경우에도, 상술한 실시 형태를 적용하는 것이 가능하다.

또한, 상술한 실시 형태는, 물체 B1을 대상자로부터 수취하는 경우에도 응용하는 것이 가능하다.

이상, 본 개시의 실시 형태에 대하여 설명했지만, 본 개시의 기술적 범위는, 상술한 각 실시 형태 그대로에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 여러가지로 변경이 가능하다. 또한, 다른 실시 형태 및 변형예에 걸치는 구성 요소를 적절히 조합해도 된다.

또한, 본 명세서에 기재된 각 실시 형태에 있어서의 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 제어부를 구비하는 정보 처리 장치.

(2)

상기 제어부는, 상기 물체의 수수 방향으로의 상기 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터의 파지력의 단위 시간당 변화량을 제어하는 상기 (1)에 기재된 정보 처리 장치.

(3)

상기 매니퓰레이터는, 상기 물체를 파지하는 수부와, 한쪽 단에 상기 수부가 설치된 암부를 구비하고,

상기 제어부는, 상기 물체의 수수 방향으로의 상기 이동 속도가 연속성을 유지하도록, 상기 수부의 파지력의 단위 시간당 변화량을 제어함과 함께, 상기 암부의 자세의 단위 시간당 변화량을 제어하는

상기 (1)에 기재된 정보 처리 장치.

(4)

상기 매니퓰레이터는, 이동 가능한 이동체에 설치되고,

상기 제어부는, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어함과 함께, 상기 이동체의 이동을 제어하는

상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 장치.

(5)

상기 물체가 상기 매니퓰레이터와 접하는 부분에 있어서의 상기 물체의 미끄럼양을 검출하는 제1 검출부를 추가로 구비하고,

상기 제어부는, 상기 제1 검출부에서 검출된 미끄럼양에 기초하여, 상기 물체의 상기 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는

상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.

(6)

상기 물체가 상기 매니퓰레이터와 접촉하는 부분에 있어서의 상기 물체의 미끄럼양 또는 초기 미끄럼양을 검출하는 제2 검출부를 추가로 구비하고,

상기 제어부는, 상기 제2 검출부에서 검출된 상기 미끄럼양 또는 상기 초기 미끄럼양의 변화가 중력 방향과는 다른 방향의 성분을 포함하는 경우, 상기 물체를 상기 수수 대상자에게 전달하는 동작을 상기 매니퓰레이터에게 개시시키는

상기 (1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.

(7)

상기 중력 방향과는 다른 방향은, 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 상기 수수 대상자에의 수수 방향인 상기 (6)에 기재된 정보 처리 장치.

(8)

상기 물체가 상기 매니퓰레이터와 접촉하는 부분에 있어서의 상기 물체의 중력 방향의 미끄럼양 또는 초기 미끄럼양을 검출하는 제3 검출부를 추가로 구비하고,

상기 제어부는, 상기 제3 검출부에서 검출된 상기 중력 방향의 상기 미끄럼양 또는 상기 초기 미끄럼양에 기초하여 상기 매니퓰레이터를 제어하는

상기 (1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.

(9)

상기 물체를 상기 수수 대상자에게 전달하는 동작 중의 상기 수수 대상자의 감정을 인식하는 대상자 인식부를 추가로 구비하고,

상기 제어부는, 상기 대상자 인식부에서 검출된 상기 수수 대상자의 감정의 변화에 기초하여, 상기 물체를 상기 수수 대상자에게 전달하는 동작을 정지 또는 종료하는

상기 (1) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.

(10)

상기 대상자 인식부는, 상기 수수 대상자를 촬상한 화상 데이터 및 상기 수수 대상자가 발한 목소리를 집음한 음성 데이터 중의 적어도 하나에 기초하여, 상기 수수 대상자의 감정을 인식하는 상기 (9)에 기재된 정보 처리 장치.

(11)

상기 물체를 상기 수수 대상자에게 전달하기 위하여 상기 매니퓰레이터에게 실행시킬 수수 동작을 계획하는 계획부를 추가로 구비하고,

상기 제어부는, 상기 계획부에서 계획된 상기 수수 동작에 따라, 상기 물체의 상기 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는

상기 (1) 내지 (10) 중 어느 한 항에 기재된 정보 처리 장치.

(12)

상기 물체의 특성을 인식 또는 추정하는 물체 인식부를 추가로 구비하고,

상기 계획부는, 상기 물체 인식부에서 인식 또는 추정된 상기 물체의 특성에 기초하여, 상기 수수 동작을 계획하는

상기 (11)에 기재된 정보 처리 장치.

(13)

상기 물체의 특성은, 정지 마찰계수, 운동 마찰계수, 질량, 형상 치수, 강성, 강도, 온도 및 습도 중 적어도 하나를 포함하는 상기 (12)에 기재된 정보 처리 장치.

(14)

상기 계획부는, 학습 완료 모델을 따라서 상기 수수 동작을 계획하는 상기 (11) 내지 (13) 중 어느 한 항에 기재된 정보 처리 장치.

(15)

상기 학습 완료 모델은, 상기 매니퓰레이터가 상기 물체를 파지하는 파지력의 변화율을 입력으로 하고, 상기 물체의 수수 방향으로의 이동 속도의 연속성을 출력으로 한 기계 학습으로 제작된 모델인 상기 (14)에 기재된 정보 처리 장치.

(16)

상기 기계 학습은, 상기 물체의 수수 방향으로의 상기 이동 속도의 연속성이 높을수록, 플러스의 보수가 설정되고, 상기 수수 방향으로의 상기 이동 속도의 연속성이 낮을수록, 마이너스의 보수가 설정된 기계 학습인 상기 (15)에 기재된 정보 처리 장치.

(17)

상기 제1 검출부는, 점탄성체 및 비전 센서, 압력 분포 센서 및 측거 센서 중 적어도 하나를 포함하는 상기 (5)에 기재된 정보 처리 장치.

(18)

상기 제2 검출부는, 점탄성체 및 비전 센서, 또는, 압력 분포 센서를 포함하는 상기 (6) 또는 (7)에 기재된 정보 처리 장치.

(19)

매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 제어 방법.

(20)

매니퓰레이터를 제어하는 컴퓨터를 기능시키기 위한 프로그램이며,

상기 매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 것을 상기 컴퓨터에 실행시키기 위한 프로그램.

1: 자율 로봇
2: 서버
3: 네트워크
10: 컨트롤부
11: 신호 처리 회로
12: CPU
13: DRAM
14: 플래시 ROM
15: PC 카드 I/F
16: 무선 통신부
17: 내부 버스
18: 배터리
19: 카메라
20: IMU
21: ToF 센서
22: 터치 센서
23: 마이크
24: 스피커
25: 표시부
26: 가동부
261: 3축 센서(어깨)
262: 1축 센서(팔꿈치)
263: 3축 센서(손목)
264: 1축 센서(손가락 관절)
265: 2축 센서(허리)
266: 3축 센서(목)
27: 액추에이터
28: 인코더(포텐시오미터)
30: 메모리 카드
41: 헤드부
42: 동체부
43: 대차부
44, 44L, 44R: 매니퓰레이터
441: 상완부
442: 전완부
443: 수부
444: 관절 기구
4431: 기저부
4432, 4432a, 4432b: 손가락부
4433, 4435: 관절 기구
4434: 기절부
4436: 말절부
50: 센서 군
501: 6축 역각 센서
502: 3축 역각 센서
503, 503A, 503B: 미끄럼 센서
504: 측거 센서
504a: ToF 센서
504b: 카메라
51: 수수 대상자 인식부
52: 물체 인식부
53: 수수 행동 계획부
54: 학습 정보 기억부
55: 물리 인터랙션 실행부
56: 파지 정보 취득부
57: 리스폰스 시간 계측부
58: 감정 맵 생성부
59: 수수 행동 평가부
60: 노드(뉴런)
61: 에지
71: 파지 동작
72: 릴리스 동작
73: α×파지 동작+(1-α)×릴리스 동작
74: 파지력 제어
75: 부하 계산
76: 블렌드율
77: 암 동작 제어
78: 전신 동작 제어
81: 하우징
82: 변형부
83: 비전 센서
821: 점탄성체
822: 마커
823: 초기 미끄럼
91: 압력 분포 센서
A1: 수수 방향
B1: 물체
H1: 손
P1: 바닥
R1: 영역
R2: 접촉 영역

Claims (20)

1. 매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 제어부를 구비하는, 정보 처리 장치.
2. 제1항에 있어서, 상기 제어부는, 상기 물체의 수수 방향으로의 상기 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터의 파지력의 단위 시간당 변화량을 제어하는, 정보 처리 장치.
3. 제1항에 있어서, 상기 매니퓰레이터는, 상기 물체를 파지하는 수부와, 한쪽 단에 상기 수부가 설치된 암부를 구비하고,
   상기 제어부는, 상기 물체의 수수 방향으로의 상기 이동 속도가 연속성을 유지하도록, 상기 수부의 파지력의 단위 시간당 변화량을 제어함과 함께, 상기 암부의 자세의 단위 시간당 변화량을 제어하는,
   정보 처리 장치.
4. 제1항에 있어서, 상기 매니퓰레이터는, 이동 가능한 이동체에 설치되고,
   상기 제어부는, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어함과 함께, 상기 이동체의 이동을 제어하는,
   정보 처리 장치.
5. 제1항에 있어서, 상기 물체가 상기 매니퓰레이터와 접하는 부분에 있어서의 상기 물체의 미끄럼양을 검출하는 제1 검출부를 추가로 구비하고,
   상기 제어부는, 상기 제1 검출부에서 검출된 미끄럼양에 기초하여, 상기 물체의 상기 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는,
   정보 처리 장치.
6. 제1항에 있어서, 상기 물체가 상기 매니퓰레이터와 접촉하는 부분에 있어서의 상기 물체의 미끄럼양 또는 초기 미끄럼양을 검출하는 제2 검출부를 추가로 구비하고,
   상기 제어부는, 상기 제2 검출부에서 검출된 상기 미끄럼양 또는 상기 초기 미끄럼양의 변화가 중력 방향과는 다른 방향의 성분을 포함하는 경우, 상기 물체를 상기 수수 대상자에게 전달하는 동작을 상기 매니퓰레이터에게 개시시키는,
   정보 처리 장치.
7. 제6항에 있어서, 상기 중력 방향과는 다른 방향은, 중력과 반대 방향, 중력에 의한 회전 모멘트와 반대 방향, 또는, 상기 수수 대상자에의 수수 방향인, 정보 처리 장치.
8. 제1항에 있어서, 상기 물체가 상기 매니퓰레이터와 접촉하는 부분에 있어서의 상기 물체의 중력 방향의 미끄럼양 또는 초기 미끄럼양을 검출하는 제3 검출부를 추가로 구비하고,
   상기 제어부는, 상기 제3 검출부에서 검출된 상기 중력 방향의 상기 미끄럼양 또는 상기 초기 미끄럼양에 기초하여 상기 매니퓰레이터를 제어하는,
   정보 처리 장치.
9. 제1항에 있어서, 상기 물체를 상기 수수 대상자에게 전달하는 동작 중의 상기 수수 대상자의 감정을 인식하는 대상자 인식부를 추가로 구비하고,
   상기 제어부는, 상기 대상자 인식부에서 검출된 상기 수수 대상자의 감정의 변화에 기초하여, 상기 물체를 상기 수수 대상자에게 전달하는 동작을 정지 또는 종료하는,
   정보 처리 장치.
10. 제9항에 있어서, 상기 대상자 인식부는, 상기 수수 대상자를 촬상한 화상 데이터 및 상기 수수 대상자가 발한 목소리를 집음한 음성 데이터 중의 적어도 하나에 기초하여, 상기 수수 대상자의 감정을 인식하는, 정보 처리 장치.
11. 제1항에 있어서, 상기 물체를 상기 수수 대상자에게 전달하기 위하여 상기 매니퓰레이터에게 실행시킬 수수 동작을 계획하는 계획부를 추가로 구비하고,
    상기 제어부는, 상기 계획부에서 계획된 상기 수수 동작에 따라, 상기 물체의 상기 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는,
    정보 처리 장치.
12. 제11항에 있어서, 상기 물체의 특성을 인식 또는 추정하는 물체 인식부를 추가로 구비하고,
    상기 계획부는, 상기 물체 인식부에서 인식 또는 추정된 상기 물체의 특성에 기초하여, 상기 수수 동작을 계획하는,
    정보 처리 장치.
13. 제12항에 있어서, 상기 물체의 특성은, 정지 마찰계수, 운동 마찰계수, 질량, 형상 치수, 강성, 강도, 온도 및 습도 중 적어도 하나를 포함하는, 정보 처리 장치.
14. 제11항에 있어서, 상기 계획부는, 학습 완료 모델을 따라서 상기 수수 동작을 계획하는, 정보 처리 장치.
15. 제14항에 있어서, 상기 학습 완료 모델은, 상기 매니퓰레이터가 상기 물체를 파지하는 파지력의 변화율을 입력으로 하고, 상기 물체의 수수 방향으로의 이동 속도의 연속성을 출력으로 한 기계 학습으로 제작된 모델인, 정보 처리 장치.
16. 제15항에 있어서, 상기 기계 학습은, 상기 물체의 수수 방향으로의 상기 이동 속도의 연속성이 높을수록, 플러스의 보수가 설정되고, 상기 수수 방향으로의 상기 이동 속도의 연속성이 낮을수록, 마이너스의 보수가 설정된 기계 학습인, 정보 처리 장치.
17. 제5항에 있어서, 상기 제1 검출부는, 점탄성체 및 비전 센서, 압력 분포 센서 및 측거 센서 중 적어도 하나를 포함하는, 정보 처리 장치.
18. 제6항에 있어서, 상기 제2 검출부는, 점탄성체 및 비전 센서, 또는, 압력 분포 센서를 포함하는, 정보 처리 장치.
19. 매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 제어 방법.
20. 매니퓰레이터를 제어하는 컴퓨터를 기능시키기 위한 프로그램이며,
    상기 매니퓰레이터에 파지된 물체를 수수 대상자에게 전달할 때, 상기 물체의 이동 속도가 연속성을 유지하도록, 상기 매니퓰레이터를 제어하는 것을 상기 컴퓨터에 실행시키기 위한 프로그램.

Images