KR100840427B1 - 각식 이동 로봇의 제어장치 - Google Patents

각식 이동 로봇의 제어장치 Download PDF

Info

Publication number
KR100840427B1
KR100840427B1 KR1020060122771A KR20060122771A KR100840427B1 KR 100840427 B1 KR100840427 B1 KR 100840427B1 KR 1020060122771 A KR1020060122771 A KR 1020060122771A KR 20060122771 A KR20060122771 A KR 20060122771A KR 100840427 B1 KR100840427 B1 KR 100840427B1
Authority
KR
South Korea
Prior art keywords
visitor
guide
actuator
robot
leg
Prior art date
Application number
KR1020060122771A
Other languages
English (en)
Other versions
KR20070062415A (ko
Inventor
다로 요코야마
사치에 하시모토
Original Assignee
혼다 기켄 고교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 혼다 기켄 고교 가부시키가이샤 filed Critical 혼다 기켄 고교 가부시키가이샤
Publication of KR20070062415A publication Critical patent/KR20070062415A/ko
Application granted granted Critical
Publication of KR100840427B1 publication Critical patent/KR100840427B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D57/00Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/032Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants

Abstract

회사 등의 내방자에게 맞춘 안내 동작을 충분히 실현하여 내방자와의 커뮤니케이션을 높이도록 한 각식 이동 로봇의 제어장치를 제공한다.
로봇의 이동 환경에 있어서, 소정 거리 내에 내방자(안내 상대)가 존재하는지의 여부를 식별하고(S12), 내방자가 식별되었을 때(S14), 다리부 액츄에이터 등의 동작을 제어하여, 이동 환경에 있어서 식별된 내방자를 목적지까지 지도를 따라 안내한다(S16에서 S44).

Description

각식 이동 로봇의 제어장치{CONTROL APPARATUS FOR LEGGED MOVABLE ROBOT}
도 1은 본 발명의 제1 실시예에 관한 각식 이동 로봇의 제어장치가 적용된로봇의 정면도.
도 2는 도 1에 나타낸 로봇의 측면도.
도 3은 도 1에 나타낸 로봇을 스켈레톤(skeleton)으로 나타낸 설명도.
도 4는 제어장치의 구성을 전자 제어 유닛(ECU)의 입출력 관계를 중심으로 나타낸 블럭도.
도 5는 도 4에 나타낸 ECU에서 행해지는 안내 동작 처리를 나타낸 블록도.
도 6은 도 5에 나타낸 ECU에서 행해지는 안내 동작 처리를 나타낸 플로우차트.
도 7은 도 6의 플로우차트의 처리를 설명하는 설명도.
도 8은 마찬가지로, 도 6의 플로우차트의 처리를 설명하는 설명도.
도 9는 마찬가지로, 도 6의 플로우차트의 처리를 설명하는 설명도.
도 10은 마찬가지로, 도 6의 플로우차트의 처리를 설명하는 설명도.
도 11은 마찬가지로, 도 6의 플로우차트의 처리를 설명하는 설명도.
도 12는 마찬가지로, 도 6의 플로우차트의 처리를 설명하는 설명도.
<도면의 간단한 설명에 대한 부호의 설명>
10 : 각식 이동 로봇(로봇) 12 : 다리부
14 : 기체 20 : 팔부
26 : ECU(전자 제어 유닛) 82 : CCD 카메라
92 : IC태그 94 : IC태그 신호 수신기
100 : 다리부 액츄에이터 102 : 팔부 액츄에이터
104 : 손 액츄에이터 106 : 머리부 액츄에이터
120 : 행동 결정부 124 : 발화 생성부
126 : 동작 제어부
본 발명은 각식 이동 로봇의 제어장치에 관한 것이며, 보다 상세하게는 회사 등에서 내방자를 안내하도록 한 각식 이동 로봇의 제어장치에 관한 것이다.
종래, 각식 이동 로봇이 회사 등에서 내방자를 안내하도록 한 기술이 제안되어 있으며, 그 일례로서 특허 문헌 1에 기재된 기술을 들 수 있다. 특허 문헌 1에 기재된 기술에 있어서는, 로봇이 내방자를 안내 중이라도, 출입구 카메라와 장내 카메라로부터 미안내의 내방자를 검출함으로써, 복수의 내방자를 효율적으로 받아들여 안내하도록 구성되어 있다.
[특허 문헌 1 : 일본국 특허공개공보 2004-299026호]
상기한 종래 기술에 있어서는, 내방자의 얼굴 화상을 촬영하고, 내방자의 승 낙을 얻어 화상으로부터 내방자 ID정보 등의 안내 정보를 작성하고, 거기에 따라 안내 동작을 지시함으로써, 많은 내방자를 목적지(면회 장소)까지 효율적으로 안내하도록 구성되어 있다. 그러나, 내방자가 추종하고 있는지 등의 확인도 포함하여 내방자에게 맞춘 안내 동작이 충분히 실현되지 않았으며, 따라서 내방자와의 커뮤니케이션에 있어서 반드시 충분히 만족하기 어려운 것이었다.
따라서, 본 발명의 목적은 상기한 종래 기술의 결함을 해소하고, 내방자에 맞춘 안내 동작을 충분히 실현하여 내방자와의 커뮤니케이션을 높이도록 한 각식 이동 로봇의 제어장치를 제공하는 데에 있다.
상기한 과제를 해결하기 위하여, 청구항 1에 있어서, 기체와, 상기 기체에 연결되는 머리부와, 상기 기체에 연결되는 복수 개의 다리부 및 팔부와, 상기 머리부를 구동하는 머리부 액츄에이터와, 상기 다리부를 구동하는 다리부 액츄에이터와, 상기 팔부를 구동하는 팔부 액츄에이터를 적어도 구비한 각식 이동 로봇의 동작을 제어하는 각식 이동 로봇의 제어장치에 있어서, 상기 로봇이 이동하는 이동 환경의 지도를 저장하는 데이터 베이스, 상기 이동 환경에 있어서 소정 거리 내에 내방자가 존재하는지의 여부를 식별하는 내방자 식별 수단, 적어도 상기 다리부 액츄에이터의 동작을 제어하고, 상기 이동 환경에 있어서 상기 식별된 내방자를 목적지까지 상기 지도에 따라 안내하는 안내 실행 수단을 구비하도록 구성했다.
청구항 2에 관한 각식 이동 로봇의 제어장치에 있어서, 상기 안내 실행 수단은, 상기 내방자의 보행 속도에 따른 이동 속도로 안내하도록 상기 다리부 액츄에 이터의 동작을 제어하도록 구성했다.
청구항 3에 관한 각식 이동 로봇의 제어장치에 있어서, 안내하는 동안에 상기 내방자를 놓쳤을 때, 소정의 수색 동작을 실행하는 수색동작 실행 수단을 더 구비하도록 구성했다.
청구항 4에 관한 각식 이동 로봇의 제어장치에 있어서, 상기 안내의 경로의 변화점에서 진행 방향을 통지하는 진행 방향 통지 수단을 더 구비하도록 구성했다.
청구항 5에 관한 각식 이동 로봇의 제어장치에 있어서, 음성을 발화(發話)하는 발화 장치를 더 구비하고, 상기 안내시, 상기 발화 장치를 동작시켜 상기 내방자에게 발화하도록 구성했다.
(실시예)
이하, 첨부 도면에 입각해서 본 발명에 관한 각식 이동 로봇의 제어장치를 실시하기 위한 최선의 형태에 대해 설명한다.
(실시예 1)
도 1은, 제1 실시예에 관한 각식 이동 로봇의 제어장치가 탑재된 로봇의 정면도이며, 도 2는 도 1에 나타낸 로봇의 측면도이다.
도 1에 나타낸 바와 같이, 각식 이동 로봇(이하, 간단히 「로봇」이라 한다)(10)은, 복수 개, 즉 좌우 2개의 다리부(12L, 12R)(좌측을 L, 우측을 R로 한다. 이하 모두 같다)를 구비한다. 다리부(12L, 12R), 기체(상체)(14)의 하부에 연결된다. 기체(14)의 상부에는 머리부(16)가 연결됨과 동시에, 측방에는 복수 개, 즉 좌우 2개의 팔부(20L, 20R)가 연결된다. 좌우의 팔부(20L, 20R)의 선단에는, 각각 손(엔드이펙터)(22L, 22R)이 연결된다. 또한, 이 실시예에 있어서는, 각식 이동 로봇으로서, 2개의 다리부와 2개의 팔부를 구비한, 1.3m정도의 신장을 갖는 인조인간형 로봇을 예로 든다.
도 2에 나타낸 바와 같이, 기체(14)의 배부에는 저장부(24)가 설치되고, 그 내부에는 전자 제어 유닛(이하 「ECU」라 한다)(26) 및 배터리(도시하지 않음) 등이 수용된다.
도 3은, 도 1에 나타낸 로봇(10)을 스켈레톤으로 나타낸 설명도이다. 이하, 도 3을 참조하여, 로봇(10)의 내부 구조에 대해 관절을 중심으로 설명한다. 또한, 도시의 로봇(10)은 좌우 대칭이므로, 이후 L, R의 기재를 생략한다.
좌우의 다리부(12)는 각각 대퇴링크(30)와, 종아리링크(32)와, 발부(34)를 구비한다. 대퇴링크(30)는, 가랑이 관절을 통해 기체(14)에 연결된다. 도 3에서, 기체(14)를 기체 링크(36)로서 간략적으로 나타내었지만, 기체 링크(36)(기체(14))는, 관절(38)을 통해 상반부(36a)와 하반부(36b)가 상대 변위, 보다 구체적으로는 회전 혹은 선회가능하게 구성된다.
대퇴 링크(30)와 종아리 링크(32)는 무릎관절을 통해 연결됨과 동시에, 종아리 링크(32)와 발부(34)는 다리 관절을 통해 연결된다. 가랑이 관절은, Z축(요축. 구체적으로는, 로봇(10)의 높이 방향) 둘레의 회전축(40)과, Y축(피치축. 구체적으로는, 로봇(10)의 좌우 방향) 둘레의 회전축(42)과, X축(롤축. 구체적으로는, 로봇(10)의 전후 방향) 둘레의 회전축(44)으로 구성된다. 즉, 가랑이 관절은, 3 자유도 를 갖는다.
무릎관절은 Y축 둘레의 회전축(46)으로 구성되고, 1 자유도를 갖는다. 또, 다리 관절은 Y축 둘레의 회전축(48)과, X축 둘레의 회전축(50)으로 구성되고, 2 자유도를 갖는다. 이와 같이, 좌우의 다리부(12)의 각각은 3개의 관절을 구성하는 6개의 회전축(자유도)이 주어지고, 다리부 전체로서는 합계 12개의 회전축이 주어진다.
다리부(12)는, 액츄에이터(도시하지 않음)에 의해 구동된다. 이하, 다리부(12)를 구동하는 액츄에이터를 「다리부 액츄에이터」라고 한다. 다리부 액츄에이터는 구체적으로는 기체(14)와 다리부(12)의 적정 위치에 배치된 12개의 전동 모터로 이루어지고, 상기한 12개의 회전축을 개별적으로 구동한다. 다리부 액츄에이터의 동작을 제어하여, 각 회전축을 적정한 각도로 구동함으로써, 다리부(12)에 원하는 움직임을 줄 수 있다.
또, 좌우의 팔부(20)는, 각각 상완 링크(52)와 하완 링크(54)를 구비한다. 상완 링크(52)는, 어깨관절을 통해 기체(14)에 연결된다. 상완 링크(52)와 하완 링크(54)는, 팔꿈치 관절을 통해 연결됨과 동시에, 하완 링크(54)와 손(22)은 손목 관절을 통해 연결된다.
어깨관절은 Y축 둘레의 회전축(56)과, X축 둘레의 회전축(58)과, Z축 둘레의 회전축(60)으로 구성되어, 3 자유도를 갖는다. 팔꿈치 관절은 Y축 둘레의 회전축(62)으로 구성되어, 1 자유도를 갖는다. 손목 관절은 Z축 둘레의 회전축(64)과 Y축 둘레의 회전축(66)과 X축 둘레의 회전축(68)으로 구성되어, 3 자유도를 갖는다. 이 와 같이, 좌우의 팔부(20)의 각각에는, 3개의 관절을 구성하는 7개의 회전축(자유도)이 주어져, 팔부 전체적으로 합계 14개의 회전축이 주어진다.
팔부(20)도, 다리부(12)와 같이 도시하지 않는 액츄에이터에 의해 구동된다. 이하, 팔부(20)를 구동하는 액츄에이터를 「팔부 액츄에이터」라고 한다. 팔부 액츄에이터는, 구체적으로는 기체(14)와 팔부(20)의 적정 위치에 배치된 14개의 전동 모터로 이루어지고, 상기한 14개의 회전축을 개별적으로 구동한다. 팔부 액츄에이터의 동작을 제어하여, 각 회전축을 적정한 각도로 구동함으로써, 팔부(20)에 원하는 움직임을 줄 수 있다.
손(22)에는, 5개의 손가락부(70)가 설치된다. 손가락부(70)는, 도시하지 않은 액츄에이터(이하 「손 액츄에이터」라고 한다)에 의해 동작가능하게 되고, 팔부(20)의 움직임에 연동하여 물건을 파지하는, 혹은 적정한 방향을 가리키는 등의 동작을 실행할 수 있게 된다.
머리부(16)는, 기체(14)에 목관절을 통해 연결된다. 목관절은 Z축 둘레의 회전축(72)과 Y축 둘레의 회전축(74)으로 구성되어, 2 자유도를 갖는다. 회전축(72, 74)도, 도시하지 않은 액츄에이터(이하 「머리부 액츄에이터」라고 한다)에 의해 개별적으로 구동된다. 머리부 액츄에이터의 동작을 제어하여 회전축(72, 74)을 적정한 각도로 구동함으로써, 머리부(16)를 원하는 방향으로 향할 수 있다.
좌우의 다리부(12)(구체적으로는 발부(34)와 발관절 사이)에는, 각각 힘 센서(6축 힘 센서)(76)가 장착된다. 힘 센서(76)는 바닥면으로부터 다리부(12)에 작용하는 바닥반력(보다 상세하게는, 다리부(12)를 통해 로봇(10)에 작용하는 바닥반력)의 3방향 성분(Fx, Fy, Fz)과 모멘트의 3방향성분(Mx, My, Mz)을 나타낸 신호를 출력한다.
좌우의 팔부(20)에도, 동종의 힘 센서(78)가 손(22)과 손목관절 사이에 장착된다. 힘 센서(78)는, 팔부(20)에 작용하는, 보다 상세하게는 팔부(20)를 통해 로봇(10)에 작용하는 외력의 3방향 성분(Fx, Fy, Fz)과 모멘트의 3방향 성분(Mx, My, Mz)을 나타낸 신호를 출력한다.
기체(14)에는 경사센서(80)가 설치되고, 연직축에 대한 기체(14)의 경사, 즉, 경사각도와 그 각속도 등의 상태량을 나타낸 신호를 출력한다. 머리부(16)에는, 2개(좌우)의 CCD 카메라(82)가 설치되고, 로봇(10)의 주위환경을 스테레오 시야로 촬영하여 얻은 화상을 출력한다. 또, 머리부(16)에는 마이크로폰(84a)과 스피커(84b)로 이루어진 음성입출력장치(84)가 설치된다.
상기한 센서 등의 출력은, ECU(26)(도 2에 나타낸다)에 입력된다. ECU(26)는 마이크로컴퓨터로 이루어지며, 도시하지 않은 CPU나 입출력회로, ROM, RAM 등을 구비한다.
도 4는 로봇(10)의 구성을 ECU(26)의 입출력관계를 중심으로 나타낸 블록도이다.
도시한 바와 같이, 로봇(10)은 상기한 센서 등에 더하여, 회전축(40) 등의 각각에 배치된 로터리 엔코더군(86)과, 자이로센서(88)와, GPS수신기(90)와, 내방자가 휴대하는 IC태그(92)에 무선계로 접속되어 IC태그(92)로부터 발신되는 IC태그 정보를 수신하는 IC태그 신호 수신기(리더)(94)를 구비한다.
로터리 엔코더군(86)은 각각, 회전축(40) 등의 회전각도, 즉 관절각도에 따른 신호를 출력한다. 자이로센서(88)는 로봇(10)의 이동방향과 거리에 따른 신호를 출력한다. GPS수신기(90)는 위성으로부터 발신된 전파를 수신하고, 로봇(10)의 위치정보(위도와 경도)를 취득하여 ECU(26)에 출력한다. IC태그 신호 수신기(94)는, IC태그(92)에 기억됨과 동시에, 그 뒤 발신되는 식별정보(RFID(Radio Frequency ID)), 구체적으로는 IC태그(92)의 휴대자인 내방자를 식별하는 식별정보)를 무선계를 통해 수신하여 ECU(26)에 출력한다.
ECU(26)는 힘 센서(76), 경사센서(80) 및 로터리 엔코더군(86)의 출력에 기초하여 보용(步容)을 생성하여 보행제어를 행한다. 구체적으로는, 상기한 다리부 액츄에이터(도면부호 100으로 나타낸다)의 동작을 제어하여 다리부(12)를 구동하여 로봇(10)을 이동(보행)시킨다.
또, ECU(26)는, 보행제어 등에 부수하여 팔부 액츄에이터(도면부호 102로 나타낸다)와 손 액츄에이터(도면부호 104로 나타낸다)의 동작을 제어하여 팔부(20)와 손(22)을 구동함과 동시에, 머리부 액츄에이터(도면부호 106으로 나타낸다)의 동작을 제어하여 머리부(16)의 방향을 조정한다. 또한, 로봇(10)의 보행제어로서는, 예를 들면 본 출원인이 먼저 제안한 국제공개공보 WO 2002/040224호 공보에 기재되어 있는 기술 등이 이용되지만, 본원의 요지와 직접적인 관계를 갖지 않으므로 여기서 그의 설명은 생략한다.
ECU(26)는, 또한, CCD 카메라(82) 및 IC태그 신호 수신기(94) 등의 출력에 기초하여, 내방자의 안내동작을 실행한다.
도 5는 ECU(26)가 실행하는 내방자의 안내동작의 처리를 나타낸 블록도이다.
도 5에 나타낸 바와 같이, ECU(26)는 음성인식부(108), 화상처리부(110), 자기위치추정부(112), 사람특정부(114), 사람정보 D/B(데이터 베이스)(116), 지도 D/B(데이터 베이스)(118), 음성·발화 D/B(데이터 베이스)(120), 행동결정부(122), 발화생성부(124) 및 동작제어부(126)를 구비한다.
음성인식부(108)는 음성입출력장치(84)의 마이크로폰(84a)으로부터 수집된 음성을 입력하고, 음성·발화 D/B(120)에 기억된 어휘에 기초하여 내방자 등의 사람의 지시 혹은 의도를 인식한다.
화상처리부(110)는, 사람위치 인식부(110a)를 구비한다. 사람위치 인식부(110a)는, CCD 카메라(82)에서 동시각으로 촬영된 화상을 입력하고, 그것들의 시차로부터 거리화상을 생성한다. 또, 한쪽의 CCD 카메라로부터 촬영시각이 다른 화상을 입력하고, 그들의 차분에 기초하여 동작의 어느 영역을 추출한 차분영상을 생성한다. 그리고, 생성한 거리화상과 차분화상에 기초하여, 내방자 등의 사람의 위치와 거기까지의 거리를 인식한다. 또한, 화상에 기초하여 사람을 인식하는 수법은, 예를 들면 본 출원인이 먼저 제안한 일본국특허공개공보 2004-302905호 등에 상세히 나타나 있으므로, 상세한 설명은 생략한다.
자기 위치 추정부(112)는 GPS 수신기(90)로부터 입력된 위치정보에 기초하여, 로봇(10)의 현재위치를 추정한다. 또한, 위성으로부터 발신된 전파를 GPS 수신기(90)에서 수신할 수 없을 때에는, 자이로센서(88)에 의해 검출된 이동방향과 거리에 기초하여, 현재위치를 추정한다.
사람특정부(114)는, IC태크 신호 수신기(94)를 통해 입력된 IC태그(92)의 식별정보에 기초하여, 사람, 구체적으로는, 사람위치 인식부(110a)에서 인식된 내방자 등의 사람을 식별한다. IC태그(92)는, 식별정보를 기억한 IC(92a)와, 식별정보를 IC태그 신호 수신기(94)에 무선으로 송출하는 안테나(92b)로 이루어지며, 내방자 등에 휴대된다. 또한, IC태그(92)에는, 사람에 따라 다른 식별정보가 기억되어 있는 것은 말할 필요도 없다.
사람정보 D/B(116)에는, IC태그(92)를 휴대하는 사람, 즉, 내방자의 고유정보가 저장된다. 고유정보에는, 신장, 성별, 얼굴화상, 소속처 등의 사회적인 속성을 포함하는 정보가 포함된다. 지도 D/B(118)에는 로봇(10)의 이동환경, 예를 들면 로봇(10)이 배치되는 회사의 사옥 등의 지도정보가 저장됨과 동시에, 음성·발화 D/B(120)에는 상기한 어휘가 저장된다.
행동결정부(122)는, 후술하는 바와 같이, 내방자를 식별하여 회의실 등으로 안내하는 안내동작을 결정하고, 동작제어부(126)를 통해 다리부 액츄에이터(100), 팔부 액츄에이터(102), 손 액츄에이터(104) 및 머리부 액츄에이터(106)의 동작을 제어한다. 또, 행동결정부(122)는, 발화생성부(124)를 통해 음성·발화 D/B(120)에 기억된 정보로부터 발화해야하는 음성신호를 합성하고, 음성입출력장치(84)의 스피커(84b)를 구동한다.
다음에, 도 6의 플로우차트를 참조하여, 그 안내동작에 관해 행동결정부(122)에서 실행되는 처리에 초점을 두어 설명한다.
이하 설명하면, S10에 있어서 대기한다. 즉, 사옥의 수신부근의 소정위치에 서 대기한다. 이것은 초기상태이다.
다음에 IC태그 신호를 수신하여 S12로 진행하고, 안내상대(내방자. 이름을 A로 한다)를 탐색 혹은 식별한다. 이것은 동작제어부(126)를 통해 머리부 액츄에이터(106)의 동작을 식별하고, 머리부(16)를 회전시켜 주위를 둘러봄과 동시에, 발화생성부(124)를 통해 스피커(84b)를 구동하고, 15초 간격으로 「A님을 찾고 있습니다」라고 발화한다.
동시에, CCD 카메라(82)의 출력으로부터 얻은 화상처리결과와 사람정보 D/B(116)에 저장되어 있는 얼굴화상으로부터 안내상대를 탐색함과 동시에, 안내상대가 휴대하는 IC태그(92)의 식별정보를 IC태그 신호 수신기(94)에서 수신하여 안내상대를 탐색 혹은 식별한다. 이와 같이, CCD 카메라(82)와 IC태그(92)의 검지거리를 수m로 설정하여 화상처리와 식별신호를 조합함으로써, 로봇(10) 둘레의 전방위(360도)에 있어서 수m 이내에 존재하는 안내상대를 탐색 혹은 식별, 바꿔말하면 이동환경에 있어서 소정거리 내에 안내상대(내방자)가 존재하는지의 여부를 식별한다. 또한, 이 식별처리는 안내상대를 탐색완료한 후에도, 안내중간에, 계속해서 실행된다.
안내상대를 발견 혹은 식별했을 때에는 S14로 진행하고, 먼저 안내상대를 향해 「A님 어서오세요」라고 발화하고, 안내상대를 멈추게 한다. 다음에 안내상대를 향해 이동을 개시하고, 안내상대에 거의 마주하는 위치 및 각도까지 이동한다.
다음에 S16으로 진행하여 안내상대의 얼굴을 보고, S18로 진행하여 정면을 향해 절(인사)을 한다. 이어서 S20으로 진행하고, 안내처를 설명한다. 예를 들면, 「응접실(3)로 안내하겠습니다. 이쪽으로 오세요」라고 발화하면서, 도 7에 나타낸 바와 같이, 손(22)을 이동거리에 따른 높이로 내민다. 구체적으로는, 예를 들면 응접실(3)까지의 이동거리가 20m정도이면 높이 1m정도로 한다. 또한, 도 7에 있어서 부호 c는, 지도 D/B(118)에 저장되어 있는 지도 상의 팔꿈치의 방향을 나타낸 최근접 노드이다.
다음에 S22로 진행하고, 안내를 개시한다. 즉, 지도 D/B(118)에 저장된 사옥 등의 지도를 따라 안내경로를 인식하고, 그에 따라 안내상대의 앞을 적정한 거리, 예를 들면 3.5m만큼 선행하여 보행하고, 안내를 개시한다. 이때, 머리부(16)는 정면을 향하도록 구동함과 동시에, 발화 중에 뒤돌아보고 안내상대의 얼굴을 보도록 구동한다. 진행속도는, 통상, 2.7㎞/h로 한다. 또한, 상기한 바와 같이, 안내 중에도, IC태그(92)의 식별신호와 화상처리에 기초하여 안내상대가 이동환경에 있어서 소정거리 내에 존재하는지의 여부를 계속해서 식별한다.
안내 중의 발화는 발화위치로부터 남은 거리에 따라 장단의 담화를 선택하여 행한다. 예를 들면, 남은 거리가 비교적 길 때에는「나중에 마실 것을 가져오겠으니, 담당자에게 주문해주세요」 등으로 비교적 길게 발화하는 한편, 중간 정도일 때에는 「오늘 바쁘신 중에, 잘 오셨습니다」라는 정도로 발화하고, 짧을 때에는 「오늘 잘 오셨습니다」라고 한층 짧게 발화한다. 또, 발화가 완료할 때마다 순서대로 계산하여 가능한 다음의 발화를 행한다.
또, 안내할 때의 경로가 중도에 바뀌는, 즉 선회하는 장소 등의 변화점에 있을 때에는, 도 8에 나타낸 바와 같이, 선회처의 적정한 지점을 가리키며, 「이쪽입 니다.」라고 발화하면서, 머리부(16)가 지시 위치를 향하도록 구동하여 안내 상대에게 통지한다.
다음에 S24로 진행되고, 안내처 도착 처리를 행하고, S26으로 진행되고, 도착의 설명을 행한다. 즉, 목표 위치의 조금 앞, 예를 들면 3m 앞에서, 도 9에 나타낸 바와 같이, 머리부(16)를 안내 상대를 향하면서, 목표 위치를 가리킨다. 다음에, 「여기입니다. 담당자가 갈테니, 잠시 이쪽에서 기다려 주십시오」라고 발화한다.
다음에 S28로 진행되고, 안내 상대를 배웅한다. 예를 들면, 안내 상대가 응접실(3)에 들어가는 것을 배웅하고, 조금 시간이 경과했을 때, 안내 상대를 향해 인사한다. 다음에 S30으로 진행되고 종료한 후, 다시 S10으로 되돌아온다.
여기서, S22의 안내 중의 처리의 설명으로 되돌아온다.
안내 중은 통상 2.7㎞/h의 속도로 보행하지만, 안내 상대와의 이격 거리가 증대할 때에는 S32으로 진행되고, 머리부(16)를 후방으로 구동, 즉 뒤를 돌아봄과 동시에, 보행 속도를 2.1㎞/h로 떨어뜨려 천천히 안내 이동한다.
그런데도 안내 상대와의 이격 거리가 증대할 때에는 S34로 진행되고, 보행 속도를 1.5㎞/h까지 더 떨어뜨려, 매우 천천히 안내 이동한다. 도 10에 그 상태를 나타낸다. 안내 상대(A)와의 거리는, 3.5m를 목표로 한다.
또, 안내 상대를 놓쳤을 때에는 S22에서 S34로 진행되고, 보행 속도 1.5㎞/h로 3초간 이동하고, 다음에 S36으로 진행되고, 정지하여 안내 상대를 기다린다. 이 때, 도 11에 나타낸 바와 같이, 머리부(16)는 마지막으로 안내 상대(A)의 얼굴을 본 지점을 향한다.
S36에서 10초간 정지한 후, 안내 상대를 발견할 수 없을 때에는 S38로 진행되고, 안내 상대를 놓쳤다고 판단하고, 도 12에 나타낸 바와 같이, 정면을 향해 「A님, 어디입니까」 등으로 발화하여 IC태그 신호 수신기(92)와 화상 처리를 통해 수색한다.
그리고 안내 상대를, 비교적 원거리에서 발견했을 때에는 S40으로 진행되고, 안내 상대를 향해 이동하고, 「A님」이라고 발화하는 한편, 비교적 근거리에서 발견했을 때에는 S42로 진행되고, 「A님, 뒤를 따라와 주세요」라고 발화한다.
한편, 30초 정도 경과해도 발견할 수 없을 때에는 S44로 진행되고, 머리부(16)를 정면으로 향함과 동시에, 다리부(12)를 정지하고, 「A님을 놓쳤습니다. 안내를 종료합니다」라고 발화하고, S30으로 진행된다.
이 실시예는 상기와 같이, 기체(14)와, 상기 기체에 연결되는 머리부(16)와, 상기 기체에 연결되는 복수 개(2개)의 다리부(12) 및 팔부(20)와, 상기 머리부를 구동하는 머리부 액츄에이터(106)와, 상기 다리부를 구동하는 다리부 액츄에이터(100)와, 상기 팔부를 구동하는 팔부 액츄에이터(102)를 적어도 구비한 각식 이동 로봇(10)의 동작을 제어하는 각식 이동 로봇의 제어장치에 있어서, 상기 로봇이 이동하는 이동 환경의 지도를 저장하는 데이터 베이스(지도 D/B(118)), 상기 이동 환경에 있어서 소정 거리 내에 내방자가 존재하는지의 여부를 식별하는 내방자 식별 수단(ECU(26), CCD 카메라(82), 화상 처리부(110), IC태그(92), IC태그 신호 수신기(94), S12), 적어도 상기 다리부 액츄에이터(100), 보다 구체적으로는 다리부 액 츄에이터(100), 팔부 액츄에이터(102), 머리부 액츄에이터(106)의 동작을 제어하고, 상기 이동 환경에 있어서 상기 식별된 내방자를 목적지까지 상기 지도를 따라 안내하는 안내 실행 수단(ECU(26), S14에서 S44)을 구비하도록 구성했다.
이와 같이, 지도 D/B(118)를 구비함과 동시에, 이동 환경에 있어서 소정 거리 내에 내방자(안내 상대)가 존재하는지의 여부를 식별하고, 다리부 액츄에이터(100) 등의 동작을 제어하여 식별된 내방자를 목적지까지 지도를 따라 안내하도록 구성했으므로, 내방자가 추종하고 있는지 확인하면서 안내함으로써, 내방자에게 맞춘 안내 동작을 실현하여 내방자와의 커뮤니케이션을 높일 수 있다.
또, 상기 안내 실행 수단은, 상기 내방자의 보행 속도에 따른 이동 속도로 안내하도록 상기 다리부 액츄에이터의 동작을 제어하도록 구성했으므로(ECU(26), S22, S32, S34), 상기한 효과에 더하여, 한층 더 내방자에게 맞춘 안내 동작을 실현하여 내방자와의 커뮤니케이션을 높일 수 있다.
또한, 안내하는 동안에 상기 내방자를 놓쳤을 때, 소정의 수색 동작을 실행하는 수색 동작 실행 수단(ECU(26), S34에서 S38)을 구비하는, 보다 구체적으로는 보행 속도를 떨어뜨리는, 정지하여 내방자를 기다리는, 혹은 내방자에게 발화하는 등 소정의 수색 동작을 실행하도록 구성했으므로, 그 경우라도, 재발견할 가능성이 높다.
또한, 상기 안내 경로의 변화점, 예를 들면 안내 경로가 바뀌는 혹은 선회할 때 등, 거기서 진행 방향을 통지하도록 구성했으므로(ECU(26), S22), 내방자는 위화감 없이, 사전에 안내 경로의 변화를 인지할 수 있어, 내방자와의 커뮤니케이션 을 한층 높일 수 있다.
또한, 음성을 발화하는 발화 장치(ECU(26), 스피커(84b), 음성·발화 D/B(120), 발화 생성부(124))를 구비하여, 상기 안내시, 상기 발화 장치를 동작시켜 상기 내방자에게 발화하도록 구성했으므로, 내방자와의 커뮤니케이션을 한층 높일 수 있다.
상기에 있어서, IC태그(92)에서 IC태그 신호 수신기(94)에 무선계를 통해 식별 정보를 출력했지만, 일본국 특허공개공보 2005-291716호에 개시된 무선계와 광통신을 조합한 검지 기술을 이용해도 좋다.
또 상기에 있어서, 각식 이동 로봇으로서 두발 보행로봇을 예시했지만, 이에 한정되는 것이 아니라, 세발 이상의 로봇이어도 좋다.
청구항 1에 있어서, 로봇이 이동하는 이동 환경의 지도를 저장하는 데이터베이스를 구비함과 동시에, 이동 환경에 있어서 소정 거리 내에 내방자가 존재하는지의 여부를 식별하고, 다리부 액츄에이터 등의 동작을 제어하여 식별된 내방자를 목적지까지 지도를 따라 안내하도록 구성했으므로, 내방자가 추종하고 있는지 확인하면서 안내함으로써, 내방자에게 맞춘 안내 동작을 실현하여 내방자와의 커뮤니케이션을 높일 수 있다.
청구항 2에 관한 각식 이동 로봇의 제어장치에 있어서, 내방자의 보행 속도에 따른 이동 속도로 안내하도록 다리부 액츄에이터의 동작을 제어하도록 구성했으므로, 상기한 효과에 더하여, 한층 더 내방자에게 맞춘 안내 동작을 실현하여 내방 자와의 커뮤니케이션을 높일 수 있다.
청구항 3에 관한 각식 이동 로봇의 제어장치에 있어서, 안내하는 동안에 내방자를 놓쳤을 때, 소정의 수색 동작을 실행하도록 더 구성했으므로, 그 경우에 재발견할 가능성을 높일 수 있다.
청구항 4에 관한 각식 이동 로봇의 제어장치에 있어서, 안내 경로의 변화점에서 진행 방향을 통지하도록 더 구성했으므로, 내방자는 위화감 없이, 사전에 안내 경로의 변화를 인지할 수 있어, 내방자와의 커뮤니케이션을 한층 높일 수 있다.
청구항 5에 관한 각식 이동 로봇의 제어장치에 있어서, 음성을 발화하는 발화 장치를 더 구비하고, 안내시, 발화 장치를 동작시켜 내방자에게 발화하도록 구성했으므로, 내방자와의 커뮤니케이션을 한층 높일 수 있다.

Claims (5)

  1. 기체와, 상기 기체에 연결되는 머리부와, 상기 기체에 연결되는 복수 개의 다리부 및 팔부와, 상기 머리부를 구동하는 머리부 액츄에이터와, 상기 다리부를 구동하는 다리부 액츄에이터와, 상기 팔부를 구동하는 팔부 액츄에이터를 적어도 구비한 각식 이동 로봇의 동작을 제어하는 각식 이동 로봇의 제어장치에 있어서,
    a. 상기 로봇이 이동하는 이동 환경의 지도를 저장하는 데이타베이스,
    b. 상기 이동 환경에 있어서 소정 거리 내에 내방자가 존재하는지의 여부를, 촬영된 내방자의 화상정보와 내방자로부터 수신되는 내방자의 식별정보에 기초하여 식별하는 내방자 식별 수단,
    c. 상기 내방자 식별수단에 의해 내방자가 식별되면, 적어도 상기 다리부 액츄에이터의 동작을 제어하여, 상기 각식 이동 로봇을 보행시키고, 보행 중에도 상기 내방자 식별 수단으로 하여금 상기 소정 거리 내에 상기 식별된 내방자가 존재하는지 여부를 계속해서 식별하도록 하면서, 상기 이동 환경에 있어서 상기 식별된 내방자를 목적지까지 상기 지도를 따라 안내하는 안내 실행 수단을 구비한 것을 특징으로 하는 각식 이동 로봇의 제어장치.
  2. 청구항 1에 있어서,
    상기 안내 실행 수단은, 상기 내방자의 보행 속도에 따른 이동 속도로 안내하도록 상기 다리부 액츄에이터의 동작을 제어하는 것을 특징으로 하는 각식 이동 로봇의 제어장치.
  3. 청구항 1 또는 청구항 2에 있어서,
    d. 안내하는 동안에 상기 내방자를 놓쳤을 때, 상기 각식 이동 로봇의 보행속도를 감소시키거나, 보행을 정지시키거나 또는 상기 내방자에게 발화하는 수색동작 중 적어도 어느 하나의 수색동작을 실행하는 수색동작 실행 수단을 더 구비한 것을 특징으로 하는 각식 이동 로봇의 제어장치.
  4. 청구항 1 또는 청구항 2에 있어서,
    e. 안내 경로의 변화점에서 진행 방향을 통지하는 진행 방향 통지 수단을 더 구비한 것을 특징으로 하는 각식 이동 로봇의 제어장치.
  5. 청구항 1 또는 청구항 2에 있어서,
    f. 음성을 발화하는 발화 장치를 더 구비하고, 상기 안내시, 상기 발화 장치를 동작시켜 상기 내방자에게 발화하는 것을 특징으로 하는 각식 이동 로봇의 제어장치.
KR1020060122771A 2005-12-12 2006-12-06 각식 이동 로봇의 제어장치 KR100840427B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00358228 2005-12-12
JP2005358228A JP2007160440A (ja) 2005-12-12 2005-12-12 脚式移動ロボットの制御装置

Publications (2)

Publication Number Publication Date
KR20070062415A KR20070062415A (ko) 2007-06-15
KR100840427B1 true KR100840427B1 (ko) 2008-06-20

Family

ID=38056285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060122771A KR100840427B1 (ko) 2005-12-12 2006-12-06 각식 이동 로봇의 제어장치

Country Status (4)

Country Link
US (1) US8019474B2 (ko)
JP (1) JP2007160440A (ko)
KR (1) KR100840427B1 (ko)
DE (1) DE102006058553B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143509A1 (ko) * 2017-02-02 2018-08-09 엘지전자 주식회사 이동 로봇 및 그 제어방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539600B2 (ja) * 2006-04-11 2010-09-08 トヨタ自動車株式会社 案内ロボット
JP4528295B2 (ja) * 2006-12-18 2010-08-18 株式会社日立製作所 案内ロボット装置及び案内システム
JP5115886B2 (ja) * 2008-08-25 2013-01-09 株式会社国際電気通信基礎技術研究所 道案内ロボット
JP5714855B2 (ja) * 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
JP5530902B2 (ja) * 2010-11-16 2014-06-25 株式会社エヌ・ティ・ティ・データ 警報装置、警報システムおよび警報出力方法
JP6134895B2 (ja) * 2013-09-27 2017-05-31 株式会社国際電気通信基礎技術研究所 ロボット制御システム、ロボット制御プログラムおよび説明ロボット
JP2017144521A (ja) * 2016-02-18 2017-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9858821B2 (en) * 2016-02-26 2018-01-02 Ford Global Technologies, Llc Autonomous vehicle passenger locator
JP6905812B2 (ja) * 2016-06-14 2021-07-21 グローリー株式会社 店舗受付システム
CN106741285B (zh) * 2017-01-13 2019-08-27 深圳市行者机器人技术有限公司 双足半被动对分上体行走机器人
JP6841473B2 (ja) * 2017-03-01 2021-03-10 株式会社国際電気通信基礎技術研究所 案内ロボット
KR102391914B1 (ko) * 2017-06-30 2022-04-27 엘지전자 주식회사 이동 로봇의 동작 방법
JP6991051B2 (ja) * 2017-12-11 2022-01-12 株式会社日立ビルシステム 案内システム
JP6881344B2 (ja) * 2018-02-09 2021-06-02 株式会社デンソー 出迎えシステム
JP7133836B2 (ja) * 2018-05-02 2022-09-09 国立大学法人豊橋技術科学大学 ロボット
JP7038232B2 (ja) * 2018-12-19 2022-03-17 本田技研工業株式会社 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
KR20200093094A (ko) * 2019-01-10 2020-08-05 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110070016A (zh) * 2019-04-12 2019-07-30 北京猎户星空科技有限公司 一种机器人控制方法、装置及存储介质
JP7174673B2 (ja) * 2019-06-17 2022-11-17 株式会社日立ビルシステム 案内ロボット
US11911890B2 (en) 2021-04-28 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing a service using a robot
CN114999298B (zh) * 2022-05-18 2023-10-20 武汉理工大学 一种应用于孔雀博物馆及动物园展览的仿生孔雀

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122392A (ja) * 2001-10-16 2003-04-25 Yamatake Corp 音声入力者を判定する方法及び装置
JP2004286805A (ja) * 2003-03-19 2004-10-14 Sony Corp 話者識別装置および話者識別方法、並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19817602A1 (de) * 1998-04-22 1999-10-28 Heinrich Landert Computerisiertes System für Empfang und Information von Besuchern
KR100661333B1 (ko) * 2000-11-17 2006-12-27 혼다 기켄 고교 가부시키가이샤 레그식 이동 로봇의 보용 생성장치
US6604021B2 (en) * 2001-06-21 2003-08-05 Advanced Telecommunications Research Institute International Communication robot
JP3906743B2 (ja) * 2002-05-27 2007-04-18 松下電工株式会社 案内ロボット
JP4072033B2 (ja) 2002-09-24 2008-04-02 本田技研工業株式会社 受付案内ロボット装置
JP4231320B2 (ja) 2003-03-31 2009-02-25 本田技研工業株式会社 移動体の検出装置
JP4355158B2 (ja) 2003-04-01 2009-10-28 本田技研工業株式会社 受付案内システム
JP4247041B2 (ja) * 2003-04-01 2009-04-02 本田技研工業株式会社 顔識別システム
JP2005066745A (ja) * 2003-08-22 2005-03-17 Oki Electric Ind Co Ltd 案内ロボットシステム
JP2005088179A (ja) * 2003-09-22 2005-04-07 Honda Motor Co Ltd 自律移動ロボットシステム
JP2005202075A (ja) * 2004-01-14 2005-07-28 Sony Corp 対話制御システム及びその方法並びにロボット装置
EP1720374B1 (en) * 2004-02-10 2011-10-12 Honda Motor Co., Ltd. Mobile body with superdirectivity speaker
WO2005098729A2 (en) * 2004-03-27 2005-10-20 Harvey Koselka Autonomous personal service robot
JP4174447B2 (ja) * 2004-03-31 2008-10-29 本田技研工業株式会社 検知対象検知システム
JP4377744B2 (ja) * 2004-05-13 2009-12-02 本田技研工業株式会社 ロボット制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122392A (ja) * 2001-10-16 2003-04-25 Yamatake Corp 音声入力者を判定する方法及び装置
JP2004286805A (ja) * 2003-03-19 2004-10-14 Sony Corp 話者識別装置および話者識別方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143509A1 (ko) * 2017-02-02 2018-08-09 엘지전자 주식회사 이동 로봇 및 그 제어방법
US11161250B2 (en) 2017-02-02 2021-11-02 Lg Electronics Inc. Moving robot and control method therefor

Also Published As

Publication number Publication date
US20070150108A1 (en) 2007-06-28
DE102006058553A1 (de) 2007-06-14
US8019474B2 (en) 2011-09-13
DE102006058553B4 (de) 2010-08-26
KR20070062415A (ko) 2007-06-15
JP2007160440A (ja) 2007-06-28

Similar Documents

Publication Publication Date Title
KR100840427B1 (ko) 각식 이동 로봇의 제어장치
EP1671874B1 (en) Legged mobile robot control system
JP4276624B2 (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP4658892B2 (ja) 移動ロボット、並びに、移動ロボットの制御装置、移動ロボットの制御方法及び移動ロボットの制御プログラム
KR100843802B1 (ko) 각식 이동 로봇의 제어장치
JP2009025898A (ja) 経路計画装置、経路計画方法及び移動体
US20110106310A1 (en) Robot and task execution system
US20220080599A1 (en) Robot controlling system
JP4914703B2 (ja) 脚式移動ロボットの制御装置
JP4918469B2 (ja) 移動ロボット
US20220130066A1 (en) Robot controlling system
JP5171394B2 (ja) 移動型ロボット
JP2011235380A (ja) 制御装置
JP2010046780A (ja) 道案内ロボット
US20220080603A1 (en) Image analysis system
JP2010009370A (ja) 移動体制御システムおよび移動体制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130520

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140516

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150515

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 12