KR101152720B1 - 이동 로봇의 슬립 감지 장치 및 방법 - Google Patents

이동 로봇의 슬립 감지 장치 및 방법 Download PDF

Info

Publication number
KR101152720B1
KR101152720B1 KR1020090104168A KR20090104168A KR101152720B1 KR 101152720 B1 KR101152720 B1 KR 101152720B1 KR 1020090104168 A KR1020090104168 A KR 1020090104168A KR 20090104168 A KR20090104168 A KR 20090104168A KR 101152720 B1 KR101152720 B1 KR 101152720B1
Authority
KR
South Korea
Prior art keywords
slip
mobile robot
angle
change amount
rotation angle
Prior art date
Application number
KR1020090104168A
Other languages
English (en)
Other versions
KR20110047505A (ko
Inventor
신경철
박성주
이희공
이재영
김형오
스토니어 대니얼
Original Assignee
주식회사 유진로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유진로봇 filed Critical 주식회사 유진로봇
Priority to CN200980162244.7A priority Critical patent/CN102666032B/zh
Priority to JP2012536639A priority patent/JP5421461B2/ja
Priority to EP09850898.9A priority patent/EP2495079B1/en
Priority to PCT/KR2009/006367 priority patent/WO2011052827A1/ko
Priority to KR1020090104168A priority patent/KR101152720B1/ko
Priority to US13/504,510 priority patent/US8873832B2/en
Publication of KR20110047505A publication Critical patent/KR20110047505A/ko
Application granted granted Critical
Publication of KR101152720B1 publication Critical patent/KR101152720B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162Mobile manipulator, movable base with manipulator arm mounted on it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Abstract

본 발명은 이동 로봇의 슬립 감지 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 복수의 회전 감지 센서를 이용하여 측면 슬립각 및 측면 슬립방향을 감지할 뿐만 아니라 영상 변화량을 분석하여 영상 입력부의 차폐 정도를 검출하여 입력영상의 품질을 판단하고 정면 슬립 여부를 감지할 수 있어 슬립의 종류와 슬립의 방향 및 회전각을 정밀하게 감지할 수 있고, 이에 기반하여 슬립영역을 탈출 및 회피할 수 있고, 이동로봇의 정확한 위치를 복구할 수 있는 이동 로봇의 슬립 감지 장치 및 방법에 관한 것이다.
정면 슬립, 측면 슬립, 슬립각, 슬립방향, 위치 복구

Description

이동 로봇의 슬립 감지 장치 및 방법{Apparaus and Method for Detecting Slip of a Mobile Robot}
본 발명은 이동 로봇의 감지 장치 및 방법에 관한 것이다. 더욱 상세하게는, 본 발명은 복수의 방향 센서와 단일의 영상 센서를 이용하여 이동 로봇의 주행시 발생한 슬립을 정확하게 감지하고, 이를 바탕으로 이동 로봇의 주행을 제어하고 위험 지역을 탈출하고, 슬립에 의한 오인식된 이동 로봇의 위치를 복구할 수 있는 이동 로봇의 감지 장치 및 방법에 관한 것이다.
최근 로봇 기술의 발전에 따라 스스로 경로를 설정하고 이동하는 이동 로봇이 활용되고 있다. 이동 로봇의 대표적인 예로는 주택이나 건물 내부를 청소하는 청소용 로봇, 위치를 안내하는 안내 로봇 등을 들 수 있다. 특히 청소 로봇의 경우에는 각종 센서와 주행 수단을 구비하여 주행하면서 내부에 구비된 진공 청소 유닛을 이용하여 실내 바닥을 청소하며 현재 다수의 실제 제품이 사용되고 있다.
이들 이동 로봇이 공간에서 효과적으로 위치를 판단하며 이동하기 위해서 이동하고 있는 공간에 대한 지도를 생성하고 공간상의 자신의 위치를 인식하는 것이 요구된다. 이동 로봇이 주변 공간에 대하여 스스로 위치를 인식하고 지도를 형성하 는 것을 동시 위치인식 및 지도형성(SLAM : Simultaneous Localization And Mapping)이라고 한다.
SLAM 기법 중에서 영상 기반의 SLAM은 영상에서 추출한 시각 특징점을 이용하여 주변 환경에 대한 지도를 생성하고, 로봇의 자세를 추정한다. 통상적으로 이동 로봇은 자이로스코프와 구동 모터에 구비된 엔코더를 이용하여 추측 항법(dead reckoning)으로 주행하며, 상부에 설치된 카메라를 이용하여 영상을 분석하고 지도를 생성한다. 이 때 자이로스코프와 엔코더로부터의 주행 정보에 의한 오차가 발생하는 경우 카메라로부터 획득된 영상 정보를 활용하여 누적되는 오차가 보정된다.
상술한 종래 기술에 따른 이동 로봇은 주행시에 슬립이 발생한 경우 효과적으로 슬립영역을 탈출하지 못하거나 슬립각과 방향을 정확하게 검출하지 못하는 문제점이 있었다.
상기한 문제점을 해결하기 위하여, 본 발명은 측면 슬립시의 슬립각과 슬립방향을 감지하고, 이와 아울러 정면슬립을 감지하여 슬립의 종류를 판단하고, 슬립의 종류에 따라 상이한 방법으로 슬립 영역의 탈출하고, 발생한 슬립 방향과 시간을 추정하여 누적된 오차를 복구할 수 있는 이동 로봇의 감지 장치 및 방법을 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 이동 로봇의 슬립 감지 장치는 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 제1 회전각 추정부; 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 제2 회전각 측정부; 영상 획득 수단으로부터 획득한 적어도 순차적인 두 영상의 변화량을 산출하는 영상 변화량 산출부; 및 상기 제1,2 회전각의 오차각 및 상기 영상 변화량에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립 감지부를 포함한다.
상기 슬립 감지부는, 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 상기 슬립시 발생한 위치 정보의 오류에 대하여 이동 로봇의 위치를 복구 신호를 출력하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 오차각이 기준 오차각보다 큰 경우에는 상기 이동 로봇에 제1 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 슬립 감지시 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 슬립 감지시 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 영상 변화량과 기준 변화량을 비교하고, 상기 영상 변화량과 기준 변화량 보다 작은 경우에 상기 이동 로봇이 정체된 것으로 추정하여 정체 회수를 산출하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에는 제2 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 이동 로봇의 슬립 감지 방법은 a) 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 단계; b) 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 단계; 및 c) 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하고, 그 오차각에 기초하여 상기 이 동 로봇의 슬립방향과 슬립각을 산출하여 제1 슬립을 감지하는 단계를 포함한다.
상기 슬립 감지 방법은, d) 적어도 순차적으로 입력된 두 영상의 변화량을 산출하여 제2 슬립을 감지하는 단계를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, e) 상기 감지된 제1 슬립과 제2 슬립에 기초하여 슬립의 종류를 검출하고, 그 검출된 슬립의 종류에 따라 선택적으로 슬립 영역을 탈출하는 단계를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, f) 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 이동 로봇의 위치를 복구하는 단계를 더 포함하는 것을 특징으로 한다.
상기 제1 회전각 추정단계는, 상기 이동 로봇의 좌륜 구동부의 회전 속도인 제1 각속도와 우륜 구동부의 회전 속도인 제2 각속도를 검출하는 단계; 및 상기 제1 각속도와 제2 각속도의 차이 및 상기 이동 로봇의 바퀴의 지름에 기초하여 상기 제1 회전각을 산출하는 단계를 포함하는 것을 특징으로 한다.
상기 c) 단계는, 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하여 기준 오차각과 비교하는 단계; 및 상기 오차각이 상기 기준 오차각보다 큰 경우에는 상기 이동 로봇에 슬립이 발생한 것으로 판단하여 슬립 영역을 탈출하는 단계를 포함하는 것을 특징으로 한다.
상기 슬립 영역 탈출 단계는, 상기 이동로봇이 기설정된 거리 또는 시간 동안 후진한 후에 상기 슬립방향과 반대 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 한다.
상기 슬립 영역 탈출 단계는, 상기 오차각의 부호가 음의 값을 갖는 경우에 는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 한다.
상기 슬립 영역 탈출 단계는, 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 한다.
상기 오차각은 상기 이동 로봇의 초기위치를 기준으로 +180와 -180도 사이의 값을 갖는 것을 특징으로 한다.
상기 오차각이 상기 이동로봇의 이동 시간에 대하여 불연속 구간을 갖는 경우에, 상기 불연속 구간의 오차각을 y축 방향으로 평행이동시켜, 상기 불연속 구간이 연속구간이 되도록 상기 오차각을 전처리하는 것을 특징으로 한다.
상기 d) 단계는, 상기 입력된 영상을 N 영역으로 분할하고, 이동 로봇의 진행 방향 또는 반대방향을 기준으로 대상 영역을 1/N 만큼 증가시켜 각 증가된 영역의 평균과 분산을 산출하는 단계; 및 상기 각 영역의 평균과 분산 값의 변화량에 기초하여 상기 영상이 차폐되지 않은 경우에 상기 영상 변화량이 기준 변화량보다 작은 경우에 입력 영상이 정체된 것으로 추정하여 정체 회수를 계산하는 단계를 포함하는 것을 특징으로 한다.
상기 d) 단계에서는, 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에 상기 제2 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 제2 슬립의 발생이 감지되면, 상기 이동 로봇은 기설정된 거리 또는 시간동안 후진한 후에 상기 슬립 발생영역을 회피하여 주행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법은 측면 슬립시의 슬립각과 슬립방향을 감지하고, 이와 아울러 정면슬립을 감지하여 슬립의 종류를 판단할 수 있다.
또한, 본 발명의 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법은 검출된 슬립의 종류에 따라 상이한 방법으로 효율적으로 슬립 영역을 탈출할 수 있다.
또한, 본 발명의 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법은 슬립 방향과 시간을 추정하여 슬립시에 누적된 이동 로봇의 위치 오차를 복구할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당 업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예가 적용되는 이동 로봇의 구성을 도시한 블록도이다.
도 1을 참조하면, 상기 이동 로봇(100)은, 영상을 취득하는 영상 획득부(110), 영상 획득부(110)에서 획득된 영상을 처리하고 영상 내의 특징점을 추출하며 특징점에 대한 기술자(descriptor)를 생성하는 영상 처리부(120), 이동 로봇(100)의 이동 방향 정보와 이동 거리 등을 센싱하는 센서부(140), 획득된 영상을 바탕으로 이동 로봇이 이동하는 공간에 대한 지도를 생성하고 획득된 영상에서 추출한 특징점에 관한 정보와 센서부(140)로부터 획득된 주행 정보를 바탕으로 이동 로봇의 작동을 제어하는 주제어부(130), 주제어부(130)의 제어에 따라 로봇을 구동하는 로봇 구동부(150), 및 이동 로봇의 슬립각, 슬립방향 및 슬립 종류를 감지하여 감지된 슬립종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립감지 장치(200)를 포함한다.
영상 획득부(110)는 이동 로봇이 위치한 주변 환경에 대한 영상을 취득하는 장치로서, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서를 포함하여 구성될 수 있다. 본 발명에 있어서 영상 획득부(110)는 상향을 향하도록 배치되어 천장 영상을 획득하도록 배치됨이 바람직하다. 더욱 바람직하게는 영상 획득부(110)는 어안 렌즈(fisheye lens)와 같은 광각(wide angle) 렌즈를 구비하여 넓은 범위의 천장 영상을 획득할 수 있 도록 한다.
영상 처리부(120)는 영상 왜곡 보정부(121) 및 영상 품질 점검부(122)를 포함한다.
영상 왜곡 보정부(121)는 영상 획득부(110)에서 획득된 영상의 왜곡을 보정하는 기능을 수행한다. 영상 획득부(110)가 어안 렌즈 또는 광각 렌즈를 포함하는 경우, 영상 획득부(110)를 통해 획득된 영상은 왜곡(radial distortion)을 포함한다. 이에 따라 영상 획득부(110)는 사전에 획득된 카메라 파라미터를 이용하여 영상의 왜곡을 제거한다.
영상 품질 점검부(122)는 획득된 영상의 가용성을 판단하는 기능을 수행한다. 영상 획득부(110)로 직사 광선이 조사되거나 영상 획득부(110)가 테이블과 같은 장애물에 의해 가려지는 경우 영상 획득부(110)에서 획득된 영상은 이동 로봇의 위치 인식에 사용되기 부적합할 수 있다. 이에 따라 영상 품질 점검부(122)는 획득된 영상을 점검하여 획득된 영상이 부적합한 경우 이를 배제하는 기능을 수행한다. 일례로서, 영상 품질 점검부(122)는 획득된 영상의 명도를 기준으로 명도가 너무 높거나 낮은 경우 부적합한 영상으로 처리할 수 있다. 획득된 영상이 배제되는 경우 주제어부(130)는 자이로스코프(44)나 엔코더(142)로부터 획득된 주행 기록정보를 바탕으로 이동 로봇(100)의 이동을 제어할 수 있다.
지도 관리부(131)는 이동 로봇(100)의 영상 획득부(110)에서 획득된 영상, 이동 로봇(100)의 이동 방향과 거리 등의 주행 정보, 특징점의 위치 등을 바탕으로 이동 로봇(100)이 위치한 공간에 대한 지도를 생성하고 갱신하는 기능을 수행한다. 경우에 따라서는 상기 공간에 대한 지도가 이동 로봇(100)에 미리 제공될 수 있으며, 이 경우에는 공간에 위치한 장애물 등의 정보와 특징점 정보를 바탕으로 지도 관리부(131)는 지도를 계속적으로 갱신하도록 할 수 있다.
주행 제어부(132)는 이동 로봇(100)의 현재 위치 및 주행 정보를 바탕으로 이동 로봇(100)의 주행을 제어하는 기능을 수행한다. 이동 로봇(100)의 주행을 위한 일 실시 형태로서, 이동 로봇(100)은 좌륜(151)과 우륜(152)를 구비하고, 좌륜과 우륜의 구동을 위한 로봇 구동부(150)로서 좌륜 구동 모터(미도시)와 우륜 구동 모터(미도시)를 구비할 수 있다. 주행 제어부(132)는 좌륜 구동 모터와 우륜 구동 모터 각각의 회전을 제어함으로써 이동 로봇(100)의 전진, 후진, 좌회전, 및 우회전 등의 주행이 가능하도록 할 수 있다. 이 경우 좌륜 구동모터와 우륜 구동모터에는 각각 엔코더(142)가 구비되어 좌륜 구동모터와 우륜 구동모터의 구동 정보를 획득한다.
한편, 상기 주행 제어부(132)는 확장된 칼만 필터(EKF : Extended Kalman Filter)를 활용하여 현재 특징점의 위치와 이동 로봇의 위치에 기반하여 이후의 특징점의 위치와 이동 로봇의 위치를 예측함으로써 이동 로봇(100)의 주행을 제어하도록 설계될 수 있다.
이하에서는 도 2를 참조하여 본 발명의 일실시예에 따른 이동 로봇의 슬립감지 장치(200)를 상세히 설명하겠다.
도 2는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치의 구 성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 이동 로봇의 슬립 감지 장치(200)는 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 제1 회전각 추정부(220); 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 제2 회전각 측정부(240); 영상 획득 수단으로부터 획득한 적어도 순차적인 두 영상의 변화량을 산출하는 영상 변화량 산출부(250); 및 상기 제1,2 회전각의 오차각 및 상기 영상 변화량에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립 감지부(210)를 포함한다.
상기 제1 회전각 추정부(220)는 로봇의 구동부(150)의 회전축의 각속도를 산출하는 구동 속도 검출부(230)에서 검출한 각속도를 입력받아 상기 제1 회전각을 추정한다.
여기서, 상기 구동 속도 검출부(230)로는 휠 엔코더가 사용될 수 있고, 상기 제2 회전각 측정부로(240)는 자이로스코프와 같은 관성 센서가 사용될 수 있다. 또한, 상기 구동 속도 검출부(230)와 제2 회전각 측정부(240)는 상기 센서부(140)의 엔코더(142)와 관성센서(141)가 그대로 이용될 수 있다. 이 경우에 상기 추정된 제1 회전각은 상기 휠 엔코더가 추정한 회전각이 되고, 상기 제2 회전각은 상기 관성 센서가 측정한 회전각이 된다.
상기 슬립 감지부(210)는, 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 상기 슬립시 발생한 위치 정보의 오류에 대하여 이동 로봇의 위치를 복구 신호 를 출력한다.
상기 슬립 감지부(210)는, 상기 오차각이 기준 오차각보다 큰 경우에는 상기 이동 로봇에 측면슬립이 발생하였음을 감지하며, 상기 슬립이 어느 방향으로 발생하였는지를 알기 위하여 상기 오차각의 부호가 양인지 또는 음인지를 판단한다.
상기 슬립 감지부(210)는, 슬립 감지시에 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜(152)에 슬립이 발생한 것으로 판단한다. 상기 슬립 감지부(210)는, 상기와 같이 우륜에 슬립 발생한 경우에 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하는 탈출 제어신호를 출력한다.
또한, 상기 슬립 감지부(210)는, 슬립 감지시에 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜(151)에 슬립이 발생한 것으로 판단하여, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하는 탈출 제어신호를 출력한다.
이하에서는, 도 3 내지 도 7을 참조하여 본 발명의 일실시예에 따른 설명에 따른 이동 로봇(100)의 슬립감지 방법을 설명하면 다음과 같다.
도 3은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 방법을 도시한 순서도, 도 4는 이동 로봇의 주행중 시간 t1에서 좌륜에 슬립이 발생한 경우의 추정 회전각과 측정 회전각을 도시한 것이고, 도 5는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법에 의하여 감지된 회전각 데이터와 이를 가공한 데이터를 도시한 것이고, 도 6은 시간 t1에서 슬립이 발생한 경우에 있어서, 가공된 추정 회전각과 측정 회전각을 도시한 것이고, 도 7은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립 방법에 의하여 감지된 제1 슬립 감지 결과를 도시한 것이고, 도 8은 획득한 영상을 이동 로봇의 진행방향(d)을 기준으로 4등분하여 영상 획득부의 차폐 여부를 판단하는 과정을 도시한 것이다.
도 3을 참조하면, 이동 로봇의 슬립 감지 방법은 a) 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 단계(S210); b) 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 단계(S210); 및 c) 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하고, 그 오차각에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 제1 슬립을 감지하는 단계(S200)를 포함한다.
상기 슬립 감지 방법은, d) 적어도 순차적으로 입력된 두 영상의 변화량을 산출하여 제2 슬립을 감지하는 단계(S300)를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, e) 상기 감지된 제1 슬립과 제2 슬립에 기초하여 슬립의 종류를 검출하고(S400), 그 검출된 슬립의 종류에 따라 선택적으로 슬립 영역을 탈출하는 단계(S500)를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, f) 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 이동 로봇의 위치를 복구하는 단계(S600)를 더 포함하는 것을 특징으로 한다.
상기 제1 회전각 추정단계(S120)는, 상기 이동 로봇의 좌륜 구동부의 회전 속도인 제1 각속도와 우륜 구동부의 회전 속도인 제2 각속도를 검출하고, 상기 제1 각속도와 제2 각속도의 차이 및 상기 이동 로봇의 바퀴의 지름에 기초하여 상기 제1 회전각을 산출한다.
상기 제1 슬립을 감지하는 단계(S200)에서는, 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하여 기준 오차각과 비교하고, 상기 오차각이 상기 기준 오차각보다 큰 경우에는 상기 이동 로봇에 슬립이 발생한 것으로 판단하여 슬립 영역을 탈출한다.(S500)
이때, 상기 이동 로봇(100)은 기설정된 거리 또는 시간 동안 후진한 후에 상기 슬립방향과 반대 방향으로 전진하여 상기 슬립 영역을 탈출하게 된다. 이때, 상기 슬립 감지부(210)는 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇(100)은 상기 슬립 감지부의 탈출 제어신호에 따라 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하여 상기 슬립 영역을 탈출하게 된다. 그러나, 상기 슬립 감지부(210)는 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇(100)은 상기 슬립 감지부의 탈출 제어신호에 따라 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하여 상기 슬립 영역을 탈출하게 된다.
도 4 내지 도 6을 참조하여, 보다 상세하게 상기 제1 슬립 감지 단계를 설명하겠다.
우선 제1 회전각 추정부(220)는 구동 속도 검출부(230)에서 측정한 로봇 구동부의 회전축의 각속도 성분을 적분하여 이동 로봇(100)이 회전한 것으로 추정되 는 회전각인 θenco를 출력한다. 상기 구동 속도 검출부(230)는 차등 구동 방식에서 좌륜(151)과 우륜(152)으로부터 구동 회전 각속도 wL과 wR를 측정한다. 이동 로봇의 이동 속도는 각속도의 평균에 바퀴의 반지름을 곱하여 구할 수 있다. 또한, 회전각(θenco)은 양 바퀴의 각속도 차이에 바퀴의 반지름을 곱하여 구할 수 있다. 이를 다시 적분하게 되면 엔코더와 같은 구동 속도 검출(230)에 의한 회전각(θenco)을 구할 수 있다.
이동 로봇(100)의 선속도(v)와 회전 각속도(w)는 아래의 식(1) 및 (2)를 이용하여 구할 수 있다.
v = (wR * rR + wL * rL) / 2 --------------------------(1)
w = (wR * rR - wL * rL) / B --------------------------(2)
여기서, v와 w의 각각은 이동 로봇의 선속도와 회전 각속도이고, rR은 오른쪽 바퀴 반지름이고, rL은 왼쪽 바퀴 반지름이고, wR은 오른쪽 바퀴 회전속도이고, wL은 왼쪽바퀴 회전속도 이고, B는 양 바퀴 간의 거리이다.
도 4에 도시된 바와 같이, 이동 로봇(100)이 초기 위치( t = 0)에서 주행 또는 청소를 시작한 후 시간 t = t1에서 우륜(151)에 슬립이 발생하게 되면 제1 회전각 추정부(220)에 추정한 회전각(θenco )과 제2 회전각 측정부(240)에서 측정한 회전각(θ gyro )에 사이에 오차각이 발생한다. 상기 슬립 감지부(210)는 이와 같은 오차각을 누적하게 된다.
그러나 본 발명에 따른 실시예에서는 이동 로봇의 회전각은 -π ~ +π로 제한되어 있으므로 회전각의 절대값이 π를 넘어가면 부호가 바뀌어서 연속적인 처리가 불가능하다. 그래서 이를 다시 전처리하는 과정이 필요하다.
도 5를 참조하여, 상기 전처리 과정을 상세히 설명하겠다.
도 5(a)에 도시된 바와 같이, 상기 오차각은 -π ~ +π의 값을 가지므로, 상기 오착각이 +π를 넘는 경우 -π ~ 0 사이의 값을 갖게 된다. 그러므로, 상기 오차각은 +π와 -π에 해당하는 이동 시간에 대하여 불연속 구간을 갖게 된다. 따라서, 상기 슬립 감지부(210)는 도 5(b)에 도시된 바와 같이, 상기 불연속 구간의 오차각을 y축 방향으로 평행이동시켜, 상기 불연속 구간이 연속구간이 되도록 상기 오차각을 전처리한다. .
이동 로봇의 측면 슬립은 일정 시간 동안의 θ gyro 와 θ enco 의 패턴의 차이에 의하여 판단될 수 있다. 이와 같은 슬립은 이동 로봇의 주행 또는 회전 경로에 장애물이 존재함으로써 회전 또는 주행 제어 명령에 의한 각도와 실제 회전 각도 간에 오차가 발생한 것을 의미한다. 즉, 도 6에 도시된 바와 같이, 이동 로봇(100)이 시간 t = t1에서 슬립이 발생한 경우에 회전각(θ gyro , θ enco )의 패턴은 t = t1에서 달라진다.
다만, 이와 같은 회전각 패턴의 오차가 이동 로봇의 슬립으로 판단되기 위해서는 일정 시간 동안 슬립 상태가 유지되어야 한다. 따라서 슬립을 판단하는 경우에 회전각 θ gyro , θ enco 의 출력 데이터에 일정한 샘플링 윈도우 구간에서 이동 평 균(moving average)을 구한 후, 그 이동 평균의 차이로써 슬립 여부를 판단한다. 상기 오차각은 아래 식 (3)에 의하여 구할 수 있다.
SlipAngle(n) =
Figure 112009066859153-pat00001
-----------------------(3)
여기서, SlipAngle(n)은 측면 방향의 슬립에 대한 제1 회전각 측정부와 제2 회전각 측정부에서 출력한 회전각에 대한 오차각이다.
슬립을 감지하기 위해서는 일정한 샘플링 시간 간격에 따른 회전각 θgyro 와 θenc의 차이를 살펴보아야 한다. 따라서 상기 회전각의 차이를 명확하게 구분하기 위하여 각 회전각의 미분값인 gyro / dt , enc / dt 를 구하는 것이 필요하며, 본 실시예에서는 가우스 미분(Gaussian derivative) 연산자를 적용하여 노이즈 성분을 제거한 미분값을 취한다.
상기 슬립 감지부(210)는 측정한 슬립각(SlipAngle)의 절대값이 정해진 기준치보다 크다면 슬립이 발생한 것으로 판단하고, 슬립각한다. SlipAngle의 부호가 양이면 로봇의 진행방향의 왼쪽에서 슬립이 발생한 것이며 음이면 오른쪽에서 슬립이 발생한 것이다. 슬립이 발생하면 더 이상 그 방향으로 진행하지 않아야 위치오차를 줄일 수 있으므로 뒤로 약간 물러난 후 반대 방향으로 회피하는 이동전략을 구사할 수 있다.
한편 슬립이 발생한 기간 동안 엔코더를 기반으로 한 로봇의 위치 갱신은 취소되어야 실제 위치를 복구할 수 있다. 이를 위하여 엔코더 공간과 자이로 공간에서의 방향각의 차이, 즉 누적된 슬립각(SlipAngle)을 이용하여 로봇의 2차원 평면 좌표를 식(4) 및 (5)와 같이 수정한다.
dx(n) = cos(SlipAngle(n)) * (ωL +ωR)*r/2 * W ------------------(4)
dy(n) = sin(SlipAngle(n)) * (ωL +ωR)*r/2 * W ------------------(5)
여기서, r은 바퀴의 반지름이고, dx(n)와 dy(n)은 각각 X축 방향과 Y축 방향의 위치 오차이고, (ωL +ωR)*r/2은 이동 로봇의 이동 속도이고, W는 데이터 처리를 위하여 로우 데이터에 적용되는 윈도 사이즈이다.
다른 한편으로는, 상기 슬립 감지부(210)는, 상기 영상 변화량과 기준 변화량을 비교하고, 상기 영상 변화량과 기준 변화량보다 작은 경우에 상기 이동 로봇이 정체된 것으로 추정하여 정체 회수를 한다.
상기 슬립 감지부(210)는, 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에는 제2 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 영상 변화량 산출부(250)는 영상 획득부(110)에 의해 획득된 영상의 명도 변화를 감지하여 이동 로봇(100)이 테이블과 같은 장애물의 하부로 이동하는 것을 감지할 수 있다. 예컨대, 획득된 영상의 명도 평균 및 분산을 이용하여 이동 로봇(100)의 영상 획득부(110)가 장애물에 의해 차폐되는 것을 감지한다.
영상 획득부(110)가 장애물에 의해 차폐되는 경우에는 영상을 기반으로 한 이동 로봇(100)의 위치 제어가 불가능하게 되므로, 상기 슬립 감지부(210)는 자이로스코프와 같은 관성 센서(240) 및 휠 엔코더(23)으로 부터 획득한 위치 정보를 바탕으로 하여 이동 로봇(100)의 이동을 제어하는 신호를 출력한다.
상술한 관성 센서(240)는 관성을 감지하여 이동 로봇(100)의 헤딩(heading) 방향을 확인할 수 있도록 하는데, 관성 센서(240)의 센싱 정보와 휠 엔코더(230)의 센싱 정보는 이동 로봇(100)의 주행 정보(odometry)를 구성한다.
도 7을 참조하여, 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립 방법에 의하여 감지된 제1 슬립 감지 결과를 설명하겠다.
도 7에서, L1과 L2의 각각은 휠 엔코더와 자이로 센서 공간 상에서의 방향각을 미분한 값이며, L3는 L1과 L2의 차이를 일정 시간 윈도우 동안 합한 값이다. L3가 일정 값보다 크게 되면 슬립으로 분류된다.
도 7에 도시된 바와 같이, L3 상에서 세 개의 피크가 나타나는데 첫 번째 피크는 바닥이 약간 울퉁불퉁하여 일시적인 슬립이 발생한 경우이고, 두 번째 피크는 180도 회전 시작과 종료시 동기가 맞지 않아서 휠 엔코더와 자이로 센서의 헤딩이 틀어져서 발생한 경우이다.
그러나, 세 번째 피크는 본 발명자가 정의한 슬립이 발생한 경우에 해당하며, 여기서는 1.2 정도의 문턱값(threshold)을 사용한다. 상기 슬립은 일정 시간 동안 청소로봇이 측면방향으로 힘겨루기를 하여서 발생한 것이다.
도 8을 참조하여, 보다 상세하게 상기 제2 슬립 감지 단계를 설명하겠다.
도 8에 도시된 바와 같이, 상기 제2 슬립 감지 단계(S300)에서는, 상기 슬립 감지부(210)는 상기 입력된 영상을 N 영역으로 분할하고, 이동 로봇의 진행 방향 또는 반대방향을 기준으로 대상 영역을 1/N 만큼 증가시켜 각 증가된 영역의 평균 과 분산을 산출하고(S330), 상기 각 영역의 평균과 분산 값의 변화량에 기초하여 상기 영상이 차폐되지 않은 경우에 상기 영상 변화량이 기준 변화량보다 작은 경우에 입력 영상이 정체된 것으로 추정하여 정체 회수를 계산한다.(S340)
즉, 상기 슬립 감지부(210)는 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에 상기 제2 슬립의 발생을 감지하게 된다.
만약 이동 로봇(100)이 테이블의 하부로 들어가게 되는 경우라면, 영상 프레임의 명도 평균이 점차 감소하면서 명도의 분산값이 커졌다가 작아지게 될 것이다. 본 실시예에서는 도 7에 도시된 바와 같이, 상기의 경우에 계산량을 감소시키는 방법으로서, 영상 획득부(110)에서 획득된 영상을 이동 로봇(100)의 진행방향(d)을 기준으로 4등분하여 분할된 각 영역의 명도 평균값을 이용하여 전체 영상에 대한 평균과 분산을 구하여 이동 로봇(100)의 차폐 여부를 판단할 수 있다.
본 실시예에서는 정면 슬립을 감지하기 위해서 카메라와 같은 비젼 센서를 사용하였으나, 가속도계를 이용하거나 종동바퀴를 이용하여 구동바퀴와의 회전수 차이를 이용하는 방법들이 적용될 수 있다.
영상 획득 수단인 카메라가 차폐되지 않았다면 연속된 영상 시퀀스 상에서 차이를 계산하여 로봇 카메라 포즈의 변화를 추정한다. 그러나 획득한 영상마다 배경조명의 차이가 발생할 수 있으므로 영상의 평균과 분산을 구하여 식 (6) 및 (7)과 같이 정규화된 영상을 구하여 그 차이로써 영상정보의 변화량을 측정한다.
Figure 112009066859153-pat00002
------------------------(6)
Figure 112009066859153-pat00003
------------------------(7)
이때 정해진 기준치가 변화량이 적으면 카메라 포즈의 정체가 발생한 것으로 추정한다. 그러나 이동 로봇의 포즈에 정체가 발생하는 지를 신뢰성 있게 판단하기 위하여 연속적인 정체 여부를 탐색한다. 동시에 로봇의 구동속도가 일정 정도 이상이어서 정지상태가 아니면 정면슬립이 발생했거나 양 측면에 끼인 걸로 판단한다.
상기 슬립 감지부(210)는 정면 슬립을 감지하면, 상기 이동 로봇이 기설정된 거리 또는 시간동안 후진한 후에 상기 슬립 발생영역을 회피하여 주행하도록 제어신호를 출력한다. 즉, 정면슬립의 경우 뒤로 회전하여 나오게 하여 슬립이 일어날 수 있는 환경을 회피할 수 있으며 정체 회수와 로봇의 이동속도를 곱하여 뒤로 후퇴하여 로봇의 추정위치를 수정한다.
즉, 본 발명에 적용되는 단일의 카메라를 장착한 SLAM 방식의 이동 로봇은 초당 2-3 프레임을 처리하므로 영상 오도메터리(Visual odometry)에 의해 정면슬립이 감지되는 동안 EKF(Extended Kalman Filter) 지도 상에 오등록된 랜드마크(landmark)의 좌표 정보를 수정할 필요가 있다. 따라서, 랜드마크 초기화 버퍼에 등록되어 있는 랜드마크들에 대하여 공분산(covariance)을 증가시켜서 슬립으로 발생한 오차를 이후의 관측측정에 의하여 교정될 수 있도록 한다. 또한, 측면 슬립 감지의 경우에는 비교적 짧은 시간에 처리될 수 있으므로 EKF의 갱신시 이동 로봇의 현 위치정보를 보정한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예가 적용되는 이동 로봇의 구성을 도시한 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치의 구성을 도시한 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 방법을 도시한 순서도,
도 4는 이동 로봇의 주행중 시간 t1에서 좌륜에 슬립이 발생한 경우의 추정 회전각과 측정 회전각을 도시한 것이고,
도 5는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법에 의하여 감지된 회전각 데이터와 이를 가공한 데이터를 도시한 것이고,
도 6은 시간 t1에서 슬립이 발생한 경우에 있어서, 가공된 추정 회전각과 측정 회전각을 도시한 것이고,
도 7은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립 방법에 의하여 감지된 제1 슬립 감지 결과를 도시한 것이고,
도 8은 획득한 영상을 이동 로봇의 진행방향(d)을 기준으로 4등분하여 영상 획득부의 차폐 여부를 판단하는 과정을 도시한 것이다.
<도면의 주요 부분에 대한 도면부호의 설명>
100 : 이동 로봇 110 : 영상 획득부
120 : 영상 처리부 130 : 주제어부
140 : 센서부 150 : 로봇 구동부
200 : 슬립감지 장치 210 : 슬립 감지부
220 : 제1 회전각 추정부 230 : 구동 속도 검출부
240 : 제2 회전각 측정부 250 : 영상 변화량 산출부

Claims (21)

  1. 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 제1 회전각 추정부;
    상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 제2 회전각 측정부;
    영상 획득 수단으로부터 획득한 적어도 순차적인 두 영상의 변화량을 산출하는 영상 변화량 산출부; 및
    상기 제1 회전각에 대한 상기 제2회전각의 오차각 및 상기 영상 변화량에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립 감지부를 포함하고,
    상기 슬립 감지부는,
    상기 오차각의 크기가 기준 오차각보다 큰 경우에는 상기 이동 로봇에 제1 슬립의 발생을 감지하고,
    상기 제1 슬립 감지시 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 하는 이동 로봇의 슬립 감지 장치.
  2. 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 제1 회전각 추정부;
    상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 제2 회전각 측정부;
    영상 획득 수단으로부터 획득한 적어도 순차적인 두 영상의 변화량을 산출하는 영상 변화량 산출부; 및
    상기 제1 회전각에 대한 상기 제2회전각의 오차각 및 상기 영상 변화량에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립 감지부를 포함하고,
    상기 슬립 감지부는,
    상기 오차각의 크기가 기준 오차각보다 큰 경우에는 상기 이동 로봇에 제1 슬립의 발생을 감지하고,
    상기 제1 슬립 감지시 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 하는 이동 로봇의 슬립 감지 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 슬립 감지부는, 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 상기 슬립시 발생한 위치 정보의 오류에 대하여 이동 로봇의 위치를 복구 신호를 출력하는 것을 특징으로 하는 이동 로봇의 슬립 감지 장치.
  4. 삭제
  5. 삭제
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 슬립 감지부는, 상기 영상 변화량과 기준 변화량을 비교하고, 상기 영상 변화량이 기준 변화량 보다 작은 경우에 상기 이동 로봇이 정체된 것으로 추정하여 정체 회수를 산출하는 것을 특징으로 하는 로봇의 슬립 감지 장치.
  7. 제 6 항에 있어서,
    상기 슬립 감지부는,
    상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에는 제2 슬립의 발생을 감지하는 것을 특징으로 하는 로봇의 슬립 감지 장치.
  8. a) 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 단계;
    b) 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 단계; 및
    c) 상기 제1 회전각에 대한 상기 제2 회전각의 오차각을 구하고, 그 오차각에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 생성하는 단계
    를 포함하는 이동 로봇의 슬립 감지 방법.
  9. 제 8 항에 있어서,
    상기 슬립 감지 방법은,
    d) 상기 오차각의 크기가 기준 오차각보다 큰 경우에는 상기 이동 로봇에 제1 슬립의 발생을 감지하는 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  10. 제 9 항에 있어서,
    상기 슬립 감지 방법은,
    e) 적어도 순차적으로 입력된 두 영상의 영상 변화량을 산출하여 상기 영상 변화량이 기준 변화량을 비교하고, 상기 영상 변화량이 기준 변화량 보다 작은 경우에 상기 이동 로봇이 정체된 것으로 추정하여 정체 회수를 산출하고, 상기 산출된 정체 회수가 기준 회수보다 크고, 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에는 제2 슬립의 발생을 감지하는 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  11. 제 10 항에 있어서,
    상기 슬립 감지 방법은,
    f) 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 이동 로봇의 위치를 복구하는 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  12. 제 8 항 내지 제 11 항 중 어느 하나에 있어서,
    상기 제1 회전각 추정단계는,
    상기 이동 로봇의 좌륜 구동부의 회전 속도인 제1 각속도와 우륜 구동부의 회전 속도인 제2 각속도를 검출하는 단계; 및
    상기 제1 각속도와 제2 각속도의 차이 및 상기 이동 로봇의 바퀴의 지름에 기초하여 상기 제1 회전각을 산출하는 단계
    를 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  13. 제 12 항에 있어서,
    상기 c) 단계는,
    상기 제1 회전각과 상기 제2 회전각의 오차각을 구하여 기준 오차각과 비교 하는 단계; 및
    상기 오차각이 상기 기준 오차각보다 큰 경우에는 상기 이동 로봇에 슬립이 발생한 것으로 판단하여 슬립 영역을 탈출하는 단계
    를 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  14. 제 13 항에 있어서,
    상기 슬립 영역 탈출 단계는,
    상기 이동로봇이 기설정된 거리 또는 시간 동안 후진한 후에 상기 슬립방향과 반대 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  15. 제 13 항에 있어서,
    상기 슬립 영역 탈출 단계는,
    상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  16. 제 13 항에 있어서,
    상기 슬립 영역 탈출 단계는,
    상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  17. 제 8 항에 있어서,
    상기 오차각은 상기 이동 로봇의 초기위치를 기준으로 +180와 -180도 사이의 값을 갖는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  18. 삭제
  19. 제 9 항 내지 제 11 항 중 어느 하나에 있어서,
    상기 d) 단계는
    상기 입력된 영상을 N 영역으로 분할하고, 이동 로봇의 진행 방향 또는 반대방향을 기준으로 대상 영역을 1/N 만큼 증가시켜 각 증가된 영역의 평균과 분산을 산출하는 단계; 및
    상기 각 영역의 평균과 분산 값의 변화량에 기초하여 상기 영상이 차폐되지 않은 경우에 상기 영상 변화량이 기준 변화량보다 작은 경우에 입력 영상이 정체된 것으로 추정하여 정체 회수를 계산하는 단계
    를 포함하는 것을 특징으로 하는 로봇의 슬립 감지 방법.
  20. 제 19 항에 있어서,
    상기 d) 단계에서는
    상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에 상기 제2 슬립의 발생을 감지하는 것을 특징으로 하는 로봇의 슬립 감지 방법.
  21. 제 20 항에 있어서,
    상기 제2 슬립의 발생이 감지되면, 상기 이동 로봇은 기설정된 거리 또는 시간동안 후진한 후에 상기 슬립 발생영역을 회피하여 주행하는 것을 특징으로 하는 로봇의 슬립 감지 방법.
KR1020090104168A 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법 KR101152720B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN200980162244.7A CN102666032B (zh) 2009-10-30 2009-10-30 用于移动机器人的滑动检测装置和方法
JP2012536639A JP5421461B2 (ja) 2009-10-30 2009-10-30 移動ロボットのスリップ感知装置および方法
EP09850898.9A EP2495079B1 (en) 2009-10-30 2009-10-30 Slip detection apparatus and method for a mobile robot
PCT/KR2009/006367 WO2011052827A1 (ko) 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법
KR1020090104168A KR101152720B1 (ko) 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법
US13/504,510 US8873832B2 (en) 2009-10-30 2009-10-30 Slip detection apparatus and method for a mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090104168A KR101152720B1 (ko) 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110047505A KR20110047505A (ko) 2011-05-09
KR101152720B1 true KR101152720B1 (ko) 2012-06-18

Family

ID=43922245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090104168A KR101152720B1 (ko) 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법

Country Status (6)

Country Link
US (1) US8873832B2 (ko)
EP (1) EP2495079B1 (ko)
JP (1) JP5421461B2 (ko)
KR (1) KR101152720B1 (ko)
CN (1) CN102666032B (ko)
WO (1) WO2011052827A1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523848B1 (ko) * 2013-11-28 2015-05-28 울산대학교 산학협력단 이동 로봇의 슬립 추정 장치 및 그 방법
KR101938642B1 (ko) * 2012-06-12 2019-01-15 엘지전자 주식회사 유리창 청소 장치 및 그의 제어방법
KR20190015930A (ko) * 2017-08-07 2019-02-15 엘지전자 주식회사 로봇청소기 및 그 제어방법
US10772478B2 (en) 2017-08-07 2020-09-15 Lg Electronics Inc. Robot cleaner
US10952586B2 (en) 2017-08-07 2021-03-23 Lg Electronics Inc. Cleaner
US10986973B2 (en) 2017-08-07 2021-04-27 Lg Electronics Inc. Robot cleaner
US11013388B2 (en) 2017-08-07 2021-05-25 Lg Electronics Inc. Robot cleaner
US11096545B2 (en) 2017-08-07 2021-08-24 Lg Electronics Inc. Robot cleaner
US11197595B2 (en) 2017-08-07 2021-12-14 Lg Electronics Inc. Cleaner
US11439287B2 (en) 2018-01-25 2022-09-13 Lg Electronics Inc. Controlling method of robot cleaner
US11478120B2 (en) 2017-08-07 2022-10-25 Lg Electronics Inc. Cleaner

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835343B1 (en) * 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
KR20110021191A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 로봇의 슬립 감지 장치 및 방법
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
AU2013270671B2 (en) * 2012-06-08 2016-05-26 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
KR20140062288A (ko) * 2012-11-14 2014-05-23 한국전자통신연구원 로봇 컴포넌트 오류 처리 장치 및 그 방법
KR101511992B1 (ko) * 2013-09-06 2015-04-14 현대모비스(주) 조향 휠 제어 방법 및 이를 위한 위한 시스템
JP6178677B2 (ja) * 2013-09-09 2017-08-09 シャープ株式会社 自走式電子機器
CN103552091B (zh) * 2013-09-29 2015-09-16 江苏恒义汽配制造有限公司 机械手装置上的移送滚轮与轨道状态的检测装置
WO2017184478A1 (en) * 2016-04-17 2017-10-26 President And Fellows Of Harvard College Magnetic receptive sensor and optimized drawing and erasing for vertically driving robot
JP6481347B2 (ja) * 2014-11-28 2019-03-13 村田機械株式会社 移動量推定装置、自律移動体、及び移動量の推定方法
KR101697857B1 (ko) * 2015-04-08 2017-01-18 엘지전자 주식회사 이동 로봇 및 그의 위치인식방법
KR102343513B1 (ko) 2015-04-17 2021-12-28 에이비 엘렉트로룩스 로봇 청소 장치 및 로봇 청소 장치의 제어 방법
KR101649665B1 (ko) * 2015-04-29 2016-08-30 엘지전자 주식회사 이동 로봇 및 그 제어방법
GB2538779B (en) * 2015-05-28 2017-08-30 Dyson Technology Ltd A method of controlling a mobile robot
JP7036531B2 (ja) * 2016-01-08 2022-03-15 東芝ライフスタイル株式会社 自律走行体
CN108603935A (zh) 2016-03-15 2018-09-28 伊莱克斯公司 机器人清洁设备以及机器人清洁设备进行陡壁检测的方法
KR101854680B1 (ko) * 2016-04-29 2018-06-14 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR101994691B1 (ko) * 2016-07-14 2019-07-01 엘지전자 주식회사 로봇 청소기
US10274325B2 (en) * 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
CN110621208A (zh) 2017-06-02 2019-12-27 伊莱克斯公司 检测机器人清洁设备前方的表面的高度差的方法
CN107348910B (zh) * 2017-09-12 2019-10-08 珠海市一微半导体有限公司 机器人打滑的检测方法和建图方法及芯片
CN109669350B (zh) * 2017-10-13 2021-07-20 电子科技大学中山学院 一种三轮全向移动机器人车轮滑动定量估计方法
KR102478124B1 (ko) * 2017-12-05 2022-12-16 현대자동차주식회사 차량 구동휠 제어시스템 및 이를 이용한 차량 구동휠 제어방법
CN111433699A (zh) * 2017-12-05 2020-07-17 日本电产株式会社 移动机器人的控制装置和移动机器人系统
US11926038B2 (en) * 2018-01-10 2024-03-12 Sony Corporation Information processing apparatus and information processing method
JP7047594B2 (ja) * 2018-05-23 2022-04-05 トヨタ自動車株式会社 自律移動体、その衝突位置検出方法、及びプログラム
CN109394095B (zh) 2018-10-23 2020-09-15 珠海市一微半导体有限公司 一种机器人运动地毯偏移的控制方法、芯片及清洁机器人
CN111700543B (zh) * 2019-03-18 2022-12-02 北京奇虎科技有限公司 遇障处理方法、装置、设备及计算机可读存储介质
WO2020191304A1 (en) 2019-03-21 2020-09-24 Sharkninja Operating Llc Adaptive sensor array system and method
CN114174011B (zh) * 2019-07-31 2024-04-19 Lg电子株式会社 移动机器人
KR102251550B1 (ko) * 2019-07-31 2021-05-12 엘지전자 주식회사 이동 로봇 및 그 제어방법
TWI735022B (zh) * 2019-08-08 2021-08-01 和碩聯合科技股份有限公司 語意地圖定向裝置、方法及機器人
CN112549072A (zh) * 2019-09-10 2021-03-26 苏州科瓴精密机械科技有限公司 机器人的打滑检测方法
CN110716551A (zh) * 2019-11-06 2020-01-21 小狗电器互联网科技(北京)股份有限公司 移动机器人行驶策略确定方法、装置以及移动机器人
CN114153197B (zh) * 2020-08-17 2023-08-18 速感科技(北京)有限公司 自主移动设备的脱困方法及装置
KR20230058652A (ko) * 2020-09-01 2023-05-03 세바 테크놀러지, 인크. 광학 흐름, 휠 인코더 및 관성 측정 유닛을 구비한 평면 로봇 추측 항법
CN113427485B (zh) * 2021-06-04 2022-08-12 北京旷视科技有限公司 移动机器人的打滑监控方法、装置及移动机器人
CN113551692B (zh) * 2021-07-19 2024-04-02 杭州迅蚁网络科技有限公司 无人机磁力计和相机安装角度校准方法、装置
CN113894843A (zh) * 2021-07-22 2022-01-07 深兰科技(上海)有限公司 移动机器人的打滑检测方法及相关装置
CN114325744B (zh) * 2021-12-29 2022-08-19 广东工业大学 一种无人车打滑检测方法、系统、设备及介质
CN114659819B (zh) * 2022-04-14 2024-03-19 阳春新钢铁有限责任公司 一种变频控制下的打滑检测方法
KR20230158668A (ko) * 2022-05-11 2023-11-21 삼성전자주식회사 로봇 및 그 제어 방법
WO2024057487A1 (ja) * 2022-09-15 2024-03-21 株式会社Fuji 移動体および移動体システム
CN115793433B (zh) * 2023-01-06 2023-05-05 北京史河科技有限公司 一种机器人下滑纠偏控制方法和下滑纠偏底盘、机器人

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022040A (ja) * 2003-07-03 2005-01-27 Toyota Motor Corp 位置ずれを修正する歩行ロボットとその制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3395874B2 (ja) 1996-08-12 2003-04-14 ミノルタ株式会社 移動走行車
JP4480843B2 (ja) * 2000-04-03 2010-06-16 ソニー株式会社 脚式移動ロボット及びその制御方法、並びに、脚式移動ロボット用相対移動測定センサ
KR100500842B1 (ko) * 2002-10-31 2005-07-12 삼성광주전자 주식회사 로봇청소기와, 그 시스템 및 제어방법
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
JP2005222226A (ja) 2004-02-04 2005-08-18 Funai Electric Co Ltd 自律走行ロボットクリーナー
KR20050108923A (ko) * 2004-05-14 2005-11-17 삼성광주전자 주식회사 모빌로봇, 모빌로봇 시스템, 및 그 경로보정방법
JP2006068884A (ja) * 2004-09-06 2006-03-16 Sony Corp ロボット装置及びその制御方法、並びに受動車輪装置
US7389166B2 (en) * 2005-06-28 2008-06-17 S.C. Johnson & Son, Inc. Methods to prevent wheel slip in an autonomous floor cleaner
KR101297388B1 (ko) * 2006-06-16 2013-08-19 삼성전자주식회사 위치 보정 기능을 제공하는 이동 장치 및 위치 보정 방법
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
KR100843096B1 (ko) * 2006-12-21 2008-07-02 삼성전자주식회사 이동 로봇의 주행 상태 판별 장치 및 방법
JP4779982B2 (ja) * 2007-02-02 2011-09-28 トヨタ自動車株式会社 移動体及び移動体の制御方法
KR101409987B1 (ko) * 2007-12-11 2014-06-23 삼성전자주식회사 이동 로봇의 자세 보정 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022040A (ja) * 2003-07-03 2005-01-27 Toyota Motor Corp 位置ずれを修正する歩行ロボットとその制御方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938642B1 (ko) * 2012-06-12 2019-01-15 엘지전자 주식회사 유리창 청소 장치 및 그의 제어방법
KR101523848B1 (ko) * 2013-11-28 2015-05-28 울산대학교 산학협력단 이동 로봇의 슬립 추정 장치 및 그 방법
US10952586B2 (en) 2017-08-07 2021-03-23 Lg Electronics Inc. Cleaner
KR102011827B1 (ko) 2017-08-07 2019-08-19 엘지전자 주식회사 로봇청소기 및 그 제어방법
US10758103B2 (en) 2017-08-07 2020-09-01 Lg Electronics Inc. Robot cleaner and controlling method thereof
US10772478B2 (en) 2017-08-07 2020-09-15 Lg Electronics Inc. Robot cleaner
KR20190015930A (ko) * 2017-08-07 2019-02-15 엘지전자 주식회사 로봇청소기 및 그 제어방법
US10986973B2 (en) 2017-08-07 2021-04-27 Lg Electronics Inc. Robot cleaner
US11013388B2 (en) 2017-08-07 2021-05-25 Lg Electronics Inc. Robot cleaner
US11096545B2 (en) 2017-08-07 2021-08-24 Lg Electronics Inc. Robot cleaner
US11197595B2 (en) 2017-08-07 2021-12-14 Lg Electronics Inc. Cleaner
US11478120B2 (en) 2017-08-07 2022-10-25 Lg Electronics Inc. Cleaner
US11622661B2 (en) 2017-08-07 2023-04-11 Lg Electronics Inc. Robot cleaner
US11744429B2 (en) 2017-08-07 2023-09-05 Lg Electronics Inc. Cleaner
US11439287B2 (en) 2018-01-25 2022-09-13 Lg Electronics Inc. Controlling method of robot cleaner

Also Published As

Publication number Publication date
EP2495079A4 (en) 2016-11-09
JP5421461B2 (ja) 2014-02-19
CN102666032A (zh) 2012-09-12
JP2013508183A (ja) 2013-03-07
US8873832B2 (en) 2014-10-28
CN102666032B (zh) 2015-01-07
EP2495079B1 (en) 2018-09-05
KR20110047505A (ko) 2011-05-09
US20120219207A1 (en) 2012-08-30
WO2011052827A1 (ko) 2011-05-05
EP2495079A1 (en) 2012-09-05

Similar Documents

Publication Publication Date Title
KR101152720B1 (ko) 이동 로봇의 슬립 감지 장치 및 방법
KR101083394B1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
JP5276637B2 (ja) 車線推定装置
EP2460629B1 (en) Control method for localization and navigation of mobile robot and mobile robot using same
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP5966747B2 (ja) 車両走行制御装置及びその方法
KR101618030B1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
JP6567659B2 (ja) レーン検出装置およびレーン検出方法
US11024051B2 (en) Object detection device
KR20150144730A (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US20190325585A1 (en) Movement information estimation device, abnormality detection device, and abnormality detection method
US20190325607A1 (en) Movement information estimation device, abnormality detection device, and abnormality detection method
US11132813B2 (en) Distance estimation apparatus and method
JP5107154B2 (ja) 運動推定装置
US11346670B2 (en) Position estimating device
JP2014035561A (ja) 車両走行支援装置及び車両走行支援方法
KR20190119231A (ko) 위치 보정 기능이 향상된 주행 제어장치 및 이를 이용한 로봇 청소기
US11801604B2 (en) Robot of estimating direction based on vanishing point of low luminance image and method estimating thereof
JP2020076714A (ja) 位置姿勢推定装置
WO2023095489A1 (ja) 外界認識装置
KR101767169B1 (ko) 비전 센서 기반 자이로 드리프트 감소 장치 및 방법
JP2022092236A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150508

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160511

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170508

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180504

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190507

Year of fee payment: 8