KR20120107737A - 이동 로봇의 장애물 회피 장치 및 방법 - Google Patents

이동 로봇의 장애물 회피 장치 및 방법 Download PDF

Info

Publication number
KR20120107737A
KR20120107737A KR1020110025440A KR20110025440A KR20120107737A KR 20120107737 A KR20120107737 A KR 20120107737A KR 1020110025440 A KR1020110025440 A KR 1020110025440A KR 20110025440 A KR20110025440 A KR 20110025440A KR 20120107737 A KR20120107737 A KR 20120107737A
Authority
KR
South Korea
Prior art keywords
fuzzy
obstacle
mobile robot
rules
robot
Prior art date
Application number
KR1020110025440A
Other languages
English (en)
Other versions
KR101239606B1 (ko
Inventor
박귀태
곽환주
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020110025440A priority Critical patent/KR101239606B1/ko
Publication of KR20120107737A publication Critical patent/KR20120107737A/ko
Application granted granted Critical
Publication of KR101239606B1 publication Critical patent/KR101239606B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

장애물을 회피하여 목표지점으로 이동하기까지 보다 안정적이면서 효율적으로 이동할 수 있도록 한 이동 로봇의 장애물 회피 장치 및 방법을 제시한다. 제시된 이동 로봇의 장애물 회피 장치는 각각 다수의 퍼지룰을 갖추고 이동 로봇과 장애물간의 거리 정보를 입력받아 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 다수의 로컬 퍼지 로직부, 구해진 척력들을 하나로 합치는 합산부, 및 하나로 합쳐진 척력들을 다수의 로컬 퍼지 로직부의 전체 개수로 나누어 표준화시키는 표준화부를 포함한다. 기존 포텐셜 필드 방법을 사용한 이동 로봇은 좁은 공간 또는 좁은 통로를 이동할 경우 불안하며 비효율적인 움직임을 보였으나, 본 발명을 사용한 이동 로봇은 안정적이며 효율적인 이동을 한다. 본 발명은 퍼지 로직을 이용하여 기존의 포텐셜 필드 방법을 개선함으로써 이동 로봇이 보다 안정적이며 효율적인 이동이 가능하게 한다.

Description

이동 로봇의 장애물 회피 장치 및 방법{Obstacle avoidance apparatus and method of mobile robot}
본 발명은 이동 로봇의 장애물 회피 장치 및 방법에 관한 것으로, 보다 상세하게는 퍼지 제어기를 이용하여 이동 로봇의 장애물 회피에 대한 신뢰성을 향상시키도록 한 이동 로봇의 장애물 회피 장치 및 방법에 관한 것이다.
포텐셜 필드 방법(potential field method)은 계산상의 간략성 및 효율성으로 인해 이동 로봇의 실시간 장애물 회피에 가장 보편적이며 널리 사용되고 있는 방법이다.
포텐셜 필드 방법의 개념은 로봇을 목표지점으로 당기는 힘과 장애물로부터 밀어내는 힘의 조합이라는 직관적인 생각을 바탕으로 하고 있다.
하지만 기존의 방법에서의 밀어내는 힘은 로봇이 이동하는 방향, 로봇에 대한 장애물과 목표의 위치 등의 장애물과 목표와 로봇간의 관계가 아닌 장애물과 로봇간의 거리만을 고려하여 정해진다. 로봇과 장애물과 목표간의 관계에 상관없이 장애물과 로봇간의 거리만 같다면 항상 일정하게 유지되는 기존 방법에서의 밀어내는 힘으로는 로봇의 효율적인 장애물 회피가 쉽지 않다.
장애물과 로봇간의 거리만의 정보를 바탕으로 한 밀어내는 힘에 따른 로봇은 좁은 간격으로 놓여 있는 장애물 사이를 쉽게 지나지 못하는 단점을 보인다. 다시 말해서, 기존의 포텐셜 필드 방법에 의하면 로봇은 가까이 위치한 두 물체 사이(예를 들어, 문 또는 창문 등)를 지나지 못한다. 또한, 로봇은 좁은 통로를 지날 때 안정적으로 지나지 못한다. 한편, 기존의 포텐셜 필드 방법에 의한 로봇은 약간의 왜란만으로도 크게 진동을 하며 이동하는 문제를 가지고 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 장애물을 회피하여 목표지점으로 이동하기까지 보다 안정적이면서 효율적으로 이동할 수 있도록 한 이동 로봇의 장애물 회피 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 이동 로봇의 장애물 회피 장치는, 각각 다수의 퍼지룰을 갖추고, 이동 로봇과 장애물간의 거리 정보를 입력받아 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 다수의 로컬 퍼지 로직부; 구해진 척력들을 하나로 합치는 합산부; 및 하나로 합쳐진 척력들을 다수의 로컬 퍼지 로직부의 전체 개수로 나누어 표준화시키는 표준화부;를 포함한다.
다수의 로컬 퍼지 로직부의 각각은, 입력된 이동 로봇과 장애물간의 거리 정보에 근거하여 출력을 퍼지 추론하는 다수의 퍼지룰; 퍼지 추론된 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 퍼지 집합부; 및 합쳐진 결과를 다수의 퍼지룰의 합으로 나누는 나눔부;를 포함한다.
본 발명의 다른 실시양태에 따른 이동 로봇의 장애물 회피 장치는, 각각 다수의 퍼지룰을 갖추고, 이동 로봇과 장애물간의 거리, 장애물과 이동 로봇의 진행 방향간의 각, 및 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보를 입력받아 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 다수의 로컬 퍼지 로직부; 구해진 척력들을 하나로 합치는 합산부; 및 하나로 합쳐진 척력들을 다수의 로컬 퍼지 로직부의 전체 개수로 나누어 표준화시키는 표준화부;를 포함한다.
다수의 로컬 퍼지 로직부의 각각은, 입력된 이동 로봇과 장애물간의 거리, 장애물과 이동 로봇의 진행 방향간의 각, 및 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보에 근거하여 출력을 퍼지 추론하는 다수의 퍼지룰; 퍼지 추론된 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 퍼지 집합부; 및 합쳐진 결과를 다수의 퍼지룰의 합으로 나누는 나눔부;를 포함한다.
본 발명의 바람직한 실시양태에 따른 이동 로봇의 장애물 회피 방법은, 다수의 퍼지룰을 갖는 각각의 로컬 퍼지 로직이 이동 로봇과 장애물간의 거리 정보를 입력받아 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 단계; 구해진 척력들을 하나로 합치는 단계; 및 하나로 합쳐진 척력들을 로컬 퍼지 로직의 전체 개수로 나누어 표준화시키는 단계;를 포함한다.
각 장애물에 대한 척력을 구하는 단계는 다수의 퍼지룰의 각각이 입력된 이동 로봇과 장애물간의 거리 정보에 근거하여 출력을 퍼지 추론하는 단계; 퍼지 추론된 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 단계; 및 합쳐진 결과를 다수의 퍼지룰의 합으로 나누는 단계;를 포함한다.
본 발명의 다른 실시양태에 따른 이동 로봇의 장애물 회피 방법은, 다수의 퍼지룰을 갖는 각각의 로컬 퍼지 로직이 이동 로봇과 장애물간의 거리, 장애물과 이동 로봇의 진행 방향간의 각, 및 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보를 입력받아 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 단계; 구해진 척력들을 하나로 합치는 단계; 및 하나로 합쳐진 척력들을 로컬 퍼지 로직의 전체 개수로 나누어 표준화시키는 단계;를 포함한다.
각 장애물에 대한 척력을 구하는 단계는 다수의 퍼지룰의 각각이 입력된 이동 로봇과 장애물간의 거리, 장애물과 이동 로봇의 진행 방향간의 각, 및 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보에 근거하여 출력을 퍼지 추론하는 단계; 퍼지 추론된 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 단계; 및 합쳐진 결과를 다수의 퍼지룰의 합으로 나누는 단계;를 포함한다.
이러한 구성의 본 발명에 따른 효과는 다음과 같다.
기존 포텐셜 필드 방법을 사용한 이동 로봇은 좁은 공간 또는 좁은 통로를 이동할 경우 불안하며 비효율적인 움직임을 보였으나, 본 발명을 사용한 이동 로봇은 안정적이며 효율적인 이동을 한다.
본 발명은 퍼지 로직을 이용하여 기존의 포텐셜 필드 방법을 개선함으로써 이동 로봇이 보다 안정적이며 효율적인 이동이 가능하게 한다.
본 발명에서의 퍼지 로직을 이용한 기존 포텐셜 필드 방법의 모방과 개선은 퍼지 로직의 언어적 표현 능력 활용의 좋은 예가 될 수 있다.
도 1은 저해상도의 센서를 장착한 로봇의 주위 장애물 인식에 있어서의 문제를 설명하는 도면이다.
도 2는 본 발명에서의 로봇 주위 장애물에 대한 가정을 설명하는 도면이다.
도 3은 본 발명에 채용되는 기본적인 퍼지 로직의 블럭도이다.
도 4는 본 발명의 제 1 실시예에 따른 이동 로봇의 장애물 회피 장치의 구성 및 작용을 설명하기 위한 블럭도이다.
도 5는 본 발명의 제 2 실시예에 적용되는 장애물 회피 전략을 설명하는 도면이다.
도 6은 본 발명의 제 2 실시예에 따른 이동 로봇의 장애물 회피 장치의 구성 및 작용을 설명하기 위한 블럭도이다.
도 7은 이동 로봇이 적용될 실제 공간에서 종래의 방법과 본 발명의 방법을 통한 이동 로봇의 이동 궤적을 나타낸 도면이다.
본 발명은 장애물과 로봇간의 거리만의 정보를 바탕으로 한 밀어내는 힘에 기반한 기존의 포텐셜 필드 방법을 개선하여 보다 효율적이고 안정적인 장애물 회피 장치 및 방법을 제안하고자 한다.
본 발명은 기존 포텐셜 필드 방법의 해결을 위해 퍼지 로직을 통한 모방 및 개선을 목표로 하고 있으며, 퍼지 로직의 적용과 퍼지룰 추가에 의해 발생하게 되는 룰 증가(rule-explosion) 문제를 해결하기 위해 분산형 퍼지 로직 시스템을 적용한다.
본 발명은 기존의 포텐셜 필드 방법에 퍼지 로직을 적용시킴으로써 향상된 성능의 장애물 회피가 가능하도록 한다. 본 발명은 기존의 포텐셜 필드 방법이 가지는 간단하며 직관적인 특성과 퍼지 로직의 전문가의 제어 전략에 대한 기존의 시스템에의 적용이라는 장점을 합쳐서 보다 향상된 장애물 회피 기능을 구현한다.
본 발명은 기존의 포텐셜 필드 방법을 퍼지 로직을 통해 모방하고, 이렇게 퍼지 로직을 통해 모방된 포텐셜 필드 방법에 로봇과 장애물간의 거리 정보 뿐 아닌 다양한 정보에 기반한 장애물 회피 전략을 적용시킴을 기본 개념으로 한다.
기존의 포텐셜 필드 방법이 장애물과 로봇간의 거리에 대한 정보만을 활용한데 비해, 본 발명에서는 로봇, 장애물, 목표지점간의 관계 정보까지도 활용한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 이동 로봇의 장애물 회피 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 퍼지 로직을 이용한 향상된 포텐셜 필드 방법을 채용한다. 여기서, 퍼지 로직을 이용한 향상된 포텐셜 필드 방법은 장애물 예측 과정, 퍼지 로직을 이용한 포텐셜 필드 모방 방법 과정, 및 퍼지 로직의 개선 과정을 통해 이루어진다.
< 장애물 예측 과정 >
기존의 포텐셜 필드 방법은 로봇을 목표지점으로 끄는 힘과 장애물로부터 밀어내는 힘이 합쳐진 힘을 로봇에 가함으로서 장애물을 회피하며 목표지점으로 이동 할 수 있도록 한다. 이때, 장애물로부터 밀어내는 힘을 정하기 위해서는 로봇 주위의 장애물의 개수와 형태와 같은 정보가 필요하다.
만약, 거리측정의 결과가 도 1의 (a)와 같다면 이동 로봇(10)은 주위 장애물의 정확한 상태를 어림잡을 수 없다. 주위 장애물(12)들에 대한 정보가 부족하여 센서 정보만으로 추정할 수 있는 주위 장애물들의 형태는 무수히 많을 것이다. 다시 말해서, 이동 로봇(10)은 도 1의 (b) 및 (c)에 예시한 바와 같이 실제 주위 장애물(12)이 다양한 모양 및 다양한 위치에 있을 것으로 예상할 것이다.
소나 센서(sonar sensors) 등과 같이 낮은 해상도를 가지는 센서를 탑재한 이동 로봇들은 주위 장애물에 대하여 상세하면서도 완전한 정보를 얻을 수 없다. 그래서, 본 발명에서는 이동 로봇(10)의 주위에 장애물(12)들이 도 2에서와 같이 존재한다고 가정한다. 다수의 소형 볼록 파티클이 그들 각각의 센서의 방향으로 배치되고, 그 모든 파티클은 도 2에서와 같이 개개의 장애물(12)로 간주된다.
< 퍼지 로직을 이용한 포텐셜 필드 방법 모방 과정 >
기존 포텐셜 필드 방법에서의 목표지점으로 끄는 힘에 로봇을 밀어내는 힘은 로봇 주위의 개별 장애물들로부터의 미는 힘들의 합이다.
본 발명에서는 상술한 장애물 예측 과정을 통해 각 센서들이 향하는 방향에 대해 각각의 개별적인 장애물들이 각각의 해당 거리를 두고 위치해 있다고 가정한다.
이러한 가정을 바탕으로 이동 로봇(10)에 작용하는 장애물(12)로부터의 힘들의 개수는 이동 로봇(10)에 장착된 센서(도시 생략)들의 개수와 동일하다. 각각의 센서에 의한 밀어내는 힘들은 퍼지 로직의 각각의 퍼지룰에 의해 표현될 수 있다. 즉, n개의 센서를 장착한 로봇의 포텐셜 필드 방법은 n개의 퍼지룰(fuzzy rules)을 가지는 퍼지 로직 시스템에 의해 모방 및 표현될 수 있다. 각 퍼지룰은 아래의 식 1과 같이 정의될 수 있다.
[식 1]
Figure pat00001
여기서,
Figure pat00002
(n은 모든 퍼지룰의 총 개수)이고,
Figure pat00003
이다.
Figure pat00004
는 입력
Figure pat00005
에 대한 멤버십 함수(membership function)이다. 또한,
Figure pat00006
는 p번째 센서의 이동 방향 벡터(heading direction vector)이다. 퍼지 로직의 defuzzification 식이 아래의 식 2와 같이 가중 평균일 경우,
[식 2]
Figure pat00007
p번째의 가중치(weight)가 아래의 식 3과 같이
[식 3]
Figure pat00008
설계되면 전체 퍼지 로직 시스템과 기존 포텐셜 필드 방법이 동일해질 수 있다. 즉, 상기의 퍼지 로직 시스템 설계는 도 3과 같이 도식화 될 수 있으며, 퍼지 로직을 통해 기존 포텐셜 필드 방법을 그대로 모방할 수 있게 된다.
도 3에는 퍼지 로직을 통해 기존의 포텐셜 필드 방법을 그대로 모방한 퍼지 포텐셜 필드 방법(FPFM)의 블럭을 도시하였다. 도 3은 n개의 퍼지룰들에 따른 결과가 weighted sum되는 구조이다. 예를 들어, 도 3에서 i번째 퍼지 룰에 의한 결과값은 기존 포텐셜 필드 방법에 비교해 보면 i번째 장애물에 대한 척력에 해당한다고 볼 수 있다. 즉, 도 3에서의
Figure pat00009
는 각 장애물에 대한 척력을 표현하기 위한 퍼지룰을 나타낸다.
도 3에서와 같이 기존 포텐셜 필드 방법을 재현한 퍼지 로직 시스템은 완전함(completeness)이 만족되지 않은 일반적인 퍼지 로직 시스템 중 하나의 특수한 경우라 볼 수 있다.
도 3의 각 퍼지룰은 "IF (antecedent), THEN (consequent)."으로 표현되는 "IF-THEN"문으로 구성된다. 여기서, "antecedent"는 조건을 의미하고, "consequent"는 결론을 의미한다. 도 3에 예시한 FPFM의 퍼지 컨트롤 시스템에서, 퍼지룰의 각각의 "antecedent"는 단지 하나의 입력값
Figure pat00010
에 대한 것이다. 각각의 입력값은 단지 하나의 멤버쉽 함수
Figure pat00011
에 의해 퍼지화된다. 퍼지룰의 모든 "antecedent"는
Figure pat00012
처럼 동일하다. 도 3에서, 입력이 되는 d1 ~ dn은 스칼라 입력으로서 예를 들어 이동 로봇과 장애물간의 거리가 된다. 그리고, 도 3에서, 최종적인 출력이 되는 frep는 포텐셜 필드 방법에서의 척력(반발력)이다.
도 3에서와 같이 퍼지룰을 사용하는 퍼지 로직 시스템은 다음의 세가지 요소를 고려하였다. 첫째, 퍼지룰(fuzzy rules)의 수는 서브 반발력(sub-repulsive force)의 수와 같다. 둘째, 하나의 퍼지룰은 장애물의 각각의 서브 반발력으로 표현할 수 있다. 셋째, 모든 퍼지룰의 조합은 장애물의 모든 서브 반발력의 합이다.
< 퍼지 로직의 개선 과정 >
본 발명에서는 도 3의 기존 포텐셜 필드 방법을 모방하는 퍼지 로직을 개선(예컨대, 퍼지룰 추가를 통한 보다 정교한 표현, 제어 입력의 추가 등)시켰다.
도 3에서의 기존 포텐셜 필드 방법을 완벽히 재현한 퍼지 로직을 개선한 것이 도 4 및 도 6에서의 퍼지 로직이다.
도 4는 본 발명의 제 1 실시예에 따른 이동 로봇의 장애물 회피 장치의 구성 및 작용을 설명하기 위한 블럭도이다. 각 장애물에 의한 척력을 단 하나의 퍼지 로직으로 표현하던 도 3에서의 퍼지 로직에 각 척력을 표현하기 위한 퍼지룰을 복수개로 늘려 보다 정교한 표현이 가능하도록 개선한 것이 도 4에서의 퍼지 로직이다.
기존 포텐셜 필드 방법을 모방하기만 하는 도 3의 퍼지 로직 시스템은 포텐셜 필드 방법에서의 장애물을 밀어내는 각각의 힘을 단 하나의 퍼지룰만을 사용하여 표현한다. 하지만, 보다 정교한 표현 및 제어를 위해서는 적용된 퍼지함수 종류의 추가를 통해 퍼지룰의 개수를 늘릴 필요가 있다. 하지만 이 경우, 퍼지 함수 종류의 추가 및 퍼지 입력개수의 추가는 rule-explosion이라는 문제를 발생시킬 수 있다. 즉, 늘어난 퍼지 함수 또는 퍼지 입력에 의해 설계자가 정해줘야 하는 퍼지룰의 개수가 기하급수적으로 늘어날 수 있는 문제가 있다.
이 문제를 해결하기 위해 본 발명에서는 각 장애물에 대한 척력은 다른 장애물의 상태에 독립적이란 가정과 분산형 퍼지 로직 구조를 적용하였다. 각 장애물로 부터의 척력들은 각각 독립적이기 때문에 각 척력을 표현하던 퍼지 룰을 서브-퍼지 로직으로 바꾸어 도 4에서와 같은 구조로 설계할 수 있다. 즉, 도 3에서 각 퍼지 룰들이 각 장애물로부터의 척력을 표현하였다. 이에 비해, 도 4에서는 로컬 퍼지 로직부들이 이를 표현하였고, 각각의 로컬 퍼지 로직부들은 해당 척력을 다수의 퍼지 룰로 정교하게 표현한다. 이러한 구조를 통해 각각의 로컬 퍼지 로직부들은 일반적인 형태의 퍼지 로직으로서 설계될 수 있으며, 각각의 로컬 퍼지 로직부의 설계에 필요한 퍼지 룰들의 개수가 매우 적기 때문에 rule-explosion 문제 역시 해결할 수 있다.
도 4에서, 각각의 로컬 퍼지 로직부(100a ~ 100n)는 도 3의 각 퍼지 룰들을 대체한다. 도 3에서의 각 퍼지 룰들이 각 장애물로부터의 척력을 표현한 반면, 도 4에서는 각각의 로컬 퍼지 로직부(100a ~ 100n)가 각 장애물로부터의 척력을 표현하고 있다. 각각의 로컬 퍼지 로직부(100a ~ 100n)는 내부적으로 다수의 퍼지 룰(30, 32)들을 가지고 있다.
퍼지 로직의 제어 전략은 기본적으로 퍼지 IF-THEN 룰을 통해 표현된다. 이 경우, 퍼지 룰(30)은 THEN에 해당하는 부분으로서 IF문에서 제시한 특정 상황에 대한 출력 동작을 표현한다.
입력으로 들어온 로봇의 상황(
Figure pat00013
)이 퍼지 룰의 IF문에서 제시한 상황과 정확히 일치할 경우 퍼지 롤(32)의
Figure pat00014
의 값은 1이 되면서 퍼지 룰의 THEN 부문에서 정의한 결과 그대로 출력으로 내보낸다. 하지만, 입력으로 들어온 로봇의 상황(
Figure pat00015
)이 퍼지 룰의 IF문에서 제시한 상황과 정확히 일치하지 않고 어느 정도만 비슷할 경우 퍼지 룰(32)의
Figure pat00016
의 값은 그 유사한 정도에 따른 값을 가지게 되어 퍼지 룰(30)로부터의 출력을 그 정도 만큼 반감시켜 내보낸다. 퍼지 룰(30, 32)을 이용하는 과정을 퍼지 로직에서의 퍼지 추론(Fuzzy Inference)이라고 한다. 따라서, 퍼지 룰(30, 32)을 퍼지 추론부라고도 할 수 있다.
퍼지 집합부(34)는 여러 개의 퍼지 룰에 따른 결과들(즉, 다수의 퍼지 룰(30, 32)의 결과)을 하나의 퍼지 세트로 합친다. 이를 퍼지 로직에서는 퍼지 집합(Fuzzy Aggregation)이라고 한다.
나눔부(36)는 퍼지 집합부(34)에 의해 하나로 합쳐진 다수 퍼지 룰들에 의한 결과를 전체 퍼지 룰(32)들의 합으로 나눈다. 나눔부(36)의 출력이 해당 로컬 퍼지 로직에서 구하고자 하는 장애물로부터의 척력(
Figure pat00017
~
Figure pat00018
중 하나)이 된다.
퍼지 룰(30, 32), 퍼지 집합부(34), 및 나눔부(36)를 거치는 과정을 수식적으로 표현하면 퍼지 출력의 weighted sum(
Figure pat00019
)의 형태가 됨을 알 수 있다.
도 4에서의 각 로컬 퍼지 로직부(100a ~ 100n)는 장애물로부터의 각 척력들을 표현하고 있다. 합산부(200)는 이러한 각 척력들을 하나로 합쳐준다.
표준화부(300)는 합산부(200)에 의해 하나로 합쳐진 척력들을 그 개수들(즉, 로컬 퍼지 로직의 개수)로 나누어주어 표준화시킨다.
한편, 도 4의 이동 로봇의 장애물 회피 장치에 의한 이동 로봇의 장애물 회피 방법을 설명하는 플로우차트를 별도로 도시하지 않더라도 동종 업계에 종사하는 자라면 상술한 설명에 의해 충분히 이해가능하다. 즉, 도 4의 이동 로봇의 장애물 회피 장치에 의한 이동 로봇의 장애물 회피 방법은 우선, 다수의 퍼지룰을 갖는 각각의 로컬 퍼지 로직부(100a ~ 100n)가 이동 로봇과 장애물간의 거리 정보를 입력받아 이동 로봇에 작용되는 각 장애물에 대한 척력(
Figure pat00020
~
Figure pat00021
중 하나)을 구한다. 여기서,
Figure pat00022
~
Figure pat00023
은 중간 출력(intermediate outputs)이라고 할 수 있다. 이후, 합산부(200)가 구해진 척력들(
Figure pat00024
~
Figure pat00025
)을 하나로 합친다. 그리고 나서, 표준화부(300)가 하나로 합쳐진 척력들을 로컬 퍼지 로직부(100a ~ 100n)의 전체 개수로 나누어 표준화시킨다. 표준화부(300)의 출력이 최종적으로 구하고자 하는 척력(
Figure pat00026
)이 된다.
한편, 각각의 로컬 퍼지 로직부(100a ~ 100n)에 의해 각 장애물에 대한 척력을 구하는 단계를 보다 자세히 설명하면 다음과 같다. 먼저, 내장된 각각의 퍼지룰(30, 32)(퍼지 추론부라고도 함)은 입력받은 이동 로봇과 장애물간의 거리 정보에 근거하여 출력을 퍼지 추론한다. 이후, 퍼지 집합부(34)가 퍼지 추론된 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합친다. 그리고 나서, 나눔부(36)가 합쳐진 결과를 다수의 퍼지룰의 합으로 나눈다.
도 5는 본 발명의 제 2 실시예에 적용되는 장애물 회피 전략을 설명하는 도면이다. 도 6은 본 발명의 제 2 실시예에 따른 이동 로봇의 장애물 회피 장치의 구성 및 작용을 설명하기 위한 블럭도이다. 각 척력에 대한 표현 능력을 향상시킨 도 4의 퍼지 로직에 추가적인 입력 변수를 제공하여 로봇의 동작 상황에 맞는 퍼지룰을 정할 수 있도록 한 것이 도 6에서의 퍼지 로직이다.
기존 포텐셜 필드 방법에서의 장애물로부터의 밀어내는 힘은 장애물과 로봇간의 거리에만 관련된 함수로 표현 가능하다. 하지만, 본 발명의 제 2실시예는 장애물로부터의 밀어내는 힘을 정하는 함수의 입력으로 장애물과 로봇간의 거리 정보뿐만 아니라 도 5에서와 같이 장애물과 로봇 진행 방향간의 각과 로봇 진행 방향과 목표 지점과의 방향 각 정보 까지도 활용한다. 로봇이 장애물을 향해 움직이고 있을 경우 큰 힘으로 로봇을 밀어내며, 로봇이 목표지점을 향하고 있을 경우 역시 큰 힘으로 로봇을 밀어내도록 고안하였다.
도 5에서, 이동 로봇(40)이 목표지점(goal)으로 이동하고, 주위에 하나의 장애물(42)이 존재한다고 가정한다. 반발력
Figure pat00027
은 모든 주위 장애물의 총 반발력(total repulsive force)이다. 반발력
Figure pat00028
의 크기는 PFM 및 FPFM과 대비하여 보면 이동 로봇(40)과 장애물(42)간의 거리
Figure pat00029
가
Figure pat00030
로 고정되어도 변한다. 이동 로봇(40)을 제어하는 인위적인 힘
Figure pat00031
은 반발력
Figure pat00032
의 크기에 의해 조종된다. 도 5의 (b) 및 (d)의 각
Figure pat00033
은 작고, 도 5의 (c) 및 (d)의 각
Figure pat00034
는 작다. 그래서, 도 5의 (b) 및 (c)의 반발력
Figure pat00035
의 크기는 도 5의 (a)의 반발력
Figure pat00036
의 크기보다 크고 도 5의 (d)의 반발력
Figure pat00037
의 크기보다는 작을 것이다.
이와 같이 AFPFM의 퍼지룰들에 의해 설명되는 추가 제어 전략은 하기와 같다. 1) 만약 이동 로봇(40)이 장애물(42) 쪽으로 향한다면(즉, 각
Figure pat00038
이 작다면) 반발력
Figure pat00039
의 크기는 커질 것이다. 2) 만약 이동 로봇(40)의 어트랙티브 힘(attractive force; 인력)
Figure pat00040
이 장애물(42)쪽으로 향한다면(즉, 각
Figure pat00041
이 작다면) 반발력
Figure pat00042
의 크기는 커질 것이다.
이러한 장애물 회피 전략을 적용한 퍼지 로직 시스템의 블록도(즉, 개선된 퍼지 포텐셜 필드 방법(이하 AFPFM이라 함)의 퍼지 컨트롤러의 구조)는 도 6에서와 같이 표현될 수 있다. 즉, 도 3에서의 특수한 형태의 퍼지 로직을 일반적 형태의 퍼지 로직으로 확정시켜 장애물에 대한 척력을 더욱 정교하게 표현하도록 하여 도 4와 같은 퍼지 로직을 설계하였다. 도 6에서는 도 4의 각 로컬 퍼지 로직부에 이동 로봇의 장애물 회피에 도움이 될만한 추가적인 정보를 입력하여 장애물 회피 성능을 개선 하고자 하였다. 이 때, 로봇의 장애물 회피에 도움이 될만한 추가적인 정보에는 도 5에서와 같은 두 가지 각도 정보(
Figure pat00043
,
Figure pat00044
)가 있다. 도 6에서의 퍼지 로직의 형태상 구조는 도 4에서와 동일하다. 도 6에는 로봇의 상태를 파악하는데 도움이 되는 정보가 추가적으로 입력되었고, 추가적 입력에 따른 퍼지 룰들의 수정 및 추가가 필요하다는 점이 도 4와 차이난다. 추가적인 입력들(
Figure pat00045
,
Figure pat00046
) 의 적용에 따른 장애물 회피 성능의 향상은 추가적인 제어 전략들에 의해 이루어질 수 있다. 그 제어 전략의 기본 개념은 장애물과 로봇간의 거리 정보뿐만 아니라 로봇이 향하고 있는 방향에 장애물이 위치하고 있는지, 로봇이 목표지점으로의 이동을 위해 방향 전환을 할 경우 전환하고자 하는 그 방향에 장애물이 위치해 있는지에 대한 정보를 바탕으로 한다.
도 6에서의 각 블록들은 기본적으로 도 4에서와 동일하다. 다만, 도4에서는 각 로컬 퍼지 로직부(100a ~ 100n)의 입력이 하나인 반면, 도 6에서는 각 로컬 퍼지 로직부(400a ~ 400n)의 입력이 3개(이동 로봇과 장애물간의 거리
Figure pat00047
, 장애물과 이동 로봇 진행 방향간의 각
Figure pat00048
, 이동 로봇 진행 방향과 목표 지점과의 방향 각
Figure pat00049
)이다. 각 입력 차수가 늘어남에 따라 퍼지 룰들이
Figure pat00050
이던 것이
Figure pat00051
로 늘어났다. 그에 따라 퍼지 룰(52) 및 나눔부(56) 역시 변한다. 그 퍼지 룰(52) 및 나눔부(56)의 동작 원리는 도 4의 퍼지룰(32) 및 나눔부(36)에 대한 설명에 의해 충분히 이해할 수 있다. 그 외, 구조나 동작 원리는 도 4에서와 완벽히 동일하다.
한편, 도 6의 이동 로봇의 장애물 회피 장치에 의한 이동 로봇의 장애물 회피 방법을 설명하는 플로우차트를 별도로 도시하지 않더라도 동종 업계에 종사하는 자라면 상술한 설명에 의해 충분히 이해가능하다. 즉, 도 6의 이동 로봇의 장애물 회피 장치에 의한 이동 로봇의 장애물 회피 방법은 우선, 다수의 퍼지룰을 갖는 각각의 로컬 퍼지 로직부(400a ~ 400n)가 이동 로봇과 장애물간의 거리, 상기 장애물과 상기 이동 로봇의 진행 방향간의 각, 및 상기 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보를 입력받아 이동 로봇에 작용되는 각 장애물에 대한 척력(
Figure pat00052
~
Figure pat00053
중 하나)을 구한다. 여기서,
Figure pat00054
~
Figure pat00055
은 중간 출력(intermediate outputs)이라고 할 수 있다. 이후, 합산부(500)가 구해진 척력들(
Figure pat00056
~
Figure pat00057
)을 하나로 합친다. 그리고 나서, 표준화부(600)가 하나로 합쳐진 척력들을 로컬 퍼지 로직부(100a ~ 100n)의 전체 개수로 나누어 표준화시킨다. 표준화부(600)의 출력이 최종적으로 구하고자 하는 척력(
Figure pat00058
)이 된다.
한편, 각각의 로컬 퍼지 로직부(400a ~ 400n)에 의해 각 장애물에 대한 척력을 구하는 단계를 보다 자세히 설명하면 다음과 같다. 먼저, 내장된 각각의 퍼지룰(50, 52)(퍼지 추론부라고도 함)은 입력받은 이동 로봇과 장애물간의 거리, 상기 장애물과 상기 이동 로봇의 진행 방향간의 각, 및 상기 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보에 근거하여 출력을 퍼지 추론한다. 이후, 퍼지 집합부(54)가 퍼지 추론된 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합친다. 그리고 나서, 나눔부(56)가 합쳐진 결과를 다수의 퍼지룰의 합으로 나눈다.
도 7은 이동 로봇이 적용될 실제 공간에서 종래의 방법과 본 발명의 방법을 통한 이동 로봇의 이동 궤적을 나타낸 도면으로서, 도 7의 (a)는 기존 포텐셜 필드 방법을 적용한 이동 로봇의 이동 궤적이고, 도 7의 (b)는 본 발명에 의한 이동 로봇의 이동 궤적이다.
기존 포텐셜 필드 방법을 적용한 이동 로봇은 계획된 경로를 따라 목표지점(goal)까지 이동하는 동안, 장애물간의 거리가 좁은 곳을 지나갈 경우 장애물 사이를 쉽게 지나지 못한다.
그러나, 본 발명에 의한 이동 로봇은 알려지지 않은 장애물이 있더라도 쉽게 회피하여 지나감을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.
100a ~ 100n, 400a ~ 400n : 로컬 퍼지 로직부
200, 500 : 합산부 300, 600 : 표준화부

Claims (8)

  1. 다수의 퍼지룰을 갖는 각각의 로컬 퍼지 로직이 이동 로봇과 장애물간의 거리 정보를 입력받아 상기 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 단계;
    상기 구해진 척력들을 하나로 합치는 단계; 및
    상기 하나로 합쳐진 척력들을 상기 로컬 퍼지 로직의 전체 개수로 나누어 표준화시키는 단계;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 방법.
  2. 청구항 1에 있어서,
    상기 각 장애물에 대한 척력을 구하는 단계는
    상기 다수의 퍼지룰의 각각이, 상기 입력된 이동 로봇과 장애물간의 거리 정보에 근거하여 출력을 퍼지 추론하는 단계;
    상기 퍼지 추론된 상기 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 단계; 및
    상기 합쳐진 결과를 상기 다수의 퍼지룰의 합으로 나누는 단계;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 방법.
  3. 다수의 퍼지룰을 갖는 각각의 로컬 퍼지 로직이 이동 로봇과 장애물간의 거리, 상기 장애물과 상기 이동 로봇의 진행 방향간의 각, 및 상기 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보를 입력받아 상기 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 단계;
    상기 구해진 척력들을 하나로 합치는 단계; 및
    상기 하나로 합쳐진 척력들을 상기 로컬 퍼지 로직의 전체 개수로 나누어 표준화시키는 단계;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 방법.
  4. 청구항 3에 있어서,
    상기 각 장애물에 대한 척력을 구하는 단계는
    상기 다수의 퍼지룰의 각각이, 상기 입력된 이동 로봇과 장애물간의 거리, 상기 장애물과 상기 이동 로봇의 진행 방향간의 각, 및 상기 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보에 근거하여 출력을 퍼지 추론하는 단계;
    상기 퍼지 추론된 상기 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 단계; 및
    상기 합쳐진 결과를 상기 다수의 퍼지룰의 합으로 나누는 단계;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 방법.
  5. 각각 다수의 퍼지룰을 갖추고, 이동 로봇과 장애물간의 거리 정보를 입력받아 상기 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 다수의 로컬 퍼지 로직부;
    상기 구해진 척력들을 하나로 합치는 합산부; 및
    상기 하나로 합쳐진 척력들을 상기 다수의 로컬 퍼지 로직부의 전체 개수로 나누어 표준화시키는 표준화부;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 장치.
  6. 청구항 5에 있어서,
    상기 다수의 로컬 퍼지 로직부의 각각은,
    상기 입력된 이동 로봇과 장애물간의 거리 정보에 근거하여 출력을 퍼지 추론하는 다수의 퍼지룰;
    상기 퍼지 추론된 상기 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 퍼지 집합부; 및
    상기 합쳐진 결과를 상기 다수의 퍼지룰의 합으로 나누는 나눔부;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 장치.
  7. 각각 다수의 퍼지룰을 갖추고, 이동 로봇과 장애물간의 거리, 상기 장애물과 상기 이동 로봇의 진행 방향간의 각, 및 상기 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보를 입력받아 상기 이동 로봇에 작용되는 각 장애물에 대한 척력을 구하는 다수의 로컬 퍼지 로직부;
    상기 구해진 척력들을 하나로 합치는 합산부; 및
    상기 하나로 합쳐진 척력들을 상기 다수의 로컬 퍼지 로직부의 전체 개수로 나누어 표준화시키는 표준화부;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 장치.
  8. 청구항 7에 있어서,
    상기 다수의 로컬 퍼지 로직부의 각각은,
    상기 입력된 이동 로봇과 장애물간의 거리, 상기 장애물과 상기 이동 로봇의 진행 방향간의 각, 및 상기 이동 로봇 진행 방향과 목표 지점과의 방향각에 대한 정보에 근거하여 출력을 퍼지 추론하는 다수의 퍼지룰;
    상기 퍼지 추론된 상기 다수의 퍼지룰의 결과를 하나의 퍼지 세트로 합치는 퍼지 집합부; 및
    상기 합쳐진 결과를 상기 다수의 퍼지룰의 합으로 나누는 나눔부;를 포함하는 것을 특징으로 하는 이동 로봇의 장애물 회피 장치.
KR1020110025440A 2011-03-22 2011-03-22 이동 로봇의 장애물 회피 장치 및 방법 KR101239606B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110025440A KR101239606B1 (ko) 2011-03-22 2011-03-22 이동 로봇의 장애물 회피 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110025440A KR101239606B1 (ko) 2011-03-22 2011-03-22 이동 로봇의 장애물 회피 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120107737A true KR20120107737A (ko) 2012-10-04
KR101239606B1 KR101239606B1 (ko) 2013-03-05

Family

ID=47279612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110025440A KR101239606B1 (ko) 2011-03-22 2011-03-22 이동 로봇의 장애물 회피 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101239606B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104029203A (zh) * 2014-06-18 2014-09-10 大连大学 实现空间机械臂避障的路径规划方法
CN110000781A (zh) * 2019-03-29 2019-07-12 郑州大学 基于发育网络的移动机器人运动方向预先决策方法
CN110032177A (zh) * 2018-01-12 2019-07-19 北京京东尚科信息技术有限公司 一种无人设备避障的方法和系统
CN111168675A (zh) * 2020-01-08 2020-05-19 北京航空航天大学 一种家用服务机器人的机械臂动态避障运动规划方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104029203A (zh) * 2014-06-18 2014-09-10 大连大学 实现空间机械臂避障的路径规划方法
CN110032177A (zh) * 2018-01-12 2019-07-19 北京京东尚科信息技术有限公司 一种无人设备避障的方法和系统
CN110000781A (zh) * 2019-03-29 2019-07-12 郑州大学 基于发育网络的移动机器人运动方向预先决策方法
CN111168675A (zh) * 2020-01-08 2020-05-19 北京航空航天大学 一种家用服务机器人的机械臂动态避障运动规划方法
CN111168675B (zh) * 2020-01-08 2021-09-03 北京航空航天大学 一种家用服务机器人的机械臂动态避障运动规划方法

Also Published As

Publication number Publication date
KR101239606B1 (ko) 2013-03-05

Similar Documents

Publication Publication Date Title
Ivanovic et al. Mats: An interpretable trajectory forecasting representation for planning and control
Elfring et al. Learning intentions for improved human motion prediction
Mohamed et al. Social-implicit: Rethinking trajectory prediction evaluation and the effectiveness of implicit maximum likelihood estimation
Gindele et al. Learning context sensitive behavior models from observations for predicting traffic situations
Garrido et al. Robot formation motion planning using fast marching
Li et al. Role playing learning for socially concomitant mobile robot navigation
CN112686281A (zh) 基于时空注意力和多级lstm信息表达的车辆轨迹预测方法
Rosello et al. Multi-agent reinforcement learning for multi-object tracking
KR101239606B1 (ko) 이동 로봇의 장애물 회피 장치 및 방법
Ramakrishna et al. Efficient out-of-distribution detection using latent space of β-vae for cyber-physical systems
de Brito et al. Social-vrnn: One-shot multi-modal trajectory prediction for interacting pedestrians
Boussemart et al. Supervised vs. unsupervised learning for operator state modeling in unmanned vehicle settings
Choi et al. Real-time nonparametric reactive navigation of mobile robots in dynamic environments
Khaksar et al. Sampling-based online motion planning for mobile robots: utilization of Tabu search and adaptive neuro-fuzzy inference system
Hagiwara et al. Hierarchical spatial concept formation based on multimodal information for human support robots
Chinchali et al. Multi-objective optimal control for proactive decision making with temporal logic models
US20220238131A1 (en) Method for processing sound used in speech recognition robot
Zhou et al. Autonomous vehicles’ intended cooperative motion planning for unprotected turning at intersections
Malviya et al. Autonomous social robot navigation using a behavioral finite state social machine
Albers et al. Online trajectory optimization and navigation in dynamic environments in ROS
Francis et al. Functional path optimisation for exploration in continuous occupancy maps
Muscholl et al. Simp3: Social interaction-based multi-pedestrian path prediction by self-driving cars
Regier et al. Improving navigation with the social force model by learning a neural network controller in pedestrian crowds
Sun et al. Social-transformer: Pedestrian trajectory prediction in autonomous driving scenes
Julka et al. Conditional generative adversarial networks for speed control in trajectory simulation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 8