KR101559886B1 - 이동 수단의 집단 제어를 위한 장치 및 방법 - Google Patents

이동 수단의 집단 제어를 위한 장치 및 방법 Download PDF

Info

Publication number
KR101559886B1
KR101559886B1 KR1020130165314A KR20130165314A KR101559886B1 KR 101559886 B1 KR101559886 B1 KR 101559886B1 KR 1020130165314 A KR1020130165314 A KR 1020130165314A KR 20130165314 A KR20130165314 A KR 20130165314A KR 101559886 B1 KR101559886 B1 KR 101559886B1
Authority
KR
South Korea
Prior art keywords
moving means
domain
moving
movement
unit
Prior art date
Application number
KR1020130165314A
Other languages
English (en)
Other versions
KR20150076757A (ko
Inventor
서인수
이호진
김제독
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130165314A priority Critical patent/KR101559886B1/ko
Publication of KR20150076757A publication Critical patent/KR20150076757A/ko
Application granted granted Critical
Publication of KR101559886B1 publication Critical patent/KR101559886B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/165Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/14Cruise control
    • B60Y2300/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60Y2300/165Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 이동 수단 제어시에 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우를 구분하고, 이동 과정에서 일정 수준의 개인적 이동을 허용하여 집단 제어의 효율성을 높일 수 있도록 한 이동 수단의 집단 제어를 위한 장치 및 방법에 관한 것으로, 군집 대열 내에서 이동수단 간 충돌을 방지하고, 군집을 통합적으로 제어하고, 통합 제어 신호를 전송하기 위한 전송장치를 구비하는 이동 수단 통합 제어부;대열 내에서 주변의 추종 이동수단을 감지를 위한 감지 수단을 구비하는 이동 수단 상태 및 환경 감지부;공간 정보, 위치정보 및 주변환경 데이터를 이용하여 목적지까지 이동경로를 파악하기 위한 항법장치;통합 제어신호를 수신받기 위한 수신장치를 구비하고, 공간정보를 제공하는 장치를 바탕으로 대열을 정의하고, 추종차량에 요구되는 대열 이탈 방지를 실행하는 유닛 제어 장치;를 포함하는 것이다.

Description

이동 수단의 집단 제어를 위한 장치 및 방법{An Apparatus and Method for Clustering Control of Transport}
본 발명은 이동 수단 제어에 관한 것으로, 구체적으로 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우를 구분하고, 이동 과정에서 일정 수준의 개인적 이동을 허용하여 집단 제어의 효율성을 높일 수 있도록 한 이동 수단의 집단 제어를 위한 장치 및 방법에 관한 것이다.
잘 알려진 바와 같이, 각종 주행 수단에 내장되어 주행 위치 탐색을 통해 자율 주행을 수행하는 자율 주행 장치는 주로 선박, 항공기 등에 적용되고 있는데, 최근 들어 도로를 주행하는 차량에도 적용되어 예를 들면, 주행 경로, 도로 혼잡도 등과 같은 다양한 정보를 모니터를 통해 사용자에게 알려주거나, 자율 주행 장치가 스스로 차량을 운전하거나 주행 상태를 제어한다.
이러한 자율 주행 장치는 예를 들어 차량과 같이 고속으로 움직이는 이동체의 경우, 주행 환경(예를 들면, 전방 차량 인식, 장애물 검출 등)을 실시간으로 인식하여 운전자에게 알려주거나, 주행 환경을 실시간으로 판단하여 스스로 그에 대응하는 각각의 응급 기능을 수행해야 하며, 이를 위해서 많은 데이터량을 실시간으로 처리할 수 있는 고성능의 프로세서가 필요하게 된다.
예를 들면, 차량 내에 스캐닝 장치, 카메라, 레이더 등과 같은 모든 센서 장비와, 컴퓨팅 장치와, 차량 제어 및 자율 주행용 소프트웨어를 탑재하여 기 설정된 조건에 따라 차량이 자동으로 주행할 수 있다.
특히, 군집 주행 방식은, 차량 자신이 GPS를 이용해 실시간으로 위치 좌표 및 주행 방향각, 주행 속도를 측정하고, 이 측정 정보를 request/response 기반의 ad-hoc 통신을 통해 군집 내 차량 간의 정보를 교환하고 교환한 정보를 바탕으로 군집 주행을 한다.
차량에서의 군집주행과 같은 이동수단의 집단제어는 다음과 같은 특성을 갖는다.
자동차 군집주행의 경우,도착지에 도착함에 있어 주어진 도로를 주행하여 목적지에 도착하는 것이 기술적인 목표이므로 군집 내에서 대열에 포함한 자동차는 정형화된 대열로 집단 제어하는 것이 충분하다.
하지만, 단순한 도착지로의 이동 목적이 아닌, 이동 과정에서 일정 수준의 개인적 이동 등 자유도가 요구되는 경우에는 군집 내에서도 일정 수준 이상의 개인적 이동을 허용하는 집단 제어 방법이 요구되고 있다.
대한민국 공개특허 제10-2011-0058384호 대한민국 등록특허 제10-0957137호
본 발명은 이와 같은 종래 기술의 이동 수단의 집단 제어의 문제를 해결하기 위한 것으로, 이동 수단 제어시에 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우를 구분하고, 이동 과정에서 일정 수준의 개인적 이동을 허용하여 집단 제어의 효율성을 높일 수 있도록 한 이동 수단의 집단 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 도로 인프라와 통신이 가능한 도로 환경에서 주변 환경을 정확하게 감지하여 효율적으로 군집 주행을 제어할 수 있도록 한 이동 수단의 집단 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 도로 인프라의 위치 정보를 이용해 효율적으로 군집 관리, 차량 간 통신을 위한 자원관리를 수행할 수 있고, 사고발생시 신속하게 처리할 수 있도록 한 이동 수단의 집단 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 이동 수단의 집단 제어를 위한 장치는 군집 대열 내에서 이동수단 간 충돌을 방지하고, 군집을 통합적으로 제어하고, 통합 제어 신호를 전송하기 위한 전송장치를 구비하는 이동 수단 통합 제어부;대열 내에서 주변의 추종 이동수단을 감지를 위한 감지 수단을 구비하는 이동 수단 상태 및 환경 감지부;공간 정보, 위치정보 및 주변환경 데이터를 이용하여 목적지까지 이동경로를 파악하기 위한 항법장치;통합 제어신호를 수신받기 위한 수신장치를 구비하고, 공간정보를 제공하는 장치를 바탕으로 대열을 정의하고, 추종차량에 요구되는 대열 이탈 방지를 실행하는 유닛 제어 장치;를 포함하는 것을 특징으로 한다.
여기서, 상기 이동 수단 통합 제어부는, 군집 주행 내의 어느 하나의 이동수단이 집단 내 속한 모든 타 이동수단과의 1:1 영역으로 설정되는 바운드리를 포함하는 도메인 1과, 도메인 1에 추가적으로 집단을 모두 포함할 수 있는 설정된 바운드리 영역으로 설정되는 도메인2 및 사용자의 활용 목적에 따라 지정되는 바운드리 영역들을 포함하는 도메인3을 기준으로, 이동수단이 도메인 2 내에서 장애물을 회피하면서 이동하도록 제어하고, 각 이동수단 사이의 안전거리는 도메인 1로 규정하며, 사용자의 활용 목적에 따른 추가적인 설정인 도메인3을 포함하는 것을 특징으로 한다.
그리고 시각,청각,미각,후각의 상황에 맞는 방법으로 정보를 전달하고, 시각,촉각,청각,후각적으로 경고를 하여 주위를 환기시키는 정보 표시 장치를 더 포함하는 것을 특징으로 한다.
그리고 상기 이동 수단 상태 및 환경 감지부는, 신호 및 통신을 통하여 차량의 공간 정보 및 위치를 확인하는 공간 정보 및 위치 확인 장치와,신호,통신,소리,빛을 이용하여 주변 환경을 감지하는 주변 환경 감지 장치와,차량의 속도, 방위 기울기를 감지하는 유닛 자세 감지 장치를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 이동 수단의 집단 제어를 위한 방법은 군집 대열 내에서 이동수단 간 충돌을 방지하고, 군집을 통합적으로 제어하는 이동 수단 통합 제어부를 구비하는 이동 수단의 집단 제어를 위한 장치의 제어에 있어서, 이동 수단 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우로 구분하여 제어하고, 군집 주행 내의 어느 하나의 이동수단이 집단 내 속한 모든 타 이동수단과의 1:1 영역으로 설정되는 바운드리를 포함하는 도메인 1과, 도메인 1에 추가적으로 집단을 모두 포함할 수 있는 설정된 영역으로 설정되는 바운드리를 포함하는 도메인 2및 사용자의 활용 목적에 따른 추가적인 설정에 따른 바운드리 영역들을 포함하는 도메인3을 기준으로, 이동수단이 도메인 2 내에서 장애물을 회피하면서 이동하도록 제어하고, 각 이동수단 사이의 안전거리는 도메인 1로 규정하며, 사용자의 활용 목적에 따른 추가적인 규정인 도메인3을 만족하며이동 수단의 집단 제어를 수행하는 것을 특징으로 한다.
여기서, 상기 독립 자율 주행은, 이동수단이 단독으로 목적지까지 이동하는지를 판단하고, 항법장치로부터 경로를 파악하고, 유닛 제어장치에 의해 목적지로 이동하는 단계;주변 환경을 감지하여 주행 경로 상에 타 이동수단이 없는 경우, 타 이동수단 있는 경우를 구분하는 단계;주행 경로 상에 타 이동수단이 없는 경우에는 장애물에 대한 우회동작과 함께 목적지로의 이동을 하는 단계;경로 상에 타 이동수단이 있는 경우에는 타 이동수단을 장애물로 인식하여 회피할 것인지, 일시적 추종 대상으로 인식하여 추종할지에 대한 동작과 함께 이동하게 할 것인지를 선택적 제어를 수행하는 단계;를 포함하는 것을 특징으로 한다.
그리고 군집 주행은, 적어도 2개의 이동수단이 같은 범주에 속하여 이동하는 것인지를 판단하는 단계;군집 주행 시 선도 이동수단을 추종 대상으로 선택하여 추종하는 방식과 공통의 목적지를 선택하여 같은 경로를 이동하는 방법 구분하여 선택하는 단계;선도 이동수단에 대한 추종 방식의 군집주행이면 추종 대상인 선도 이동수단이 항법장치를 바탕으로 경로를 파악하여 이동하는 단계;추종대상 없이 공통의 목적지를 선정하여 군집 주행을 실시하는 경우에는 경로를 제공하기 위한 항법장치를 사용하여 경로를 파악하여 이동하는 단계;목적지에 도달하기 위한 경로를 따라 이동하면서 주변환경을 감지하고 감지 상태에 따른 장애물 회피 동작을 하는 단계;이동하는 과정에서 군집에 포함된 이동수단을 정형적 군집주행 및 비정형적 군집주행으로 구분하여 이동하는 단계;를 포함하는 것을 특징으로 한다.
그리고 정형적 군집주행은, 특정한 배열을 통해 군집 내 포함된 이동수단을 횡, 종 방향에 맞춘 배열동작과 함께 이동하고, 추종 이동 수단간 안전거리를 균일하게 유지하면서 이동하면서 장애물이 출현할 경우에는 이를 회피하기 위해 주행 경로의 우회를 실행하고 회피가 완료되면 주어진 배열에 복귀하여 추종을 계속하는 것을 특징으로 한다.
그리고 비정형적 군집주행은, 이동수단이 도메인 2 내에서 장애물을 회피하면서 이동하도록 제어하고, 각 이동수단 사이의 안전거리는 도메인 1로 규정한 이후,경우에 따라 규정된 사용자의 활용 목적에 따른 추가적인 설정인 도메인3을 만족하며 이동 수단의 집단 제어를 수행하는 것을 특징으로 한다.
그리고 상기 도메인 1은 1:1 및 개인 영역 설정으로,
도메인 1 내부에 n대의 차량이 존재하고, 그 중 한 대의 차량이 r대의 차량과 차간 거리 조정 등의 목적으로 통신으로 연결이 되어 있는 경우, 각 차량과의 허용 거리를 설정하기 위해서는 n 대의 차량이 r 대의 차량과의 조합이 필요하고, 그 경우의 수는,
n개의 유닛이 있을 때,
Figure 112015061298635-pat00001
개의 1:1 대응이 이루어지고, 각 대응 간의 허용 거리를 설정하는 것을 특징으로 한다.
그리고 상기 도메인 2는 전체 영역 설정으로, 유닛을 모두 포함할 수 있는 제일 작은 원 및 다각형의 중심을 집단의 중심점으로 두고, 이 점을 중심으로 하는 원 및 다각형 모양으로 각 유닛의 집단 내 이동 영역을 제한하는 것을 특징으로 한다.
그리고 상기 도메인3은 구체적인 유닛의 움직임에 대한 규정의 설정으로,사용자의 활용 목적에 따른 유닛의 움직임,추종 방법,유닛들의 이동 순서 등 유닛의 움직임에 대한 추가적인 제한을 설정하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 이동 수단의 집단 제어를 위한 장치 및 방법은 다음과 같은 효과를 갖는다.
첫째, 이동 수단 제어시에 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우를 구분하여 이동 수단의 집단 제어의 효율성을 높일 수 있다.
둘째, 군집 주행시에 이동 수단의 이동 과정에서 일정 수준의 개인적 이동을 허용하여 집단 제어의 효율성을 높일 수 있다.
셋째, 도로 인프라와 통신 가능한 도로 환경에서 주변 환경을 정확하게 감지하여 효율적으로 군집 주행을 제어할 수 있다.
넷째, 도로 인프라의 위치 정보를 이용해 효율적으로 군집 관리, 차량 간 통신을 위한 자원관리를 수행할 수 있고, 사고발생시 신속하게 처리할 수 있도록 한다.
도 1은 본 발명에 따른 이동 수단의 집단 제어를 위한 장치의 구성도
도 2a는 독립 자율 주행시의 주변 환경 감시 장치의 동작 상태를 나타낸 구성도
도 2b는 본 발명에 따른 독립 자율 주행시의 이동 수단의 집단 제어 방법을 나타낸 플로우 차트
도 3a는 정형적 군집 주행 상태를 나타낸 구성도
도 3b는 본 발명에 따른 군집 자율 주행시의 이동 수단의 집단 제어 방법을 나타낸 플로우 차트
도 4는 비정형적 군집 주행시의 도메인 설정 방법을 나타낸 구성도
도 5는 비정형 자율 주행의 일 예를 나타낸 구성도
이하, 본 발명에 따른 이동 수단의 집단 제어를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 이동 수단의 집단 제어를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 이동 수단의 집단 제어를 위한 장치의 구성도이다.
본 발명은 이동 수단 제어시에 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우를 구분하고, 이동 과정에서 일정 수준의 개인적 이동을 허용하여 집단 제어의 효율성을 높일 수 있도록 한 것이다.
이를 위한 본 발명에 따른 이동 수단의 집단 제어를 위한 장치는 군집 대열 내에서 이동수단 간 충돌을 방지하는 제어를 수행하고, 군집을 통합적으로 제어하고, 통합 제어 신호를 전송하기 위한 전송장치를 구비하는 이동 수단 통합 제어부(100)와, 차량의 속도, 방위, 기울기를 감지하여 대열 내에서 주변의 추종 이동수단을 감지를 위한 감지 수단을 구비하는 이동 수단 상태 및 환경 감지부(200)와, 공간 정보, 위치정보 및 주변환경 등의 데이터를 이용하여 목적지까지 이동경로를 파악하기 위한 항법장치(300)와, 추종 이동수단이 통합 제어신호를 수신받기 위한 수신장치를 구비하고, 공간정보를 제공하는 장치를 바탕으로 대열을 정의하고, 추종차량에 요구되는 대열 이탈 방지를 실행하는 유닛 제어 장치(400)와, 시각, 청각,미각,후각 등 상황에 맞는 다양한 방법으로 정보를 전달하고, 시각,촉각,청각,후각 적으로 경고를 하여 주위를 환기시키는 정보 표시 장치(500)를 포함한다.
여기서, 유닛은 이동 수단을 의미하는 것으로, 바퀴, 다리,날개 및 기타 다양한 구조체로 이동할 수 있는 기계적 메커니즘을 갖는 물체를 뜻한다.
그리고 이동 수단 상태 및 환경 감지부(200)는 신호 및 통신을 통하여 차량의 공간 정보 및 위치를 확인하는 공간 정보 및 위치 확인 장치와, 신호, 통신,소리,빛 등을 이용하여 주변 환경을 감지하는 주변 환경 감지 장치와, 차량의 속도, 방위 기울기 등을 감지하는 유닛 자세 감지 장치를 포함한다.
그리고 상기 이동 수단 통합 제어부(100)는, 각 수신정보의 처리 및 수신된 정보를 바탕으로 유닛의 거동에 대한 명령신호를 송신하여 실제적 제어 등을 수행하기 위한 장치와, 유닛의 제어를 위한 제어명령을 외부에서 송신할 수 있는 일련의 장치를 포함한다.유닛의 제어 관점에서, 군집 주행 내의 어느 하나의 이동수단이 집단 내 속한 모든 타 이동수단과의 1:1 영역으로 설정되는 바운드리를 포함하는 도메인 1로, 도메인 1에 추가적으로 집단을 모두 포함할 수 있도록 설정된 영역 바운드리를 포함하는 도메인 2로, 사용자의 활용 목적에 따라 지정된 영역의 바운드리 영역들을 포함하는 도메인 3으로 규정한다.
이와 같은 도메인의 지정을 통해,이동수단이 도메인 2 내에서 자유롭게 장애물을 회피하면서 이동하도록 제어하고, 각 이동수단 사이의 안전거리는 도메인 1로 규정한다.
또한, 경우에 따라 주행 우선순위의 설정 및 특수한 배열 형태 등 사용자의 활용 목적에 따라 특수한 상황을 반영할 수 있도록 지정된 도메인3을 통해 세부적인 유닛의 동작에 대한 제어가 가능하며, 도메인 3에 대한 동작을 위해, 알고리즘 및 소프트웨어 등을 추가적으로 탑재하여 활용할 수 있다.
본 발명에서 이동 수단의 이동은 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우로 구분하여 제어한다.
먼저, 독립 자율 주행에 관하여 설명하면 다음과 같다.
도 2a는 독립 자율 주행시의 주변 환경 감시 장치의 동작 상태를 나타낸 구성도이고, 도 2b는 본 발명에 따른 독립 자율 주행시의 이동 수단의 집단 제어 방법을 나타낸 플로우 차트이다.
독립 자율 주행은 이동수단이 단독으로 목적지까지 이동하는 것을 의미하는 것이다.
독립 자율 주행은 먼저, 이동수단이 단독으로 목적지까지 이동하는지를 판단한다.(S201)
그리고 이동수단이 항법장치(300)로부터 경로를 파악하고, 유닛 제어장치(400)에 의해 목적지로 이동을 실시한다.(S202)
이어, 경로를 따라 주행하는 과정에서 이동 수단 상태 및 환경 감지부(200)의 유닛 상태 감지 장치 및 주변 환경 감지 장치를 통하여 주변 환경 감지를 실시한다.(S203)
이때, 주행 중 주변상황에 대한 감지 형태는 크게 주행 경로 상에 타 이동수단이 없는 경우, 타 이동수단 있는 경우 등 2가지로 구분한다.(S204)
주행 경로 상에 타 이동수단이 없는 경우에는 일반적인 장애물에 대한 우회동작과 함께 목적지로의 이동을 실행한다.(S205)
그리고 경로 상에 타 이동수단이 있는 경우, 도 2a에서와 같이, 타 이동수단을 장애물로 인식하여 회피할 것인지, 일시적 추종 대상으로 인식하여 추종할지에 대한 동작과 함께 이동하게 할 것인지를 선택적 제어를 수행한다.(S206)
이어, 추종과 회피 등 선택에 따라 이동 수단 상태 및 환경 감지부(200)의 주변 환경 감지 장치를 통하여 주변환경을 감지하고(S207), 유닛제어 장치(400)에 의해 이동수단은 타 이동수단을 회피하거나 혹은 추종하여 이동한다.(S208)
그리고 군집 주행에 관하여 설명하면 다음과 같다.
도 3a는 정형적 군집 주행 상태를 나타낸 구성도이고, 도 3b는 본 발명에 따른 군집 자율 주행시의 이동 수단의 집단 제어 방법을 나타낸 플로우 차트이다.
군집 주행은 2개 이상의 이동수단이 같은 범주에 속하여 이동하는 것을 의미한다.
먼저, 군집 주행은 2개 이상의 이동수단이 같은 범주에 속하여 이동하는 것인지를 판단한다.(S301)
이어, 군집 주행 시 선도 이동수단을 추종 대상으로 선택하여 추종하는 방식과 공통의 목적지를 선택하여 같은 경로를 이동하는 방법 등 2가지로 구분하여 선택한다.(S302)
그리고 선도 이동수단에 대한 추종 방식의 군집주행일 경우에는 추종 대상인 선도 이동수단은 항법장치를 바탕으로 경로를 파악한다.(S303)
여기서, 추종 이동수단은 이를 따라가는 방식이므로 추종대상에는 항법장치가 요구되지 않을 수 있다.
그리고 추종대상 없이 공통의 목적지를 선정하여 군집 주행을 실시하는 경우에는 경로를 제공하기 위한 항법장치를 사용하여 경로를 파악한다.(S304)
이어, 추종 및 비추종 두 방식 모두 유닛 제어장치 및 기타의 수단으로 목적지에 도달하기 위한 경로를 따라 이동한다.(S305)
그리고 이동하는 과정에서 이동 수단 상태 및 환경 감지부(200)의 주변 환경 감지 장치를 통하여 주변환경을 감지하고 감지 상태에 따른 장애물 회피 동작을 실시한다.(S306)
이와 같이 이동하는 과정에서 군집에 포함된 이동수단을 정형적 군집주행 및 비정형적 군집주행으로 구분하여 이동한다.(S307)
정형적 군집주행은 도 3a에서와 같다.
정형적 군집주행은 특정한 배열을 통해 군집 내 포함된 이동수단을 횡, 종 방향에 맞춘 배열동작과 함께 이동하는 것이다.
이때 군집에 포함된 이동수단은 이동 수단 상태 및 환경 감지부(200)의 주변 환경 감지 장치를 통하여 주변환경을 감지하고, 추종 이동 수단간 안전거리를 균일하게 유지하면서 이동한다.
만일, 급작스런 장애물 등이 출현할 경우에는 이를 회피하기 위해 주행 경로의 우회를 실행하고 회피가 완료되면 주어진 배열에 복귀하여 추종을 계속하도록 동작한다.
비정형적 군집 주행을 설명하면 다음과 같다.
도 4는 비정형적 군집 주행시의 도메인 설정 방법을 나타낸 구성도이고, 도 5는 비정형 자율 주행의 일 예를 나타낸 구성도이다.
도 4에서와 같이, 군집 주행 내의 이동수단은 기본적으로 집단 내 속한 모든 타 이동수단과의 1:1 영역을 설정(도메인 1의 바운드리)한다.
그리고 도메인 1에 추가적으로 집단을 모두 포함할 수 있는 설정된 영역을 설정(도메인 2의 바운드리)한다.
이동수단은 도메인 2 내에서 자유롭게 장애물을 회피하면서 이동하고, 이때, 각 이동수단 사이의 안전거리는 도메인 1로 규정된다.
비정형적 군집 주행을 하기 위한 위의 두 도메인의 자세한 설명은 아래와 같다.
도메인 1은 1:1 및 개인 영역 설정의 특징을 갖는다.
도 4에서와 같이, n개의 유닛이 있을 때,
Figure 112015061298635-pat00002
개의 1:1 대응이 이루어진다.
즉, 도메인 1 내부에 n대의 차량이 존재하고, 그 중 한 대의 차량이 r대의 차량과 차간 거리 조정 등의 목적으로 통신으로 연결이 되어 있는 경우, 각 차량과의 허용 거리를 설정하기 위해서는 n 대의 차량이 r 대의 차량과의 조합이 필요하게 되며, 그 경우의 수는 수식에서와 같이 표현된다.
이 수식에서와 같이 구해진 경우의 개 수로 차량간 허용 거리를 설정한다.
이때, 각 대응 간의 허용 거리에 대한 바운드리를 설정하고 이를 도메인 1이라고 한다.
그리고 도메인 2는 전체 영역 설정의 특징을 갖고, 유닛을 모두 포함할 수 있는 제일 작은 원 및 다각형의 중심을 집단의 중심점으로 두고, 이 점을 중심으로 하는 원 및 다각형 모양으로 각 유닛의 집단 내 이동 영역을 제한에 대한 바운드리를 설정하고 이 영역을 도메인 2라고 한다.
이와 같은 도메인 1과 도메인 2의 설정 내용에 따라서, 다양한 형태의 군집 자율주행이 가능해 진다.
도 5는 비정형 군집주행의 일 예이다.
도메인 1로 각 유닛은 유닛 사이의 최소 거리를 정의하고, 도메인 2로 집단 분산의 크기를 정의한다. 이러한 조건 내에서 설정된 값에 따라 정형적 군집주행의 형태를 보일 수도 있고, 영역 내에서 비정형적인 군집주행의 형태를 보일 수도 있다.
이와 같은 본 발명에 따른 이동 수단의 집단 제어를 위한 장치 및 방법은 이동 수단 제어시에 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우를 구분하고, 이동 과정에서 일정 수준의 개인적 이동을 허용하여 집단 제어의 효율성을 높일 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 이동 수단 통합 제어부 200. 이동 수단 상태 및 환경 감지부
300. 항법 장치 400. 유닛 제어 장치
500. 정보 표시 장치

Claims (12)

  1. 군집 대열 내에서 이동수단 간 충돌을 방지하고, 군집을 통합적으로 제어하고, 통합 제어 신호를 전송하기 위한 전송장치를 구비하는 이동 수단 통합 제어부;
    대열 내에서 주변의 추종 이동수단을 감지하기 위한 위한 감지 수단을 구비하는 이동 수단 상태 및 환경 감지부;
    공간 정보, 위치정보 및 주변환경 데이터를 이용하여 목적지까지 이동경로를 파악하기 위한 항법장치;
    통합 제어신호를 수신받기 위한 수신장치를 구비하고, 공간정보를 제공하는 장치를 바탕으로 대열을 정의하고, 추종차량에 요구되는 대열 이탈 방지를 실행하는 유닛 제어 장치;를 포함하고,
    상기 이동 수단 통합 제어부는, 군집 주행 내의 어느 하나의 이동수단이 집단 내 속한 모든 타 이동수단과의 1:1 영역으로 설정되는 바운드리를 포함하는 도메인 1과, 도메인 1에 추가적으로 집단을 모두 포함할 수 있는 설정된 바운드리 영역으로 설정되는 도메인 2 및 사용자의 활용 목적에 따라 지정되는 바운드리 영역들을 포함하는 도메인 3을 기준으로, 이동수단이 도메인 2 내에서 장애물을 회피하면서 이동하도록 제어하고, 각 이동수단 사이의 안전거리는 도메인 1로 규정하며, 사용자의 활용 목적에 따른 추가적인 설정인 도메인 3을 포함하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 장치.
  2. 삭제
  3. 제 1 항에 있어서, 시각,청각,미각,후각의 상황에 맞는 방법으로 정보를 전달하고, 시각,촉각,청각,후각적으로 경고를 하여 주위를 환기시키는 정보 표시 장치를 더 포함하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 장치.
  4. 제 1 항에 있어서, 상기 이동 수단 상태 및 환경 감지부는,
    신호 및 통신을 통하여 차량의 공간 정보 및 위치를 확인하는 공간 정보 및 위치 확인 장치와,
    신호,통신,소리,빛을 이용하여 주변 환경을 감지하는 주변 환경 감지 장치와,
    차량의 속도, 방위 기울기를 감지하는 유닛 자세 감지 장치를 포함하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 장치.
  5. 군집 대열 내에서 이동수단 간 충돌을 방지하고, 군집을 통합적으로 제어하는 이동 수단 통합 제어부를 구비하는 이동 수단의 집단 제어를 위한 장치의 제어에 있어서,
    이동 수단 단독으로 이동하는 독립 자율 주행의 경우와 집단으로 이동하는 군집 자율 주행의 경우로 구분하여 제어하고,
    상기 독립 자율 주행은, 주행 경로 상에 타 이동수단이 없는 경우에는 장애물에 대한 우회동작과 함께 목적지로의 이동을 하고, 경로 상에 타 이동수단이 있는 경우에는 타 이동수단을 장애물로 인식하여 회피할 것인지, 일시적 추종 대상으로 인식하여 추종할지에 대한 동작과 함께 이동하게 할 것인지를 선택적 제어를 수행하고,
    군집 주행 내의 어느 하나의 이동수단이 집단 내 속한 모든 타 이동수단과의 1:1 영역으로 설정되는 바운드리를 포함하는 도메인 1과, 도메인 1에 추가적으로 집단을 모두 포함할 수 있는 설정된 영역으로 설정되는 바운드리를 포함하는 도메인 2를 기준으로, 이동수단이 도메인 2 내에서 장애물을 회피하면서 이동하도록 제어하고, 각 이동수단 사이의 안전거리는 도메인 1로 규정하여 이동 수단의 집단 제어를 수행하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 방법.
  6. 삭제
  7. 제 5 항에 있어서, 군집 주행은,
    적어도 2개의 이동수단이 같은 범주에 속하여 이동하는 것인지를 판단하는 단계;
    군집 주행 시 선도 이동수단을 추종 대상으로 선택하여 추종하는 방식과 공통의 목적지를 선택하여 같은 경로를 이동하는 방법을 구분하여 선택하는 단계;
    선도 이동수단에 대한 추종 방식의 군집주행이면 추종 대상인 선도 이동수단이 항법장치를 바탕으로 경로를 파악하여 이동하는 단계;
    추종대상 없이 공통의 목적지를 선정하여 군집 주행을 실시하는 경우에는 경로를 제공하기 위한 항법장치를 사용하여 경로를 파악하여 이동하는 단계;
    목적지에 도달하기 위한 경로를 따라 이동하면서 주변환경을 감지하고 감지 상태에 따른 장애물 회피 동작을 하는 단계;
    이동하는 과정에서 군집에 포함된 이동수단을 정형적 군집주행 및 비정형적 군집주행으로 구분하여 이동하는 단계;를 포함하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 방법.
  8. 제 7 항에 있어서, 정형적 군집주행은,
    특정한 배열을 통해 군집 내 포함된 이동수단을 횡, 종 방향에 맞춘 배열동작과 함께 이동하고, 추종 이동 수단간 안전거리를 균일하게 유지하면서 이동하면서 장애물 등이 출현할 경우에는 이를 회피하기 위해 주행 경로의 우회를 실행하고 회피가 완료되면 주어진 배열에 복귀하여 추종을 계속하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 방법.
  9. 제 7 항에 있어서, 비정형적 군집주행은,
    이동수단이 도메인 2 내에서 장애물을 회피하면서 이동하도록 제어하고, 각 이동수단 사이의 안전거리는 도메인 1로 규정한 이후, 경우에 따라 규정된 사용자의 활용 목적에 따른 추가적인 설정인 도메인 3을 만족하며 이동 수단의 집단 제어를 수행하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 방법.
  10. 제 5 항에 있어서, 상기 도메인 1은 1:1 및 개인 영역 설정으로,
    도메인 1 내부에 n대의 차량이 존재하고, 그 중 한 대의 차량이 r대의 차량과 차간 거리 조정 등의 목적으로 통신으로 연결이 되어 있는 경우, 각 차량과의 허용 거리를 설정하기 위해서는 n 대의 차량이 r 대의 차량과의 조합이 필요하고, 그 경우의 수는,
    n개의 유닛이 있을 때,
    Figure 112015061298635-pat00003
    개의 1:1 대응이 이루어지고, 각 대응 간의 허용 거리를 설정하는 것을 특징으로 하는 이동 수단의 집단 제어를 위한 방법.
  11. 제 5 항에 있어서, 상기 도메인 2는 전체 영역 설정으로,
    유닛을 모두 포함할 수 있는 제일 작은 원 및 다각형의 중심을 집단의 중심점으로 두고, 이 점을 중심으로 하는 원 및 다각형 모양으로 각 유닛의 집단 내 이동 영역을 제한하는 것을 특징으로 이동 수단의 집단 제어를 위한 방법.
  12. 제 9 항에 있어서, 상기 도메인 3은 유닛의 움직임에 대한 규정의 설정으로,
    사용자의 활용 목적에 따른 유닛의 움직임, 추종 방법, 유닛들의 이동 순서에 관한 유닛의 움직임에 대한 추가적인 제한을 설정하는 것을 특징으로 이동 수단의 집단 제어를 위한 방법.
KR1020130165314A 2013-12-27 2013-12-27 이동 수단의 집단 제어를 위한 장치 및 방법 KR101559886B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130165314A KR101559886B1 (ko) 2013-12-27 2013-12-27 이동 수단의 집단 제어를 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130165314A KR101559886B1 (ko) 2013-12-27 2013-12-27 이동 수단의 집단 제어를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150076757A KR20150076757A (ko) 2015-07-07
KR101559886B1 true KR101559886B1 (ko) 2015-10-26

Family

ID=53789665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130165314A KR101559886B1 (ko) 2013-12-27 2013-12-27 이동 수단의 집단 제어를 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101559886B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190001155A (ko) 2017-06-26 2019-01-04 한국원자력 통제기술원 차량이동 시스템, 및 개별차량 단말기, 통제 단말기, 및 차량이동 시스템의 차량 이동을 위한 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286007B1 (ko) 2016-12-01 2021-08-05 한화디펜스 주식회사 추종 주행 제어 방법 및 추종 주행 제어 장치
EP3828657A1 (en) 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
US11430071B2 (en) 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
KR102043152B1 (ko) * 2017-11-17 2019-12-02 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2021145481A1 (ko) * 2020-01-16 2021-07-22 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
KR102382116B1 (ko) * 2020-08-05 2022-04-01 한양대학교 에리카산학협력단 자율주행 이동수단의 군집 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007176355A (ja) * 2005-12-28 2007-07-12 Matsushita Electric Ind Co Ltd 自動運転制御装置、及びそれを搭載した車両
JP2008207729A (ja) * 2007-02-27 2008-09-11 Mitsubishi Heavy Ind Ltd 自動走行車両および追尾システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007176355A (ja) * 2005-12-28 2007-07-12 Matsushita Electric Ind Co Ltd 自動運転制御装置、及びそれを搭載した車両
JP2008207729A (ja) * 2007-02-27 2008-09-11 Mitsubishi Heavy Ind Ltd 自動走行車両および追尾システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190001155A (ko) 2017-06-26 2019-01-04 한국원자력 통제기술원 차량이동 시스템, 및 개별차량 단말기, 통제 단말기, 및 차량이동 시스템의 차량 이동을 위한 방법

Also Published As

Publication number Publication date
KR20150076757A (ko) 2015-07-07

Similar Documents

Publication Publication Date Title
KR101559886B1 (ko) 이동 수단의 집단 제어를 위한 장치 및 방법
KR102071154B1 (ko) 자율 주행 차량의 주행 결정을 위한 주변 환경 구성 방법 및 시스템
EP3309640B1 (en) Group driving style learning framework for autonomous vehicles
US11313976B2 (en) Host vehicle position estimation device
US10077007B2 (en) Sidepod stereo camera system for an autonomous vehicle
US11592829B2 (en) Control device and control method, program, and mobile object
WO2015186647A1 (ja) 障害物情報管理装置
JP2020512635A (ja) 自動運転乗り物のための動的センサ選択
US11059481B2 (en) Vehicle control system, vehicle control method, and vehicle control program
WO2018071106A1 (en) Systems and methods for landing a drone on a moving base
US11755019B2 (en) Vehicle control device and vehicle control system
JP2018158721A (ja) 自動運転車両に用いられる衝突予測及びエアバッグ事前展開システム
US20200209869A1 (en) Information processing device, autonomous mobile device, method, and program
US11878711B2 (en) Method of sharing and using sensor data
WO2020250725A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN110461677B (zh) 车辆控制系统、车辆控制方法及存储介质
JPWO2010140215A1 (ja) 車両用周辺監視装置
US11514790B2 (en) Collaborative perception for autonomous vehicles
CN104742901B (zh) 用于识别机动车逆向于行驶方向地驶入道路的行车带中的方法和控制与检测装置
US20210253136A1 (en) Vehicle control device, vehicle control method, and storage medium
US20200331458A1 (en) Vehicle control system, vehicle control method, and storage medium
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
US10845814B2 (en) Host vehicle position confidence degree calculation device
KR20220107881A (ko) 표면 유도 차량 거동
KR102355426B1 (ko) 주행 경로 상의 장애물 탐색 및 회피를 위한 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 4