KR20100127963A - 무인 굴삭기의 전도 방지 시스템 및 방법 - Google Patents

무인 굴삭기의 전도 방지 시스템 및 방법 Download PDF

Info

Publication number
KR20100127963A
KR20100127963A KR1020090046327A KR20090046327A KR20100127963A KR 20100127963 A KR20100127963 A KR 20100127963A KR 1020090046327 A KR1020090046327 A KR 1020090046327A KR 20090046327 A KR20090046327 A KR 20090046327A KR 20100127963 A KR20100127963 A KR 20100127963A
Authority
KR
South Korea
Prior art keywords
unmanned excavator
excavator
unmanned
information
level value
Prior art date
Application number
KR1020090046327A
Other languages
English (en)
Other versions
KR101090183B1 (ko
Inventor
김봉석
김영욱
문성민
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020090046327A priority Critical patent/KR101090183B1/ko
Publication of KR20100127963A publication Critical patent/KR20100127963A/ko
Application granted granted Critical
Publication of KR101090183B1 publication Critical patent/KR101090183B1/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

본 발명은 무인 굴삭기의 전도 방지 시스템 및 방법에 관한 것으로, 조정기의 입력부를 통하여 원격으로 조정 중인 사용자에게 무인 굴삭기의 전도 발생 가능성을 인지시켜 무인 굴삭기의 전도 발생을 미연하기 위한 것이다. 본 발명에 따르면, 무인 굴삭기는 자세정보와 위치정보를 포함하는 상태정보를 검출하여 전송하는 센서모듈을 갖는다. 조정기는 무인 굴삭기와의 무선통신을 통하여 사용자의 입력부 조작에 따른 제어 신호를 무인 굴삭기로 전송하여 작업을 수행한다. 조정기는 작업 중인 무인 굴삭기로부터 상태정보를 수신하고, 수신한 상태정보를 토대로 무인 굴삭기의 안정도 레벨값을 산출한다. 그리고 조정기는 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 사용자가 촉각으로 느낄 수 있도록 입력부로 진동을 출력하여 사용자에게 경보한다. 또한 조정기는 산출한 안정도 레벨값이 임계 레벨값을 초과하게 되면, 안정도 레벨값이 임계 레벨값 안쪽으로 이동할 수 있는 제어 명령을 무인 굴삭기에 전송하여 무인 굴삭기의 전도 발생을 미연에 방지할 수 있다.
무인, 굴삭기, 전도, 전복, 진동

Description

무인 굴삭기의 전도 방지 시스템 및 방법{System and method for preventing overturn of unmanned excavator}
본 발명은 무인 굴삭 시스템에 관한 것으로, 더욱 상세하게는 무인 굴삭기를 원격으로 조정하는 과정에서 발생할 수 있는 무인 굴삭기의 전도를 미연에 방지할 수 있는 무인 굴삭기의 전도 방지 시스템 및 방법에 관한 것이다.
일반적으로 굴삭기는 주로 흙을 파는 작업을 하기 위한 중장비로서, 경우에 따라서는 산악지대나 광산과 같은 사고 위험이 높은 작업장 및 심도 깊은 터널 공사에 이르기까지 다양하게 운용되고 있다. 이러한 위험 장소에서 작업을 할 경우 굴삭기가 전도되는 사고나 갱도가 무너지는 등의 각종 재해로 인하여 굴삭기 탑승자가 사고를 당하는 문제점이 있었다.
이러한 문제점을 해결하기 위해, 굴삭기를 무인화하고 굴삭기(이하 '무인 굴삭기'라 함)로부터 이격된 안전한 장소, 예컨대 관제실에서 사용자가 조정기를 통하여 원격 조정할 수 있도록 하는 무인 굴삭 시스템이 연구되고 있다. 현재 주로 상용화된 것은 단방향 제어방식으로서 이것은 사용자가 작업현장을 볼 수 있는 근거리에서 직접 무인 굴삭기의 작업상황을 지켜보면서 무인 굴삭기에 각종 명령을 송신하고, 명령을 수신한 무인 굴삭기는 해당 명령에 따라 작업을 수행하는 방식이다.
이와 같은 종래의 무인 굴삭 시스템은 사용자가 굴삭 작업이 이루어지는 근방에 위치하기는 하지만, 작업 현장을 사용자가 직접 육안으로 확인하면서 굴삭 작업을 진행하는 것에 비해서 작업 현장을 정확히 파악하는 데는 한계가 있다. 이로 인해 작업 현장의 지형, 지물과 같은 지리적인 요소에 의해 여전히 무인 굴삭기가 전도하는 문제가 발생될 수 있다.
따라서, 본 발명의 목적은 무인 굴삭기를 원격으로 조정하는 과정에서 발생할 수 있는 무인 굴삭기의 전도를 미연에 방지할 수 있는 무인 굴삭기의 전도 방지 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 다른 목적은 조정기의 입력부를 통하여 원격으로 조정 중인 사용자에게 무인 굴삭기의 전도 발생 가능성을 인지시켜 무인 굴삭기의 전도 발생을 미연에 방지할 수 있는 무인 굴삭기의 전도 방지 시스템 및 방법을 제공하기 위한 것이다.
상기 목적을 달성하기 위하여, 본 발명은 무인 굴삭기를 원격으로 조정 중 무인 굴삭기의 자세정보와 위치정보를 획득하여 무인 굴삭기의 전도 발생 가능성을 판단하여 조취함으로써 무인 굴삭기의 전도 발생을 미연에 방지할 수 있는 무인 굴삭기의 전도 방지 시스템 및 방법을 제공한다.
본 발명은 무인 굴삭기 및 조정기를 포함하는 전도 방지 시스템을 제공한다. 상기 무인 굴삭기는 자세정보와 위치정보를 포함하는 상태정보를 검출하여 전송하는 센서모듈을 구비한다. 상기 조정기는 상기 무인 굴삭기와의 무선통신을 통하여 사용자의 입력부 조작에 따른 제어 신호를 상기 무인 굴삭기로 전송하여 작업을 수행하고, 작업 중인 상기 무인 굴삭기로부터 상기 상태정보를 수신하고, 상기 수신한 상태정보를 토대로 상기 무인 굴삭기의 안정도 레벨값을 산출하고, 상기 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 상기 사용자가 촉각으로 느낄 수 있도록 진동을 출력하여 상기 사용자에게 경보한다.
본 발명에 따른 전도 방지 시스템에 있어서, 상기 무인 굴삭기의 센서모듈은 상기 무인 굴삭기의 롤(roll), 피치(pitch) 및 요(yaw) 방향의 자세정보를 검출하는 모션센서와, 상기 위치정보로 DGPS(Differential Global Positioning System) 정보를 검출하는 DGPS 모듈을 포함한다. 이때 상기 모션센서는 자이로 센서, 삼축 가속도 센서 및 자기 센서를 포함한다.
본 발명은 또한, 조정기가 사용자의 입력부 조작에 따른 제어 신호를 무인 굴삭기로 전송하여 작업을 수행하는 작업 수행 단계와, 상기 조정기가 작업 중인 상기 무인 굴삭기로부터 상기 무인 굴삭기의 자세정보와 위치정보를 포함하는 상태정보를 수신하는 수신 단계와, 상기 조정기가 상기 수신한 상태정보를 토대로 상기 무인 굴삭기의 안정도 레벨값을 산출하는 산출 단계와, 상기 조정기가 상기 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 사용자가 촉각으로 느낄 수 있도록 진동을 출력하여 사용자에게 경보하는 전도 경보 단계를 포함하는 무인 굴삭기의 전도 방지 방법을 제공한다.
본 발명에 따른 무인 굴삭기의 전도 방지 방법에 있어서, 상기 수신 단계에서 상기 조정기가 상기 무인 굴삭기의 센서모듈로부터 통하여 상기 상태정보를 수신한다. 이때 상기 자세정보는 무인 굴삭기의 롤(roll), 피치(pitch) 및 요(yaw) 방향의 정보이다. 상기 위치정보는 DGPS(Differential Global Positioning System) 정보이다.
본 발명에 따른 무인 굴삭기의 전도 방지 방법에 있어서, 상기 산출 단계에서 상기 산출된 안정도 레벨값은 ZMP 좌표값일 수 있다.
이때 상기 전도 경보 단계는 상기 조정기가 상기 산출한 ZMP 좌표값을 중심 부분의 안전영역, 상기 안정영역 외곽의 둘러싸는 경보영역 및 상기 경보영역 외곽의 둘러싸는 전도영역을 포함하는 전도경보창에 표시하는 단계와, 상기 조정기가 상기 산출한 ZMP 좌표값이 상기 안정영역을 벗어나면 진동을 출력하는 단계를 포함할 수 있다.
상기 전도 경보 단계는 상기 조정기가 상기 산출한 ZMP 좌표값이 상기 안정영역을 벗어나면 상기 ZMP 좌표값이 상기 안정영역으로 들어가도록 상기 무인 굴삭기로 제어 명령을 전송하는 단계를 더 포함할 수 있다.
상기 전도 경보 단계는 상기 조정기가 상기 산출한 ZMP 좌표값이 상기 안정영역을 벗어나면 상기 안정영역의 중심에서 떨어진 거리에 비례하는 세기로 진동을 출력할 수 있다.
본 발명은 또한, 통신부, 입력부 및 제어부를 포함하여 구성되는 전도 방지 시스템의 조정기를 포함한다. 상기 통신부는 무인 굴삭기와 무선통신을 수행한다. 상기 입력부는 상기 무인 굴삭기를 조작하기 위한 사용자의 제어 신호를 입력받는다. 그리고 상기 제어부는 상기 통신부를 통하여 상기 입력된 제어 신호를 상기 무인 굴삭기로 전송하여 작업을 수행하고, 작업 중인 상기 무인 굴삭기로부터 상기 무인 굴삭기의 자세정보와 위치정보를 포함하는 상태정보를 수신하고, 상기 수신한 상태정보를 토대로 상기 무인 굴삭기의 안정도 레벨값을 산출하고, 상기 산출한 안 정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 상기 사용자가 촉각으로 느낄 수 있도록 진동을 출력하여 상기 사용자에게 경보한다.
본 발명에 따르면, 사용자가 조정기의 입력부를 통하여 무인 굴삭기를 원격으로 조정하여 작업을 수행할 때, 조정기는 작업 중인 무인 굴삭기로부터 자세정보와 위치정보를 수신하여 안정도 레벨값을 산출하고, 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하면, 입력부로 진동을 출력하여 사용자가 촉각으로 느낄 수 있도록 함으로써 무인 굴삭기의 전도 발생을 미연에 방지할 수 있다.
아울러 조정기는 임계 레벨값에 대응되는 안정도 레벨값을 전도경보창을 통하여 시각적으로 표시하거나 경보음을 출력함으로써, 진동 뿐만 아니라 전도경보창 및 경보음을 통하여 시청각적으로 전도 발생 가능성을 사용자에게 알릴 수 있다.
특히 안정도 레벨값이 임계 레벨값을 초과하게 되면, 조정기는 전도를 발생시킬 수 있는 제어 신호의 전송 명령은 무시하고 안정도 레벨값 안쪽으로 이동할 수 있는 제어 신호를 전송하거나, 사용자의 제어 신호와 무관하게 안정도 레벨값이 임계 레벨값 안쪽으로 이동할 수 있는 제어 명령을 무인 굴삭기에 전송함으로써, 무인 굴삭기의 전도 발생을 미연에 방지할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
무인 굴삭기의 전도 방지 시스템
본 발명의 실시예에 따른 무인 굴삭기(10)의 전도 방지 시스템(100)은, 도 1에 도시된 바와 같이, 무인 굴삭기(10)와, 무인 굴삭기(10)를 무선통신을 통하여 원격으로 조정하는 조정기(20)를 포함하여 구성된다. 무인 굴삭기(10)는 자세정보와 위치정보를 포함하는 상태정보를 검출하여 전송하는 센서모듈(16)을 구비한다. 그리고 조정기(20)는 무인 굴삭기(10)와의 무선통신을 통하여 사용자의 입력부(22) 조작에 따른 제어 신호를 무인 굴삭기(10)로 전송하여 작업을 수행한다. 조정기(20)는 작업 중인 무인 굴삭기(10)로부터 상태정보를 수신하고, 수신한 상태정보를 토대로 무인 굴삭기(10)의 안정도 레벨값을 산출한다. 조정기(20)는 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 사용자가 촉각으로 느낄 수 있도록 입력부(22)를 통하여 진동을 출력하여 사용자에게 경보한다.
이때 무인 굴삭기(10)와 조정기(20) 간의 무선통신 방식으로 RF통신 또는 근거리무선통신이 사용될 수 있다. 근거리무선통신방식으로는 블루투스(Bluetooth), 지그비(zigbee), 루비(Rubee), 적외선데이터통신(IrDA; Infrared Data Association), 초광대역방식(UWB; Ultra Wide Broadband) 등이 사용될 수 있다.
구체적으로 본 실시예에 따른 무인 굴삭기(10)의 전도 방지 시스템(100)에 대한 설명하면 다음과 같다.
무인 굴삭기(10)는 제1 제어부(11), 제1 저장부(12), 제1 통신부(13), 구동부(14), 카메라모듈(15) 및 센서모듈(16)을 포함하여 구성된다.
제1 제어부(11)는 무인 굴삭기(10)의 전반적인 제어 동작을 수행하는 마이크로프로세서이다. 제1 제어부(11)는 조작기(20)로부터 수신한 제어 신호에 따른 작 업 수행을 제어한다.
제1 저장부(12)는 무인 굴삭기(10)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 제1 저장부(12)는 조작기(20)로부터 수신한 제어 신호에 따른 작업 수행과, 작업 중 센서모듈(16)에서 검출한 상태정보의 전송을 위한 실행프로그램을 저장한다.
제1 통신부(13)는 조작기(20)와 무선통신을 수행하며, 무선통신을 통하여 조작기(20)로부터 제어 신호를 수신하여 제1 제어부(11)로 전송한다. 제1 통신부(13)는 제1 제어부(11)의 제어에 따라 센서모듈(16)에서 검출한 상태정보 및 카메라모듈(15)에서 촬영한 영상정보를 조작기(20)로 전송한다.
구동부(14)는 제1 제어부(11)의 제어에 따라 작업 현장에서 굴삭 작업을 수행한다. 구동부(14)는 무인 굴삭기(10)를 전후좌우로 이동시키는 이동부재, 이동부재 상부에 설치되는 회전부재, 회전부재에 연결된 굴삭부재를 포함한다. 굴삭부재는 붐 모듈, 암 모듈 및 버킷 모듈을 포함한다.
카메라모듈(15)은 무인 굴삭기(10)가 작업을 수행 중인 작업 현장을 촬영한다. 특히 카메라모듈(15)은 조정기(20)의 사용자가 작업 현장을 현장감 있게 확인할 수 있도록 적어도 3개의 카메라를 구비하며, 카메라에서 촬영한 영상정보를 처리하기 위한 신호처리부 및 영상처리부를 더 포함할 수 있다. 이때 카메라로는 CCD카메라 또는 CMOS 이미지 센서가 사용될 수 있다. 카메라는 피사체인 작업 현장의 광신호를 아날로그 신호로 변환한다. 신호처리부는 아날로그 신호를 디지털 신호로 변환한다. 그리고 영상처리부는 신호처리부를 통해 입력되는 영상신호를 처리하여 영상정보를 획득하며, 획득된 영상정보를 제1 통신부(13)를 통해 출력하거나 제1 저장부(12)에 저장할 수 있다.
그리고 센서모듈(16)은 작업 중인 무인 굴삭기(10)의 상태정보를 검출하여 제1 제어부(11)로 전송한다. 이때 센서모듈(16)은 자세정보를 검출하는 모션센서(17)와, 위치정보를 검출하는 DGPS(Differential Global Positioning System) 모듈(18)을 포함하여 구성된다. 모션센서(17)는 무신 굴삭기(10)의 자세정보를 검출할 수 있는 구동부(14)에 설치될 수 있으며, 특히 봄 모듈, 암 모듈, 이동부재 또는 회전부재에 설치될 수 있다. 모션센서(17)는 자이로 센서, 삼축 가속도 센서 및 자기 센서를 포함하며, 무인 굴삭기(10)의 롤(roll), 피치(pitch) 및 요(yaw) 방향의 자세정보를 검출한다. DGPS 모듈(18)은 복수의 GPS 위성으로부터 위성 신호를 수신하여 상대 측위 방식의 GPS 측량기법으로 무인 굴삭기(10)의 기준점 좌표를 산출하고, 산출한 기준점 좌표를 이용하여 오차를 일으키는 요소들을 보정하고, 오차를 최대한 줄여서 보다 정확한 무인 굴삭기(10)의 위치정보를 검출한다.
특히 제1 제어부(11)는 제1 통신부(13)를 통하여 조작기(20)로부터 사용자의 제어 신호를 수신하고, 수신한 제어 신호에 따라 구동부(14)를 동작시켜 굴삭 작업을 수행한다. 작업 중 센서모듈(16)은 무인 굴삭기(10)의 상태정보를 산출하여 제1 제어부(11)로 전송하면, 제1 제어부(11)는 수신한 상태정보를 제1 통신부(13)를 통하여 조작기(20)로 전송한다. 또한 제1 제어부(11)는 카메라모듈(15)에서 촬영한 영상정보를 제1 통신부(13)를 통하여 조작기(20)로 전송한다.
한편 무인 굴삭기(10)는 전도 발생 가능성에 따라 조정기(20)로부터 수신한 제어 명령에 따라 전도 발생 가능성을 해당 무인 굴삭기(10)의 주위에 알릴 수 있는 경보기 또는 경보등을 더 포함할 수 있다.
조정기(20)는 제2 제어부(21), 입력부(22), 제2 저장부(23), 제2 통신부(24), 표시부(25), 음원출력부(26) 및 진동출력부(27)를 포함하여 구성된다.
제2 제어부(21)는 조정기(20)의 전반적인 제어 동작을 수행하는 마이크로프로세서이다. 제2 제어부(21)는 무인 굴삭기(10)의 원격 조정을 제어하며, 무인 굴삭기(10)로부터 수신되는 상태정보를 이용하여 전도 발생 가능성을 체크하여 무인 굴삭기(10)의 전도를 미연에 방지하기 위한 기능 수행을 제어한다.
입력부(22)는 무인 굴삭기(10)를 원격으로 조정하기 위한 사용자의 제어 신호를 입력받아 제2 제어부(21)로 전달한다. 입력부(22)로는 조이스틱, 트랙볼, 키보드, 마우스, 키패드, 터치패드, 터치스크린 중에 적어도 하나가 사용될 수 있다.
제2 저장부(23)는 조정기(10)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 제2 저장부(23)는 무인 굴삭기(10)의 원격 조정과, 무인 굴삭기(10)로부터 수신되는 상태정보를 이용한 전도 방지 기능을 수행하기 위한 실행프로그램을 저장한다.
제2 통신부(24)는 무인 굴삭기(10)와 무선통신을 수행하며, 무선통신을 통하여 제어 신호를 무선 굴삭기(10)로 전송한다. 제2 통신부(24)는 무선 굴삭기(10)로부터 영상정보와 상태정보를 수신하여 제2 제어부(21)로 전송한다.
표시부(25)는 조작기(20)에서 실행되는 각종 기능 메뉴를 비롯하여 제2 저장부(23)에 저장된 정보를 표시한다. 표시부(25)는 제2 제어부(21)의 제어에 따라 굴삭 작업과 관련된 정보를 작업창(도 3의 60)에 표시한다. 작업창(60)은, 예컨대 도 3에 도시된 바와 같이, 무선 굴삭기(10)로부터 수신한 영상정보를 표시하는 영상정보창(61)과, 상태정보를 표시하는 상태정보창(63,65) 및 전도 발생 여부를 경보하는 전도경보창(67)을 포함한다. 표시부(25)로는 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 또는 터치스크린(touch screen)이 사용될 수 있다. 터치 스크린은 표시 장치와 입력 장치로서의 역할을 동시에 수행한다.
음원출력부(26)는 제2 제어부(21)의 제어에 따라 전도 발생 가능성을 경보하거나 전도 발생을 알리는 음성 메시지 또는 경보음과 같은 음원을 출력한다.
그리고 진동출력부(27)는 제2 제어부(21)의 제어에 따른 전도 발생 가능성을 경보하거나 전도 발생을 알리기 위해서 진동을 발생시킨다. 이때 진동출력부(27)에서 출력되는 진동은 입력부(22)로 전달된다.
특히 제2 제어부(21)는 제2 통신부(24)를 통하여 입력부(22)로 입력된 제어 신호를 무인 굴삭기(10)로 전송하여 작업을 수행한다. 제2 제어부(21)는 작업 중인 무인 굴삭기(10)로부터 상태정보를 수신하고, 수신한 상태정보를 토대로 무인 굴삭기(10)의 안정도 레벨값을 산출한다. 제2 제어부(21)는 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 사용자가 촉각으로 느낄 수 있도록 입력부(22)로 진동을 출력하여 사용자에게 경보한다. 아울러 안정도 레벨값이 임계 레벨값을 초과하게 되면, 제2 제어부(21)는 전도를 발생시킬 수 있는 제어 신호의 전송 명령은 무시하고 안정도 레벨값 안쪽으로 이동할 수 있는 제어 신호를 전송할 수 있다. 또는 제2 제어부(21)는 사용자의 제어 신호와 무관하게 안정도 레벨값이 임계 레벨값 안쪽으로 이동할 수 있는 제어 명령을 무인 굴삭기(10)에 전송함으로써, 무인 굴삭기(10)의 전도 발생을 미연에 방지할 수 있다.
이때 제2 제어부(21)는 수신한 상태정보를 토대로 ZMP(Zero Moment Point) 이론을 적용하여 ZMP 좌표값을 산출하며, ZMP 좌표값을 안정도 레벨값으로 사용한다. 즉 제2 제어부(21)는 산출한 ZMP 좌표값으로부터 작업 중인 무인 굴삭기(10)의 안정성 및 전도 발생 가능성을 판단한다. 제2 제어부(21)는 산출된 ZMP 좌표값을 전도경보창(67)에 표시한다. 전도경보창(67)은 중심 부분의 안정영역(71)과, 안정영역의(71) 외곽을 둘러싸는 경보영역(73)과, 경보영역(73)의 외곽을 둘러싸는 전도영역(75)을 표시한다. 안정영역(71), 경보영역(73) 및 전도영역975)은 ZMP 이론과, 무인 굴삭기(10)의 다양한 작업환경을 고려한 시뮬레이션 결과 또는 실제 시험 결과 등을 토대로 설정할 수 있다. 본 실시예에서는 전도경보창(67)이 사각형의 안정영역(71)을 중심으로 두 개의 사각링 형태의 경보영역(73)과 전도영역(75)이 표시된 예를 개시하였지만 다양한 형태로 표시될 수 있다. 예컨대 안정영역은 원형으로 표시되고, 경보영역과 전도영역은 일정 두께를 갖는 링 형태로 표시될 수 있다.
산출한 ZMP 좌표값이 안정영역(71) 안에 위치하면, 제2 제어부(21)는 무인 굴삭기(10)가 전도할 가능성이 낮다고 판단하고, 사용자의 제어 신호에 따른 작업을 계속적으로 수행할 수 있도록 제어한다.
반면에 산출한 ZMP 좌표값이 안정영역(71)을 벗어나면, 제2 제어부(21)는 무인 굴삭기(10)가 전도할 가능성이 있는 것으로 판단하고, 이를 사용자가 촉각으로 느낄 수 있도록 입력부(22)를 통하여 진동을 출력한다. 이때 제2 제어부(21)는 산출한 ZMP 좌표값이 안정영역(71)을 벗어나면 안정영역(71)의 중심에서 떨어진 거리에서 비례하는 세기의 진동을 출력한다. 예컨대, 제2 제어부(21)는 안정영역(71)의 중심을 좌표의 중심으로 설정하고, 중심에서 ZMP 좌표값의 길이 성분에 대응되는 세기의 진동을 출력할 수 있다.
이와 같이 본 실시예에 따른 전도 방지 시스템(100)은, 사용자가 조정기(20)의 입력부(22)를 통하여 무인 굴삭기(10)를 원격으로 조정하여 작업을 수행할 때, 조정기(20)는 작업 중인 무인 굴삭기(10)로부터 상태정보를 수신하여 안정도 레벨값을 산출하고, 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하면, 입력부(22)로 진동을 출력하여 사용자가 촉각으로 느낄 수 있도록 함으로써 무인 굴삭기(10)의 전도 발생을 미연에 방지할 수 있다.
아울러 조정기(20)는 임계 레벨값에 대응되는 안정도 레벨값을 전도경보창(67)을 통하여 시각적으로 표시하거나 음원출력부(26)를 통하여 경보음을 출력함으로써, 진동 뿐만 아니라 전도경보창 및 경보음을 통하여 시청각적으로 전도 발생 가능성을 사용자에게 알릴 수 있다.
특히 안정도 레벨값이 임계 레벨값을 초과하게 되면, 조정기(20)는 전도를 발생시킬 수 있는 제어 신호의 전송 명령은 무시하고 안정도 레벨값 안쪽으로 이동할 수 있는 제어 신호를 전송하거나, 사용자의 제어 신호와 무관하게 안정도 레벨 값이 임계 레벨값 안쪽으로 이동할 수 있는 제어 명령을 무인 굴삭기(10)에 전송함으로써, 무인 굴삭기(10)의 전도 발생을 미연에 방지할 수 있다.
한편 본 실시예에서는 무인 굴삭기(10)의 전도 발생 가능성에 따라 조정기(20)의 입력부(21)로 진동을 출력하는 예를 개시하였지만 이에 한정되는 것은 아니다. 예컨대, 사용자가 앉을 수 있도록 조정기(20)에 마련된 시트로 진동을 출력할 수 있다. 이 경우 사용자는 둔부나 허리부분을 통하여 진동을 느낄 수 있다.
무인 굴삭기의 전도 방지 방법
본 발명의 실시예에 따른 전도 방지 시스템(100)의 전도 방지 방법을 도 1 내지 도 4를 참조하여 설명하면 다음과 같다. 여기서 도 2는 본 발명의 실시예에 따른 무인 굴삭기(10)의 전도 방지 방법에 따른 흐름도이다. 도 3은 도 2의 전도 방지 방법에 따라 조정기(20)의 표시부(25)에 표시된 작업창(60)을 보여주는 화면 예시도이다. 그리고 도 4는 도 3의 작업창(60)에 표시되는 전도경보창(67)을 보여주는 화면 예시도이다.
먼저 S31단계에서 조정기(20)와 무인 굴삭기(10) 사이에 통신이 연결된 상태에서, S33단계에서 조정기(20)는 입력부(22)를 통하여 사용자의 제어 신호가 입력받는다.
다음으로 S35단계에서 조정기(20)는 입력받은 제어 신호를 무인 굴삭기(10)로 전송한다. 이어서 S37단계에서 무인 굴삭기(10)는 수신한 제어 신호에 따라 구동부(14)를 구동시켜 작업을 수행한다.
다음으로 S39단계에서 무인 굴삭기(10)는 작업 중 무인 굴삭기(10)의 자세정 보와 위치정보를 포함하는 상태정보를 검출한다. 이어서 S41단계에서 무인 굴삭기(10)는 검출한 상태정보를 조정기(20)로 전송한다. 이때 무인 굴삭기(10)는 상태정보와 더불어 카메라모듈(15)에서 촬영한 영상정보를 함께 전송한다. 무인 굴삭기(10)는 검출한 상태정보 및 영상정보를 실시간으로 연속적으로 전송하거나 주기적으로 전송할 수 있다.
다음으로 S43단계에서 조정기(20)는 수신한 상태정보를 토대로 안정도 레벨값을 산출한다. 이때 안정도 레벨값은 수신한 상태정보를 토대로 ZMP 이론을 적용하여 ZMP 좌표값으로 산출할 수 있다.
이어서 S45단계에서 조정기(20)는 산출한 안정도 레벨값을 표시부(25)의 전도경보창(67)에 표시한다. 이때 조정기(20)는 수신한 상태정보와 영상정보를 각각 표시부(25)의 영상정보창(61)과 상태정보창(63,65)에 표시한다. 예컨대, 도 3에 도시된 바와 같이, 표시부(25)에 표시되는 작업창(60)은 영상정보창(61), 상태정보창(63,65) 및 전도경보창(65)을 포함한다. 영상정보창(61)은 복수개로 분할된 형태로 제공될 수 있으며, 각각의 영상정보창(61)은 카메라모듈(15)의 복수의 카메라에 대응되며, 각 카메라에서 촬영된 영상정보를 표시할 수 있다. 또는 영상정보창(61)은 복수의 카메라에서 촬영된 영상정보를 편집하여 파노라마 형태로 영상정보를 표시할 수 있다. 상태정보창(63,65)은 자세정보를 표시하는 자세정보창(63)과, 위치정보를 표시하는 위치정보창(65)을 포함한다. 그리고 전도경보창(67)은 안정영역(71), 경보영역(73) 및 전도영역(75)에 안정도 레벨값을 포인트(좌표)로 표시하며, 산출된 안정도 레벨값의 변화에 따라 포인트를 이동하여 표시한다.
도시하진 않았지만, 작업창(60)에는 무인 굴삭기(10)의 원격 조정에 필요한 메뉴바, 작업시간, 작업 종류 등의 무인 굴삭기(10)의 원격 조정에 필요한 각종 정보들이 표시될 수 있다.
다음으로 S47단계에서 조정기(20)는 산출한 안정도 레벨값이 임계 레벨값을 초과하는 지의 여부를 판단한다. 즉 조정기(20)는 산출한 안정도 레벨값이 안정영역(71)에 위치하는 지 안정영역(71) 밖에 위치하는 지의 여부를 판단한다. 이때 임계 레벨값은 전도경보창(67)에서 안정영역(71)과 경보영역(73)의 경계선으로 표시된다.
S47단계의 판단 결과 임계 레벨값을 초과하지 않은 경우, 즉 도 4(a)에 도시된 바와 같이 안정영역(71)에 안정도 레벨값이 위치하는 경우, 조정기(20)는 S33단계부터 다시 반복하여 수행하여 무인 굴삭기(10)의 원격 조정을 통한 굴삭 작업을 계속적으로 수행한다.
S47단계의 판단 결과 임계 레벨값을 초과한 경우, 즉 도 4(b)에 도시된 바와 같이 안정도 레벨값이 안정영역(71)과 경보영역(73)의 경계선을 넘어 경보영역(73)으로 이동하는 경우, S49단계에서 조정기(20)는 진동 출력부(27)를 구동시켜 입력부(22)로 진동을 출력한다. 따라서 사용자는 입력부(22)를 통하여 촉각으로 진동을 느낌으로써 전도 발생 가능성을 인지할 수 있다. 아울러 조정기(20)는 사용자가 전도 발생 가능성을 청각적으로 인지할 수 있도록, 전도 발생 가능성을 경보하는 음성 메시지 또는 경보음과 같은 음원을 출력할 수 있다. 또한 조정기(20)는 사용자가 전도 발생 가능성을 시각적으로 인지할 수 있도록, 표시부(25)의 화면 전체의 색상이나 전도경보창(67)의 색상을 변경할 수 있다.
그리고 S51단계에서 조정기(20)는 사용자의 제어 신호와 무관하게 안정도 레벨값이 임계 레벨값 안쪽으로 이동할 수 있는 제어 명령을 무인 굴삭기(10)에 전송하여 무인 굴삭기(10)의 전도 발생을 미연에 방지한다. 이때 조정기(20)는 무인 굴삭기(10)의 전도 발생 가능성을 해당 무인 굴삭기(10)가 직접 주위에 알릴 수 있도록, 무인 굴삭기(10)가 경보음이나 경보등을 출력할 수 있는 제어 명령을 함께 전송할 수도 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시예에 따른 무인 굴삭기의 전도 방지 시스템을 보여주는 블록도이다.
도 2는 본 발명의 실시예에 따른 무인 굴삭기의 전도 방지 방법에 따른 흐름도이다.
도 3은 도 2의 전도 방지 방법에 따라 조정기의 표시부에 표시된 작업창을 보여주는 화면 예시도이다.
도 4는 도 3의 작업창에 표시되는 전도경보창을 보여주는 화면 예시도이다.
* 도면의 주요 부분에 대한 설명 *
10 : 무인 굴삭기 11 : 제1 제어부
12 : 제1 저장부 13 : 제1 통신부
14 : 구동부 15 : 카메라모듈
16 : 센서모듈 20 : 조정기
21 : 제2 제어부 22 : 입력부
23 : 제2 저장부 24 : 제2 통신부
25 : 표시부 26 : 음원출력부
27 : 진동출력부 60 : 작업창
67 : 전도경보창 100 : 전도 방지 시스템

Claims (9)

  1. 자세정보와 위치정보를 포함하는 상태정보를 검출하여 전송하는 센서모듈을 갖는 무인 굴삭기;
    상기 무인 굴삭기와의 무선통신을 통하여 사용자의 입력부 조작에 따른 제어 신호를 상기 무인 굴삭기로 전송하여 작업을 수행하고, 작업 중인 상기 무인 굴삭기로부터 상기 상태정보를 수신하고, 상기 수신한 상태정보를 토대로 상기 무인 굴삭기의 안정도 레벨값을 산출하고, 상기 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 상기 사용자가 촉각으로 느낄 수 있도록 진동을 출력하여 상기 사용자에게 경보하는 조정기;
    를 포함하는 것을 특징으로 하는 무인 굴삭기의 전도 방지 시스템.
  2. 제1항에 있어서, 상기 무인 굴삭기의 센서모듈은,
    상기 무인 굴삭기의 롤(roll), 피치(pitch) 및 요(yaw) 방향의 자세정보를 검출하는 모션센서;
    상기 위치정보로 DGPS(Differential Global Positioning System) 정보를 검출하는 DGPS 모듈;을 포함하며,
    상기 모션센서는 자이로 센서, 삼축 가속도 센서 및 자기 센서를 포함하는 것을 특징으로 하는 무인 굴삭기의 전도 방지 시스템.
  3. 조정기가 사용자의 입력부 조작에 따른 제어 신호를 무인 굴삭기로 전송하여 작업을 수행하는 작업 수행 단계;
    상기 조정기가 작업 중인 상기 무인 굴삭기로부터 상기 무인 굴삭기의 자세정보와 위치정보를 포함하는 상태정보를 수신하는 수신 단계;
    상기 조정기가 상기 수신한 상태정보를 토대로 상기 무인 굴삭기의 안정도 레벨값을 산출하는 산출 단계;
    상기 조정기가 상기 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 사용자가 촉각으로 느낄 수 있도록 진동을 출력하여 사용자에게 경보하는 전도 경보 단계;
    를 포함하는 것을 특징으로 하는 무인 굴삭기의 전도 방지 방법.
  4. 제3항에 있어서, 상기 수신 단계에서,
    상기 조정기가 상기 무인 굴삭기의 센서모듈로부터 통하여 상기 상태정보를 수신하며,
    상기 자세정보는 무인 굴삭기의 롤(roll), 피치(pitch) 및 요(yaw) 방향의 정보이고,
    상기 위치정보는 DGPS(Differential Global Positioning System) 정보인 것을 특징으로 하는 무인 굴삭기의 전도 방지 방법.
  5. 제4항에 있어서, 상기 산출 단계에서,
    상기 산출된 안정도 레벨값은 ZMP 좌표값인 것을 특징으로 하는 무인 굴삭기의 전도 방지 방법.
  6. 제5항에 있어서, 상기 전도 경보 단계는,
    상기 조정기가 상기 산출한 ZMP 좌표값을 중심 부분의 안전영역, 상기 안정영역 외곽의 둘러싸는 경보영역 및 상기 경보영역 외곽의 둘러싸는 전도영역을 포함하는 전도경보창에 표시하는 단계;
    상기 조정기가 상기 산출한 ZMP 좌표값이 상기 안정영역을 벗어나면 진동을 출력하는 단계;
    를 포함하는 것을 무인 굴삭기의 전도 방지 방법.
  7. 제6항에 있어서, 상기 전도 경보 단계는,
    상기 조정기가 상기 산출한 ZMP 좌표값이 상기 안정영역을 벗어나면 상기 ZMP 좌표값이 상기 안정영역으로 들어가도록 상기 무인 굴삭기로 제어 명령을 전송하는 단계;
    를 더 포함하는 것을 특징으로 하는 무인 굴삭기의 전도 방지 방법.
  8. 제6항에 있어서, 상기 전도 경보 단계는,
    상기 조정기가 상기 산출한 ZMP 좌표값이 상기 안정영역을 벗어나면 상기 안정영역의 중심에서 떨어진 거리에서 비례하게 진동을 출력하는 것을 특징으로 무인 굴삭기의 전도 방지 방법.
  9. 무인 굴삭기와 무선통신을 수행하는 통신부;
    상기 무인 굴삭기를 조작하기 위한 사용자의 제어 신호를 입력받는 입력부;
    상기 통신부를 통하여 상기 입력된 제어 신호를 상기 무인 굴삭기로 전송하여 작업을 수행하고, 작업 중인 상기 무인 굴삭기로부터 상기 무인 굴삭기의 자세정보와 위치정보를 포함하는 상태정보를 수신하고, 상기 수신한 상태정보를 토대로 상기 무인 굴삭기의 안정도 레벨값을 산출하고, 상기 산출한 안정도 레벨값이 전도 가능성이 있는 임계 레벨값을 초과하게 되면 상기 사용자가 촉각으로 느낄 수 있도록 진동을 출력하여 상기 사용자에게 경보하는 제어부;
    를 포함하는 것을 특징으로 하는 무인 굴삭기의 전도 방지 시스템의 조정기.
KR1020090046327A 2009-05-27 2009-05-27 무인 굴삭기의 전도 방지 시스템 및 방법 KR101090183B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090046327A KR101090183B1 (ko) 2009-05-27 2009-05-27 무인 굴삭기의 전도 방지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090046327A KR101090183B1 (ko) 2009-05-27 2009-05-27 무인 굴삭기의 전도 방지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20100127963A true KR20100127963A (ko) 2010-12-07
KR101090183B1 KR101090183B1 (ko) 2011-12-06

Family

ID=43504977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090046327A KR101090183B1 (ko) 2009-05-27 2009-05-27 무인 굴삭기의 전도 방지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101090183B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140058433A (ko) * 2011-06-10 2014-05-14 히다치 겡키 가부시키 가이샤 작업 기계
KR101401010B1 (ko) * 2012-05-07 2014-05-29 주식회사 플렉스시스템 지그비 통신을 이용한 굴삭기 원격 제어 시스템 및 굴삭기 원격 제어 방법
KR20180093825A (ko) * 2017-02-13 2018-08-22 두산인프라코어 주식회사 디스플레이 장치, 건설장비의 제어장치 및 건설장비 정보의 처리 방법
CN110453749A (zh) * 2019-07-17 2019-11-15 爱克斯维智能科技(苏州)有限公司 一种液压挖掘机智能挖掘系统及控制方法
CN110485502A (zh) * 2019-07-17 2019-11-22 爱克斯维智能科技(苏州)有限公司 一种挖掘机智能行走系统、挖掘机及控制方法
KR102090409B1 (ko) * 2018-12-27 2020-03-17 한양대학교 에리카산학협력단 과부하 방지를 위한 원격 제어 굴삭기의 제어 장치 및 방법
CN112823226A (zh) * 2018-11-30 2021-05-18 神钢建机株式会社 工程机械的远程操作装置
KR20210129813A (ko) 2020-04-21 2021-10-29 고등기술연구원연구조합 원격 조작 굴삭기 작업 부하를 고려한 전도 방지 시스템 및 방법
US11485029B2 (en) 2017-06-29 2022-11-01 Industry-University Cooperation Foundation Hanyang University Erica Campus Working robot

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210131105A (ko) 2020-04-23 2021-11-02 주식회사 로하우 굴삭기 원격조작 시뮬레이터

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3809542B2 (ja) 2005-07-29 2006-08-16 独立行政法人港湾空港技術研究所 遠隔操作による施工システム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140058433A (ko) * 2011-06-10 2014-05-14 히다치 겡키 가부시키 가이샤 작업 기계
KR101401010B1 (ko) * 2012-05-07 2014-05-29 주식회사 플렉스시스템 지그비 통신을 이용한 굴삭기 원격 제어 시스템 및 굴삭기 원격 제어 방법
KR20180093825A (ko) * 2017-02-13 2018-08-22 두산인프라코어 주식회사 디스플레이 장치, 건설장비의 제어장치 및 건설장비 정보의 처리 방법
US11485029B2 (en) 2017-06-29 2022-11-01 Industry-University Cooperation Foundation Hanyang University Erica Campus Working robot
US20220002968A1 (en) * 2018-11-30 2022-01-06 Kobelco Construction Machinery Co., Ltd. Teleoperation device for construction machinery
US11952747B2 (en) 2018-11-30 2024-04-09 Kobelco Construction Machinery Co., Ltd. Teleoperation device for construction machinery
CN112823226B (zh) * 2018-11-30 2023-01-10 神钢建机株式会社 工程机械的远程操作装置
CN112823226A (zh) * 2018-11-30 2021-05-18 神钢建机株式会社 工程机械的远程操作装置
WO2020138708A1 (ko) * 2018-12-27 2020-07-02 한양대학교 에리카산학협력단 과부하 방지를 위한 원격 제어 굴삭기의 제어 장치 및 방법
US11459728B2 (en) 2018-12-27 2022-10-04 Industry-University Cooperation Foundation Hanyang University Erica Campus Apparatus and method for controlling remote-controlled excavator for preventing overload
KR102090409B1 (ko) * 2018-12-27 2020-03-17 한양대학교 에리카산학협력단 과부하 방지를 위한 원격 제어 굴삭기의 제어 장치 및 방법
CN110485502A (zh) * 2019-07-17 2019-11-22 爱克斯维智能科技(苏州)有限公司 一种挖掘机智能行走系统、挖掘机及控制方法
CN110453749A (zh) * 2019-07-17 2019-11-15 爱克斯维智能科技(苏州)有限公司 一种液压挖掘机智能挖掘系统及控制方法
KR20210129813A (ko) 2020-04-21 2021-10-29 고등기술연구원연구조합 원격 조작 굴삭기 작업 부하를 고려한 전도 방지 시스템 및 방법

Also Published As

Publication number Publication date
KR101090183B1 (ko) 2011-12-06

Similar Documents

Publication Publication Date Title
KR101090183B1 (ko) 무인 굴삭기의 전도 방지 시스템 및 방법
US11230825B2 (en) Display system, display method, and display apparatus
US11280062B2 (en) Display system, display method, and display device
WO2019189430A1 (ja) 建設機械
CN111868335B (zh) 远程操作系统以及主操作装置
CN107882080B (zh) 挖掘机精细工作控制方法、系统及挖掘机
JP2006053922A (ja) 機械操作者にとっての視認性を高める方法及び装置
JPWO2016158265A1 (ja) 作業機械
US20210332566A1 (en) Display control device for work machine, work machine, and display control method for work machine
JP6559464B2 (ja) 作業車両の周囲監視装置
CN110132255B (zh) 控制方法、装置、显示终端、机械设备及人机交互系统
AU2020320149B2 (en) Display system, remote operation system, and display method
US12077946B2 (en) Construction machine
KR101144727B1 (ko) 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템
AU2021201940A1 (en) Construction method, work machine control system, and work machine
AU2022252761A1 (en) Display control system, display control method and remote operation system
JP6473648B2 (ja) 遠隔操作ロボット
EP3851593B1 (en) Teleoperation device for construction machinery
US11939744B2 (en) Display system, remote operation system, and display method
US20230160181A1 (en) Display system, program, and display control method
CN115943236A (zh) 用于附属设备的目标路径改变系统
WO2024117107A1 (ja) 作業支援システム
WO2024117108A1 (ja) 作業支援システム
EP4386145A1 (en) Trajectory generation system
JP2008106431A (ja) 掘削状況表示制御装置付き掘削機械

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 9