KR100763851B1 - 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇 - Google Patents

장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇 Download PDF

Info

Publication number
KR100763851B1
KR100763851B1 KR1020060010774A KR20060010774A KR100763851B1 KR 100763851 B1 KR100763851 B1 KR 100763851B1 KR 1020060010774 A KR1020060010774 A KR 1020060010774A KR 20060010774 A KR20060010774 A KR 20060010774A KR 100763851 B1 KR100763851 B1 KR 100763851B1
Authority
KR
South Korea
Prior art keywords
image
unit
obstacle
bridge
altitude
Prior art date
Application number
KR1020060010774A
Other languages
English (en)
Other versions
KR20070079798A (ko
Inventor
이창근
이병주
이원태
박창호
Original Assignee
한국도로공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사 filed Critical 한국도로공사
Priority to KR1020060010774A priority Critical patent/KR100763851B1/ko
Publication of KR20070079798A publication Critical patent/KR20070079798A/ko
Application granted granted Critical
Publication of KR100763851B1 publication Critical patent/KR100763851B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/005Manipulators mounted on wheels or on carriages mounted on endless tracks or belts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/026Acoustical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Bridges Or Land Bridges (AREA)

Abstract

PSC 박스(Prestressed Concrete Box) 또는 SBG(Steel Box Girder) 교량 등 박스 형식의 교량 내부를 주행하며 격벽부 또는 격막(Diaphragm) 등 장애물을 승월하기 위한 승월이동부; 상기 교량 내부 점검시 일정한 통행궤도를 따라 주행하도록 하기 위한 궤도조정부; 상기 통행궤도상에 존재하는 장애물을 감지하기 위한 장애물감지부; 상기 통행궤도상에 존재하는 경사를 감지하고 수평 상태를 유지하여 주행하기 위한 수평조정부; 상기 교량의 하부를 일정한 크기의 블록으로 연속 촬영하기 위한 이미지촬영부; 상기 이미지촬영부에 의해 촬영된 이미지에 대응된 고도(高度)를 측정하기 위한 고도측정부; 상기 연속 촬영된 이미지와 이에 대응된 고도정보들을 수신하여 상기 이미지들의 실제 균열 요소가 연속적으로 확인 가능한 연속배열이미지를 생성하는 이미지처리부; 및 상기 승월이동부, 궤도조정부, 장애물감지부, 수평조정부, 이미지촬영부, 고도측정부 및 이미지처리부에 전기적으로 접속되어 상기 구성부들을 제어하기 위한 제어부를 포함하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇이 제공된다.
교량, 교량점검, 교량점검차량, 교량점검 시스템, 이동로봇, 장애물, 승월

Description

장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇{Bridge inspecting robot capable of climbing up an obstacle and processing an continuos image}
도 1은 본 발명의 바람직한 실시예에 따른 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇을 나타낸 사시도;
도 2는 도 1의 교량점검용 로봇의 구성을 개략적으로 나타낸 구성도;
도 3a와 도 3b는 각각 도 1의 교량점검용 로봇의 장애물 승월을 나타낸 측면도;
도 4는 도 1의 교량점검용 로봇이 교량점검로를 주행하는 모습을 나타낸 측면도;
도 5는 도 1의 교량점검용 로봇이 교량점검로의 경사를 주행하는 모습을 나타낸 측면도;
도 6은 도 1의 교량점검용 로봇에 있어서 이미지처리부의 동작을 나타낸 블록 제어도;
도 7은 도 1의 교량점검용 로봇에 있어서 이미지촬영부에 의해 연속 촬영될 교량의 균열부위를 일정크기의 블록으로 도시한 도면;
도 8은 도 7의 교량의 균열부에 대한 촬영 블록이 연속 촬영된 교량의 이미 지를 나타낸 도면; 및
도 9는 도 8의 연속 촬영된 이미지에 대하여 고도정보를 토대로 배열한 도면이다.
*도면의 주요부분에 대한 부호의 설명
110 : 승월이동부 120 : 궤도조정부
130 : 장애물감지부 140 : 수평조정부
150 : 이미지촬영부 160 : 고도측정부
170 : 이미지처리부 180 : 제어부
본 발명은 교량점검용 로봇에 관한 것으로서, 보다 상세하게는, 상기 교량점검용 로봇이 PSC 박스(Prestressed Concrete Box) 또는 SBG(Steel Box Girder) 등 박스 형식의 교량 내부에 형성된 격벽부 또는 연결부재 등과 같은 장애물을 승월(乘越)하도록 하여 교량의 내부를 연속적으로 촬영하도록 할 수 있는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇에 관한 것이다.
일반적으로, PSC 박스 교량이나 SBG 교량은 지간이 긴 장대교량의 대표적인 형식으로써 이 형식의 교량에서 박스 내부 점검작업은 점검자가 박스 내부를 이동하며 균열이나 파손 등과 같은 손상 요소를 육안으로 관찰하였다.
그러나 상기와 같은 교량점검작업은 어둡고 긴 작업환경과 탁한 공기, 인체 에 유해한 콘크리트 분진 등 작업여건이 불리하고, 내부점검 시 여러 가지 내부 보강재에 의한 충돌 사고 발생 등 많은 문제점을 내포하고 있다.
또한, 교량점검작업이 상기 점검자의 육안만으로 이루어질 경우 검사 데이터를 검사자만이 알게 됨으로써 점검의 신뢰가 없고 검사 데이터를 보관할 수 없어 추후에 검사 데이터의 재검토나 분석이 어려운 문제점이 있다.
검사 데이터의 신뢰성 있는 분석을 위하여 대한민국 특허 등록 제10-0359386호의 '비젼 시스템을 이용한 교량의 결함조사 방법 및 장치'와 대한민국 특허 출원 제10-2004-19143호의 '교량의 무인점검장치' 등에 의해 개시된 바와 같이, 위치제어가 가능한 카메라가 장착된 이동로봇이 교량 하부의 교량점검로를 통행하며 상기 교량하부를 촬영하고 상기 촬영된 이미지를 비젼시스템(Vision system)으로 처리하여 교량의 외관조사를 수행하고 있다.
그러나 상기와 같은 이동로봇을 이용한 교량점검은, PSC 박스 교량이나 SBG 교량의 박스 내부 점검에 사용할 경우 상기 이동로봇이 박스 내부 통행시 내부에 형성된 격벽 또는 교량이음부재 및 보강재 등과 같은 장애물로 인하여 주행을 지속적으로 하지 못하는 문제가 생기며, 이를 회피하여 주행할 경우 상기 교량 내부를 연속적으로 촬영하지 못하게 된다.
또한, 이동로봇의 위치변화에 따라 촬영된 이미지들은 서로 다른 위치정보(예를 들면, 카메라로부터의 고도나 거리에 대응된 좌표)를 가지게 되어 촬영 위치에 대응된 연속적인 이미지의 처리에 있어 많은 오차가 발생하게 되고 또한, 상기 이미지들을 토대로 교량에 대한 결함분석이 이루어질 경우 상기 이미지의 분석에 대한 신뢰성을 제고하기 어렵다.
또한, 상기 교량의 이상 유무를 나타내는 이미지의 저장 관리시 상기 이미지에 대한 정확한 위치정보가 인식되지 않기 때문에 추후에 계속적인 조사가 이루어질 경우에 촬영된 이미지와 비교할 수 없어 교량의 어느 부위에 어떤 이상 유무가 발생했는지 정확히 비교 판단할 수 없는 문제가 있다.
또한, 상기 장애물 감지시 발생되는 이동로봇의 위치 변화에 대응된 별도의 이미지 보정단계를 거쳐 상기 이미지들을 연속적으로 처리해야하는 번거로움이 있다.
따라서 본 발명의 목적은 박스 형식의 교량 내부에 존재하는 격벽 또는 교량 이음부재와 보강재 등 장애물을 감지하고 장애물 감지시 상기 장애물을 승월하여 교량의 내부를 일정한 블록 단위로 연속 촬영하도록 할 수 있는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇을 제공하는 것이다.
또한, 본 발명의 다른 목적은 상기 연속 촬영된 이미지들을 동일한 고도값을 가지도록 배열하여 상기 이미지들의 실제 균열 및 손상요소를 연속적으로 파악하고 상기 이미지에 대한 실제 위치정보를 정확하게 산출할 수 있는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 상기 프로세싱된 이미지를 토대로 교량의 상태를 평가하여 교량 구조물의 안전도 및 보수도를 신속 정확하게 판단할 수 있는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇을 제공하는 것이다.
본 발명에 의하면, 박스 형식의 교량 내부를 주행하며 장애물을 승월하기 위한 승월이동부; 상기 교량 박스 내부 주행시 일정한 통행궤도를 따라 주행하도록 하기 위한 궤도조정부; 상기 통행궤도상에 존재하는 장애물을 감지하기 위한 장애물감지부; 상기 통행궤도상에 존재하는 경사를 감지하고 수평 상태를 유지하여 주행하기 위한 수평조정부; 상기 교량의 하부를 일정한 크기의 블록으로 연속 촬영하기 위한 이미지촬영부; 상기 이미지촬영부에 의해 촬영된 이미지에 대응된 고도(高度)를 측정하기 위한 고도측정부; 상기 연속 촬영된 이미지와 이에 대응된 고도정보들을 수신하여 상기 이미지들의 실제 균열 요소가 연속적으로 확인 가능한 연속배열이미지를 생성하는 이미지처리부; 및 상기 승월이동부, 궤도조정부, 장애물감지부, 수평조정부, 이미지촬영부, 고도측정부 및 이미지처리부에 전기적으로 접속되어 상기 구성부들을 제어하기 위한 제어부를 포함하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇이 제공된다.
또한, 상기 승월이동부는 본체의 하측에 위치하여 상기 박스 교량 내부를 통행하기 위한 복수개의 무한궤도, 상기 복수개의 무한궤도를 구동시키는 구동모터, 상기 구동모터의 구동력을 상기 무한궤도들에 전달하는 구동력전달수단, 상기 구동모터의 회전상태를 감지하는 엔코더 및 상기 본체와 복수개의 무한궤도들 사이에 위치되어 상기 무한궤도들을 장애물의 모서리에 대응되는 높이로 업/다운시키고 상기 본체의 높이를 가변적으로 조절하는 링크를 포함하는 것이 바람직하다.
또한, 상기 궤도조정부는 상기 본체의 좌우측에 위치하여 상기 교량의 박스 내부 하면과 양측벽에 초음파센서를 통하여 초음파를 반사시키고 상기 반사된 초음파를 측정하여 상기 본체가 박스내부 양측벽 사이를 일정하게 간격을 유지하며 주행하도록 하기 위한 것이 바람직하다.
또한, 상기 장애물감지부는 상기 본체의 전후좌우측에 위치하여 상기 통행궤도상에 존재하는 장애물에 초음파센서를 통하여 초음파를 반사시키고 상기 반사된 초음파를 측정하여 장애물을 감지하는 것이 바람직하다.
또한, 상기 수평조정부는 상기 본체의 하측에 위치하여 상기 통행궤도상에 존재하는 경사로를 감지하기 위하여 상기 교량 박스 내부 바닥면에 초음파를 반사시키고 상기 반사된 초음파를 측정하여 경사로의 유무를 감지하기 위한 것이 바람직하다.
또한, 상기 이미지촬영부는, 상기 본체의 상부에 설치되어 상기 교량의 내부를 일정 크기의 블록으로 연속 촬영하기 위한 CCD카메라와 조명부재 및 상기 CCD카메라가 설치되는 부분에 진동에 의한 흔들림을 방지하기 위한 탄성부재를 포함하는 것이 바람직하다.
또한, 상기 고도측정부는 상기 이미지촬영부가 설치된 본체의 상부에 설치되어 상기 이미지촬영부의 촬영시 지면으로부터의 고도를 측정하기 위한 전파고도계를 포함하는 것이 바람직하다.
또한, 상기 이미지처리부는 상기 연속 촬영된 이미지의 중앙점에 대응된 각각의 이미지 고도정보를 구하는 이미지 고도측정 알고리즘과, 상기 이미지 고도정 보를 토대로 각각의 이미지들이 동일한 고도정보를 가지도록 연속적으로 배열하는 이미지 배열 알고리즘을 포함하는 것이 바람직하다.
또한, 상기 이미지처리부는 상기 연속 배열된 이미지에 대하여 가장 선명한 이미지를 추출하고 상기 추출된 이미지와 함께 상기 이미지에 대응되는 위치정보를 저장하는 이미지획득알고리즘; 상기 이미지획득알고리즘에 의해 얻어진 이미지와 위치정보를 바탕으로 상기 이미지의 균열 요소를 추출하고 비균열 요소를 제거하는 이미지해석알고리즘; 및 상기 이미지해석알고리즘에 의해 추출된 상기 이미지의 균열 요소에 대하여 사용자로 하여금 상기 이미지를 수정, 추가 및 삭제 가능하게 하는 이미지수정알고리즘을 더 포함하는 것이 바람직하다.
이하, 첨부된 도면을 참조하면서 본 발명의 구성, 작용 및 효과에 대하여 상세히 설명하기로 한다.
본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 바람직한 실시예에 따른 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇을 나타낸 사시도이고, 도 2는 도 1의 교량점검용 로봇의 구성을 개략적으로 나타낸 구성도이다.
도 1과 도 2에 도시된 바와 같이, 본 발명의 바람직한 실시예에 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇(100)은, 박스 형식 교량(10)의 박스(20) 내부를 주행하며 장애물(예를 들면, 박스의 비틀림을 방지하기 위 하여 설치된 격벽부 또는 격막(Diaphragm)과 보강재, 교각과 교각 사이에 설치된 이음판넬 등)을 승월하기 위한 승월이동부(110), 교량 박스 내부(20) 주행시 박스(20) 내부의 양측벽과 교량(10) 하면의 거리를 측정하여 일정한 통행궤도(軌道)를 따라 주행하기 위한 궤도조정부(120), 상기 통행궤도상에 존재하는 장애물을 감지하기 위한 장애물감지부(130), 상기 통행궤도상에 존재하는 경사를 감지하고 수평 상태를 유지하여 주행하기 위한 수평조정부(140), 교량(10)을 일정한 크기의 블록으로 연속 촬영하기 위한 이미지촬영부(150), 상기 연속 촬영된 이미지에 대응된 고도(高度)를 측정하기 위한 고도측정부(160), 상기 연속 촬영된 이미지와 이에 대응된 고도정보들을 수신하여 상기 이미지들의 실제 균열 요소가 연속적으로 확인 가능한 이미지를 생성하는 이미지처리부(170) 및 상기 승월이동부(110), 궤도조정부(120), 장애물감지부(130), 수평조정부(140), 이미지촬영부(150), 고도측정부(160) 및 이미지처리부(170)에 전기적으로 접속되어 상기 구성부들을 제어하기 위한 제어부(180)를 포함한다.
여기서, 상기 교량점검용 로봇(100)은, 외부에 위치되어 교량상태진단을 위한 자동계측시스템(미도시)과 유선 또는 무선의 형태로 데이터를 송수신할 수 있는 데이터송수신부(미도시)를 더 포함하여도 좋다.
도 3a와 도 3b는 각각 도 1의 교량점검용 로봇의 장애물 승월을 나타낸 측면도이다.
승월이동부(110)는, 도 1 내지 도 3b에 도시된 바와 같이, 로봇 본체의 하측에 위치하여 박스 내부(20)를 따라 통행하기 위한 복수개의 무한궤도(111), 상기 복수개의 무한궤도(111)를 구동시키는 구동모터(미도시), 상기 구동모터(미도시)의 구동력을 상기 무한궤도(111)에 전달하는 구동력전달수단(미도시), 상기 구동모터(미도시)의 회전상태를 감지하는 엔코더(미도시) 및 상기 복수개의 무한궤도(111)들과 본체 사이에 위치되어 장애물 또는 경사 감지시 로봇 본체의 무게 균형을 일정하게 유지시키며 상기 무한궤도(111)들을 장애물의 모서리에 대응되는 높이로 업/다운시키거나 로봇 본체의 높이를 가변적으로 조절하는 링크(112)를 포함한다.
여기서, 상기 복수개의 무한궤도(111)는, 상기 로봇 본체의 하측 전후/좌우측에 설치된 적어도 두 쌍의 무한궤도, 즉 전방좌측무한궤도(111a), 전방우측무한궤도(111b), 후방좌측무한궤도(111c) 및 후방우측무한궤도(111d)를 포함하는 것이 좋다. 또한, 상기 링크(112)는, 상기 무한궤도(111)들의 위치 이동을 가능하게 하기 위한 공지의 유압 수단으로써 상기 전방무한궤도(111a,111b)들을 리프트 업/다운 시키는 전방링크(112a)와 상기 후방무한궤도(111c,111d)들을 리프트 업/다운 시키는 후방링크(112b)를 포함하는 것이 좋다.
따라서 상기와 같은 승월이동부(110)에 의한 상기 로봇의 장애물 등판은 다음과 같다.
먼저, 도 3a에 도시된 바와 같이, 상기 전방링크(112a)에 의해 전방무한궤도(111a,111b)들이 장애물의 높이보다 약간 높은 위치를 가지도록 리프트 업 된다. 이후, 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 전방무한궤도(111a,111b)들이 장애물의 모서리에 걸쳐지도록 전진하게 된다. 이후, 상기 전방링크(112a)에 의해 전방무한궤도(111a,111b)들이 장애물의 상부에 수평 상태로 리프 트 다운된 후 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 전방무한궤도(111a,111b)들이 장애물의 상부에 안정적으로 위치하게 된다. 이후, 상기 후방링크(112b)에 의해 후방무한궤도(111c,111d)들이 장애물의 높이보다 약간 높은 위치를 가지도록 리프트 업 된다. 이후, 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 후방무한궤도(111c,111d)들이 장애물의 모서리에 걸쳐지도록 전진하게 된다. 이후, 상기 후방링크(112b)에 의해 후방무한궤도(111c,111d)들이 장애물의 상부에 수평 상태로 리프트 다운 된 후 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 후방무한궤도(111c,111d)들이 장애물의 상부에 안정적으로 위치하게 된다.
한편, 상기와 같은 승월이동부(110)에 의한 상기 로봇의 장애물 하강은 다음과 같다.
먼저, 도 3b에 도시된 바와 같이, 상기 전방링크(112a)에 의해 전방무한궤도(111a,111b)들이 박스 내부(20)의 바닥 보다 약간 높은 위치를 가지도록 리프트 다운 된다. 이후, 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 전방무한궤도(111a,111b)들이 박스 내부(20)의 바닥에 걸쳐지도록 전진하게 된다. 이후, 상기 전방링크(112a)에 의해 전방무한궤도(111a,111b)들이 박스 내부(20)의 바닥에 수평 상태로 리프트 업된 후 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 전방무한궤도(111a,111b)들이 박스 내부(20)의 바닥에 안정적으로 위치하게 된다. 이후, 상기 후방링크(112b)에 의해 후방무한궤도(111c,111d)들이 박스 내부(20)의 바닥 보다 약간 높은 위치를 가지도록 리프트 다운 된다. 이후, 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 후방무한궤도(111c,111d)들이 박스 내부(20)의 바닥에 걸쳐지도록 전진하게 된다. 이후, 상기 후방링크(112b)에 의해 후방무한궤도(111c,111d)들이 박스 내부(20)의 바닥에 수평 상태로 리프트 업 된 후 상기 복수개의 무한궤도(111)들이 구동하게 되어 상기 후방무한궤도(111c,111d)들이 박스 내부(20)의 바닥에 안정적으로 위치하게 된다.
도 4는 도 1의 교량점검용 로봇이 박스 내부를 주행하는 모습을 나타낸 측면도이다.
궤도조정부(120)는, 도 1, 도 2 및 도 4에 도시된 바와 같이, 로봇 본체의 좌우측에 위치하여 교량(10)의 박스 내부 하면 및 양측벽에 초음파센서(121)를 통하여 초음파를 반사시키고 상기 반사된 초음파를 측정하여 로봇의 본체와 양측벽 사이의 간격이 일정한 가상의 레일, 즉 로봇이 주행할 일정한 통행궤도를 형성한다.
따라서 궤도조정부(120)에 의해 형성된 박스 내부(20)의 통행궤도를 따라 주행함으로써, 박스 내부(20)가 곡선으로 형성되더라도 박스 내부(20)의 내부 양측벽과 일정한 거리 또는 간격을 유지할 수 있다.
장애물감지부(130)는, 도 1과 도 2에 도시된 바와 같이, 로봇 본체의 전후좌우측에 위치하여 상기 통행궤도상에 존재하는 장애물에 초음파센서(131)를 통하여 초음파를 반사시키고 상기 반사된 초음파를 측정하여 장애물의 위치를 감지한다. 여기서, 상기 로봇 본체의 좌우측에 위치된 초음파센서(131) 대신에 상기 궤도조정부(120)의 초음파센서(121)를 사용하여도 무방하다.
따라서 상기 통행궤도를 따라 주행 중 장애물 감지시 장애물감지부(130)의 장애물에 대한 정보를 토대로 승월이동부(110)의 복수개의 무한궤도(111)들이 제어되어 상기 장애물을 승월하여 주행할 수 있다.
도 5는 도 1의 교량점검용 로봇이 박스 내부의 경사를 주행하는 모습을 나타낸 측면도이다.
수평조정부(140)는, 도 1, 도 2 및 도 5에 도시된 바와 같이, 로봇 본체의 하측에 위치하여 상기 통행궤도상에 존재하는 경사로를 감지하도록 박스 내부(20)의 바닥면에 초음파센서(141)를 통하여 초음파를 반사시키고 상기 반사된 초음파를 측정하여 경사로의 유무를 감지한다.
따라서 상기 통행궤도를 따라 주행 중 경사로 감지시 수평조정부(140)의 경사로에 대한 정보를 토대로 승월이동부(110)의 링크(112)가 로봇 본체가 상기 경사로에 대하여 수평을 이루도록 로봇 본체의 높이를 조절하여 상기 경사로에 대해서 기울어 지지 않고 수평 상태를 유지할 수 있다.
이미지촬영부(150)는, 도 1과 도 2에 도시된 바와 같이, 로봇 본체의 상부에 선회 가능하게 설치되어 상기 통행궤도를 따라 주행하면서 상기 교량(10)의 하부를 일정 크기의 블록(예를 들면 가로 30 cm, 세로 40 cm)으로 연속 촬영하기 위한 CCD카메라(151)와 조명부재(152) 및 CCD카메라(151)가 설치되는 부분에 불규칙적인 환경요소 즉, 교량통행차량 또는 바람에 의한 교량(10)의 진동과 CCD카메라(151)의 자체진동을 방지하기 위한 스프링과 같은 탄성부재(미도시)를 포함한다.
고도측정부(160)는, 도 1과 도 2에 도시된 바와 같이, 상기 이미지촬영부(150)가 설치된 로봇 본체의 상부에 설치되어 상기 이미지촬영부(150)의 촬영시 지 면으로부터의 고도를 측정하기 위한 전파고도계(161)를 포함한다.
따라서 통행궤도상에 존재하는 요철 또는 교량통행차량 등에 의해 발생되는 로봇 본체의 진동에 의해 상기 CCD카메라(151)가 흔들릴 경우에 연속적으로 촬영된 이미지들은 각각의 고도정보(예를 들면, 상기 CCD카메라(151)의 촬영시 지면으로부터의 고도나 거리의 측정값)를 가질 수 있다.
도 6은 도 1의 교량점검용 로봇에 있어서 이미지처리부의 동작을 나타낸 블록 제어도이고, 도 7은 도 1의 교량점검용 로봇에 있어서 이미지촬영부에 의해 연속 촬영될 교량의 균열부위를 일정크기의 블록으로 도시한 도면이고, 도 8은 도 7의 교량의 균열부에 대한 촬영 블록이 연속 촬영된 교량의 이미지를 나타낸 도면이고, 도 9는 도 8의 연속 촬영된 이미지에 대하여 고도정보를 토대로 배열한 도면이다.
이미지처리부(170)는, 도 1과 도 6 내지 도 9에 도시된 바와 같이, 상기 CCD카메라(151)에 의해 연속 촬영된 이미지와 이에 대응된 전파고도계(161)의 고도정보들을 수신하여 이미지 정렬 프로그램을 통하여 상기 이미지의 실제 균열 요소가 연속적으로 확인 가능한 연속배열이미지를 생성한다.
여기서, 상기 이미지 정렬 프로그램은, 상기 연속 촬영된 이미지의 중앙점에 대응된 각각의 이미지 고도정보(이미지 정중앙점의 촬영시 고도값)를 구하는 이미지 고도측정 알고리즘과, 상기 이미지 고도정보를 토대로 각각의 이미지들이 동일한 고도정보를 가지도록 연속적으로 배열하여 연속배열이미지를 생성하는 이미지 배열 알고리즘을 포함한다.
따라서 도 7과 도 8에 도시된 바와 같이, CCD카메라(151)에 의해 촬영될 교량(10) 내부의 복수개의 블록(A,B,C,D)을 연속 촬영한 이미지들(A', B',C',D')이 박스 내부(20)의 요철이나 외부의 진동으로 인한 상기 CCD카메라(151)의 흔들림으로 인하여 가지게 되는 서로 다른 고도정보에 대하여, 도 8에 도시된 바와 같이, 상기 촬영된 이미지들 중 'A''의 고도정보가 '10'이고 상기 촬영된 이미지들 중 'B''의 고도정보가 '7', 'C''의 고도정보가 '11' 및 'D''의 고도정보가 '12'일 경우, 상기 이미지들(A',B',C',D')의 고도정보가 예를 들면, 모두'10'이 되도록 상기 이미지들(A',B',C',D')이 상하로 정렬되어 상기 연속적인 이미지들(A',B',C',D')의 실제 균열요소가 연속적으로 배열된 연속배열이미지(C)가 생성되는 것이다.
또한, 이미지처리부(170)는, 상기 이미지촬영부(150)에 의해 연속 촬영된 이미지들의 균열 요소를 이미지 처리 프로그램을 통해 자동으로 프로세싱하여 데이터베이스에 저장 및 관리한다.
여기서, 상기 이미지 처리 프로그램은, 이미지촬영부(150)에 의해 촬영된 이미지의 잡음을 로우패스필터를 통해 제거하고 비젼(Vision) 분석 프로그램을 이용하여 이미지의 윤곽선을 찾은 후 상기 윤곽선의 두께, 길이 그리고 주위밝기 값을 비교하여 균열 요소를 찾아내며 가장 선명한 이미지만을 추출하여 데이터베이스(미도시)에 상기 실제 위치좌표 정보와 함께 저장하는 이미지획득알고리즘, 이미지획득알고리즘에 의해 얻어진 이미지 및 위치 정보를 바탕으로 균열 요소의 확인을 위하여 먼저 얻어진 이미지에 대해 필터링과 이미지 밝기 영역을 넓히는 작업 등을 통해 이미지의 특성을 개선시키고 노이즈를 제거한 후 윤곽선을 찾고 균열 요소가 아닌 성분을 제거하는 이미지해석알고리즘 및 상기 이미지해석알고리즘에 의해 처리된 이미지의 미세한 균열 요소에 대한 보정을 위해 상기 이미지를 사용자로 하여금 직접 보고 결과를 수정, 추가 및 삭제하는 이미지수정알고리즘을 포함한다.
또한, 이미지처리부(170)는, 이미지촬영부(150)에 의해 획득된 이미지의 실제 균열 요소의 정도와 상기 이미지획득알고리즘의 해상도 그리고 이미지 프로세싱의 오차 정도를 고려하여 이미지촬영부(150)의 촬영배율을 조정하는 이미지배율조정 알고리즘, 상기 이미지의 균열 요소를 분석하기 위한 균열에 대한 정의 예를 들면, '균열은 가늘고 긴 선 형태로 주위 보다 어두운 값을 가진다.'라는 정의 값을 토대로 분석하고자 하는 이미지의 윤곽선의 두께, 길이 및 주위밝기 값을 비교하여 균열 요소를 추출하는 이미지처리 알고리즘, 추출하고자 하는 균열 요소의 정도에 따라 이미지촬영부(150)의 화소크기(mm/poxel)를 결정하고 이미지촬영부(150)의 해상도에 의해 실제 이미지 크기(FOV: Field Of View)를 구하여 상기 값들을 토대로 조사 영역 전부에 대한 이미지를 획득하기 위해 수행되어야 할 점검 작업의 총 수행횟수를 계산하는 해상도/정밀도처리 알고리즘 및 상기 이미지에 균열 요소만 나타나고 나머지 요소는 나타나지 않는 최적의 이미지를 실현하기 위하여 상기 균열 요소가 수직광에만 반응하고 사광 조명에는 반응하지 않는 특성 즉, 균열부위는 움푹 파이기 때문에 수직광에는 반응을 하지만 사광 조명에 대해서는 조명의 영향을 덜 받으므로 주위 얼룩이나 이물질 등을 걸러내기 위한 충분한 밝기를 유지시켜 이미지를 획득하는 이미지획득환경처리 알고리즘을 더 포함하는 것이 좋다.
따라서 상술한 바와 같은 본 발명에 의하면, 박스 형식 교량의 박스 내부에 존재하는 장애물 감지시 상기 장애물을 승월함으로써, 교량을 일정한 블록 단위로 연속촬영하도록 할 수 있다.
또한, 상기와 같이 교량을 일정한 블록 단위로 연속촬영하고 상기 이미지들의 고도편차에 따라 상기 이미지들을 상하 정렬하여 일정한 고도를 가지는 연속배열이미지를 생성함으로써, 바람이나 외부의 진동에 대하여 실제 균열에 대한 위치정보를 정확하게 산출하여 상기 균열에 대한 위치를 보다 쉽게 파악할 수 있다.
또한, 상기 이미지획득부에 의해 획득된 이미지와 함께 상기 이미지에 대한 위치정보를 저장 및 보관함으로써 추후 결함 분석시 상기 위치정보를 통하여 이미지의 실제 위치를 보다 쉽게 파악할 수 있으므로 신뢰성을 향상시킬 수 있다.
상술한 본 발명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구 범위와 청구 범위의 균등한 것에 의해 정해져야 한다.
전술한 바와 같이, 본 발명은 박스 형식 교량의 내부 통행시 상기 박스 내부에 형성된 격벽과 교량이음부재 등과 같은 작은 장애물을 승월하도록 함으로써, 교량 내부를 연속적으로 촬영할 수 있다.
또한, 상기 연속 촬영된 이미지들을 일정한 고도를 가지도록 배열함으로써, 실제 균열 요소에 대응된 연속적인 이미지를 얻을 수 있다.
또한, 상기 연속적인 이미지를 토대로 상기 균열에 대한 실제 위치정보를 정 확하게 산출하여 상기 균열에 대한 위치를 보다 쉽게 파악할 수 있다.

Claims (9)

  1. 박스 형식 교량 박스 내부를 주행하며 장애물을 승월하기 위한 승월이동부;
    상기 교량 박스 내부 주행시 일정한 통행궤도를 따라 주행하도록 하기 위한 궤도조정부;
    상기 통행궤도상에 존재하는 장애물을 감지하기 위한 장애물감지부;
    상기 통행궤도상에 존재하는 경사를 감지하고 수평 상태를 유지하여 주행하기 위한 수평조정부;
    상기 교량의 내부를 일정한 크기의 블록으로 연속 촬영하기 위한 이미지촬영부;
    상기 이미지촬영부에 의해 촬영된 이미지에 대응된 고도(高度)를 측정하기 위한 고도측정부;
    상기 연속 촬영된 이미지와 이에 대응된 고도정보들을 수신하여 상기 이미지들의 실제 균열 요소가 연속적으로 확인 가능한 연속배열이미지를 생성하는 이미지처리부; 및
    상기 승월이동부, 궤도조정부, 장애물감지부, 수평조정부, 이미지촬영부, 고도측정부 및 이미지처리부에 전기적으로 접속되어 상기 구성부들을 제어하기 위한 제어부를 포함하는 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  2. 제1항에 있어서, 상기 승월이동부는
    본체의 하측에 위치하여 상기 박스 내부를 따라 통행하기 위한 복수개의 무한궤도, 상기 복수개의 무한궤도를 구동시키는 구동모터, 상기 구동모터의 구동력을 상기 무한궤도들에 전달하는 구동력전달수단, 상기 구동모터의 회전상태를 감지하는 엔코더 및 상기 본체와 복수개의 무한궤도들 사이에 위치되어 상기 무한궤도들을 장애물의 모서리에 대응되는 높이로 업/다운시키고 상기 본체의 높이를 가변적으로 조절하는 링크를 포함하는 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  3. 제2항에 있어서, 상기 궤도조정부는 상기 본체의 좌우측에 위치하여 사기 교량의 내부 하면과 양측벽에 초음파센서를 통하여 초음파를 반사시키고 상기 반사된 초음파를 측정하여 상기 본체가 박스 내부의 양측벽 사이를 일정하게 간격을 유지하며 주행하도록 하기 위한 것을 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  4. 제3항에 있어서, 상기 장애물감지부는 상기 본체의 전후좌우측에 위치하여 상기 통행궤도상에 존재하는 장애물에 초음파센서를 통하여 초음파를 반사시키고 상기 반사된 초음파를 측정하여 장애물을 감지하는 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  5. 제4항에 있어서, 상기 수평조정부는 상기 본체의 하측에 위치하여 상기 통행궤도상에 존재하는 경사로를 감지하기 위하여 상기 박스 내부의 바닥면에 초음파를 반사시키고 상기 반사된 초음파를 측정하여 경사로의 유무를 감지하기 위한 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  6. 제5항에 있어서, 상기 이미지촬영부는, 상기 본체의 상부에 설치되어 상기 교량의 내부를 일정 크기의 블록으로 연속 촬영하기 위한 CCD카메라와 조명부재 및 상기 CCD카메라가 설치되는 부분에 진동에 의한 흔들림을 방지하기 위한 탄성부재를 포함하는 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  7. 제6항에 있어서, 상기 고도측정부는 상기 이미지촬영부가 설치된 본체의 상부에 설치되어 상기 이미지촬영부의 촬영시 지면으로부터의 고도를 측정하기 위한 전파고도계를 포함하는 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  8. 제7항에 있어서, 상기 이미지처리부는 상기 연속 촬영된 이미지의 중앙점에 대응된 각각의 이미지 고도정보를 구하는 이미지 고도측정 알고리즘과, 상기 이미지 고도정보를 토대로 각각의 이미지들이 동일한 고도정보를 가지도록 연속적으로 배열하는 이미지 배열 알고리즘을 포함하는 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
  9. 제8항에 있어서, 상기 이미지처리부는 상기 연속 배열된 이미지에 대하여 가장 선명한 이미지를 추출하고 상기 추출된 이미지와 함께 상기 이미지에 대응되는 위치정보를 저장하는 이미지획득알고리즘;
    상기 이미지획득알고리즘에 의해 얻어진 이미지와 위치정보를 바탕으로 상기 이미지의 균열 요소를 추출하고 비균열 요소를 제거하는 이미지해석알고리즘; 및
    상기 이미지해석알고리즘에 의해 추출된 상기 이미지의 균열 요소에 대하여 사용자로 하여금 상기 이미지를 수정, 추가 및 삭제 가능하게 하는 이미지수정알고리즘을 더 포함하는 것을 특징으로 하는 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량 점검용 로봇.
KR1020060010774A 2006-02-03 2006-02-03 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇 KR100763851B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060010774A KR100763851B1 (ko) 2006-02-03 2006-02-03 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060010774A KR100763851B1 (ko) 2006-02-03 2006-02-03 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇

Publications (2)

Publication Number Publication Date
KR20070079798A KR20070079798A (ko) 2007-08-08
KR100763851B1 true KR100763851B1 (ko) 2007-10-05

Family

ID=38600343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060010774A KR100763851B1 (ko) 2006-02-03 2006-02-03 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇

Country Status (1)

Country Link
KR (1) KR100763851B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703802A (zh) * 2019-11-04 2020-01-17 中国科学院自动化研究所 基于多无人机协同作业的桥梁自动检测方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942911B1 (ko) * 2008-03-21 2010-02-16 한국도로공사 레일을 이용한 강박스 내부의 교량점검용 로봇
KR100944103B1 (ko) * 2008-03-21 2010-02-24 한국도로공사 거더와 거더 사이의 교량점검용 로봇
KR100988960B1 (ko) * 2008-04-23 2010-10-20 한국도로공사 장애물 승월이 가능한 교량점검용 로봇
KR101125584B1 (ko) * 2011-12-07 2012-03-22 뉴비전엔지니어링(주) 무선측정장치를 이용하여 지형의 측지값을 정밀 측량하는 측지시스템
KR101454857B1 (ko) * 2012-12-26 2014-11-04 주식회사 영국전자 탐지용 로봇 시스템
CN109468947A (zh) * 2018-12-28 2019-03-15 山东华鉴工程检测有限公司 一种智能化大箱梁表观缺陷检测装置及方法
CN110722553A (zh) * 2019-08-24 2020-01-24 湖南桥康智能科技有限公司 一种桥梁箱体自动检测系统
KR20210026306A (ko) * 2019-08-29 2021-03-10 삼성전자주식회사 로봇 및 이의 제어 방법
CN113334372A (zh) * 2021-04-29 2021-09-03 浙江工业大学之江学院 一种自动跟随机器人的避障装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315586A (ja) * 1991-04-10 1992-11-06 Akihiro Fujimura 階段や垂直壁面の走行装置
KR19980072431A (ko) * 1997-03-05 1998-11-05 김광호 로봇의 캘리브레이션 방법
KR20030088947A (ko) * 2002-05-15 2003-11-21 장동영 계단 주행 로보트 및 그 주행방법
KR20040019143A (ko) * 2002-08-26 2004-03-05 씨에스기계 주식회사 교량의 무인점검장치
KR20040086940A (ko) * 2003-04-03 2004-10-13 엘지전자 주식회사 이미지센서를 채용한 이동로봇 및 그의 이동거리 측정방법
KR20060056572A (ko) * 2004-11-22 2006-05-25 (주)로봇앤드디자인 영상에 대한 좌표 인식이 가능한 교량점검 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04315586A (ja) * 1991-04-10 1992-11-06 Akihiro Fujimura 階段や垂直壁面の走行装置
KR19980072431A (ko) * 1997-03-05 1998-11-05 김광호 로봇의 캘리브레이션 방법
KR20030088947A (ko) * 2002-05-15 2003-11-21 장동영 계단 주행 로보트 및 그 주행방법
KR20040019143A (ko) * 2002-08-26 2004-03-05 씨에스기계 주식회사 교량의 무인점검장치
KR20040086940A (ko) * 2003-04-03 2004-10-13 엘지전자 주식회사 이미지센서를 채용한 이동로봇 및 그의 이동거리 측정방법
KR20060056572A (ko) * 2004-11-22 2006-05-25 (주)로봇앤드디자인 영상에 대한 좌표 인식이 가능한 교량점검 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703802A (zh) * 2019-11-04 2020-01-17 中国科学院自动化研究所 基于多无人机协同作业的桥梁自动检测方法及系统

Also Published As

Publication number Publication date
KR20070079798A (ko) 2007-08-08

Similar Documents

Publication Publication Date Title
KR100763851B1 (ko) 장애물 승월과 연속적인 이미지 프로세싱이 가능한 교량점검용 로봇
KR100988960B1 (ko) 장애물 승월이 가능한 교량점검용 로봇
KR100942911B1 (ko) 레일을 이용한 강박스 내부의 교량점검용 로봇
KR101030229B1 (ko) 이동식점검대차를 이용한 교량점검시스템
KR101985265B1 (ko) 도로 주행면의 형상을 조사하는 장치
JP6355517B2 (ja) 橋梁検査ロボットシステム
KR101872431B1 (ko) 교량 신축 이음부 유간 측정 장치
US10762619B2 (en) Imaging support device and imaging support method
KR101081375B1 (ko) 강 교량의 표면 주행이 가능한 교량점검 및 비파괴조사용 로봇
JP2004347585A (ja) 建築および土木構造物計測・解析システム
US8462208B2 (en) System and method for tridimensional cartography of a structural surface
RU2478489C1 (ru) Устройство измерения высоты пантографа
US20180299387A1 (en) Imaging support device and imaging support method
KR20080048849A (ko) 교량 검사용 이동로봇을 이용한 교량 검사 시스템
KR101652365B1 (ko) 레이저를 이용한 예인수조 레일용 계측장치 및 이에 의한 계측방법
JP2003035527A (ja) 積載物の体積計測方法及び装置
KR100978148B1 (ko) 컨테이너의 3차원 표면 영상획득 시스템
KR100816826B1 (ko) 레이저 이미지를 이용한 균열측정 장치 및 방법
KR100758205B1 (ko) 영상에 대한 좌표 인식이 가능한 교량점검 시스템
JP2019056671A (ja) 壁面損傷検査装置
KR100944103B1 (ko) 거더와 거더 사이의 교량점검용 로봇
KR100557682B1 (ko) 주행 바닥면 영상정보를 이용한 이동로봇의 주행제어방법
KR101283932B1 (ko) 짐벌 플랫폼의 지향 오차 측정 방법 및 그 장치
JP6482248B2 (ja) 狭隙間点検装置
KR100955381B1 (ko) 이미지의 연속배열처리가 가능한 교량점검시스템

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120903

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150824

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160825

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 13