KR20200007165A - 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법 - Google Patents
무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20200007165A KR20200007165A KR1020180080961A KR20180080961A KR20200007165A KR 20200007165 A KR20200007165 A KR 20200007165A KR 1020180080961 A KR1020180080961 A KR 1020180080961A KR 20180080961 A KR20180080961 A KR 20180080961A KR 20200007165 A KR20200007165 A KR 20200007165A
- Authority
- KR
- South Korea
- Prior art keywords
- porthole
- image
- unmanned aerial
- aerial vehicle
- vision sensor
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 230000008439 repair process Effects 0.000 claims abstract description 22
- 238000010191 image analysis Methods 0.000 claims abstract description 10
- 238000012800 visualization Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000000295 complement effect Effects 0.000 claims 1
- 238000012913 prioritisation Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 239000010426 asphalt Substances 0.000 description 9
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
무인비행체(드론)를 활용하여 광범위한 지역에 산재하는 포트홀의 위치 및 크기를 신속하게 파악함으로써 사고 위험성이 큰 포트홀부터 신속하게 보수할 수 있고, 또한, 사진측량(Photogrammetry) 기술을 적용하여 무인비행체로부터 수집된 포트홀 영상을 정사영상으로 처리한 후, 영상처리 알고리즘 및 딥러닝 알고리즘을 활용하여 포트홀의 위치 및 크기를 측정하여 가시화함으로써, 보수 포트홀의 우선순위를 결정할 수 있으며, 또한, 무인비행체로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써, 탐지된 포트홀을 정확하게 파악할 수 있는, 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법이 제공된다.
Description
본 발명은 포트홀 탐지 시스템에 관한 것으로, 보다 구체적으로, 광범위한 지역에 산재하는 포트홀의 위치 및 크기를 신속하게 파악할 수 있도록 무인비행체인 드론(Drone)에 비전센서(Vision Sensor)를 탑재하여 포트홀(Pot-Hole) 영상을 촬영 및 탐지하는, 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법에 관한 것이다.
국내의 아스팔트 도로포장은 1990년대 이후 물동량의 급증과 차량하중의 중량화 및 대형화, 여름철 이상고온과 집중호우와 같은 대기환경의 변화 등으로 소성변형과 균열, 포트홀(Pot-Hole) 등 다양한 형태의 도로 파손이 급격히 증가하고 있기 때문에 교통사고 유발은 물론 보수로 인한 막대한 비용 손실을 초래하고 있다.
또한, 부적절한 포장재료의 사용과 품질관리체계 미비 등은 도로의 조기파손을 더욱 가속화시켜 도로수명을 현저히 저하시키고 있다.
도 1은 통상적인 아스팔트 도로 상에서 발생하는 포트홀을 예시하는 사진이다.
포트홀(Pot-Hole)은, 도 1에 도시된 바와 같이, 아스팔트 도로포장의 노면이 국부적으로 움푹 떨어져 나가 패어지는 항아리 모양의 노면 파손 형태를 갖는다. 이러한 포트홀은 여름 집중호우와 겨울철 폭설 시에 집중적으로 발생하며, 교통안전과 도로 손상에 큰 영향을 미치고 있다.
이에 따라 국토교통부에서는 형식적인 품질관리에서 탈피하여 체계적인 품질관리방안과 포트홀 저감 방안을 마련하여 교통사고 발생 예방 및 포장관리에 철저를 기하고 있다. 예를 들면, 한국도로공사에서 1998년∼2009년 조사한 바에 따르면, 고속국도의 도로 파손에서 포트홀이 66%를 차지하며, 균열이 24%, 소성변형이 10%를 차지하는 것으로 밝혀졌다.
이러한 포트홀의 발생 메커니즘은 포장체 내부로 우수가 침투하여 아스팔트 혼합물의 결합력이 약해지고, 차량하중에 의해 발생한 내부 간극수압으로 취약한 부분을 중심으로 골재가 탈리되는 과정으로 이루어진다. 특히, 최근의 기후변화에 따라 오랜 집중호우기간 및 폭설 등으로 과다한 시간 동안 노면에 수분이 체류하여 아스팔트 포장의 포트홀 발생이 급격히 증가하고 있다.
구체적으로, 계절별로 살펴보면, 여름에는 집중호우 및 장기적인 강우로 인해 아스팔트 포장 내부로 빗물이 스며들고, 수분으로 포화된 시간이 증가된다. 이에 따라 포장체 내부에서 차량이 통행할 때마다 높은 간극수압이 작용하며, 골재에서 아스팔트를 박리시켜서 발생된다.
또한, 겨울에는 폭설 시 도로에 살포한 제설제로 인해 눈이 녹게 되며, 제설제로 인해 녹은 눈은 쉽게 결빙되지 않으므로 수분이 포장에 침투하여 여름과 동일한 현상으로 포트홀이 발생한다. 또한, 낮은 대기 온도로 인해 아스팔트 포장의 취성이 증가하여 더욱 심각한 파손이 발생된다.
또한, 봄철에는 포장 내부에 침투한 수분으로 인하여 겨울에 노상 등이 동결하며 포장체가 융기되고, 봄철 융해로 인해 공동현상 후에 교통하중에 의해 포장 침하 및 포트홀이 발생된다.
한편, 기존에 포트홀 위치는 조사자가 육안으로 차량을 통해 조사하고, 이를 보수하는 형식을 취하였다. 그러나 이러한 방식은 조사자의 이동 범위에 국한되어 다양한 지역의 포트홀을 조사하기에는 인력, 장비적인 측면에서 한계가 있다.
한편, 도 2는 종래의 기술에 따른 도로포장 포트홀 감지 시스템을 예시하는 도면이다.
종래의 기술에 따른 도로포장 포트홀 감지 시스템은, 도 2에 도시된 바와 같이, 도로 상의 포트홀을 조기에 발견할 수 있도록 시내버스에 파손도로인 포트홀을 감지하는 포장파손 감지센서와 위성항법장치(GPS)를 장착한다.
이에 따라 상기 포장파손 감지센서와 GPS 모듈은 포트홀을 지나갈 경우 충격을 자동으로 감지해 위험요소를 발견한다. 이때, 포트홀로 인해 버스가 덜컹거리면 포장파손 감지센서를 통해 포트홀을 찾아낼 수 있고, 기록된 데이터는 유지관리기관에 전송되면 즉시 응급보수를 시행할 수 있다.
그러나 전술한 포장파손 감지센서를 구비한 종래의 기술에 따른 도로포장 포트홀 감지 시스템은, 버스가 도로 상의 덜컹거리는 포트홀을 지나갈 경우에만 포트홀을 감지할 수 있다는 문제점이 있다.
한편, 선행기술로서, 대한민국 공개특허번호 제2015-12384호에는 "도로 표면상의 포트홀 측정 시스템 및 방법"이라는 명칭의 발명이 개시되어 있는데, 도 3a 및 도 3b를 참조하여 설명한다.
도 3a는 종래의 기술에 따른 도로 표면상의 포트홀 측정 시스템을 나타내는 구성도이고, 도 3b는 종래의 기술에 따른 도로 표면상의 포트홀 측정 방법의 동작흐름도이다.
도 3a를 참조하면, 종래의 기술에 따른 도로 표면상의 포트홀 측정 시스템은, 각종 장치의 데이터를 취합하고 처리하는 PC 시스템(80), 포트홀의 크기를 인식하고 측정하는 비전 카메라(93), 도로면의 높낮이를 측정하여 포트홀의 깊이를 측정하는 레이저센서(92), 포트홀의 위치를 측정하는 GPS 모듈(91) 및 차량 이동에 의한 위치 보정을 위한 속도센서(94)를 포함한다.
PC 시스템(80)은 연결된 장치에서 생성된 데이터를 취합 및 처리하여 포트홀에 대한 측정 및 판단을 처리하고, 각 장치들(91, 92, 93, 94)을 제어한다. 상기 PC 시스템(80)은 비전 카메라(93)에서 취득되는 영상을 분석하여 촬영된 화면에서 포트홀이 있는지 인식한다. 만약 포트홀로 의심되는 영상이 있는 경우, 영상처리를 통해 포트홀 유무를 판단하고, 포트홀로 판정될 경우에 포트홀의 크기를 측정한다. 또한, 레이저 센서(92)의 데이터를 받아 도로 표면의 높이를 측정하고, 정상 높이와 차이가 나는 경우에 포트홀로 판정한다. 또한, GPS 모듈(91)을 통해서 차량 이동중에 위치값을 수신하여 해당 위치값을 기록한다. 이때, 차량 이동에 의한 위치 오차를 보정하기 위해 속도센서(94)의 데이터를 수신하고 위치값을 보정하여 최종 위치값을 도출한다.
도 3a 및 도 3b를 참조하면, 종래의 기술에 따른 도로 표면상의 포트홀 측정 방법은, 포트홀 인식 및 측정을 위해서 GPS 모듈(91), 레이저센서(92), 비전 카메라(93) 및 속도센서(94)의 네 가지 장치에 의한 측정과 종합적인 판단 로직이 적용된다.
구체적으로, 영상처리 로직(S10)에서는 비전 카메라(93)에서 취득된 영상을 이용하여 포트홀을 인식하고 크기를 판단한다. 이후, 비전 카메라(93)에서 영상이 취득되면, 영상데이터는 PC 시스템(80)으로 전달되고, PC 시스템(80)에서는 영상의 전처리를 통해 영상처리 인식이 가능하도록 이미지를 변형하여 포트홀을 인식한다. 만약 포트홀로 인식될 경우, 포트홀의 크기를 측정하여 결과를 도출한다.
또한, 레이저 변위센서 로직(S20)에서는 차량에 설치된 레이저 센서(92)를 통해 도로면의 높이를 측정하고, 이후 측정값을 분석하여 도로면의 높이 및 깊이를 측정한다. 이에 따라 PC 시스템(80)은 영상처리 로직(S10)과 레이저 변위센서 로직(S20)에서 도출된 포트홀 크기 측정값과 도로면 높이값을 바탕으로 측정값을 판단하여(S50), 해당 지점이 포트홀인지 판단하고, 최종적으로 포트홀 유무, 포트홀 크기 및 포트홀 깊이 정보를 도출한다.
또한, GPS 신호처리 로직(S30)에서는 차량에 설치된 GPS 모듈(91)을 통해 GPS 신호를 수신하고, 현재 위치값을 PC 시스템(80)에 전달한다.
또한, 차량 이동에 따른 위치 오차값을 보정하기 위해 속도센서 로직(S40)에서 주행속도를 측정한 후, 속도값을 산출하여 PC 시스템(80)에서 GPS 위치값과 속도측정값을 취합하여 최종적으로 위치를 보정한다(S60).
최종적으로, 각 4개의 처리 로직(S10, S20, S30, S40)에 의해 도출된 포트홀의 크기, 포트홀 깊이, 포트홀 위치정보는 최종 데이터 처리로직(S70)으로 전달되어 정해진 프로토콜에 의해 정보가 전달된다.
종래의 기술에 따른 도로 표면상의 포트홀 측정 시스템 및 방법에 따르면, 포트홀의 검사 및 측정에 있어서 육안이 아닌 객관적인 장치의 데이터를 이용함으로써 포트홀에 대해 보다 정밀하고 정확한 검사 및 측정이 가능하며, 주행중인 차량에 장치를 설치하여 포트홀 검사를 위한 별도의 차량 통제 및 시간소요가 필요하지 않게 된다. 또한, GPS 데이터와 연동하여 포트홀에 대한 정확한 위치정보를 제공할 수 있다.
그러나 종래의 기술에 따른 도로 표면상의 포트홀 측정 시스템 및 방법의 경우, 차량에 비전 카메라(93) 이외에 포트홀 표면 높이를 측정하기 위한 레이저센서(92) 등을 별도로 장착해야 하고, 데이터 추출에 많은 시간이 소요되고, 단지 하나의 차량에서 도로 표면상의 포트홀을 측정함으로써 도로 관리주체가 포트홀 데이터를 신뢰하기 어렵다는 문제점이 있다.
한편, 전술한 포트홀을 복구함에 있어서 경미한 포트홀보다는 차량의 손상이나 교통사고를 유발할 수 있는 대형 포트홀을 우선적으로 보수하는 등 합리적인 포트홀 보수전략이 필요하지만, 종래의 기술에 따르면, 주로 도로순찰이나 제보에 의해 포트홀 발생현황을 파악함에 따라 합리적인 포트홀 보수전략 수립이 어렵다는 문제점이 있다. 또한, 종래의 기술에 따르면, 이러한 포트홀 정보수집 기술 부족으로 인해 포트홀 보수의 우선순위의 불합리가 발생하고, 이에 따른 잦은 민원이 제기되고 있는 설정이다.
전술한 문제점을 해결하기 위한 본 발명이 이루고자 하는 기술적 과제는, 무인비행체(드론)를 활용하여 광범위한 지역에 산재하는 포트홀의 위치 및 크기를 신속하게 파악할 수 있는, 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 사진측량(Photogrammetry) 기술을 적용하여 무인비행체로부터 수집된 포트홀 영상을 정사영상으로 처리한 후, 영상처리 알고리즘 및 딥러닝 알고리즘을 활용하여 포트홀의 위치 및 크기를 측정하여 가시화함으로써, 보수 포트홀의 우선순위를 결정할 수 있는, 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법을 제공하기 위한 것이다.
전술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템은, 비전센서가 포트홀을 촬영할 수 있도록 비행궤도를 따라 포트홀에 접근하도록 비행하는 무인비행체; 상기 포트홀에 대한 영상을 획득할 수 있도록 상기 무인비행체에 탑재되어 도로영상을 촬영하는 비전센서; 사진측량 기술에 따라 정지영상으로 획득한 포트홀 영상을 이용하여 피사체인 포트홀에 대한 위치와 형상을 해석하며, 무인비행체로부터 수집된 영상을 정사영상화하여 각 픽셀들의 정확한 위치좌표를 파악하는 측량사진 처리부; 상기 측량사진 처리부에 의해 정사화된 정사영상에 영상처리 알고리즘 및 딥러닝 알고리즘을 적용하여 포트홀을 탐지하고 포트홀 영역 검출, 면적 산출 및 위치를 산출하는 포트홀 탐지 영상처리부; 및 상기 포트홀 탐지 영상처리부에서 처리된 포트홀을 가시화하여 표시하는 포트홀 가시화부를 포함하되, 상기 무인비행체로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀의 크기 및 위치를 정확하게 파악하는 것을 특징으로 한다.
본 발명에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템은, 상기 포트홀 가시화부에서 가시화된 다수의 포트홀에 대해 상기 포트홀의 크기 및 위치에 따라 보수 우선순위를 결정하는 보수 포트홀 우선순위 결정부를 추가로 포함할 수 있다.
본 발명에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템은, 상기 무인비행체의 출동과 복귀, 비행, 충전, 포트홀 인식 및 포트홀 영상 촬영을 원격 지시하는 무인비행체 비행 및 조종 단말을 추가로 포함할 수 있다.
여기서, 상기 측량사진 처리부는, 상기 무인비행체에 탑재된 비전센서가 촬영한 포트홀 영상 데이터를 무인비행체로부터 수집하여 입력하는 영상 입력부; 상기 무인비행체에 탑재된 비전센서가 촬영한 포트홀 영상인 중심투영 사진의 왜곡현상을 최소화하도록 정지영상을 접합하는 영상 접합부; 영상 촬영위치, 비전센서 경사각, 사진 축척을 구하여, 촬영시의 비전센서와 대상물인 포트홀의 좌표계와의 관계를 재현하도록 지상기준점을 활용하여 상기 포트홀 영상의 절대표정을 수행하는 영상 표정부; 및 상기 포트홀 영상을 구성하는 각 픽셀들의 정확한 위치좌표를 파악할 수 있도록 포트홀 영상을 정사영상화하는 정사영상 생성부를 포함할 수 있다.
여기서, 상기 영상 접합부는 초당 15장으로 촬영된 정지영상을 60∼80% 중첩도로 접합할 수 있다.
여기서, 상기 포트홀 탐지 영상처리부는, 입력된 정사영상을 전처리하여, 그레이 스케일로 변환하고 모폴로지 처리하는 정사영상 전처리부; 포트홀 영상의 모서리 및 질감을 분석하는 영상처리 알고리즘을 이용하여 포트홀 후보 영역을 탐지하는 포트홀 후보 추출부; 상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘을 적용하여 최종적으로 포트홀을 탐지 및 결정하는 포트홀 최종후보 결정부; 상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘을 적용하여 포트홀 영역을 검출하는 포트홀 영역 검출부; 상기 포트홀 영역의 픽셀수 카운트를 통해 면적을 산출하는 포트홀 면적 산출부; 및 정사영상 좌표값을 사용하여 상기 포트홀의 중심 픽셀의 좌표값을 추출하여 포트홀 위치를 산출하는 포트홀 위치 산출부를 포함할 수 있다.
한편, 전술한 기술적 과제를 달성하기 위한 다른 수단으로서, 본 발명에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법은, a) 무인비행체 상에 비전센서를 탑재하는 단계; b) 상기 무인비행체의 비행궤도를 따라 상기 비전센서가 사진측량을 위한 포트홀 영상을 촬영하는 단계; c) 포트홀 탐지 서버가 상기 무인비행체로부터 포트홀 영상 데이터를 수집하는 단계; d) 측량사진인 포트홀 영상 데이터를 접합하고 정사영상을 생성하는 단계; e) 포트홀 탐지 영상을 처리하여 포트홀 후보를 추출하고, 포트홀 영역의 면적 및 위치를 산출하는 단계; 및 f) 상기 포트홀을 가시화하는 단계를 포함하되, 상기 무인비행체로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀의 크기 및 위치를 정확하게 파악하는 것을 특징으로 한다.
본 발명에 따르면, 무인비행체(드론)를 활용하여 광범위한 지역에 산재하는 포트홀의 위치 및 크기를 신속하게 파악함으로써 사고 위험성이 큰 포트홀부터 신속하게 보수할 수 있다.
본 발명에 따르면, 사진측량(Photogrammetry) 기술을 적용하여 무인비행체로부터 수집된 포트홀 영상을 정사영상으로 처리한 후, 영상처리 알고리즘 및 딥러닝 알고리즘을 활용하여 포트홀의 위치 및 크기를 측정하여 가시화함으로써, 보수 포트홀의 우선순위를 결정할 수 있다.
본 발명에 따르면, 무인비행체로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써, 탐지된 포트홀을 정확하게 파악할 수 있다.
도 1은 통상적인 아스팔트 도로 상에서 발생하는 포트홀을 예시하는 사진이다.
도 2는 종래의 기술에 따른 도로포장 포트홀 감지 시스템을 예시하는 도면이다.
도 3a는 종래의 기술에 따른 도로 표면상의 포트홀 측정 시스템을 나타내는 구성도이고, 도 3b는 종래의 기술에 따른 도로 표면상의 포트홀 측정 방법의 동작흐름도이다.
도 4는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템의 구성도이다.
도 5a 및 도 5b는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 비전센서를 탑재한 무인비행체를 구체적으로 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 측량사진 처리부의 구체적인 구성도이다.
도 7은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 탐지 영상처리부의 구체적인 구성도이다.
도 8은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 검출 알고리즘을 구체적으로 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 영역 검출을 구체적으로 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 가시화를 구체적으로 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법의 동작흐름도이다.
도 12는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법에서 측량사진 처리 과정을 구체적으로 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법에서 포트홀 탐지 영상처리 과정을 구체적으로 설명하기 위한 도면이다.
도 2는 종래의 기술에 따른 도로포장 포트홀 감지 시스템을 예시하는 도면이다.
도 3a는 종래의 기술에 따른 도로 표면상의 포트홀 측정 시스템을 나타내는 구성도이고, 도 3b는 종래의 기술에 따른 도로 표면상의 포트홀 측정 방법의 동작흐름도이다.
도 4는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템의 구성도이다.
도 5a 및 도 5b는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 비전센서를 탑재한 무인비행체를 구체적으로 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 측량사진 처리부의 구체적인 구성도이다.
도 7은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 탐지 영상처리부의 구체적인 구성도이다.
도 8은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 검출 알고리즘을 구체적으로 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 영역 검출을 구체적으로 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 가시화를 구체적으로 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법의 동작흐름도이다.
도 12는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법에서 측량사진 처리 과정을 구체적으로 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법에서 포트홀 탐지 영상처리 과정을 구체적으로 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
[무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템(100)]
도 4는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템의 구성도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템(100)은, 무인비행체(110), 비전센서(120), 측량사진 처리부(130), 포트홀 탐지 영상처리부(140), 포트홀 가시화부(150), 보수 포트홀 우선순위 결정부(160) 및 무인비행체 비행 및 조종 단말(170)을 포함하며, 이때, 상기 측량사진 처리부(130), 포트홀 탐지 영상처리부(140), 포트홀 가시화부(150), 보수 포트홀 우선순위 결정부(160)는 통합적으로 하나의 포트홀 탐지 서버로 구현될 수 있다.
무인비행체(110), 예를 들면, 드론(Drone)은 비전센서(120)가 포트홀(200)을 촬영할 수 있도록 비행궤도를 따라 포트홀(200)에 접근하도록 비행한다.
무인비행체 비행 및 조종 단말(170)은 상기 무인비행체(110)의 출동과 복귀, 비행, 충전, 포트홀 인식 및 포트홀 영상 촬영을 원격 지시한다. 이때, 상기 무인비행체 비행 및 조종 단말(170)은 무인비행체(110)의 출동 및 복귀, 비행, 충전, 포트홀 인식, 포트홀 영상 촬영을 원격 지시할 수 있는 각각의 알고리즘과 프로세서가 탑재되어 있다. 따라서 상기 무인비행체 비행 및 조종 단말(170)의 명령으로 출동한 무인비행체(110)는 상기 포트홀(200)에 근접하도록 비행한다.
비전센서(120)는 상기 포트홀(200)에 대한 영상을 획득할 수 있도록 상기 무인비행체(110)에 탑재되어 도로영상을 촬영한다.
측량사진 처리부(130)는 사진측량(Photogrammetry) 기술에 따라 사진(정지영상)으로 획득한 포트홀 영상을 이용하여 피사체인 포트홀(200)에 대한 위치와 형상을 해석하며, 무인비행체(110)로부터 수집된 영상을 정사영상(Orthogonal Image)화 하여 각 픽셀들의 정확한 위치좌표를 파악한다.
포트홀 탐지 영상처리부(140)는 상기 측량사진 처리부(130)에 의해 정사화된 정사영상(Orthogonal Image)에 영상처리 알고리즘 및 딥러닝 알고리즘을 적용하여 포트홀(200)을 탐지하고 포트홀 영역 검출, 면적 산출 및 위치를 산출한다.
포트홀 가시화부(150)는 상기 포트홀 탐지 영상처리부(140)에서 처리된 포트홀(200)을 가시화하여 표시한다.
보수 포트홀 우선순위 결정부(160)는 상기 포트홀 가시화부(150)에서 가시화된 다수의 포트홀(200)에 대해 상기 포트홀(200)의 크기 및 위치에 따라 보수 우선순위를 결정한다.
이에 따라, 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템(100)은 무인비행체(110)를 통해 수집된 영상 데이터 분석-기반의 포트홀 자동탐지 시스템으로서, 상기 무인비행체(110)로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀(200)의 크기 및 위치를 정확하게 파악할 수 있다. 즉, 사진측량(Photogrammetry) 기술을 적용하여 무인비행체(110)로부터 수집된 포트홀(200) 영상을 정사영상으로 처리한 후, 영상처리 알고리즘 및 딥러닝 알고리즘을 활용하여 포트홀(200)의 위치 및 크기를 측정하고, 이를 가시화한다. 이에 따라 보수 포트홀의 우선순위를 결정함에 따라 사고 위험성이 큰 포트홀(200)부터 신속하게 보수할 수 있다.
한편, 도 5a 및 도 5b는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 비전센서를 탑재한 무인비행체를 구체적으로 설명하기 위한 도면으로서, 도 5a는 드론의 구성도이고, 도 5b는 드론을 예시하는 사진이다.
도 5a를 참조하면, 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 무인비행체(110)는 무선통신모듈(111), 제어부(112), 메모리(113), 비행유닛(114) 및 배터리(115)를 포함하며, 도 5b에 도시된 바와 같이, 상기 무인비행체(110)는 무인비행체 본체, 프로펠러 모터, 프로펠러 및 착륙 지지대 등을 포함할 수 있다.
비전센서(120)는 상기 무인비행체(110) 내에 회전 가능하도록 장착되어 포트홀(200)을 촬영하며, 사진인 정지영상을 획득한다.
무선통신모듈(111)은 상기 무인비행체 비행 및 조종 단말(170)로부터 원격 제어신호를 수신하고, 상기 비전센서(120)에 의해 촬영된 포트홀 영상을 전송한다.
제어부(112)는 상기 무선통신모듈(111)을 통해 수신된 원격 제어신호에 따라 비행 유닛(114)을 제어하고, 상기 비전센서(120)의 구동을 제어하며, 상기 비전센서(120)로부터 촬영된 데이터를 상기 무선통신모듈(111)을 통해 전송하는 것을 제어하도록 MCU로 구현되며, 메모리(113)는 상기 비전센서(120)에 의해 촬영된 포트홀 영상 데이터를 저장한다.
비행 유닛(114)은 상기 무인비행체 비행 및 조종 단말(170)로부터 전송된 원격 제어신호에 따라 상기 무인비행체(110)를 비행시키도록 상기 제어부(112)의 제어에 따라 구동된다.
배터리(115)는 상기 무선통신모듈(111), 제어부(112), 메모리(113), 비행 유닛(114) 및 비전센서(120)에 전원을 공급한다.
무인비행체 비행 및 조종 단말(170)은 상기 무인비행체(110)의 출동과 복귀, 비행, 충전, 시설물 인식 및 영상촬영을 원격 지시한다. 이때, 상기 무인비행체 비행 및 조종 단말(170)은 무인비행체(110)의 출동 및 복귀, 비행, 충전, 포트홀 인식, 포트홀 영상 촬영을 지시할 수 있는 알고리즘과 프로세서가 탑재되어 있다.
따라서 상기 무인비행체 비행 및 조종 단말(170)의 명령으로 출동한 무인비행체(110)는 비행궤도를 따라 상기 포트홀(200)에 근접하도록 비행하며, 비전센서(120)가 상기 포트홀(200)의 이상 유무를 확인하도록 포트홀 영상을 촬영한다.
한편, 도 6은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 측량사진 처리부의 구체적인 구성도이다.
도 6을 참조하면, 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 측량사진 처리부(130)는, 영상 입력부(131), 영상 접합부(132), 영상 표정부(133) 및 정사영상 생성부(134)를 포함한다.
영상 입력부(131)는 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상 데이터를 무인비행체(110)로부터 수집하여 입력한다.
영상 접합부(132)는 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상인 중심투영(Perspective Projection) 사진의 왜곡현상을 최소화하기 위해 예를 들면, 초당 15장으로 촬영된 정지영상을 60∼80% 중첩도로 접합한다.
영상 표정부(133)는 영상 촬영위치, 비전센서 경사각, 사진 축척 등을 구하여 촬영시의 비전센서(120)와 대상물인 포트홀(200)의 좌표계와의 관계를 재현하는 것으로, 지상기준점(Ground Critical Point)을 활용하여 절대표정을 수행한다.
정사영상 생성부(134)는 포트홀 영상을 구성하는 각 픽셀들의 정확한 위치좌표를 파악할 수 있도록 포트홀 영상을 정사영상(Orthogonal Image)화한다.
한편, 도 7은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 탐지 영상처리부의 구체적인 구성도이다.
도 7을 참조하면, 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 탐지 영상처리부(140)는, 정사영상 전처리부(141), 포트홀 후보 추출부(142), 포트홀 최종후보 결정부(143), 포트홀 영역 검출부(144), 포트홀 면적 산출부(145) 및 포트홀 위치 산출부(146)를 포함한다.
정사영상 전처리부(141)는 입력된 정사영상을 전처리하여, 그레이 스케일로 변환하고 모폴로지(Morphology) 처리한다. 여기서, 상기 모폴로지 처리는 포트홀 영상의 밝은 영역이나 어두운 영역을 축소하거나 확대하는 기법으로서, 컬러 영상을 그레이 스케일로 변환할 때 결과 영상에서 흰색 영역이나 검은색 영역이 원하는 것보다 넓거나 좁게 얻어질 수 있는데, 최적의 문턱값(Threshold value)을 이용하여 잘못된 분리 영역을 후처리 과정을 통하여 수정하는 것을 말한다.
포트홀 후보 추출부(142)는 포트홀(200) 영상의 모서리(Edge) 및 질감(Textile)을 분석하는 영상처리 알고리즘(Image Processing Algorithm), 예를 들면, Saliency Map, Wavelet Energy Field, Otsu's method 또는 Super-pixel 알고리즘을 이용하여 포트홀 후보 영역을 탐지한다.
포트홀 최종후보 결정부(143)는 상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘(Deep Learning Algorithm), 예를 들면, Inception, SqueezeNet, VGG, SegNet, DeepLab 또는 LKM 알고리즘을 적용하여 최종적으로 포트홀을 탐지 및 결정한다.
포트홀 영역 검출부(144)는 상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘(Refinement Algorithm)을 적용하여 포트홀 영역 검출을 완성한다.
포트홀 면적 산출부(145)는 상기 포트홀 영역의 픽셀수 카운트를 통해 면적을 산출한다.
포트홀 위치 산출부(146)는 상기 포트홀(200)의 중심 픽셀의 좌표값을 추출하여 포트홀 위치를 산출한다.
한편, 도 8은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 검출 알고리즘을 구체적으로 설명하기 위한 도면이다.
본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템은, 도 8에 도시된 바와 같이, 포트홀 검출 프로그램에 의해, 입력된 정사영상을 전처리하여, 그레이 스케일로 변환하고 모폴로지(Morphology) 처리하고, 이후, 포트홀(200) 영상의 모서리(Edge) 및 질감(Textile)을 분석하는 영상처리 알고리즘(Image Processing Algorithm)을 이용하여 포트홀 후보 영역을 탐지하며, 상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘을 적용하여 최종적으로 포트홀을 탐지 및 결정할 수 있고, 상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘(Refinement Algorithm)을 적용하여 포트홀 영역 검출을 완성할 수 있다.
한편, 도 9는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 영역 검출을 구체적으로 설명하기 위한 도면이다.
본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템은, 도 9의 a)에 도시된 바와 같이, 입력된 정사영상을 전처리하고, 이후, 도 9의 b)에 도시된 바와 같이, 정제 알고리즘(Refinement Algorithm)을 적용하고, 또한, 도 9의 c)에 도시된 바와 같이, 모폴로지(Morphology) 처리함으로써 포트홀 영역의 크기를 측정할 수 있다.
한편, 도 10은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템에서 포트홀 가시화를 구체적으로 설명하기 위한 도면이다.
본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템의 경우, 포트홀 가시화부(150)는 상기 포트홀 탐지 영상처리부(140)에서 처리된 포트홀(200)을 가시화하여 표시할 수 있고, 이에 따라, 보수 포트홀 우선순위 결정부(160)는 상기 포트홀 가시화부(150)에서 가시화된 다수의 포트홀(200)에 대해 상기 포트홀(200)의 크기 및 위치에 따라 보수 우선순위를 결정할 수 있다.
구체적으로, 도 10에 도시된 바와 같이, ① 검색 조건 영역은 포트홀 검색 조건을 지정하고, 포트홀을 추가/수정/검색할 수 있는 것을 나타내고, ② 검색 결과 영역은 검색결과 표출/저장할 수 있는 것을 나타내며, ③ 포트홀 지도 영역은 포트홀 위치를 지도에 표시할 수 있는 것을 나타내고, ④ 포트홀 속성 정보 영역은 검색된 포트홀 정보를 나타내며, ⑤ 포트홀 영상 정보 영역은 블랙박스, Gopro 동영상을 나타내고, ⑥ 포트홀 이미지 정보 영역은 블랙박스, Gopro 이미지를 각각 나타낸다.
본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템(100)은, 무인비행체(110)로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써, 탐지된 포트홀(200)을 10㎝ 이내의 오차로 정확하게 파악할 수 있다. 만약 무인비행체(110)로부터 수집된 영상에 단지 영상분석 기술만 적용할 경우, 정확한 위치파악이 어렵기 때문에 유지보수 인력이 포트홀을 보수할 때 해당위치를 정확히 파악할 수 없고, 이에 따라, 현장 유지보수 업무 비효율을 초래할 수 있고, 운전자에게 정보를 제공할 경우에도 부정확한 위치로 인해 정보제공 효과가 낮아질 수 있다.
본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템(100)은, 포트홀(200) 탐지를 위해 광범위한 지역에서 무인비행체로부터 수집한 영상 분석시 영상처리 알고리즘과 딥러닝 알고리즘을 융합하여 적용함으로써 포트홀 탐지 효율성(시간 절약)을 증가시킬 수 있다. 예를 들면, 10㎞에 대한 무인비행체로부터 수집한 영상 분석시, 단지 딥러닝 알고리즘만 적용할 경우 분석시간이 약 24시간 소요되지만, 본 발명의 실시예에 따라 영상처리 알고리즘과 딥러닝 알고리즘 융합 적용시 2시간 이내 분석이 가능해진다.
[무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법]
도 11은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법의 동작흐름도이고, 도 12는 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법에서 측량사진 처리 과정을 구체적으로 설명하기 위한 도면이며, 도 13은 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법에서 포트홀 탐지 영상처리 과정을 구체적으로 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 실시예에 따른 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법은, 먼저, 무인비행체(드론: 110) 상에 비전센서(120)를 탑재한다(S110).
다음으로, 상기 무인비행체(110)의 비행궤도를 따라 상기 비전센서(120)가 사진측량을 위한 포트홀(200) 영상을 촬영한다(S120).
다음으로, 포트홀 탐지 서버가 상기 무인비행체(110)로부터 포트홀 영상 데이터를 수집한다(S130).
다음으로, 측량사진인 포트홀 영상 데이터를 접합하고 정사영상을 생성한다(S140). 구체적으로, 도 11을 참조하면, 상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상 데이터를 무인비행체(110)로부터 수집하여 입력하고(S141), 이후, 상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상인 중심투영(Perspective Projection) 사진의 왜곡현상을 최소화하도록 정지영상을 접합(Image Matching)하며(S142), 이후, 영상 촬영위치, 비전센서 경사각, 사진 축척을 구하여, 촬영시의 비전센서(120)와 대상물인 포트홀(200)의 좌표계와의 관계를 재현하도록 지상기준점(Ground Critical Point)을 활용하여 상기 포트홀 영상의 절대 표정(Image Orientation)을 수행하고(S143), 이후, 상기 포트홀 영상을 구성하는 각 픽셀들의 정확한 위치좌표를 파악할 수 있도록 포트홀 영상을 정사영상(Orthogonal Image)화한다(S144).
다음으로, 도 10을 다시 참조하면, 포트홀 탐지 영상을 처리하여 포트홀 후보를 추출하고, 포트홀 영역의 면적 및 위치를 산출한다(S150). 구체적으로, 도 12를 참조하면, 입력된 정사영상을 전처리(Pre-processing)하여, 그레이 스케일로 변환하고 모폴로지(Morphology) 처리하고(S151), 이후, 포트홀(200) 영상의 모서리(Edge) 및 질감(Textile)을 분석하는 영상처리 알고리즘(Image Processing Algorithm)을 이용하여 포트홀 후보를 추출하며(S152), 이후, 상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘(Deep Learning Algorithm)을 적용하여 최종적으로 포트홀을 탐지 및 결정하고(S153), 이후, 상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘(Refinement Algorithm)을 적용하여 포트홀 영역을 검출하며(S154), 이후, 상기 포트홀 영역의 픽셀수 카운트를 통해 면적을 산출하고(S155), 이후, 정사영상 좌표값을 사용하여 상기 포트홀(200)의 중심 픽셀의 좌표값을 추출하여 포트홀 위치를 산출한다(S156).
다음으로, 도 10을 다시 참조하면, 상기 포트홀(200)을 가시화한다(S160).
다음으로, 상기 포트홀(200)의 보수를 위해 상기 포트홀(200)의 크기 및 위치에 따라 상기 포트홀(200)의 보수 우선순위를 선정한다(S170).
이에 따라, 상기 무인비행체(110)로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀(200)의 크기 및 위치를 정확하게 파악할 수 있다.
결국, 본 발명의 실시예에 따르면, 포트홀 위험지역을 신속하게 탐지할 수 있고, 포트홀 발생구간을 자동으로 탐지하여 긴급 보수할 수 있고, 무인비행체로부터 촬영된 영상 데이터 분석시 조사인력이나 분석인력이 불필요하게 된다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 포트홀 탐지 시스템
200: 포트홀
110: 무인비행체(드론) 120: 비전센서
130: 측량사진 처리부 140: 포트홀 탐지 영상처리부
150: 포트홀 가시화부 160: 보수 포트홀 우선순위 결정부
170: 무인비행체 비행 및 조종 단말
111: 무선통신모듈 112: 제어부
113: 메모리 114: 비행유닛
115: 배터리
131: 영상 입력부 132: 영상 접합부
133: 영상 표정부 134: 정사영상 생성부
141: 정사영상 전처리부 142: 포트홀 후보 추출부
143: 포트홀 최종후보 결정부 144: 포트홀 영역 검출부
145: 포트홀 면적 산출부 146: 포트홀 위치 산출부
110: 무인비행체(드론) 120: 비전센서
130: 측량사진 처리부 140: 포트홀 탐지 영상처리부
150: 포트홀 가시화부 160: 보수 포트홀 우선순위 결정부
170: 무인비행체 비행 및 조종 단말
111: 무선통신모듈 112: 제어부
113: 메모리 114: 비행유닛
115: 배터리
131: 영상 입력부 132: 영상 접합부
133: 영상 표정부 134: 정사영상 생성부
141: 정사영상 전처리부 142: 포트홀 후보 추출부
143: 포트홀 최종후보 결정부 144: 포트홀 영역 검출부
145: 포트홀 면적 산출부 146: 포트홀 위치 산출부
Claims (12)
- 비전센서(120)가 포트홀(200)을 촬영할 수 있도록 비행궤도를 따라 포트홀(200)에 접근하도록 비행하는 무인비행체(110);
상기 포트홀(200)에 대한 영상을 획득할 수 있도록 상기 무인비행체(110)에 탑재되어 도로영상을 촬영하는 비전센서(120);
사진측량(Photogrammetry) 기술에 따라 사진(정지영상)으로 획득한 포트홀 영상을 이용하여 피사체인 포트홀(200)에 대한 위치와 형상을 해석하며, 무인비행체(110)로부터 수집된 영상을 정사영상(Orthogonal Image)화 하여 각 픽셀들의 정확한 위치좌표를 파악하는 측량사진 처리부(130);
상기 측량사진 처리부(130)에 의해 정사화된 정사영상(Orthogonal Image)에 영상처리 알고리즘 및 딥러닝 알고리즘을 적용하여 포트홀(200)을 탐지하고 포트홀 영역 검출, 면적 산출 및 위치를 산출하는 포트홀 탐지 영상처리부(140); 및
상기 포트홀 탐지 영상처리부(140)에서 처리된 포트홀(200)을 가시화하여 표시하는 포트홀 가시화부(150)를 포함하되,
상기 무인비행체(110)로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀(200)의 크기 및 위치를 정확하게 파악하는 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - 제1항에 있어서,
상기 포트홀 가시화부(150)에서 가시화된 다수의 포트홀(200)에 대해 상기 포트홀(200)의 크기 및 위치에 따라 보수 우선순위를 결정하는 보수 포트홀 우선순위 결정부(160)를 추가로 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - 제1항에 있어서,
상기 무인비행체(110)의 출동과 복귀, 비행, 충전, 포트홀 인식 및 포트홀 영상 촬영을 원격 지시하는 무인비행체 비행 및 조종 단말(170)을 추가로 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - 제1항에 있어서,
상기 측량사진 처리부(130)는,
상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상 데이터를 무인비행체(110)로부터 수집하여 입력하는 영상 입력부(131);
상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상인 중심투영(Perspective Projection) 사진의 왜곡현상을 최소화하도록 정지영상을 접합하는 영상 접합부(132);
영상 촬영위치, 비전센서 경사각, 사진 축척을 구하여, 촬영시의 비전센서(120)와 대상물인 포트홀(200)의 좌표계와의 관계를 재현하도록 지상기준점(Ground Critical Point)을 활용하여 상기 포트홀 영상의 절대표정을 수행하는 영상 표정부(133); 및
상기 포트홀 영상을 구성하는 각 픽셀들의 정확한 위치좌표를 파악할 수 있도록 포트홀 영상을 정사영상(Orthogonal Image)화하는 정사영상 생성부(134)를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - 제4항에 있어서,
상기 영상 접합부(132)는 초당 15장으로 촬영된 정지영상을 60∼80% 중첩도로 접합하는 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - 제4항에 있어서,
상기 포트홀 탐지 영상처리부(140)는,
입력된 정사영상을 전처리하여, 그레이 스케일로 변환하고 모폴로지(Morphology) 처리하는 정사영상 전처리부(141);
포트홀(200) 영상의 모서리(Edge) 및 질감(Textile)을 분석하는 영상처리 알고리즘(Image Processing Algorithm)을 이용하여 포트홀 후보 영역을 탐지하는 포트홀 후보 추출부(142);
상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘(Deep Learning Algorithm)을 적용하여 최종적으로 포트홀을 탐지 및 결정하는 포트홀 최종후보 결정부(143);
상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘(Refinement Algorithm)을 적용하여 포트홀 영역을 검출하는 포트홀 영역 검출부(144);
상기 포트홀 영역의 픽셀수 카운트를 통해 면적을 산출하는 포트홀 면적 산출부(145); 및
정사영상 좌표값을 사용하여 상기 포트홀(200)의 중심 픽셀의 좌표값을 추출하여 포트홀 위치를 산출하는 포트홀 위치 산출부(146)를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - 제6항에 있어서,
상기 영상처리 알고리즘(Image Processing Algorithm)은 Saliency Map, Wavelet Energy Field, Otsu's method 또는 Super-pixel 알고리즘이고, 상기 딥러닝 알고리즘은 Inception, SqueezeNet, VGG, SegNet, DeepLab 또는 LKM 알고리즘인 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - 제1항에 있어서,
상기 무인비행체(110)는,
상기 무인비행체 비행 및 조종 단말(170)로부터 원격 제어신호를 수신하고, 상기 비전센서(120)에 의해 촬영된 영상신호를 전송하는 무선통신모듈(111);
상기 무선통신모듈(111)을 통해 수신된 원격 제어신호에 따라 비행 유닛(114)을 제어하고, 상기 비전센서(120)의 구동을 제어하며, 상기 비전센서(120)로부터 촬영된 포트홀 영상 데이터를 상기 무선통신모듈(111)을 통해 전송하는 것을 제어하는 제어부(112);
상기 비전센서(120)에 의해 촬영된 포트홀 영상 데이터를 저장하는 메모리(113);
상기 무인비행체 비행 및 조종 단말(170)로 전송된 원격 제어신호에 따라 상기 무인비행체(110)를 비행시키도록 상기 제어부(112)의 제어에 따라 구동되는 비행 유닛(114); 및
상기 무선통신모듈(111), 제어부(112), 메모리(113), 비행 유닛(114) 및 비전센서(120)에 전원을 공급하는 배터리(145)를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템. - a) 무인비행체(110) 상에 비전센서(120)를 탑재하는 단계;
b) 상기 무인비행체(110)의 비행궤도를 따라 상기 비전센서(120)가 사진측량을 위한 포트홀(200) 영상을 촬영하는 단계;
c) 포트홀 탐지 서버가 상기 무인비행체(110)로부터 포트홀 영상 데이터를 수집하는 단계;
d) 측량사진인 포트홀 영상 데이터를 접합하고 정사영상을 생성하는 단계;
e) 포트홀 탐지 영상을 처리하여 포트홀 후보를 추출하고, 포트홀 영역의 면적 및 위치를 산출하는 단계; 및
f) 상기 포트홀(200)을 가시화하는 단계를 포함하되,
상기 무인비행체(110)로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀(200)의 크기 및 위치를 정확하게 파악하는 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법. - 제9항에 있어서,
g) 상기 포트홀(200)의 보수를 위해 상기 포트홀(200)의 크기 및 위치에 따라 상기 포트홀(200)의 보수 우선순위를 선정하는 단계를 추가로 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법. - 제9항에 있어서,
상기 d) 단계는,
d-1) 상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상 데이터를 무인비행체(110)로부터 수집하여 입력하는 단계;
d-2) 상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상인 중심투영(Perspective Projection) 사진의 왜곡현상을 최소화하도록 정지영상을 접합(Image Matching)하는 단계;
d-3) 영상 촬영위치, 비전센서 경사각, 사진 축척을 구하여, 촬영시의 비전센서(120)와 대상물인 포트홀(200)의 좌표계와의 관계를 재현하도록 지상기준점(Ground Critical Point)을 활용하여 상기 포트홀 영상의 절대 표정(Image Orientation)을 수행하는 단계; 및
d-4) 상기 포트홀 영상을 구성하는 각 픽셀들의 정확한 위치좌표를 파악할 수 있도록 포트홀 영상을 정사영상(Orthogonal Image)화하는 단계를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법. - 제11항에 있어서,
상기 e) 단계는,
e-1) 입력된 정사영상을 전처리(Pre-processing)하여, 그레이 스케일로 변환하고 모폴로지(Morphology) 처리하는 단계;
e-2) 포트홀(200) 영상의 모서리(Edge) 및 질감(Textile)을 분석하는 영상처리 알고리즘(Image Processing Algorithm)을 이용하여 포트홀 후보를 추출하는 단계;
e-3) 상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘(Deep Learning Algorithm)을 적용하여 최종적으로 포트홀을 탐지 및 결정하는 단계;
e-4) 상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘(Refinement Algorithm)을 적용하여 포트홀 영역을 검출하는 단계;
e-5) 상기 포트홀 영역의 픽셀수 카운트를 통해 면적을 산출하는 단계; 및
e-6) 정사영상 좌표값을 사용하여 상기 포트홀(200)의 중심 픽셀의 좌표값을 추출하여 포트홀 위치를 산출하는 단계를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180080961A KR20200007165A (ko) | 2018-07-12 | 2018-07-12 | 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180080961A KR20200007165A (ko) | 2018-07-12 | 2018-07-12 | 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200007165A true KR20200007165A (ko) | 2020-01-22 |
Family
ID=69368595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180080961A KR20200007165A (ko) | 2018-07-12 | 2018-07-12 | 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200007165A (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102447678B1 (ko) * | 2022-05-16 | 2022-09-26 | 이대권 | 드론 및 인공지능을 이용하는 식물 관리 방법 |
| KR20220166015A (ko) * | 2021-06-09 | 2022-12-16 | 대구가톨릭대학교산학협력단 | 딥러닝 기반 항공 영상 내 포트홀 탐지 결과 시각화 장치 및 그 방법 |
| GB2610881A (en) * | 2021-09-17 | 2023-03-22 | Acad Of Robotics | A method, vehicle and system for measuring a dimension of a road defect |
| KR102522086B1 (ko) * | 2022-11-01 | 2023-04-17 | 주식회사 자연과기술 | 항공라이다를 이용한 포트홀 모니터링 및 차량 네비게이션 정보제공시스템 |
| US11829959B1 (en) * | 2022-11-18 | 2023-11-28 | Prince Mohammad Bin Fahd University | System and methods for fully autonomous potholes detection and road repair determination |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101543342B1 (ko) | 2015-02-23 | 2015-08-11 | 한국건설기술연구원 | 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법 |
| KR101692781B1 (ko) | 2015-10-05 | 2017-01-04 | 금오공과대학교 산학협력단 | 드론 및 모니터링 센서 연동 기반의 재난 관리 시스템 |
| KR101715211B1 (ko) | 2016-11-03 | 2017-03-13 | 한국건설기술연구원 | 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법 |
| KR20170111921A (ko) | 2016-03-30 | 2017-10-12 | 팅크웨어(주) | 무인 비행체 제어 방법 및 시스템 |
| KR101833920B1 (ko) | 2017-10-23 | 2018-04-13 | (주)지스페이스코리아 | 공간영상도화용 이미지를 확보하는 드론 시스템 |
-
2018
- 2018-07-12 KR KR1020180080961A patent/KR20200007165A/ko not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101543342B1 (ko) | 2015-02-23 | 2015-08-11 | 한국건설기술연구원 | 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법 |
| KR101692781B1 (ko) | 2015-10-05 | 2017-01-04 | 금오공과대학교 산학협력단 | 드론 및 모니터링 센서 연동 기반의 재난 관리 시스템 |
| KR20170111921A (ko) | 2016-03-30 | 2017-10-12 | 팅크웨어(주) | 무인 비행체 제어 방법 및 시스템 |
| KR101715211B1 (ko) | 2016-11-03 | 2017-03-13 | 한국건설기술연구원 | 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법 |
| KR101833920B1 (ko) | 2017-10-23 | 2018-04-13 | (주)지스페이스코리아 | 공간영상도화용 이미지를 확보하는 드론 시스템 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220166015A (ko) * | 2021-06-09 | 2022-12-16 | 대구가톨릭대학교산학협력단 | 딥러닝 기반 항공 영상 내 포트홀 탐지 결과 시각화 장치 및 그 방법 |
| GB2610881A (en) * | 2021-09-17 | 2023-03-22 | Acad Of Robotics | A method, vehicle and system for measuring a dimension of a road defect |
| KR102447678B1 (ko) * | 2022-05-16 | 2022-09-26 | 이대권 | 드론 및 인공지능을 이용하는 식물 관리 방법 |
| KR102522086B1 (ko) * | 2022-11-01 | 2023-04-17 | 주식회사 자연과기술 | 항공라이다를 이용한 포트홀 모니터링 및 차량 네비게이션 정보제공시스템 |
| US11829959B1 (en) * | 2022-11-18 | 2023-11-28 | Prince Mohammad Bin Fahd University | System and methods for fully autonomous potholes detection and road repair determination |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200007165A (ko) | 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법 | |
| JP7195021B2 (ja) | データ収集装置、道路状態評価支援装置、及びプログラム | |
| JP6713505B2 (ja) | 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム | |
| KR102026685B1 (ko) | 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버 | |
| KR101543342B1 (ko) | 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법 | |
| KR102167291B1 (ko) | 도로 상태 정보 수집 시스템 및 방법 | |
| KR102094341B1 (ko) | 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법 | |
| CN103778681B (zh) | 一种车载高速公路巡检系统及数据获取和处理方法 | |
| US20150371094A1 (en) | A road marking analyser and a method of analysis of road markings and an apparatus and method for detecting vehicle weave | |
| Joubert et al. | Pothole tagging system | |
| KR102167292B1 (ko) | 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법 | |
| CN210005927U (zh) | 一种桥梁巡检无人机系统 | |
| KR102427308B1 (ko) | 분광 데이터를 이용한 도로포장 공용성 평가 시스템 및 그 방법 | |
| KR102055585B1 (ko) | 포트홀의 크기, 형상 및 위치를 실사사진과 함께 제공하는 포트홀 측정방법 및 시스템 | |
| Mertz et al. | City-wide road distress monitoring with smartphones | |
| CN111506069B (zh) | 一种全天候全地面起重机障碍识别系统及方法 | |
| Hsu et al. | Design and implementation of an intelligent road detection system with multisensor integration | |
| CN103149603A (zh) | 一种基于视频的道路气象检测方法 | |
| Mulry et al. | Automated pavement condition assessment using laser crack measurement system (LCMS) on airfield pavements in Ireland | |
| KR102327835B1 (ko) | 포트홀 자동탐지방법 및 시스템 | |
| CN112284277B (zh) | 基于计算机视觉的隧道洞口边坡变形监测系统和方法 | |
| KR20220074649A (ko) | 인공지능(ai) 기반의 도로 노면 상태 관리 시스템 및 방법 | |
| KR102426448B1 (ko) | 터널 안전 진단 시스템 | |
| CN115345945A (zh) | 利用无人机多目视觉重建高速公路的自动巡检方法及系统 | |
| WO2021192357A1 (ja) | 自動検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |