KR102074462B1 - 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법 - Google Patents

적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법 Download PDF

Info

Publication number
KR102074462B1
KR102074462B1 KR1020190047760A KR20190047760A KR102074462B1 KR 102074462 B1 KR102074462 B1 KR 102074462B1 KR 1020190047760 A KR1020190047760 A KR 1020190047760A KR 20190047760 A KR20190047760 A KR 20190047760A KR 102074462 B1 KR102074462 B1 KR 102074462B1
Authority
KR
South Korea
Prior art keywords
sinkhole
detection
image
vehicle
information
Prior art date
Application number
KR1020190047760A
Other languages
English (en)
Inventor
노승환
Original Assignee
주식회사 인트모션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인트모션 filed Critical 주식회사 인트모션
Priority to KR1020190047760A priority Critical patent/KR102074462B1/ko
Application granted granted Critical
Publication of KR102074462B1 publication Critical patent/KR102074462B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V9/00—Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00
    • G01V9/005—Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00 by thermal methods, e.g. after generation of heat by chemical reactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 싱크홀을 탐지하기 위한 장치 및 방법에 관한 것으로, 본 발명에 따르면, 싱크홀을 탐지하기 위하여 지질층을 파괴함으로 인해 싱크홀 발달을 악화시키고 광범위한 지역을 탐사하기에 부적합한 단점이 있었던 종래기술의 파괴식 싱크홀 탐지방법들의 문제점과, 드론에 적외선 카메라를 설치하여 탐지를 수행함으로 인해 탐지시간 및 탐지범위에 제약이 있고 실시간 탐지가 불가능한 한계가 있었던 종래기술의 비파괴식 싱크홀 탐지방법들의 문제점을 모두 해결하기 위해, 지리정보 시스템(GIS)과 전자지도 및 GPS와 같은 위치정보 시스템을 이용하여, 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 지도상에 표시하여 탐지경로를 설정하고, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 적외선(IR) 카메라를 이용하여 후보지역에 대한 정밀조사를 수행하도록 구성됨으로써, 상하수도 배관의 누수 등으로 인한 인공적인 싱크홀 발생을 조기에 발견하고, 싱크홀 발생 가능성을 미리 예측하여 각종 사고를 미연에 방지할 수 있도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법이 제공된다.

Description

적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법{System for detecting sinkhole using infrared iamge analysis and method for detecting sink hole using it}
본 발명은 싱크홀을 탐지하기 위한 장치 및 방법에 관한 것으로, 더 상세하게는, 적외선(infrared ray ; IR) 카메라를 이용하여 촬영된 영상을 통해 비파괴적인 방법으로 지하에 싱크홀이 존재하는지의 여부를 신속하고 정확하게 판단할 수 있도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법에 관한 것이다.
또한, 본 발명은, 싱크홀을 탐지하기 위하여 드론을 이용하여 탐지를 수행함으로 인해 탐지시간 및 탐지범위에 제약이 있고 실시간으로 싱크홀을 탐지하는 것이 불가능한 한계가 있었던 종래기술의 비파괴식 싱크홀 탐지장치 및 방법들의 문제점을 해결하기 위해, 예를 들면, 지리정보시스템(geographic information systems ; GIS) 등과 같이, 기 구축된 지리정보와 전자지도 및 GPS(Global Positioning System) 등과 같은 위치정보 시스템을 활용하여, 상하수도 배관과 같은 지하의 매설물이나 구조 및 지질에 대한 정보에 근거하여 싱크홀 발생 가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역을 지도상에 표시하여 탐지경로를 설정하며, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 후보지역에 대한 정밀조사를 수행하도록 구성됨으로써, 상하수도 배관의 누수 등으로 인한 인공적인 싱크홀 발생을 조기에 발견하고, 싱크홀 발생 가능성을 미리 예측하여 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법에 관한 것이다.
일반적으로, 싱크홀(sinkhole)은, 이른바 땅꺼짐 현상이라고도 불리며, 지질 등과 같은 자연적 원인과, 대규모 토목공사나 상하수도 배관의 누수, 굴착불량 및 지하수 유출 등에 의한 인공적인 원인으로 발생하게 된다.
또한, 최근에는, 도심지역에서 싱크홀이 빈번하게 발생하여 각종 사고나 인명피해의 원인이 되는 경우가 증가하고 있으며, 이로 인해, 언제 어디서 싱크홀이 발생할지 모른다는 불안감이 확대되고 있다.
여기서, 도심지역의 싱크홀 발생은 일반적으로 상하수도 배관의 누수와 같은 인공적인 원인인 경우가 대부분이며, 이에, 최근에는, 이러한 싱크홀의 발생을 탐지하기 위한 방법에 대한 여러 가지 연구가 활발히 진행되고 있다.
더 상세하게는, 싱크홀의 탐지방법으로는, 먼저, 싱크홀의 존재가 예상되는 곳을 직접 파보는 방법이나 콘 관입실험(cone petrometer test, CPT) 방법 등이 있으나, 이러한 방법들은 싱크홀을 탐지하기 위하여 지질층을 파괴함으로 인해 싱크홀 발달을 오히려 악화시키거나 시간 및 비용적인 측면에서 비효율적임으로 인해 광범위한 지역을 탐사하기에는 부적합하다는 단점이 있다.
이에, 최근에는, 예를 들면, 지표투과레이더(ground-penetrating radar ; GPR)를 이용하는 방법, 지표기반 간섭계 합성 개구 레이더(ground-based interferometric synthetic aperture radar ; GB-InSAR)를 이용하는 방법, 공중발사 레이저(airborne laser)를 이용하는 방법 및 적외선 영상을 이용하는 것과 같이, 비파괴적인 방법을 이용하여 보다 저렴한 비용으로 광범위한 지역에 대하여 효율적으로 싱크홀을 탐지하는 방법에 대한 연구가 활발히 진행되고 있다.
여기서, 상기한 바와 같이 비파괴적으로 싱크홀을 탐지하기 위한 싱크홀 탐지장치 및 방법에 관한 종래기술의 예로는, 예를 들면, 먼저, 한국 등록특허공보 제10-1857961호에 따르면, 드론과 열영상 카메라를 이용하여 열영상을 획득하는 열영상 획득부; 열영상 획득부에서 획득된 열영상을 분석하여 싱크홀 후보영역을 추출하는 후보검출부; 및 패턴분석기(pattern classifiers)를 이용하여, 후보검출부에서 추출된 싱크홀 후보영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출하는 검증부를 포함하고, 상기 패턴 분석기는, 가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm)을 이용하여 얻어진 분류결과와, OCSLBP(oriented center symmetric-local binary pattern) 특징을 계층적 랜덤 포레스트(boosted random forest ; BRF) 분류기에 적용하여 얻어진 분류결과를 결합하여 싱크홀 영역을 추출하도록 구성되는 드론과 열영상 카메라를 이용한 자동 싱크홀 탐지시스템이 제시된 바 있다.
또한, 상기한 바와 같이 비파괴적으로 싱크홀을 탐지하기 위한 싱크홀 탐지장치 및 방법에 관한 종래기술의 다른 예로는, 예를 들면, "Early sinkhole detection using a drone-based thermal camera and image processing"에 따르면, 상기한 등록특허공보 제10-1857961호와 마찬가지로 드론과 열영상 카메라를 이용하여 열영상을 획득하고, 가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm), OCSLBP 및 BRF를 이용하여 싱크홀 영역을 추출하도록 구성되는 드론 및 열영상 카메라를 이용한 싱크홀 탐지방법에 관한 기술내용이 제시된 바 있다.
상기한 바와 같이, 종래, 싱크홀을 탐지하기 위한 싱크홀 탐지시스템 및 방법에 대하여 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다.
더 상세하게는, 도심지역에서 발생되는 싱크홀의 가장 주된 원인은 노후화된 상하수도 배관의 누수현상에 의해 발생하며, 이러한 싱크홀에 의한 가장 심각한 문제 중 하나는 차량이 많이 다니는 도로나 사람이 많이 다니는 인도에서 싱크홀이 발생하여 각종 사고나 인명피해가 발생하는 것이라 할 수 있다.
여기서, 싱크홀의 발생은 석회암, 모래질 퇴적층 및 점토질 등과 같은 지질에 의해 발생되는 자연적 원인과, 상하수관 누수, 굴착불량 및 지하수 수위에 의한 인공적인 원인이 있으며, 자연적인 원인에 의해 발생하는 싱크홀은 언제 어디에서 발생할지 예측하는 것이 어려우나, 상하수관 누수 등의 인공적인 원인에 의한 싱크홀 발생은 지하에 매설된 배관을 따라 탐사를 진행하는 것으로 비교적 용이하게 탐지가 가능할 것으로 예상된다.
그러나 상기한 종래기술들의 경우와 같이, 드론에 IR 카메라를 장착하여 IR 영상을 획득하는 경우, 배터리 용량의 한계로 인한 탐지시간 및 탐지범위의 제약이 있고, 실시간으로 수집되는 영상을 분석하기 위해 컴퓨터 등의 외부 기기로 영상을 전송하는 데에도 여러 가지 문제가 있음으로 인해 영상처리 및 분석을 실시간으로 행하는 것이 불가능한 한계가 있다.
여기서, 드론에 IR 카메라를 장착하는 것 대신에 차량에 IR 카메라를 장착하면, 보다 장시간 탐지가 가능하고, 자동차 내부에 컴퓨터를 설치하여 수집된 영상을 분석하는 것에 의해 실시간 탐지가 가능하므로, 상기한 바와 같은 문제점들을 해결할 수 있을 것으로 기대된다.
아울러, 드론을 이용하는 경우는 지상에서 일정 거리(대략 50m) 떨어진 높이에서 IR 영상을 수집하여야 하나, 자동차를 이용할 경우는 지상에서 보다 가까운 거리에서 영상을 수집할 수 있으므로, 싱크홀의 가장 큰 문제 중 하나인 자동차 도로 및 자동차 도로 옆의 보행도로에 대하여 더욱 선명한 영상을 얻을 수 있으며, 그것에 의해, 더욱 정밀하고 정확한 탐지가 가능할 것으로 기대된다.
더욱이, 차량에서 획득한 영상을 실시간으로 차량 내부 컴퓨터로 전송하고, 차량에 설치된 고성능 컴퓨터에서 실시간으로 영상을 분석하도록 구성됨으로써, 예를 들면, light CNN 알고리즘과 같이, 학습시간 단축 및 실시간 처리를 위해 상대적으로 성능이 낮은 싱크홀 탐지 알고리즘을 적용할 수밖에 없었던 기존의 싱크홀 탐지장치 및 방법들에 비하여 보다 향상된 고성능의 알고리즘을 통해 실시간으로 신속하고 정확하게 영상분석 및 싱크홀 탐지가 가능할 것으로 기대된다.
이에, 상기한 바와 같이, 싱크홀을 탐지하기 위하여 지질층을 파괴함으로 인해 싱크홀 발달을 악화시키고 광범위한 지역을 탐사하기에 부적합한 단점이 있었던 종래기술의 파괴식 싱크홀 탐지방법들의 문제점과, 드론을 이용하여 탐지를 수행함으로 인해 탐지시간 및 탐지범위에 제약이 있고 실시간으로 싱크홀을 탐지하는 것이 불가능한 한계가 있었던 종래기술의 비파괴식 싱크홀 탐지장치 및 방법들의 문제점을 모두 해결하기 위하여는, 예를 들면, GIS 등과 같이, 기 구축된 지리정보와 전자지도 및 GPS 등과 같은 위치정보 시스템을 활용하여, 지하의 매설물이나 구조 및 지질에 대한 정보를 취득하여 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역을 지도상에 표시하여 탐지경로를 설정하며, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 후보지역에 대한 정밀조사를 수행하는 것에 의해, 상하수도 배관의 누수 등으로 인한 인공적인 싱크홀 발생을 조기에 발견하거나 싱크홀 발생 가능성을 예측하여 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 새로운 구성의 싱크홀 탐지시스템 및 탐지방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
[선행기술문헌]
1. 한국 등록특허공보 제10-1857961호 (2018.05.09.)
2. "Early sinkhole detection using a drone-based thermal camera and image processing", Chunho Chang, Infrared Physics & Technology 78 (2016) 223-232, 2016.08.24.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 싱크홀을 탐지하기 위하여 지질층을 파괴함으로 인해 싱크홀 발달을 악화시키고 시간 및 비용이 증가하여 광범위한 지역을 탐사하기에 부적합한 단점이 있었던 종래기술의 파괴식 싱크홀을 탐지방법 및 장치들의 문제점을 해결하기 위해, 적외선(IR) 카메라를 이용하여 촬영된 영상을 통해 비파괴적인 방법으로 지하에 싱크홀이 존재하는지의 여부를 신속하고 정확하게 판단할 수 있도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법을 제공하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 싱크홀을 탐지하기 위하여 드론을 이용하여 탐지를 수행함으로 인해 탐지시간 및 탐지범위에 제약이 있고, 학습시간 단축 및 실시간 처리를 위해 상대적으로 성능이 낮은 싱크홀 탐지 알고리즘을 적용함으로 인해 정확성이 떨어지고 실시간으로 싱크홀을 탐지하는 것이 불가능한 한계가 있었던 종래기술의 비파괴식 싱크홀 탐지장치 및 방법들의 문제점을 해결하기 위해, 예를 들면, 지리정보시스템(GIS) 등과 같이, 기 구축된 지리정보와 전자지도 및 GPS 등과 같은 위치정보 시스템을 활용하여, 상하수도 배관과 같은 지하의 매설물이나 구조 및 지질에 대한 정보에 근거하여 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역을 지도상에 표시하여 탐지경로를 설정하며, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 후보지역에 대한 정밀조사를 수행하는 것에 의해 실시간으로 신속하고 정확하게 싱크홀의 탐지가 가능하도록 구성됨으로써, 상하수도 배관의 누수 등으로 인한 인공적인 싱크홀 발생을 조기에 발견하고, 싱크홀 발생 가능성을 미리 예측하여 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 적외선(infrared ray ; IR) 영상분석을 이용한 싱크홀 탐지시스템에 있어서, 싱크홀을 탐지하기 위해 차량에 장착되어 지표면의 열 영상을 촬영하는 적외선(IR) 카메라를 포함하여 이루어지는 영상취득부; 상기 영상취득부를 통해 얻어진 지표면의 열 영상을 분석하여 싱크홀을 탐지하는 처리가 수행되도록 이루어지는 영상분석부; 사용자에 의해 입력되거나 미리 설정된 탐지경로에 근거하여 상기 차량의 이동경로를 생성하고 상기 차량의 이동시 운행에 대한 각종 정보를 제공하는 처리가 수행되는 탐지경로 생성부; 상기 영상취득부에 의해 촬영된 영상과, 상기 영상분석부를 통해 얻어진 분석결과 및 상기 탐지경로 생성부에 의해 생성된 탐지경로를 포함하는 각종 정보를 표시하기 위한 모니터나 디스플레이를 포함하여 이루어지는 영상표시부; 및 상기 탐지시스템의 전체적인 동작을 제어하는 제어부를 포함하여 구성됨으로써, 사용자에 의해 입력되거나 미리 설정된 탐지경로를 따라 상기 차량이 이동하면서 자동으로 탐지가 이루어질 수 있도록 구성되는 것을 특징으로 하는 적외선 영상분석을 이용한 싱크홀 탐지시스템이 제공된다.
여기서, 상기 영상취득부는, 노면 및 차량 주위의 영상을 촬영하기 위한 적어도 하나 이상의 영상카메라를 더 포함하여, 주행중인 도로의 노면 및 차량 주위의 영상을 상기 영상표시부를 통해 함께 표시할 수 있도록 구성되는 것을 특징으로 한다.
또한, 상기 영상분석부는, 상기 탐지시스템에 유선 또는 무선으로 연결되는 컴퓨터나 노트북을 포함하는 정보처리장치에 싱크홀의 존재여부, 크기 및 위치를 탐지하기 위한 영상분석 처리를 수행하는 영상분석 프로그램을 설치하여 구성되는 것을 특징으로 한다.
아울러, 상기 탐지경로 생성부는, GIS(geographic information systems)를 포함하는 지리정보 시스템과 전자지도 및 GPS(Global Positioning System)를 포함하는 위치정보 시스템과 연계하여, 사용자가 출발지와 도착지 또는 탐사를 수행할 지역을 입력하면, 상기 지리정보시스템(GIS)에 저장된 지하 매설물 정보에 근거하여 도로 밑에 매설된 상하수도 배관을 따라 상기 전자지도상에 차량의 이동경로를 설정하는 것에 의해 도로기반의 탐지경로를 생성하고, 상기 차량의 운행시 이동경로 및 도로정보나 교통정보를 포함하는 운행에 필요한 각종 정보를 제공하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 탐지경로 생성부는, 차량용 내비게이션 시스템을 이용하여, 사용자에 의해 입력되거나 미리 설정된 차량의 운행경로를 표시하는 동시에, 도로정보나 교통정보를 포함하는 차량의 운행에 필요한 각종 정보를 제공할 수 있도록 구성되는 것을 특징으로 한다.
또한, 상기 탐지경로 생성부는, 인공지능(AI)을 이용하여, GIS를 포함하는 지리정보 시스템과 전자지도 및 GPS를 포함하는 위치정보 시스템과 연계하여 싱크홀 발생 가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역에 대하여 도로 밑에 매설된 상하수도 배관을 따라 탐지경로를 설정하는 처리가 자동으로 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 영상표시부는, 상기 영상취득부에 의해 촬영된 영상과, 상기 영상분석부에 의해 분석된 분석결과와, 상기 탐지경로 생성부에 의해 생성된 탐지경로 및 도로정보나 교통정보를 포함하는 각종 정보를 상기 모니터나 상기 디스플레이를 통하여 사용자에게 시각적으로 표시하는 동시에, 각종 정보를 청각적으로 전달하기 위한 스피커를 더 포함하여 구성되는 것을 특징으로 한다.
더욱이, 상기 탐지시스템은, 상기 영상취득부가 차량에 설치되고, 상기 영상분석부, 상기 탐지경로 생성부, 상기 영상표시부 및 상기 제어부는 상기 탐지시스템에 유선 또는 무선으로 연결되는 컴퓨터나 노트북을 포함하는 정보처리장치에 싱크홀 탐지를 위한 영상분석 처리를 수행하는 전용의 프로그램을 설치하여 구성되는 것을 특징으로 한다.
또한, 상기 탐지시스템은, 싱크홀이 발견되거나 미리 정해진 기준에 근거하여 싱크홀의 발생 가능성이 높을 것으로 판단되면 미리 설정된 수신처에 해당 사실을 전달하고 경보를 발생하는 경보발생부를 더 포함하여 구성됨으로써, 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 것을 특징으로 한다.
아울러, 본 발명에 따르면, 싱크홀 탐지방법에 있어서, 차량에 설치된 싱크홀 탐지시스템을 이용하여 싱크홀을 탐지하기 위한 경로나 지역을 입력하고 탐지경로를 생성하는 탐지경로 설정단계; 및 상기 탐지경로 설정단계에서 설정된 탐지경로를 따라 이동하면서 상기 차량에 설치된 싱크홀 탐지시스템의 적외선 카메라를 통해 싱크홀을 탐지하는 싱크홀 탐지단계를 포함하여 구성되고, 상기 싱크홀 탐지시스템은, 상기에 기재된 적외선 영상분석을 이용한 싱크홀 탐지시스템을 이용하여 구성되는 것을 특징으로 하는 싱크홀 탐지방법이 제공된다.
상기한 바와 같이, 본 발명에 따르면, 예를 들면, 지리정보시스템(GIS) 등과 같이, 기 구축된 지리정보와 전자지도 및 GPS 등과 같은 위치정보 시스템을 활용하여, 상하수도 배관과 같은 지하의 매설물이나 구조 및 지질에 대한 정보에 근거하여 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역을 지도상에 표시하여 탐지경로를 설정하며, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 후보지역에 대한 정밀조사를 수행하는 것에 의해 실시간으로 신속하고 정확하게 싱크홀의 탐지가 가능하도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법이 제공됨으로써, 싱크홀을 탐지하기 위하여 지질층을 파괴함으로 인해 싱크홀 발달을 악화시키고 시간 및 비용이 증가하여 광범위한 지역을 탐사하기에 부적합한 단점이 있었던 종래기술의 파괴식 싱크홀을 탐지방법 및 장치들의 문제점과, 싱크홀을 탐지하기 위하여 드론을 이용하여 탐지를 수행함으로 인해 탐지시간 및 탐지범위에 제약이 있고, 학습시간 단축 및 실시간 처리를 위해 상대적으로 성능이 낮은 싱크홀 탐지 알고리즘을 적용함으로 인해 정확성이 떨어지고 실시간으로 싱크홀을 탐지하는 것이 불가능한 한계가 있었던 종래기술의 비파괴식 싱크홀 탐지장치 및 방법들의 문제점을 모두 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 GIS 등과 같은 기 구축된 지리정보와 전자지도 및 GPS 등과 같은 위치정보 시스템을 활용하여, 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 지도상에 표시하여 탐지경로를 설정하고, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 싱크홀을 탐지하도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법이 제공됨으로써, 상하수도 배관의 누수 등으로 인한 인공적인 싱크홀 발생을 조기에 발견하고, 싱크홀 발생 가능성을 미리 예측하여 싱크홀로 인한 각종 사고를 미연에 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템을 이용하여 싱크홀을 탐지하는 실제 구성예를 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템에 적용되는 싱크홀 탐지 알고리즘의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 4는 도 3에 나타낸 본 발명의 실시예에 따른 싱크홀 탐지 알고리즘의 처리 흐름을 개략적으로 나타내는 개념도이다.
도 5는 열화상 카메라로 촬영된 열화상 이미지와 본 발명의 실시예에 따른 싱크홀 탐지 알고리즘의 후보 싱크홀 분할단계에서 온도편차에 의한 이진 분류를 수행하여 처리된 이진 분류 영상을 각각 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 싱크홀 탐지 알고리즘의 후보 싱크홀 분할단계에서 싱크홀과 유사한 형태들을 제거하기 위해 적용되는 휴리스틱 필터 알고리즘의 구체적인 구성을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 싱크홀 추적 알고리즘에 대한 정확도 평가 결과를 표로 정리하여 나타낸 도면이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 싱크홀을 탐지하기 위하여 지질층을 파괴함으로 인해 싱크홀 발달을 악화시키고 시간 및 비용이 증가하여 광범위한 지역을 탐사하기에 부적합한 단점이 있었던 종래기술의 파괴식 싱크홀을 탐지방법 및 장치들의 문제점을 해결하기 위해, 적외선(IR) 카메라를 이용하여 촬영된 영상을 통해 비파괴적인 방법으로 지하에 싱크홀이 존재하는지의 여부를 신속하고 정확하게 판단할 수 있도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 싱크홀을 탐지하기 위하여 드론을 이용하여 탐지를 수행함으로 인해 탐지시간 및 탐지범위에 제약이 있고, 학습시간 단축 및 실시간 처리를 위해 상대적으로 성능이 낮은 싱크홀 탐지 알고리즘을 적용함으로 인해 정확성이 떨어지고 실시간으로 싱크홀을 탐지하는 것이 불가능한 한계가 있었던 종래기술의 비파괴식 싱크홀 탐지장치 및 방법들의 문제점을 해결하기 위해, 예를 들면, 지리정보시스템(GIS) 등과 같이, 기 구축된 지리정보와 전자지도 및 GPS 등과 같은 위치정보 시스템을 활용하여, 상하수도 배관과 같은 지하의 매설물이나 구조 및 지질에 대한 정보에 근거하여 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역을 지도상에 표시하여 탐지경로를 설정하며, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 후보지역에 대한 정밀조사를 수행하는 것에 의해 실시간으로 신속하고 정확하게 싱크홀의 탐지가 가능하도록 구성됨으로써, 상하수도 배관의 누수 등으로 인한 인공적인 싱크홀 발생을 조기에 발견하고, 싱크홀 발생 가능성을 미리 예측하여 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법의 구체적인 내용에 대하여 설명한다.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)은, 크게 나누어, 예를 들면, 싱크홀을 탐지하기 위해 차량에 장착되어 지표면의 열 영상을 촬영하는 영상취득부(11)와, 영상취득부(11)를 통해 얻어진 지표면의 열 영상을 분석하여 싱크홀의 존재여부나 크기, 위치 등을 탐지하는 처리가 수행되도록 이루어지는 영상분석부(12)와, 탐지시스템(10)이 탑재된 차량이 미리 정해진 탐지경로를 따라 이동하면서 자동으로 탐지가 이루어질 수 있도록 하기 위해, 예를 들면, GIS와 같은 지리정보 시스템 및 GPS와 같은 위치정보 시스템과 연계하여, 사용자에 의해 입력되거나 미리 설정된 탐지경로에 근거하여 차량의 이동경로 및 운행에 대한 각종 정보를 제공하는 처리가 수행되는 탐지경로 생성부(13)와, 영상분석부(12)를 통해 얻어진 분석결과와 탐지경로 생성부(13)에 의해 생성된 탐지경로 및 차량의 운행에 필요한 교통정보 등의 각종 정보를 시각적으로 표시하기 위한 모니터 등을 포함하여 이루어지는 영상표시부(14) 및 상기한 각 부의 동작 및 탐지시스템(10)의 전체적인 동작을 제어하는 제어부(15)를 포함하여 구성될 수 있다.
더 상세하게는, 먼저, 상기한 영상취득부(11)는, 싱크홀을 탐지하기 위해 차량에 장착되어 지표면의 열 영상을 촬영하는 적외선(IR) 카메라를 포함하여 구성될 수 있다.
또한, 상기한 영상분석부(12)는, 영상취득부(11)의 IR 카메라를 통하여 촬영된 영상을 분석하여 싱크홀을 탐지하기 위한 영상분석 처리가 수행되는 전용의 하드웨어 형태로 구성되거나, 또는, 싱크홀 탐지용 영상분석 프로그램을 컴퓨터에 실행시키는 것에 의해 구성될 수 있다.
아울러, 상기한 영상표시부(14)는, 영상취득부(11)에 의해 촬영된 영상과, 영상분석부(12)에 의해 분석된 분석결과 및 탐지경로 생성부(13)에 의해 생성된 탐지경로와 같은 각종 정보를 사용자에게 시각적으로 표시하기 위한 모니터와 같은 디스플레이 수단 및 각종 정보를 청각적으로 전달하기 위한 스피커 등을 포함하여 구성될 수 있다.
즉, 상기한 영상분석부(12) 및 영상표시부(14)는, 탐지시스템(10)에 유선 또는 무선으로 연결되는 컴퓨터나 노트북 등과 같은 정보처리장치에 싱크홀 탐지를 위한 영상분석 처리를 수행하는 영상분석 프로그램을 설치하는 것에 의해 별도의 하드웨어를 구현할 필요 없이 간단한 구성 및 저렴한 비용으로 용이하게 구현될 수 있다.
여기서, 상기한 바와 같이 IR 카메라를 통해 촬영된 영상을 분석하여 싱크홀을 탐지하는 영상분석 프로그램의 구체적인 구성은 기존에 제시된 영상분석 방법 및 프로그램들을 이용하여 용이하게 구현될 수 있으나, 본 발명에서는 기존에 비해 보다 신속하고 정확하게 싱크홀의 탐지가 가능하도록 구성되는 새로운 싱크홀 탐지 알고리즘을 적용하였으며, 이러한 싱크홀 탐지 알고리즘의 구체적인 내용에 대하여는 후술한다.
아울러, 상기한 탐지경로 생성부(13)는, 예를 들면, 차량용 내비게이션 시스템 등과 같이, 사용자에 의해 입력되거나 미리 설정된 차량의 운행경로(즉, 탐지경로)를 영상표시부(14)에 표시하는 동시에, 도로정보나 교통정보 등과 같이 차량의 운행에 필요한 각종 정보를 운행중에 제공할 수 있도록 구성될 수 있다.
더 상세하게는, 상기한 탐지경로 생성부(13)는, 예를 들면, 기 구축된 지리정보시스템(GIS)과 전자지도 및 GPS 등과 같은 위치정보 시스템을 이용하여, 사용자가 출발지와 도착지 또는 탐사를 수행할 지역을 입력하거나 설정하면, 지리정보시스템(GIS)에 저장된 지하 매설물 정보에 근거하여 도로 밑에 매설된 상하수도 배관을 따라 전자지도상에 차량의 이동경로를 설정하는 것에 의해 도로기반의 탐지경로를 생성하는 처리가 자동으로 수행되도록 구성될 수 있다.
여기서, 상기한 바와 같이 탐지경로 생성부(13)를 별도로 구성하는 대신에, 최근 새로운 기술로 주목받고 있는 자율주행 차량을 이용하면, 사용자에 의해 입력되거나 미리 설정된 경로를 따라 이동하면서 싱크홀 탐지가 자동으로 이루어지도록 구성되는 도로기반 싱크홀 탐지시스템을 용이하게 구현할 수 있을 것으로 기대된다.
또는, 상기한 탐지경로 생성부(13)는, 예를 들면, 머신러닝(Machine learning)이나 딥러닝(Deep learning) 등과 같이, 인공지능(Artificial Intelligent ; AI) 기술을 이용한 학습을 통하여, 지리정보시스템(GIS) 및 전자지도와 같이 기 구축된 정보들을 이용하여 싱크홀 발생 가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역에 대하여 도로 밑에 매설된 상하수도 배관을 따라 탐지경로를 설정하는 처리가 자동으로 수행되도록 구성됨으로써, 사용자가 일일이 탐지경로를 설정하지 않아도 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 싱크홀 발생 후보지역에 대한 정밀조사가 자동으로 수행되는 도로기반 싱크홀 탐지시스템을 용이하게 구현할 수 있다.
더욱이, 상기한 탐지시스템(10)은, 도시되지는 않았으나, 상기한 영상취득부(11), 영상분석부(12), 탐지경로 생성부(13), 영상표시부(14) 및 제어부(15)가 각각 내장되는 하우징을 더 포함하여 일체로 형성되고, 이러한 하우징을 통해 차량에 장착되도록 구성될 수 있다.
또는, 상기한 탐지시스템(10)은, 바람직하게는, 상기한 영상취득부(11)가 하우징 등을 통해 차량에 설치되고, 상기한 영상분석부(12), 탐지경로 생성부(13), 영상표시부(14) 및 제어부(15)는 탐지시스템(10)에 유선 또는 무선으로 연결되는 컴퓨터나 노트북 등과 같은 외부 기기에 싱크홀 탐지를 위한 영상분석 처리를 수행하는 전용의 프로그램을 설치하는 것에 의해 구성됨으로써, 영상분석을 위한 별도의 하드웨어를 구성할 필요가 없으므로 전체적인 구성을 보다 간략화할 수 있다.
아울러, 상기한 탐지시스템(10)은, 상기한 탐지경로 생성부(13)가 기존의 내비게이션 등과 같은 차량용 운행안내 장치를 이용하여 구성되거나, 또는, 자율주행 차량을 이용하여 구성될 수 있으며, 또는, 인공지능을 탑재하여, 지리정보시스템(GIS) 및 전자지도를 이용하여 싱크홀 탐지를 수행할 지역의 도로 밑에 매설된 상하수도 배관을 따라 탐지경로를 설정하고 차량의 이동을 제어하는 처리가 자동으로 이루어지록 구성됨으로써, 시스템의 전체적인 구성을 더욱 간략화할 수 있다.
더욱이, 상기한 탐지시스템(10)은, 예를 들면, 도로 밑에 매설된 상하수도 배관 주변 등과 같이, 싱크홀이 발생할 가능성이 많은 도로를 따라 차량으로 이동하면서 차량에 장착된 IR 카메라를 통해 탐지가 이루어지므로 공중에서 드론을 이용하여 탐지하는 종래기술의 탐지장치 및 방법에 비해 보다 선명한 영상을 얻을 수 있고, 그것에 의해, 기존에 비해 보다 정밀하고 정확한 탐지가 가능해지며, 이에 더하여, 비단 도로 뿐만 아니라 도로에 인접한 인도에 대한 탐지도 가능하므로, 차량사고뿐만 아니라 보행자에 대한 사고까지도 보다 효과적으로 방지할 수 있다.
또한, 상기한 탐지시스템(10)은, 도시되지는 않았으나, 싱크홀이 발견되거나 미리 정해진 기준에 근거하여 싱크홀의 발생 가능성이 높을 것으로 판단되면 미리 설정된 수신처에 해당 사실을 전달하고 경보를 발생하는 경보발생부를 더 포함하여 구성됨으로써, 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성될 수 있다.
아울러, 상기한 탐지시스템(10)은, IR 카메라로부터 얻어진 영상데이터를 컴퓨터와 같은 외부 기기로 전송하여 영상분석이 가능하므로, 기존의 탐지장치 및 방법들에 비해 처리속도를 높이고 시스템의 전체적인 구성을 간소화할 수 있는 데 더하여, 보다 고성능의 싱크홀 탐지 알고리즘을 적용 가능하므로 더욱 상세하고 정확한 싱크홀 탐지가 가능해진다.
즉, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)을 이용하여 싱크홀을 탐지하는 실제 구성예를 개략적으로 나타내는 도면이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)은, 차량 외부에 탑재된 IR 카메라를 통해 도로를 주행하면서 지표면의 열 영상을 취득하고, 차량 내부에 설치된 컴퓨터나 노트북 등을 통해 실시간으로 영상분석을 수행한 후 싱크홀 의심지역이면 GPS와 연동하여 위치좌표를 전자지도상에 표시하도록 구성될 수 있다.
또한, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)의 영상취득부(11)는, 상기한 IR 카메라에 더하여, 도 2에 나타낸 바와 같이, 노면 및 도로 주변의 영상을 촬영하기 위한 영상카메라를 더 포함하여, 주행중인 도로의 노면 및 차량 주위의 영상을 영상표시부(14)에 함께 표시하도록 구성될 수도 있는 등, 본 발명은 필요에 따라 다양하게 구성될 수 있는 것임에 유념해야 한다.
계속해서, 도 3 내지 도 7을 참조하여, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)의 영상분석부(12)에 적용되는 영상처리 및 싱크홀 탐지 알고리즘의 구체적인 구성에 대하여 설명한다.
여기서, 본 발명의 실시예에 따른 싱크홀 탐지 알고리즘을 설명하기 전에, 먼저, 기존의 싱크홀 탐지방법에 대하여 설명하면, 싱크홀을 식별하는 가장 일반적인 방법은 싱크홀이 나타나는 영역에서 드릴을 사용하여 탐사하거나, 또는, 콘 침투 탐상검사(Cone Penetrometer Test ; CPT)를 사용하는 방법이 있으나, 이러한 방법들은 접촉식 검사방법임으로 인해 싱크홀을 악화시킬 수 있는 문제가 있다.
또한, 현재 싱크홀을 탐지하기 위해 GPR(Ground Penetrating Radar) 방법이 가장 일반적으로 사용되고 있으나, 이는 지하층에 존재하는 매우 다른 조건에 의해 신호가 분산될 수 있는 단점이 있으며, GPR 방법과 유사하게 지진파를 이용하여 특정 지역에 싱크홀이 나타날 확률을 분석하거나, 특정 지역에 싱크홀이 명백하게 없다는 것을 확인하기 위해 ERT(Electrical Resistivity Tomography) 및 DPSH(Dynamic Penetration Super Highway) 등의 방법이 사용될 수 있다.
아울러, 대형 싱크홀을 감시하고 추정하기 위해서는 지상기반 간섭계 합성 개구레이더(ground-based interferometric synthetic aperture radar)가 활용되며, 일반적으로 이러한 종류의 시스템은 넓은 지역을 관찰하기 위해 높은 위치에 설치되나, 설치 위치가 감시결과에 영향을 미칠 수 있다는 한계가 있다.
더욱이, 일반적으로 표면 및 물체에 대한 상세한 3D 정보를 수집하는 방법으로 공중 레이저 스캐닝 데이터를 사용하여 싱크홀 위험을 감지하는 공수 레이저 스캐닝 기술(airborne laser scanning technology)이 활용되고 있으나, 3D 데이터에는 일반적으로 지형 내에 포함되는 표면 형상 및 싱크 홀에 대한 정보가 포함되어 있지만 싱크홀은 주변 환경과 크게 다른 모양을 형성하지 않으므로 이 방법으로 싱크홀을 탐지하는 것은 쉽지 않으며, 공수 레이저(airborne laser) 방법은 일반적인 사진으로는 구분할 수 없는 초목, 토양 색상 및 표면 온도를 사용하여 침하 지역을 나타낼 수 있는 반면, 데이터를 수집하기 위한 시간과 비용이 많이 들고, 주변 환경에 의해 결과가 많은 영향을 받는다는 단점이 있다.
여기서, 최근에는, 고성능 GPU가 개발되고 많은 양의 훈련데이터를 사용할 수 있게 됨에 따라 싱크홀과 같은 유사한 집단의 객체를 탐지하기 위한 기술을 향상시킬 수 있는 다양한 딥러닝 기반 방법이 제안되었다.
예를 들면, RCNN(Regional based Convolutional Neural Network)은 빠른 처리를 위해서 제안되었으나 실시간 시스템에서 구현하기에는 충분히 빠르지 않고, 또한, YOLO(You Only Look Once) 프레임워크(framework)는 객체 감지의 개별 구성요소를 단일 컨볼루션 네트워크로 통합하여 여러 경계 상자(regions)와 해당 상자에 대한 클래스 확률을 동시에 예측하도록 구성되는 것이나, 여전히 YOLO 프레임 워크의 정확성은 처리된 이미지에 나타나는 작은 객체의 영향을 받기 때문에 싱크홀을 탐지하는데 고속 RCNN과 YOLO를 적용하는 것은 어렵다는 문제가 있다.
여기서, 최근에는, 싱크홀 영역의 표면온도가 주변 영역의 표면온도와 크게 다르다는 사실에 기반하여 싱크홀을 탐지하기 위해 열 형상(thermal imagery)을 이용하는 방법이 제시된 바 있다.
더 상세하게는, 종래, 공수 레이저 방식의 고비용을 줄이기 위해 넓은 영역을 감시하기 위한 원적외선(FIR) 카메라를 장착한 무인 항공기를 사용하여 시간의 경과에 따른 온도차이를 관찰함으로써 싱크홀을 기록하기 위한 최적의 시간을 알아내었으며, 녹화된 영상에서 싱크홀 영역의 후보를 적응 이진화 방법(adaptive binarization)을 사용하여 분할하고, 그 후 경량 컨볼루션 신경망(light CNN)과 BRF(Boosted Random Forest)를 사용하여 잠재적인 싱크홀을 실제의 싱크홀로 분류하였다.
그러나 열화상 카메라로 싱크홀을 감지하는 종기술의 방법들은, 조기에 싱크홀에 대한 경고 메시지를 줄 수 있으나 열화상 카메라의 출력 이미지에 노이즈가 포함되어 있어 결과가 안정적이지 않으며, 싱크홀의 정확한 위치를 추적하여 경고를 할 수 없다는 한계가 있다.
이에, 본 발명에서는, 예를 들면, 드론에 탑재된 열화상 카메라에서 수집된 데이터와 같이, 종래기술의 방법 등에서 기 제시된 데이터 세트를 사용하여, 이진 영상에서 후보 싱크홀 영역을 추출한 후, 싱크홀 후보를 실제 싱크홀로 분류하기 위해 CNN 전이학습(transfer learning)을 적용하며, 싱크홀을 추적(sinkhole tracking) 하기 위해 데이터 결합(data association)을 수행하는 일련의 처리단계를 포함하여 싱크홀의 조기 발견 및 경고를 수행하는 자동 싱크홀 추적 알고리즘 및 시스템을 제안하였다.
계속해서, 도 3 및 도 4를 참조하면, 도 3은 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)의 영상분석부(12)에 적용되는 싱크홀 탐지 알고리즘의 구체적인 구성을 개략적으로 나타내는 플로차트이고, 도 4는 도 3에 나타낸 본 발명의 실시예에 따른 싱크홀 탐지 알고리즘의 처리 흐름을 개략적으로 나타내는 개념도이다.
즉, 도 3 및 도 4에 나타낸 바와 같이, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)의 영상분석부(12)에 적용되는 싱크홀 탐지 알고리즘은, 크게 나누어, 먼저, 열화상 이미지의 비디오 프레임에서 후보 싱크홀 위치를 결정하는 후보 싱크홀 분할(candidate sinkhole segmentation) 단계(S10)와, 후보 싱크홀 분할단계(S10)에서 선정된 후보 싱크홀들 중에서 실제 싱크홀을 분류하는 싱크홀 분류(sinkhole classification) 단계(S20) 및 싱크홀 분류단계(S20)에서 분류된 실제 싱크홀들을 추적하는(tracking) 처리가 수행되는 싱크홀 추적(sinkhole tracking) 단계(S30)를 포함하여 구성될 수 있다.
더 상세하게는, 먼저, 후보 싱크홀 분할단계(S10)는, 영상취득부(11)의 IR 카메라로 촬영된 열화상 이미지를 수신한 후, 싱크홀 위치의 온도가 주변 지역의 온도보다 낮은 것에 근거하여 온도편차에 의한 이진 분할(binary segmentation)을 수행하여 주어진 비디오 프레임에서 후보 싱크홀 위치를 출력한다.
이어서, 싱크홀 분류단계(S20)는, CNN(Convolutional Neural Network) 전이학습(transfer learning) 방법을 사용하여 후보 싱크홀 분할단계(S10)에서 선정된 후보 싱크홀들 중에서 실제 싱크홀을 분류하는 싱크홀 분류기(classifier)의 기능이 수행된다.
마지막으로, 싱크홀 추적단계(S30)는, 실시간 싱크홀 추적에서 데이터 연관 문제를 처리하기 위해 헝가리언 알고리즘(Hungarian Algorithm ; HA) 이용한 데이터 결합(data association)을 이용하여 싱크홀 분류단계(S20)에서 분류된 실제 싱크홀들을 해당 싱크홀이 속한 비디오 프레임의 트랙렛(tracklets)에 각각 할당하는 것에 의해, 싱크홀 분류단계(S20)에서 수집된 데이터를 현재 프레임 및 이전 프레임의 데이터 분포를 기반으로 온라인으로 트랙릿(tracklet)에 할당하는 처리가 수행된다.
여기서, 싱크홀 분류단계(S20)에서 불안정한 결과가 출력될 수 있는 문제점은 후술하는 바와 같이 하여 본 발명에서 제시된 방향 투표 기법(direction voting technique)을 이용하여 해결할 수 있다.
상기한 각 단계의 보다 구체적인 내용에 대하여 설명하면, 먼저, 도 5를 참조하면, 도 5는 열화상 카메라로 촬영된 열화상 이미지(도 5a)와 후보 싱크홀 분할단계(S10)에서 온도편차에 의한 이진 분할을 수행하여 처리된 이진 분할 영상(도 5b)을 각각 나타내는 도면이다.
도 5a 및 도 5b에 나타낸 바와 같이, 열화상 카메라 영상의 회색 음영 이미지는 후보 싱크홀 분할단계(S10)의 입력에 해당하고, 분할(segmentation) 알고리즘은 열 영상에서 차가운 영역을 찾아 후보 싱크홀을 감지하는 처리가 수행된다.
이때, 주변 환경이 싱크홀보다 어두운 회색을 가질 수 있으므로 이중 임계(dual-thresholding) 방법을 적용하며, 이러한 이중 임계 처리는 이하의 [수학식 1]과 같이 나타낼 수 있다.
Figure 112019042172932-pat00001
여기서, 상기한 [수학식 1]에 있어서, I는 입력 이미지이고, (x, y)는 특정 픽셀의 위치이며, Tl 과 Th는 각각 임계값을 나타낸다.
또한, Tl은 Otsu 알고리즘(Otsu, Nobuyuki. "A threshold selection method from gray-level histograms." IEEE transactions on systems, man, and cybernetics 9.1 (1979): 62-66. 참조)을 적용하여 결정되었으며, 데이터 세트에 대해서 적용한 결과 Th = Tl + 20에서 최상의 성능을 제공한다는 것을 알 수 있었다.
여기서, 상기한 바와 같이 하여 2진 분할 후에도 2진 이미지에 여전히 잡음이 남아 있으며, 이에, 분할된 영역의 가장자리 잡음을 제거하기 위해, 예를 들면, 개방(opening), 폐쇄(closing), 팽창(dilate), 침식(erode) 등과 같은 형태학적 동작(morphological operation)이 적용될 수 있다.
아울러, 형태학적 잡음 제거 후, 예를 들면, 나무, 건물, 자동차 등과 같이, 싱크홀과 유사한 형태들을 제거하기 위해 휴리스틱 필터의 알고리즘을 이용하여 연결 요소 분석(connected component analysis)을 적용하며, 이때, 분할된 이미지에서 흰색 픽셀의 각 블록은 휴리스틱 필터(heuristic filter)를 통과하는 연결된 구성 요소로 간주된다.
더 상세하게는, 도 6을 참조하면, 도 6은 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)의 영상분석부(12)에 적용되는 싱크홀 탐지 알고리즘의 싱크홀 분할단계(S10)에서 분할된 영역의 가장자리 잡음을 제거하기 위해 형태학적 잡음 제거 후 싱크홀과 유사한 형태들을 제거하기 위해 적용되는 휴리스틱 필터 알고리즘의 구체적인 구성을 나타내는 도면이다.
여기서, 도 6에 제시된 [Algorithm 1]에 있어서, CCi는 이미지에서 i번째 연결 구성요소, wi는 CCi의 넓이, hi는 CCi의 높이, si 는 CCi의 영역에서 i번째 연결 구성요소의 흰색 픽셀 수, t1 ~ t7은 임계값을 각각 의미한다.
즉, 본 발명의 실시예에 적용되는 휴리스틱 필터의 알고리즘은 도 6에 제시된 [Algorithm 1]에 나타낸 바와 같이 하여 구성될 수 있으며, 분할된 이미지에서 노이즈를 제거하기 위해 플리커 에너지 분류가 고려될 수 있다.
또한, 휴리스틱 필터에서 사용된 임계값들은 경험적으로 선택될 수 있으며, 본 실시예에서 선택된 임계값들은 (t1, t2, t3, t4, t5, t6, t7,) = (5, 100, 0, 2, 5, 75, 1000, 15) 이다.
다음으로 CNN 전이학습에 의한 싱크홀 분류단계(S20)의 처리과정에 대하여 설명하면, 최근, 컴퓨터 기술의 발달로 딥러닝은 이미지를 분류하는데 가장 향상된 성능을 보여주고 있으며, 이에, 본 발명에서는 실제 싱크홀과 다른 물체를 구분하기 위해 다음과 같이 하여 CNN 분류기를 구현하였다.
더 상세하게는, CNN 전이학습을 이용한 영상분류는 훈련(training)과 예측(prediction)의 두 단계로 구성되고, 훈련단계에서 CNN 모델은 해당 유형으로 레이블이 지정된 알려진 데이터 이미지 세트를 사용하여 학습되며, 모델이 학습되면 새 이미지의 객체 유형을 예측하는 데 사용된다.
그러나 CNN 모델을 학습하기 위해서는 엄청난 수의 매개 변수 때문에 큰 데이터 집합과 많은 양의 계산량 및 성능이 뛰어난 컴퓨터가 필요하며, 따라서 데이터 세트가 부족하면 CNN을 학습시키는데 많은 어려움이 있다.
여기서, 사전에 훈련된 모델을 원래 데이터 집합에 속하지 않는 범주에서 작업하도록 전송될 수 있으며, 이에, 본 발명에서는 CNN 싱크홀 분류 모델을 학습하기 위해 전이학습 방법을 사용하였다.
즉, 최근, 컴퓨터 비전과 딥러닝에서 가장 효율적으로 사용되는 훈련된 모델은 수백만 개의 이미지와 1000개의 객체 유형이 포함된 Image Net Dataset에서 학습된 ResNet(Residual Network)이며, 본 발명에서는 다양한 버전의 ResNet 중 ResNet-50을 선택하여 적용하였다.
더 상세하게는, ResNet-50은 49개의 컨벌루션 레이어(convolution layer), 1개의 완전 연결된 레이어(fully connected layer) 및 1000 개의 객체 유형에 대한 각 이미지의 분류 점수를 계산하는 1개의 분류 레이어(classification layer)를 포함하고, 본 발명에서는 싱크홀 영역을 분류하기 위해 최종 레이어를 싱크홀과 싱크홀이 아닌 두 가지 객체 유형만 있는 새 레이어로 대체하였으며, 이러한 레이어는 데이터 집합에서 역전파 미세조정 접근방식(back-propatation fine-tune approach)을 사용하여 처음부터 훈련되어진다.
또한, 비디오 프레임에서 싱크홀 이미지를 분류하기 위한 목적으로 CNN을 훈련시키기 위해서는 훈련을 위한 하나의 데이터 세트와 평가를 위한 또 다른 데이터 세트를 준비해야 하며, 본 발명에서는 교육을 위한 데이터 세트로서 7000개의 싱크홀 이미지와 7000개의 싱크홀이 아닌 이미지를 적용하였고, 평가 데이터 세트는 각 클래스에 대해서 1000개의 이미지를 적용하였다.
여기서, 싱크홀이 아닌 이미지는 자동차, 인간 또는 나무와 같은 실제 싱크홀과 유사한 표면온도를 가지는 비디오 프레임에서 일정한 형태를 가지는 물체일 수 있으며, 단순히 배경 이미지일 수도 있다.
전이학습 방식을 사용하여 CNN을 훈련할 때, 사전에 훈련된 CNN의 가중치가 상대적으로 좋았기 때문에 초기에 작은 학습율(learning rate)을 사용하였고 조기에 수정할 필요가 없었으며, 최적화 프로세스는 최대 50,000 반복 실행되었고, 훈련된 CNN 분류기의 결과 정확도는 99% 이상이었다.
다음으로, HA 알고리즘에 의한 싱크홀 추적단계(S30)의 구체적인 내용에 대하여 설명한다.
싱크홀을 CNN 분류기에서 감지하고 인식한 후 추적의 문제는 싱크홀을 연속 프레임의 개체 궤도인 각 트랙렛(tracklets)에 할당하는 것이며, 이러한 문제를 해결하기 위해, 본 발명에서는, 데이터 결합(association)을 위한 헝가리언 알고리즘(Hungarian Algorithm ; HA)을 구현하였다.
비디오 프레임에서 싱크홀이 N 개 발견되었다고 가정할 때 문제는 싱크홀이 속한 트랙렛을 식별하는 방법이며, 또한, sij를 i 번째 싱크홀과 j 번째 트랙렛의 데이터 분포 사이의 점수라고 하면, 이러한 점수는 트랙렛에서의 싱크홀 이미지와 검출된 싱크홀 이미지 사이의 상관관계(correlation)를 사용하여 계산되고, 즉, 상관점수가 높으면 싱크홀이 각 트랙렛에 속할 확률이 높다는 것을 의미한다.
HA를 사용하여 문제를 풀기 위해 거리
Figure 112019042172932-pat00002
을 얻고, xij는 i 번째 싱크홀과 j 번째 트랙렛의 관계를 정의하며, i 번째 싱크홀이 j 번째 트랙렛의 일부인 경우에만 xij = 1, 그렇지 않으면 xij = 0 이므로, 따라서
Figure 112019042172932-pat00003
이거나 하나의 검출된 싱크홀은 단지 하나의 트랙 세트에 속하며, 여기서,
Figure 112019042172932-pat00004
, 그리고 N은 트랙렛의 수이다.
즉, HA는 이러한 종류의 최적화 문제를 해결하는 방법으로서 이하의 [수학식 2]와 같이 나타낼 수 있으며, 그것에 의해, 전체 비용함수를 최소화할 수 있다.
Figure 112019042172932-pat00005
또한, 할당문제(assignment problem)의 거리행렬은 이하의 [수학식 3]과 같이 나타낼 수 있다.
Figure 112019042172932-pat00006
HA의 첫 번째 단계는, 이하의 [수학식 4]와 같이 하여 각 싱크홀과 트랙렛 사이의 최소거리를 찾은 다음 각각의 최소무게로 모든 가중치 dij를 빼는 처리가 수행된다.
Figure 112019042172932-pat00007
마찬가지로, HA의 두 번째 단계는, 이하의 [수학식 5]와 같이 하여 거리 매트릭스의 동일한 열에 있는 모든 항목에서 각 열의 최소거리를 빼는 처리가 수행되고, 이 단계 후에 거리 매트릭스 D에는 0 값이 포함된다.
Figure 112019042172932-pat00008
세 번째 단계에서, n을 최소한 한 개 이상의 0을 포함하는 수평/수직 라인이라고 할 때, n=N 이면, 거리 매트릭스 D의 0값을 기반으로 할당 xij를 만들 수 있으며, 그렇지 않으면, 세 번째 단계의 조건이 충족될 때까지 두 번째, 세 번째 단계를 반복한다.
여기서, 수집한 데이터 세트는 드론에서 캡처한 비디오이므로 싱크홀과 다른 물체는 고정되어 있고 카메라가 움직이기 때문에 비디오가 안정적이지 않으며, 경우에 따라서 분할 및 분류 단계에서 이미지의 실제 싱크홀을 감지하지 못하는 경우가 발생할 수 있다.
이 경우, 이전 프레임의 이전 싱크홀 위치를 작은 변환거리(translation distance)로 사용하여 현재 프레임에 배치하고, 이때, 변환거리는 이전 프레임 및 현재 프레임의 다른 싱크홀 변환을 기반으로 계산된다.
이러한 변환 보정은 비디오 프레임의 모든 싱크홀이 같은 방향으로 움직인다는 가정 하에 수행되었으며, 이 접근법은 시스템의 감지 및 인식과정에서 싱크홀이 누락된 문제를 해결하는데 도움이 된다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 싱크홀 탐지 알고리즘을 구현할 수 있으며, 계속해서, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 싱크홀 탐지 알고리즘의 실제 성능을 실험을 통해 검증한 결과에 대하여 설명한다.
더 상세하게는, 본 발명에서는 실시간 싱크홀 탐지를 효율적으로 수행하기 위해 CPU : Intel Core i7, GPU : GTX 1070, Ram : 16Gb의 하드웨어를 사용하였으며, 제안된 싱크홀 추적 알고리즘을 평가하기 위해 무인 항공기에서 캡처한 수집된 비디오가 사용되었다.
먼저, 입력 비디오를 학습용 데이터 세트와 테스트용 데이터 세트로 세분화 한 후 성능을 평가하기 위해 이하의 [수학식 6] 및 [수학식 7]을 사용하여 평균탐지정확도(Average detection Precision ; AP)와 평균재현(Average Recall ; AR)을 각각 추정하였다.
Figure 112019042172932-pat00009
Figure 112019042172932-pat00010
여기서, 상기한 [수학식 6] 및 [수학식 7]에 있어서, TP는 True Positive, FN은 False Negative, FP는 False Positive, FN은 False Negative를 각각 의미한다.
상기한 바와 같이 하여 중첩 임계값(overlapping threshold)에 의해 검출된 싱크홀이 FP 인지 또는 TP 인지를 알 수 있으며, FP는 실제 싱크홀의 중첩 임계값 이하로 중첩되는 모든 테스트 데이터를 테스트함으로써 결정되고, TP는 실제 싱크홀의 중첩 임계값 이상으로 중첩되는 모든 테스트 데이터를 테스트함으로써 결정된다.
또한, 도 7을 참조하면, 도 7은 본 발명의 실시예에 따른 싱크홀 추적 알고리즘에 대한 정확도 평가 결과를 표로 정리하여 나타낸 도면이다.
도 7에 나타낸 결과에 있어서, 일반적으로 추적방법의 성능을 평가하기 위해서 중첩 임계값을 0.5로 사용하며, 상기한 바와 같이 하여 AR과 AP를 계산한 결과, 도 7에 나타낸 바와 같이, 중첩 임계값이 증가하면 AP와 AR 점수가 감소한다는 것을 알 수 있다.
상기한 바와 같이, 본 발명에서는 실시간 싱크홀 추적을 효율적으로 수행하기 위해 CNN 객체 분류기와 HA 데이터 연관을 결합한 접근방식을 제안하였으며, 실험결과 제안된 방법은 중첩 임계값 0.5에서 각각 AP와 AR에 대해 89%와 88.7%를 달성하였다.
여기서, 본 발명에서 제안된 싱크홀 탐지 알고리즘은 입력 비디오가 안정적이지 않을 때 분할단계에서 잠재 싱크홀 후보를 감지하지 못하거나, 훈련 세트에서 입력 잠재 후보가 누락된 경우 분류기 성능이 좋지 않게 나타나는 경우도 있으나, 그럼에도 불구하고, 본 발명에서 제안된 싱크홀 탐지 알고리즘은 적외선 카메라를 이용한 싱크홀 검색과 같은 실용적인 분야에 유용하게 사용될 수 있음을 알 수 있다.
이상, 상기한 바와 같은 구성을 통하여, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)에 따르면, 지리정보시스템(GIS) 및 전자지도를 이용하여 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역에 대하여 도로 밑에 매설된 상하수도 배관을 따라 탐지경로를 설정하며, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 후보지역에 대한 정밀조사를 수행하도록 하는 처리가 자동으로 수행되도록 구성되는 싱크홀 탐지시스템을 간단한 구성 및 저렴한 비용으로 용이하게 구현할 수 있으며, 그러한 싱크홀 탐지시스템을 이용하여, 도로 밑에 매설된 상하수도 배관을 따라 차량으로 이동하면서 싱크홀의 탐지가 자동으로 이루어지는 싱크홀 탐지방법을 제공할 수 있다.
더욱이, 상기한 바와 같은 구성으로부터, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)에 따르면, 차량에 장착된 IR 카메라를 통해 탐지가 이루어지므로 공중에서 드론을 이용하여 탐지하는 종래기술의 탐지장치 및 방법에 비해 보다 선명한 영상을 얻을 수 있고, 그것에 의해, 더욱 상세하고 정확한 싱크홀 탐지가 가능해지는 장점을 가지는 것이다.
또한, 본 발명의 실시예에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템(10)에 따르면, IR 카메라로부터 얻어진 영상데이터를 컴퓨터와 같은 외부 기기로 전송하여 영상분석이 가능하므로, 처리속도를 높이고 시스템의 전체적인 구성을 간소화할 수 있는 데 더하여, 보다 고성능의 싱크홀 탐지 알고리즘을 적용 가능하므로 더욱 상세하고 정확한 싱크홀 탐지가 가능해진다.
따라서 상기한 바와 같이 하여 본 발명에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법을 구현할 수 있다.
또한, 상기한 바와 같이 하여 본 발명에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법을 구현하는 것에 의해, 본 발명에 따르면, 예를 들면, 지리정보시스템(GIS) 등과 같이, 기 구축된 지리정보와 전자지도 및 GPS 등과 같은 위치정보 시스템을 활용하여, 상하수도 배관과 같은 지하의 매설물이나 구조 및 지질에 대한 정보에 근거하여 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역을 지도상에 표시하여 탐지경로를 설정하며, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 후보지역에 대한 정밀조사를 수행하는 것에 의해 실시간으로 신속하고 정확하게 싱크홀의 탐지가 가능하도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법이 제공됨으로써, 싱크홀을 탐지하기 위하여 지질층을 파괴함으로 인해 싱크홀 발달을 악화시키고 시간 및 비용이 증가하여 광범위한 지역을 탐사하기에 부적합한 단점이 있었던 종래기술의 파괴식 싱크홀을 탐지방법 및 장치들의 문제점과, 싱크홀을 탐지하기 위하여 드론을 이용하여 탐지를 수행함으로 인해 탐지시간 및 탐지범위에 제약이 있고, 학습시간 단축 및 실시간 처리를 위해 상대적으로 성능이 낮은 싱크홀 탐지 알고리즘을 적용함으로 인해 정확성이 떨어지고 실시간으로 싱크홀을 탐지하는 것이 불가능한 한계가 있었던 종래기술의 비파괴식 싱크홀 탐지장치 및 방법들의 문제점을 모두 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 GIS 등과 같은 기 구축된 지리정보와 전자지도 및 GPS 등과 같은 위치정보 시스템을 활용하여 싱크홀 발생가능성이 높을 것으로 예상되는 후보지역을 지도상에 표시하여 탐지경로를 설정하고, 설정된 탐지경로를 따라 차량으로 이동하면서 차량에 설치된 IR 카메라를 이용하여 실시간으로 싱크홀을 탐지하도록 구성되는 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법이 제공됨으로써, 상하수도 배관의 누수 등으로 인한 인공적인 싱크홀 발생을 조기에 발견하고, 싱크홀 발생 가능성을 미리 예측하여 싱크홀로 인한 각종 사고를 미연에 방지할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 적외선 영상분석을 이용한 싱크홀 탐지시스템
11. 영상취득부 12. 영상분석부
13. 탐지경로 생성부 14. 영상표시부
15. 제어부

Claims (10)

  1. 적외선(infrared ray ; IR) 영상분석을 이용한 싱크홀 탐지시스템에 있어서,
    싱크홀을 탐지하기 위해 차량에 장착되어 지표면의 열 영상을 촬영하는 적외선(IR) 카메라를 포함하여 이루어지는 영상취득부;
    상기 영상취득부를 통해 얻어진 지표면의 열 영상을 분석하여 싱크홀을 탐지하는 처리가 수행되도록 이루어지는 영상분석부;
    사용자에 의해 입력되거나 미리 설정된 탐지경로에 근거하여 상기 차량의 이동경로를 생성하고 상기 차량의 이동시 운행에 대한 각종 정보를 제공하는 처리가 수행되는 탐지경로 생성부;
    상기 영상취득부에 의해 촬영된 영상과, 상기 영상분석부를 통해 얻어진 분석결과 및 상기 탐지경로 생성부에 의해 생성된 탐지경로를 포함하는 각종 정보를 표시하기 위한 모니터나 디스플레이를 포함하여 이루어지는 영상표시부; 및
    상기 탐지시스템의 전체적인 동작을 제어하는 제어부를 포함하여 구성됨으로써,
    사용자에 의해 입력되거나 미리 설정된 탐지경로를 따라 상기 차량이 이동하면서 자동으로 탐지가 이루어질 수 있도록 구성되고,
    상기 탐지경로 생성부는,
    GIS(geographic information systems)를 포함하는 지리정보 시스템과 전자지도 및 GPS(Global Positioning System)를 포함하는 위치정보 시스템과 연계하여, 사용자가 출발지와 도착지 또는 탐사를 수행할 지역을 입력하면, 상기 지리정보시스템(GIS)에 저장된 지하 매설물 정보에 근거하여 도로 밑에 매설된 상하수도 배관을 따라 상기 전자지도 상에 차량의 이동경로를 설정하는 것에 의해 도로기반의 탐지경로를 생성하고, 상기 차량의 운행시 이동경로 및 도로정보나 교통정보를 포함하는 운행에 필요한 각종 정보를 제공하는 처리가 수행되도록 구성되며,
    상기 영상분석부는,
    상기 탐지시스템에 유선 또는 무선으로 연결되는 컴퓨터나 노트북을 포함하는 정보처리장치에 싱크홀의 존재여부, 크기 및 위치를 탐지하기 위한 영상분석 처리를 수행하는 영상분석 프로그램을 설치하여 구성되고,
    상기 영상분석부에 적용되는 싱크홀 탐지 알고리즘은,
    온도편차에 의한 이진 분할(binary segmentation)을 수행하여 열화상 이미지의 비디오 프레임에서 후보 싱크홀 위치를 결정하는 후보 싱크홀 분할 단계;
    CNN(Convolutional neural network) 전이학습(transfer learning) 방법을 이용하여 후보 싱크홀 분할단계에서 선정된 후보 싱크홀들 중에서 실제 싱크홀을 분류하는 싱크홀 분류 단계; 및
    헝가리언 알고리즘(Hungarian Algorithm)을 이용한 데이터 결합(data association)을 이용하여 싱크홀 분류단계에서 분류된 실제 싱크홀들을 추적하는 싱크홀 추적 단계를 포함하며,
    상기 후보 싱크홀 분할단계는,
    이하의 수학식을 이용하여, 이중 임계(dual-thresholding) 방법을 적용하여 후보 싱크홀 위치를 결정하고,
    분할된 영역의 가장자리 잡음을 제거하기 위해, 개방(opening), 폐쇄(closing), 팽창(dilate), 침식(erode)을 포함하는 형태학적 동작(morphological operation)을 적용하여 형태학적 잡음을 제거하는 것을 특징으로 하는 적외선 영상분석을 이용한 싱크홀 탐지시스템.
    Figure 112019135684359-pat00018

    (여기서, I는 입력 이미지, (x, y)는 특정 픽셀의 위치, Tl 과 Th는 각각 미리 정해진 임계값을 의미함.)
  2. 제 1항에 있어서,
    상기 영상취득부는,
    노면 및 차량 주위의 영상을 촬영하기 위한 적어도 하나 이상의 영상카메라를 더 포함하여, 주행중인 도로의 노면 및 차량 주위의 영상을 상기 영상표시부를 통해 함께 표시할 수 있도록 구성되는 것을 특징으로 하는 적외선 영상분석을 이용한 싱크홀 탐지시스템.
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 탐지경로 생성부는,
    차량용 내비게이션 시스템을 이용하여, 사용자에 의해 입력되거나 미리 설정된 차량의 운행경로를 표시하는 동시에, 도로정보나 교통정보를 포함하는 차량의 운행에 필요한 각종 정보를 제공할 수 있도록 구성되는 것을 특징으로 하는 적외선 영상분석을 이용한 싱크홀 탐지시스템.
  6. 제 1항에 있어서,
    상기 탐지경로 생성부는,
    인공지능(AI)을 이용하여, GIS를 포함하는 지리정보 시스템과 전자지도 및 GPS를 포함하는 위치정보 시스템과 연계하여 싱크홀 발생 가능성이 높을 것으로 예상되는 후보지역을 선택하고, 선택된 후보지역에 대하여 도로 밑에 매설된 상하수도 배관을 따라 탐지경로를 설정하는 처리가 자동으로 수행되도록 구성되는 것을 특징으로 하는 적외선 영상분석을 이용한 싱크홀 탐지시스템.
  7. 제 1항에 있어서,
    상기 영상표시부는,
    상기 영상취득부에 의해 촬영된 영상과, 상기 영상분석부에 의해 분석된 분석결과와, 상기 탐지경로 생성부에 의해 생성된 탐지경로 및 도로정보나 교통정보를 포함하는 각종 정보를 상기 모니터나 상기 디스플레이를 통하여 사용자에게 시각적으로 표시하는 동시에, 각종 정보를 청각적으로 전달하기 위한 스피커를 더 포함하여 구성되는 것을 특징으로 하는 적외선 영상분석을 이용한 싱크홀 탐지시스템.
  8. 삭제
  9. 제 1항에 있어서,
    상기 탐지시스템은,
    싱크홀이 발견되거나 미리 정해진 기준에 근거하여 싱크홀의 발생 가능성이 높을 것으로 판단되면 미리 설정된 수신처에 해당 사실을 전달하고 경보를 발생하는 경보발생부를 더 포함하여 구성됨으로써, 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 것을 특징으로 하는 적외선 영상분석을 이용한 싱크홀 탐지시스템.
  10. 싱크홀 탐지방법에 있어서,
    차량에 설치된 싱크홀 탐지시스템을 이용하여 싱크홀을 탐지하기 위한 경로나 지역을 입력하고 탐지경로를 생성하는 탐지경로 설정단계; 및
    상기 탐지경로 설정단계에서 설정된 탐지경로를 따라 이동하면서 상기 차량에 설치된 싱크홀 탐지시스템의 적외선 카메라를 통해 싱크홀을 탐지하는 싱크홀 탐지단계를 포함하여 구성되고,
    상기 싱크홀 탐지시스템은,
    청구항 1항, 청구항 2항, 청구항 5항 내지 청구항 7항 및 청구항 9항 중 어느 한 항에 기재된 적외선 영상분석을 이용한 싱크홀 탐지시스템인 것을 특징으로 하는 싱크홀 탐지방법.
KR1020190047760A 2019-04-24 2019-04-24 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법 KR102074462B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190047760A KR102074462B1 (ko) 2019-04-24 2019-04-24 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190047760A KR102074462B1 (ko) 2019-04-24 2019-04-24 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법

Publications (1)

Publication Number Publication Date
KR102074462B1 true KR102074462B1 (ko) 2020-02-06

Family

ID=69569237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190047760A KR102074462B1 (ko) 2019-04-24 2019-04-24 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법

Country Status (1)

Country Link
KR (1) KR102074462B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441829A (zh) * 2019-07-22 2019-11-12 安徽砺剑防务科技有限公司 一种非接触式危险品快速探测方法
KR102284622B1 (ko) * 2020-02-24 2021-08-02 금오공과대학교 산학협력단 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법
KR20230011740A (ko) 2021-07-14 2023-01-25 노이즈프리미어랩 주식회사 싱크홀 측정 센서
KR20230011720A (ko) 2021-07-14 2023-01-25 노이즈프리미어랩 주식회사 싱크홀 측정 및 예측 시스템
KR102654355B1 (ko) * 2023-09-11 2024-04-03 주식회사 플로워크연구소 상수관망 자율 탐지 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160006131A (ko) * 2015-12-23 2016-01-18 (주)아이뱅크컨설턴츠 지아이에스 정보를 이용한 최단경로 탐색정보 자동생성방법, 최단경로 탐색방법 및 최단경로 탐색장치
KR20160038596A (ko) * 2014-09-30 2016-04-07 조남희 도로상 또는 지하에서 발생하는 위험에 대비하는 방법
KR20180011600A (ko) * 2016-07-25 2018-02-02 연세대학교 산학협력단 적외선 열화상 카메라를 이용한 지반동공 탐지 시스템 및 탐지방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160038596A (ko) * 2014-09-30 2016-04-07 조남희 도로상 또는 지하에서 발생하는 위험에 대비하는 방법
KR20160006131A (ko) * 2015-12-23 2016-01-18 (주)아이뱅크컨설턴츠 지아이에스 정보를 이용한 최단경로 탐색정보 자동생성방법, 최단경로 탐색방법 및 최단경로 탐색장치
KR20180011600A (ko) * 2016-07-25 2018-02-02 연세대학교 산학협력단 적외선 열화상 카메라를 이용한 지반동공 탐지 시스템 및 탐지방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441829A (zh) * 2019-07-22 2019-11-12 安徽砺剑防务科技有限公司 一种非接触式危险品快速探测方法
KR102284622B1 (ko) * 2020-02-24 2021-08-02 금오공과대학교 산학협력단 열화상 카메라와 드론을 이용한 블랙아이스 모니터링 방법
KR20230011740A (ko) 2021-07-14 2023-01-25 노이즈프리미어랩 주식회사 싱크홀 측정 센서
KR20230011720A (ko) 2021-07-14 2023-01-25 노이즈프리미어랩 주식회사 싱크홀 측정 및 예측 시스템
KR102654355B1 (ko) * 2023-09-11 2024-04-03 주식회사 플로워크연구소 상수관망 자율 탐지 시스템

Similar Documents

Publication Publication Date Title
KR102074462B1 (ko) 적외선 영상분석을 이용한 싱크홀 탐지시스템 및 이를 이용한 싱크홀 탐지방법
US11681746B2 (en) Structured prediction crosswalk generation
Yu et al. Automated detection of urban road manhole covers using mobile laser scanning data
Wieland et al. Estimating building inventory for rapid seismic vulnerability assessment: Towards an integrated approach based on multi-source imaging
Biçici et al. An approach for the automated extraction of road surface distress from a UAV-derived point cloud
KR101926561B1 (ko) 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
Qiu et al. Real-time detection of cracks in tiled sidewalks using YOLO-based method applied to unmanned aerial vehicle (UAV) images
Omer et al. An automatic image recognition system for winter road surface condition classification
Iqbal et al. Weakly-supervised domain adaptation for built-up region segmentation in aerial and satellite imagery
CN113256562B (zh) 基于雷达图像和人工智能的道路地下隐患检测方法和系统
KR102185225B1 (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
Naddaf-Sh et al. Real‐Time Road Crack Mapping Using an Optimized Convolutional Neural Network
Li et al. A novel evaluation method for pavement distress based on impact of ride comfort
Kahraman et al. Road extraction techniques from remote sensing images: A review
Thiruppathiraj et al. Automatic pothole classification and segmentation using android smartphone sensors and camera images with machine learning techniques
Sathvik et al. An intelligent convolutional neural network based potholes detection using yolo-v7
Malini et al. An automatic assessment of road condition from aerial imagery using modified VGG architecture in faster-RCNN framework
CN115083088A (zh) 铁路周界入侵预警方法
Christodoulou et al. Pavement defects detection and classification using smartphone-based vibration and video signals
Guerrieri et al. Flexible and stone pavements distress detection and measurement by deep learning and low-cost detection devices
Kotha et al. Potsense: Pothole detection on Indian roads using smartphone sensors
Shokri et al. Utility poles extraction from mobile lidar data in urban area based on density information
Antwi et al. Computer vision-based model for detecting turning lane features on Florida's public roadways
Kong et al. Toward the automatic detection of access holes in disaster rubble
Govada et al. Road deformation detection

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant