KR20180037532A - Sinkhole detection system and method using a drone-based thermal camera and image processing - Google Patents
Sinkhole detection system and method using a drone-based thermal camera and image processing Download PDFInfo
- Publication number
- KR20180037532A KR20180037532A KR1020160127830A KR20160127830A KR20180037532A KR 20180037532 A KR20180037532 A KR 20180037532A KR 1020160127830 A KR1020160127830 A KR 1020160127830A KR 20160127830 A KR20160127830 A KR 20160127830A KR 20180037532 A KR20180037532 A KR 20180037532A
- Authority
- KR
- South Korea
- Prior art keywords
- sinkhole
- thermal
- automatic
- candidate
- drone
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010191 image analysis Methods 0.000 claims abstract description 40
- 238000012795 verification Methods 0.000 claims abstract description 17
- 238000001931 thermography Methods 0.000 claims description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000001066 destructive effect Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 4
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract 1
- 150000002632 lipids Chemical class 0.000 abstract 1
- 238000007637 random forest analysis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003673 groundwater Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- B64C2201/12—
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
Description
본 발명은 자동 싱크홀 탐지 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템 및 방법에 관한 것이다.The present invention relates to an automatic sinkhole detection system and method, and more particularly, to an automatic sinkhole detection system and method using image analysis of a drone and a thermal imaging camera.
최근 국내 도심지역에서 빈번히 발생하고 있는 싱크홀(sink hole)은 대규모 토목공사, 지하수 유출 등 인재에 의한 것이 대부분이며, 거의 갑작스럽게 발생하여 자연적 싱크홀에 비해 예측이 쉽지 않다는 문제점이 있다.
Recently, most of the sinkholes that occur in the urban areas in Korea are due to large-scale civil engineering work, groundwater leakage, and the like, and it is almost unexpectedly generated, which makes it difficult to predict compared with natural sink holes.
싱크홀을 탐지하는 기존의 방법들로는 ① 싱크홀의 존재가 예상되는 곳에 드릴로 직접 파보는 방법, ② 콘 관입 실험(cone petrometer test, CPT), ③ 지표 투과 레이더(ground-penetrating radar, GPR), ④ 지표기반 간섭계합성 개구 레이더(ground-based interferometric synthetic aperture radar, GB-InSAR), ⑤ 공중발사 레이저 기술(airborne laser) 등의 방법들이 있다.
Conventional methods for detecting sinkholes include (1) drilling directly into a place where a sinkhole is expected, (2) a cone petrometer test (CPT), (3) a ground-penetrating radar (GPR) Based interferometric synthetic aperture radar (GB-InSAR); and (5) airborne laser.
그러나 이러한 기존의 방법들은 모두 지질층을 파괴하여 싱크홀 발달을 오히려 악화시키거나, 광범위한 지역을 탐사하기에 부적합하거나, 시간 및 비용 측면에서 비효율적이라는 단점이 있다. 대한민국 등록특허공보 제10-1531697호는 땅꺼짐 확인용 조사장비를 이용한 땅꺼짐 조사방법에 대한 선행기술 문헌을 개시하고 있고, 대한민국 등록특허공보 제10-1620278호는 매립형 센싱부를 활용한 지반 공동 및 함몰 감지 장치에 대한 선행기술 문헌을 개시하고 있다.However, all of these conventional methods are disadvantageous in that they degrade the geological layer to deteriorate sink hole development, are not suitable for exploring a wide area, or are inefficient in terms of time and cost. Korean Patent Registration No. 10-1531697 discloses a prior art document on a ground off survey method using a survey instrument for confirming a land clearance and Korean Patent Registration No. 10-1620278 discloses a land cover utilizing a buried sensing section, Discloses a prior art document for a recess sensing apparatus.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 원적외선 열 영상 카메라가 부착된 드론을 이용하여 촬영된 열 영상을 분석하여 싱크홀 후보 영역 및 최종 싱크홀 영역을 추출함으로써, 비파괴적으로 싱크홀 영역을 탐지할 수 있어, 파괴적 탐지로 인한 지질층 파괴와 싱크홀 발달의 악화를 방지할 수 있으며, 적은 비용으로 광범위한 지역을 효율적으로 탐지할 수 있는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. The present invention analyzes a thermal image photographed using a drone equipped with a far infrared ray thermal imaging camera to extract a sinkhole candidate region and a final sinkhole region , It is possible to detect the sinkhole region in a non-destructive manner, to prevent degradation of the geological layer due to destructive detection and deterioration of sinkhole development, and to efficiently detect a wide area at a low cost. And an automatic sinkhole detection system using the image analysis of the automatic sinkhole detection system.
또한, 본 발명은, 3단계의 전처리 과정을 통해 신뢰도 높은 싱크홀 후보 영역을 추출할 수 있으며, 가벼운 버전의 회선 신경망 기술(the light-CNN)을 이용하여 기존의 회선 신경망 기술(CNN)을 이용하는 경우에 비하여 학습 시간이 단축 및 실시간 점검이 가능하여 시간 및 비용 측면에도 보다 효율적으로 싱크홀 영역을 추출할 수 있고, 계층적 랜덤 포레스트 분류기(BRF)를 이용하여 회선 신경망 기술로는 분류해낼 수 없는 색채, 질감 및 형상 등의 특징들을 반영하여 분류할 수 있어, 싱크홀 영역 탐지의 정확도가 높아질 수 있는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention can extract a reliable sync hole candidate region through a three-step preprocessing process, and can use a light neural network technology (the light-CNN) to utilize existing circuit neural network technology (CNN) It is possible to extract the sinkhole area more efficiently in terms of time and cost, and can not classify it as a circuit neural network technology using a hierarchical random forest classifier (BRF) It is another object of the present invention to provide an automatic sinkhole detection system and method using image analysis of a drone and a thermal imaging camera which can be classified by reflecting characteristics such as color, texture, and shape, The purpose.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템은,According to an aspect of the present invention, there is provided an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera,
드론과 열 영상 카메라를 이용하여 열 영상을 획득하는 열 영상 획득부;A thermal image acquisition unit for acquiring thermal images using a drone and a thermal imaging camera;
상기 열 영상 획득부에서 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출하는 후보 검출부; 및A candidate detector for analyzing the thermal image acquired by the thermal image acquisition unit to extract a sync hole candidate region; And
상기 후보 검출부에서 추출된 싱크홀 후보 영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출하는 검증부를 포함하는 것을 그 구성상의 특징으로 한다.
And a verification unit for extracting a final sync hole area excluding a false detection area in the sync hole candidate area extracted by the candidate detection unit.
바람직하게는, 상기 열 영상 획득부는,Preferably, the thermal image acquiring unit includes:
원적외선 열영상(thermal far-infrared, FIR) 카메라가 부착된 드론을 이용하여 열 영상을 획득할 수 있다.
Thermal images can be acquired using a drone equipped with a thermal far-infrared (FIR) camera.
바람직하게는, 상기 후보 검출부는,Preferably, the candidate detecting unit includes:
상기 열 영상에서 다른 영역에 비하여 상대적으로 낮은 열에너지를 갖는 영역을 상기 싱크홀 후보 영역으로 분류할 수 있다.
A region having a relatively low thermal energy in the thermal image as compared with other regions can be classified as the sink hole candidate region.
바람직하게는, 상기 후보 검출부는,Preferably, the candidate detecting unit includes:
상기 열 영상 획득부에서 획득된 열 영상으로부터 상기 싱크홀 후보 영역을 추출하기 위한 전처리 과정을 수행할 수 있다.
A preprocessing process for extracting the sync hole candidate region from the thermal image acquired by the thermal image acquisition unit may be performed.
더욱 바람직하게는, 상기 전처리 과정은,More preferably, the pre-
이중 적합 임계값 설정(adaptive dual-thresholding)을 통해 상기 열 영상 획득부에서 획득된 열 영상에서 상대적으로 열에너지가 낮은 영역을 분할하는 과정을 포함할 수 있다.
And dividing a region having a relatively low thermal energy in the thermal image acquired by the thermal image acquisition unit through adaptive dual-thresholding.
더욱 더 바람직하게는, 상기 전처리 과정은,Even more preferably, the pre-
형태학적 열기(morphological opening)를 통해 전경 픽셀들(foreground pixels)을 제거하여 상기 열에너지가 낮은 영역의 경계를 정리하는 과정을 포함할 수 있다.
And removing the foreground pixels through a morphological opening to rearrange the boundaries of the low thermal energy region.
더더욱 더 바람직하게는, 상기 전처리 과정은,Even more preferably, the pre-
노이즈 제거 및 상기 열에너지가 낮은 영역의 둥글기(roundness) 체크를 하는 과정을 포함할 수 있다.
Removing the noise, and checking the roundness of the low heat energy region.
바람직하게는, 상기 검증부는,Advantageously,
패턴 분석기(pattern classifiers)를 이용하여 상기 싱크홀 영역을 추출할 수 있다.
The sync hole area can be extracted using pattern classifiers.
더욱 바람직하게는, 상기 패턴 분석기는,More preferably, the pattern analyzer comprises:
가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm)을 이용하여 얻어진 분류 결과와, OCS-LBP(oriented center symmetric-local binary pattern) 특징을 계층적 랜덤 포레스트(boosted random forest, BRF) 분류기에 적용하여 얻어진 분류 결과를 결합하여 상기 싱크홀 영역을 추출할 수 있다.
The classification results obtained using the light-CNN algorithm and the oriented center symmetric-local binary pattern (OCS-LBP) are applied to a hierarchical randomized forest (BRF) classifier And combining the obtained classification results to extract the sinkhole area.
더욱 더 바람직하게는, 상기 가벼운 버전의 회로 신경망 알고리즘은,Even more preferably, the light version of the circuit neural network algorithm comprises:
학습 시간 단축과 실시간 점검이 가능하도록 두 개의 회선(convolution)과 두 개의 2단 추출 레이어(sub-sampling layers)로 구성될 수 있다.
It can be composed of two convolution and two sub-sampling layers to reduce learning time and real-time inspection.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법은,According to another aspect of the present invention, there is provided an automatic sinkhole detection method using image analysis of a drone and a thermal imaging camera,
(1) 열 영상 획득부가 드론과 열 영상 카메라를 이용하여 열 영상을 획득하는 단계;(1) obtaining a thermal image using a thermal image acquisition unit drone and a thermal image camera;
(2) 후보 검출부가 상기 단계 (1)에서 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출하는 단계; 및(2) extracting a sinkhole candidate region by analyzing the thermal image obtained in the step (1) by the candidate detection unit; And
(3) 검증부가 상기 단계 (2)에서 추출된 싱크홀 후보 영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(3) The verification unit includes a step of extracting the final sync hole area excluding the erroneous detection area in the sync hole candidate area extracted in step (2).
바람직하게는, 상기 단계 (1)의 열 영상 획득부는,Preferably, the thermal image obtaining unit of the step (1)
원적외선 열영상(thermal far-infrared, FIR) 카메라가 부착된 드론을 이용하여 열 영상을 획득할 수 있다.
Thermal images can be acquired using a drone equipped with a thermal far-infrared (FIR) camera.
바람직하게는, 상기 단계 (2)의 후보 검출부는,Preferably, the candidate detecting unit of the step (2)
상기 열 영상에서 다른 영역에 비하여 상대적으로 낮은 열에너지를 갖는 영역을 상기 싱크홀 후보 영역으로 분류할 수 있다.
A region having a relatively low thermal energy in the thermal image as compared with other regions can be classified as the sink hole candidate region.
바람직하게는, 상기 단계 (2)의 후보 검출부는,Preferably, the candidate detecting unit of the step (2)
상기 단계 (1)에서 획득된 열 영상으로부터 상기 싱크홀 후보 영역을 추출하기 위한 전처리 과정을 수행할 수 있다.
A preprocessing process for extracting the sync hole candidate region from the thermal image obtained in the step (1) may be performed.
더욱 바람직하게는, 상기 전처리 과정은,More preferably, the pre-
(2-1) 이중 적합 임계값 설정(adaptive dual-thresholding)을 통해 상기 단계 (1)에서 획득된 열 영상에서 상대적으로 열에너지가 낮은 영역을 분할하는 단계를 포함할 수 있다.
(2-1) dividing a region having relatively low thermal energy in the thermal image obtained in the step (1) through adaptive dual-thresholding.
더욱 더 바람직하게는, 상기 전처리 과정은,Even more preferably, the pre-
(2-2) 형태학적 열기(morphological opening)를 통해 전경 픽셀들(foreground pixels)을 제거하여 상기 열에너지가 낮은 영역의 경계를 정리하는 단계를 더 포함할 수 있다.
(2-2) removing the foreground pixels through a morphological opening to sort the boundaries of the low heat energy region.
더더욱 더 바람직하게는, 상기 전처리 과정은,Even more preferably, the pre-
(2-3) 노이즈 제거 및 상기 열에너지가 낮은 영역의 둥글기(roundness) 체크를 하는 단계를 더 포함할 수 있다.
(2-3) noise removal and roundness check of the low heat energy region.
바람직하게는, 상기 단계 (3)의 검증부는,Preferably, the verifying unit of the step (3)
패턴 분석기(pattern classifiers)를 이용하여 상기 싱크홀 영역을 추출할 수 있다.
The sync hole area can be extracted using pattern classifiers.
더욱 바람직하게는, 상기 패턴 분석기는,More preferably, the pattern analyzer comprises:
가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm)을 이용하여 얻어진 분류 결과와, OCS-LBP(oriented center symmetric-local binary pattern) 특징을 계층적 랜덤 포레스트(boosted random forest, BRF) 분류기에 적용하여 얻어진 분류 결과를 결합하여 상기 싱크홀 영역을 추출할 수 있다.
The classification results obtained using the light-CNN algorithm and the oriented center symmetric-local binary pattern (OCS-LBP) are applied to a hierarchical randomized forest (BRF) classifier And combining the obtained classification results to extract the sinkhole area.
더욱 더 바람직하게는, 상기 가벼운 버전의 회로 신경망 알고리즘은,Even more preferably, the light version of the circuit neural network algorithm comprises:
학습 시간 단축과 실시간 점검이 가능하도록 두 개의 회선(convolution)과 두 개의 2단 추출 레이어(sub-sampling layers)로 구성될 수 있다.It can be composed of two convolution and two sub-sampling layers to reduce learning time and real-time inspection.
본 발명에서 제안하고 있는 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템 및 방법에 따르면, 원적외선 열 영상 카메라가 부착된 드론을 이용하여 촬영된 열 영상을 분석하여 싱크홀 후보 영역 및 최종 싱크홀 영역을 추출함으로써, 비파괴적으로 싱크홀 영역을 탐지할 수 있어, 파괴적 탐지로 인한 지질층 파괴와 싱크홀 발달의 악화를 방지할 수 있으며, 적은 비용으로 광범위한 지역을 효율적으로 탐지할 수 있다.
According to the automatic sinkhole detection system and method using the image analysis of the drone and the thermal imaging camera proposed in the present invention, the thermal image captured using the drone equipped with the far infrared ray thermal imaging camera is analyzed, By extracting the sinkhole region, it is possible to nondestructively detect the sinkhole region, thereby preventing degradation of the geological layer due to destructive detection and deterioration of sinkhole development, and efficiently detecting a wide area at a low cost.
또한, 본 발명에 따르면, 3단계의 전처리 과정을 통해 신뢰도 높은 싱크홀 후보 영역을 추출할 수 있으며, 가벼운 버전의 회선 신경망 기술(the light-CNN)을 이용하여 기존의 회선 신경망 기술(CNN)을 이용하는 경우에 비하여 학습 시간이 단축 및 실시간 점검이 가능하여 시간 및 비용 측면에도 보다 효율적으로 싱크홀 영역을 추출할 수 있고, 계층적 랜덤 포레스트 분류기(BRF)를 이용하여 회선 신경망 기술로는 분류해낼 수 없는 색채, 질감 및 형상 등의 특징들을 반영하여 분류할 수 있어, 싱크홀 영역 탐지의 정확도가 높아질 수 있다.Also, according to the present invention, it is possible to extract reliable sync hole candidate regions through a three-step preprocessing process, and to use existing light neural network technology (CNN) using a light version of the light-CNN technology It is possible to extract the sinkhole area more efficiently in terms of time and cost and to classify it as a circuit neural network technology using a hierarchical random forest classifier (BRF). It is possible to classify them by reflecting characteristics such as color, texture, and shape, so that the accuracy of the detection of the sinkhole area can be enhanced.
도 1은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 열 영상 획득부의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 열 영상 획득부를 통해 획득된 열 영상을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 후보 검출부에서의 전처리 과정을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 검증부의 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 검증부에서의 싱크홀 영역 추출 알고리즘을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법의 흐름을 도시한 도면.
도 8은 본 발명의 다른 실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법의 흐름을 도시한 도면.FIG. 1 illustrates an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention. FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for detecting a thermal image in an automatic sinkhole detection system using an image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention.
3 is a view showing a thermal image obtained through a thermal image acquisition unit of an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention.
4 is a view illustrating a preprocessing process in a candidate detection unit of an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention.
5 is a view illustrating a configuration of a verification unit of an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention.
6 is a view for explaining a sinkhole region extraction algorithm in a verification unit of an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention.
FIG. 7 illustrates a flow of an automatic sinkhole detection method using image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention. FIG.
8 is a flowchart illustrating a method of detecting an automatic sinkhole using image analysis of a drones and a thermal imaging camera according to another embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
도 1은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템을 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 열 영상 획득부(100)의 구성을 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템은, 열 영상 획득부(100), 후보 검출부(200) 및 검증부(300)를 포함하여 구성될 수 있다.
FIG. 1 is a view showing an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera according to an embodiment of the present invention. FIG. 2 is a view showing an image of a drone and a thermal image camera FIG. 2 is a diagram showing a configuration of a thermal
열 영상 획득부(100)는, 드론(130)과 열 영상 카메라(110)를 이용하여 열 영상을 획득할 수 있으며, 보다 구체적으로는, 원적외선 열영상(thermal far-infrared, FIR) 카메라(110)가 부착된 드론(130)을 이용하여 열 영상을 획득할 수 있다.
The thermal
이와 같이, 원적외선 열 영상 카메라(110)가 부착된 드론(130)을 조종하여 탐사 지역의 열 영상을 간편하게 촬영함으로써, 적은 비용으로도 광범위한 지역에 걸쳐서 싱크홀 영역을 비파괴적으로 탐지할 수 있다.
Thus, the
후보 검출부(200)는, 열 영상 획득부(100)에서 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출할 수 있다. 이러한 후보 검출부(200)의 구체적인 구성에 대해서는 추후 도 3 및 도 4를 참조하여 상세히 설명하도록 한다.
The
검증부(300)는, 후보 검출부(200)에서 추출된 싱크홀 후보 영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출할 수 있다. 검증부(300)의 구체적인 구성에 대해서는 추후 도 5 및 도 6을 참조하여 상세히 설명하도록 한다.
The
도 3은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 열 영상 획득부(100)를 통해 획득된 열 영상을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 후보 검출부(200)에서의 전처리 과정을 설명하기 위해 도시한 도면이다. 도 3 및 도 4에 도시된 바와 같이, 후보 검출부(200)는, 열 영상 획득부(100)를 통해 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출할 수 있다.
FIG. 3 is a view showing a thermal image acquired through a thermal
이때, 후보 검출부(200)는, 열 영상에서 다른 영역에 비하여 상대적으로 낮은 열에너지를 갖는 영역을 싱크홀 후보 영역으로 분류할 수 있다. 이는 싱크홀은 일반적으로 주변에 비해 상대적으로 낮은 열에너지를 갖는 사실에 기반한 것으로서, 도 3에 도시된 바와 같이, 열 영상 획득부(100)를 통해 얻어진 열 영상에서 어두운 색으로 나타나는 부분이 나머지 부분에 비하여 열에너지가 낮은 부분에 해당할 수 있다.
At this time, the
또한, 도 4에 도시된 바와 같이, 후보 검출부(200)는, 열 영상 획득부(100)에서 획득된 열 영상(도 4 (a))으로부터 싱크홀 후보 영역을 추출하기 위한 전처리 과정을 수행할 수 있다.
4, the
보다 구체적으로는, 먼저, 이중 적합 임계값 설정(adaptive dual-thresholding)을 통해 열 영상 획득부(100)에서 획득된 열 영상(도 4 (a))에서 상대적으로 열에너지가 낮은 영역을 분할할 수 있다. 즉, 도 4의 (b)에 도시된 바와 같이, 열에너지가 상대적으로 낮은 영역이 열에너지가 상대적으로 높은 영역으로부터 명확히 구별되도록 영상을 수정할 수 있다.
More specifically, first, a region having relatively low thermal energy can be divided in the thermal image (FIG. 4 (a)) obtained by the thermal
그 다음으로는, 형태학적 열기(morphological opening)를 통해 전경 픽셀들(foreground pixels)을 제거하여 열에너지가 낮은 영역의 경계를 정리할 수 있다. 즉, 도 4의 (c)에 도시된 바와 같이, 도 4의 (b)에 흰색으로 나타난 영역의 경계들을 정리하여 해당 영역이 나머지 영역들로부터 명확하게 분류될 수 있도록 할 수 있다.
Next, the foreground pixels are removed through morphological opening, and the boundaries of low heat energy regions can be arranged. That is, as shown in FIG. 4 (c), the boundaries of regions shown in white in FIG. 4 (b) may be arranged so that the regions are clearly classified from the remaining regions.
마지막으로는, 노이즈 제거 및 열에너지가 낮은 영역의 둥글기(roundness) 체크를 할 수 있다. 즉, 도 4의 (d)에 도시된 바와 같이, 도 4의 (c)에서 열에너지가 낮은 영역, 즉, 흰색 영역으로 나타나 있으나, 10 픽셀 이하의 크기로 나타난 영역은 노이즈로 취급하여 제거하고, 싱크홀은 일반적으로 원형 또는 타원형의 형상을 가지므로, 흰색으로 나타난 영역의 둥글기를 체크하여, 둥글기(R)가 0.5 초과 및 1.5 이하(0.5 < R ≤ 1.5)인 경우에 최종적으로 싱크홀 후보 영역으로 추출할 수 있다. 이때, 둥글기(roundness, R)는, 하기의 수학식 1을 통해 얻어질 수 있다.Finally, noise cancellation and roundness checking of areas with low thermal energy can be performed. That is, as shown in FIG. 4 (d), a region having a low thermal energy, that is, a white region is shown in FIG. 4 (c) Since the sinkhole has a generally circular or elliptical shape, the roundness of the region indicated by white is checked, and when the roundness R is more than 0.5 and less than 1.5 (0.5 <R? 1.5), finally, . At this time, the roundness (R) can be obtained by the following equation (1).
여기서, P는 원둘레(perimeter)를 나타내고, A는 영역, 즉, 열에너지가 낮은 영역의 면적을 나타낸다.
Here, P represents a perimeter, and A represents an area, that is, an area of a region where thermal energy is low.
이러한 전처리 과정을 거쳐서 최종적으로 싱크홀의 후보 영역을 검출할 수 있으며, 이후에 검증부(300)에서 오검출 영역을 제외한 싱크홀 영역을 추출할 수 있다.
Through the preprocessing process, the candidate region of the sync hole can be finally detected, and then the sync hole region excluding the erroneous detection region can be extracted from the
도 5는 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 검증부(300)의 구성을 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 검증부(300)에서의 싱크홀 영역 추출 알고리즘을 설명하기 위해 도시한 도면이다. 도 5 및 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템의 검증부(300)는, 패턴 분석기(pattern classifiers)(310)를 이용하여 싱크홀 영역을 추출할 수 있다.
FIG. 5 is a diagram illustrating a configuration of a
이때, 패턴 분석기(310)는, 가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm)을 이용하여 얻어진 분류 결과와, OCS-LBP(oriented center symmetric-local binary pattern) 특징을 계층적 랜덤 포레스트(boosted random forest, BRF) 분류기에 적용하여 얻어진 분류 결과를 결합하여 싱크홀 영역을 추출할 수 있다.
At this time, the
보다 구체적으로, 도 6에 도시된 바와 같이, 가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm)을 랜덤 포레스트(random forest, RF) 분류기에 적용하여 얻어진 분류 결과와, 색상, 질감 및 형상 등의 특징들에 해당하는 OCS-LBP 특징을 계층적 랜덤 포레스트 분류기에 적용하여 얻어진 분류 결과를 결합하여 싱크홀 영역을 추출할 수 있다.
More specifically, as shown in FIG. 6, classification results obtained by applying a light version of the light-CNN algorithm to a random forest (RF) classifier, as well as color, texture, and shape We can extract the sinkhole region by combining the classification results obtained by applying the OCS-LBP feature corresponding to the features to the hierarchical random forest classifier.
이때, 도 6에 도시된 바와 같이, 가벼운 버전의 회로 신경망 알고리즘은, 학습 시간 단축과 실시간 점검이 가능하도록 두 개의 회선(convolution)과 두 개의 2단 추출 레이어(sub-sampling layers)로 구성될 수 있다.
6, the light version of the circuit neural network algorithm may be composed of two convolution and two sub-sampling layers to shorten the learning time and enable real-time checking. have.
이와 같이, 가벼운 버전의 회선 신경망 기술(the light-CNN)을 이용하여 기존의 회선 신경망 기술(convolution neural network, CNN)을 이용하는 경우에 비하여 시간 및 비용 측면에서 보다 효율적으로 싱크홀 영역을 추출하기 위한 기계 학습 과정을 수행할 수 있다.
In this way, it is possible to extract the sinkhole area more efficiently in terms of time and cost than the conventional case using the light-CNN (convolution neural network) Machine learning process can be performed.
도 7은 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법의 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법은, 열 영상 획득부(100)가 드론(130)과 열 영상 카메라(110)를 이용하여 열 영상을 획득하는 단계(S100), 후보 검출부(200)가 단계 S100에서 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출하는 단계(S200), 및 검증부(300)가 단계 S200에서 추출된 싱크홀 후보 영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출하는 단계(S300)를 포함하여 구현될 수 있다.
FIG. 7 is a flowchart illustrating an automatic sinkhole detection method using image analysis of a drone and a thermal imaging camera according to an exemplary embodiment of the present invention. Referring to FIG. 7, a method of detecting an automatic sinkhole using image analysis of a dron and a thermal imaging camera according to an embodiment of the present invention includes a thermal
이때, 단계 S100 내지 S300의 열 영상 획득부(100), 후보 검출부(200) 및 검증부(300)의 구체적인 구성 및 내용에 대해서는 앞에서 도 1 내지 도 6을 참조하여 상세히 설명한 바와 같으므로, 이하 생략한다.
The detailed configuration and contents of the thermal
도 8은 본 발명의 다른 실시예에 따른 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법의 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 다른 실시예에 따르면, 단계 S200의 후보 검출부(200)는, 단계 S100에서 획득된 열 영상으로부터 싱크홀 후보 영역을 추출하기 위한 전처리 과정을 수행할 수 있다.
FIG. 8 is a flowchart illustrating an automatic sinkhole detection method using image analysis of a drone and a thermal imaging camera according to another embodiment of the present invention. As shown in FIG. 8, according to another embodiment of the present invention, the
즉, 단계 S200은, 이러한 전처리 과정을 포함할 수 있으며, 보다 구체적으로는, 이중 적합 임계값 설정(adaptive dual thresholding)을 통해 단계 S100에서 획득된 열 영상에서 상대적으로 열에너지가 낮은 영역을 분할하는 단계(S210), 형태학적 열기(morphological opening)를 통해 전경 픽셀들(foreground pixels)을 제거하여 열에너지가 낮은 영역의 경계를 정리하는 단계(S220), 및 노이즈 제거 및 열에너지가 낮은 영역의 둥글기(roundness) 체크를 하는 단계(S230)로 구성되는 전처리 과정 포함할 수 있다.
That is, the step S200 may include such a preprocessing step, and more specifically, dividing a region having a relatively low thermal energy in the thermal image acquired in the step S100 through adaptive dual thresholding (S210), removing the foreground pixels through a morphological opening (S220) of arranging the boundaries of low heat energy regions, and rounding the regions of low noise and heat energy, And a step of checking (S230).
여기서 단계 S210 내지 S230의 전처리 과정에 대한 구체적인 내용은 앞에서 3 및 도 4를 참조하여 상세히 설명한 바와 같으므로, 이하 생략한다.
Here, the details of the preprocessing process in steps S210 to S230 are the same as those described above with reference to FIGS. 3 and 4, and will not be described below.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.
100: 열 영상 획득부
110: 원적외선 열영상 카메라
130: 드론
200: 후보 검출부
300: 검증부
310: 패턴 분석기
S100: 열 영상 획득부가 드론과 열 영상 카메라를 이용하여 열 영상을 획득하는 단계
S200: 후보 검출부가 단계 S100에서 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출하는 단계
S210: 이중 적합 임계값 설정(adaptive dual-thresholding)을 통해 단계 S100에서 획득된 열 영상에서 상대적으로 열에너지가 낮은 영역을 분할하는 단계
S220: 형태학적 열기(morphological opening)를 통해 전경 픽셀들(foreground pixels)을 제거하여 열에너지가 낮은 영역의 경계를 정리하는 단계
S230: 노이즈 제거 및 열에너지가 낮은 영역의 둥글기(roundness) 체크를 하는 단계
S300: 검증부가 단계 S200에서 추출된 싱크홀 후보 영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출하는 단계100: thermal image acquisition unit 110: far infrared ray thermal image camera
130: Drones 200: candidate detector
300: verification unit 310: pattern analyzer
S100: a step of acquiring a thermal image using a thermal image acquisition unit drone and a thermal imaging camera
S200: a step of extracting a sync hole candidate region by analyzing the column image obtained in step S100 by the candidate detection unit
S210: dividing a region having relatively low thermal energy in the thermal image obtained in Step S100 through adaptive dual-thresholding
S220: Removing the foreground pixels through morphological opening and arranging the boundaries of the low thermal energy region
S230: Performing noise elimination and roundness check of low heat energy region
S300: a step of extracting a final sync hole area excluding a false detection area in the sync hole candidate area extracted in step S200
Claims (20)
드론(130)과 열 영상 카메라(110)를 이용하여 열 영상을 획득하는 열 영상 획득부(100);
상기 열 영상 획득부(100)에서 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출하는 후보 검출부(200); 및
상기 후보 검출부(200)에서 추출된 싱크홀 후보 영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출하는 검증부(300)를 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
An automatic sinkhole detection system using image analysis of a drone (130) and a thermal imaging camera (110)
A thermal image acquiring unit 100 for acquiring thermal images using the drone 130 and the thermal imaging camera 110;
A candidate detector 200 for analyzing the thermal image acquired by the thermal image acquisition unit 100 to extract a sync hole candidate region; And
And a verification unit (300) for extracting a final sync hole area excluding a false detection area in the sync hole candidate area extracted by the candidate detection unit (200). Automatic sinkhole detection system.
원적외선 열영상(thermal far-infrared, FIR) 카메라(110)가 부착된 드론(130)을 이용하여 열 영상을 획득하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
The apparatus of claim 1, wherein the thermal image acquisition unit (100)
Characterized in that a thermal image is acquired using a drone (130) attached with a thermal far-infrared (FIR) camera (110). An automatic sinkhole detection system .
상기 열 영상에서 다른 영역에 비하여 상대적으로 낮은 열에너지를 갖는 영역을 상기 싱크홀 후보 영역으로 분류하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
The apparatus of claim 1, wherein the candidate detector (200)
And a region having a relatively low thermal energy in the thermal image as compared with other regions is classified as the sinkhole candidate region, and an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera.
상기 열 영상 획득부(100)에서 획득된 열 영상으로부터 상기 싱크홀 후보 영역을 추출하기 위한 전처리 과정을 수행하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
The apparatus of claim 1, wherein the candidate detector (200)
And a preprocessing process for extracting the sinkhole candidate region from the thermal image acquired by the thermal image acquisition unit 100 is performed.
이중 적합 임계값 설정(adaptive dual-thresholding)을 통해 상기 열 영상 획득부(100)에서 획득된 열 영상에서 상대적으로 열에너지가 낮은 영역을 분할하는 과정을 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
5. The method of claim 4,
And a step of dividing a region having a relatively low thermal energy in the thermal image acquired by the thermal image acquisition unit (100) through adaptive dual-thresholding. Automatic Sink Hole Detection System Using Image Analysis of.
형태학적 열기(morphological opening)를 통해 전경 픽셀들(foreground pixels)을 제거하여 상기 열에너지가 낮은 영역의 경계를 정리하는 과정을 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
6. The method of claim 5,
And removing the foreground pixels through a morphological opening to arrange the boundaries of the low thermal energy region. The method of claim 1, Hall detection system.
노이즈 제거 및 상기 열에너지가 낮은 영역의 둥글기(roundness) 체크를 하는 과정을 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
[7] The method of claim 6,
Removing noise, and checking roundness of the region with low thermal energy. The automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera.
패턴 분석기(pattern classifiers)(310)를 이용하여 상기 싱크홀 영역을 추출하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
The apparatus of claim 1, wherein the verification unit (300)
Characterized in that said sinkhole region is extracted using pattern classifiers (310). An automatic sinkhole detection system using image analysis of drones and thermal imaging cameras.
가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm)을 이용하여 얻어진 분류 결과와, OCS-LBP(oriented center symmetric-local binary pattern) 특징을 계층적 랜덤 포레스트(boosted random forest, BRF) 분류기에 적용하여 얻어진 분류 결과를 결합하여 상기 싱크홀 영역을 추출하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
9. The apparatus of claim 8, wherein the pattern analyzer (310)
The classification results obtained using the light-CNN algorithm and the oriented center symmetric-local binary pattern (OCS-LBP) are applied to a hierarchical randomized forest (BRF) classifier And combining the obtained classification results to extract the sinkhole area. An automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera.
학습 시간 단축과 실시간 점검이 가능하도록 두 개의 회선(convolution)과 두 개의 2단 추출 레이어(sub-sampling layers)로 구성되는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
10. The method of claim 9, wherein the light version of the circuit neural network algorithm comprises:
The method of claim 1, wherein the at least one of the first and second sub-sampling layers comprises a first sub-sampling layer and a second sub-sampling layer. system.
(1) 열 영상 획득부(100)가 드론(130)과 열 영상 카메라(110)를 이용하여 열 영상을 획득하는 단계;
(2) 후보 검출부(200)가 상기 단계 (1)에서 획득된 열 영상을 분석하여 싱크홀 후보 영역을 추출하는 단계; 및
(3) 검증부(300)가 상기 단계 (2)에서 추출된 싱크홀 후보 영역에서 오검출 영역을 제외하고 최종 싱크홀 영역을 추출하는 단계를 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.
An automatic sinkhole detection method using image analysis of a drone (130) and a thermal imaging camera (110)
(1) the thermal image acquisition unit 100 acquires thermal images using the drone 130 and the thermal imaging camera 110;
(2) extracting a sync hole candidate region by analyzing the thermal image obtained in the step (1) by the candidate detection unit 200; And
(3) The verification unit 300 extracts the final sync hole area excluding the erroneous detection area in the sync hole candidate area extracted in step (2). Automatic Sinkhole Detection Method Using Image Analysis.
원적외선 열영상(thermal far-infrared, FIR) 카메라(110)가 부착된 드론(130)을 이용하여 열 영상을 획득하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
12. The method of claim 11, wherein the thermal image acquisition unit (100) of the step (1)
Characterized in that a thermal image is acquired using a drone (130) attached with a thermal far-infrared (FIR) camera (110). An automatic sinkhole detection system .
상기 열 영상에서 다른 영역에 비하여 상대적으로 낮은 열에너지를 갖는 영역을 상기 싱크홀 후보 영역으로 분류하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템.
12. The method of claim 11, wherein the candidate detector (200) of step (2)
And a region having a relatively low thermal energy in the thermal image as compared with other regions is classified as the sinkhole candidate region, and an automatic sinkhole detection system using image analysis of a drone and a thermal imaging camera.
상기 단계 (1)에서 획득된 열 영상으로부터 상기 싱크홀 후보 영역을 추출하기 위한 전처리 과정을 수행하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.
12. The method of claim 11, wherein the candidate detector (200) of step (2)
A method for detecting an automatic sinkhole using image analysis of a drone and a thermal imaging camera, wherein a preprocessing process for extracting the sinkhole candidate region from the thermal image obtained in the step (1) is performed.
(2-1) 이중 적합 임계값 설정(adaptive dual-thresholding)을 통해 상기 단계 (1)에서 획득된 열 영상에서 상대적으로 열에너지가 낮은 영역을 분할하는 단계를 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.
15. The method of claim 14, wherein the pre-
(2-1) dividing the region of relatively low thermal energy in the thermal image obtained in step (1) through adaptive dual-thresholding. Automatic Sinkhole Detection Method Using Image Analysis of Video Camera.
(2-2) 형태학적 열기(morphological opening)를 통해 전경 픽셀들(foreground pixels)을 제거하여 상기 열에너지가 낮은 영역의 경계를 정리하는 단계를 더 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.
16. The method of claim 15,
(2-2) removing the foreground pixels through a morphological opening and arranging the boundaries of the low-thermal-energy region, Automatic Sinkhole Detection Method Using Image Analysis.
(2-3) 노이즈 제거 및 상기 열에너지가 낮은 영역의 둥글기(roundness) 체크를 하는 단계를 더 포함하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.
17. The method of claim 16,
(2-3) A method for detecting an automatic sinkhole using image analysis of a drone and a thermal imaging camera, the method comprising the steps of: removing noise and roundness checking of the region with low thermal energy.
패턴 분석기(pattern classifiers)(310)를 이용하여 상기 싱크홀 영역을 추출하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.
12. The method of claim 11, wherein the verifying unit (300) of the step (3)
A method of detecting an automatic sinkhole using image analysis of a drones and a thermal imaging camera, characterized by extracting the sinkhole region using pattern classifiers (310).
가벼운 버전의 회로 신경망 알고리즘(the light-CNN algorithm)을 이용하여 얻어진 분류 결과와, OCS-LBP(oriented center symmetric-local binary pattern) 특징을 계층적 랜덤 포레스트(boosted random forest, BRF) 분류기에 적용하여 얻어진 분류 결과를 결합하여 상기 싱크홀 영역을 추출하는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.
19. The apparatus of claim 18, wherein the pattern analyzer (310)
The classification results obtained using the light-CNN algorithm and the oriented center symmetric-local binary pattern (OCS-LBP) are applied to a hierarchical randomized forest (BRF) classifier And combining the obtained classification results to extract the sinkhole area. The automatic sinkhole detection method using image analysis of a dron and a thermal imaging camera.
학습 시간 단축과 실시간 점검이 가능하도록 두 개의 회선(convolution)과 두 개의 2단 추출 레이어(sub-sampling layers)로 구성되는 것을 특징으로 하는, 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 방법.20. The method of claim 19, wherein the light version of the circuit neural network algorithm comprises:
The method of claim 1, wherein the at least one of the first and second sub-sampling layers comprises a first sub-sampling layer and a second sub-sampling layer. Way.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160127830A KR101857961B1 (en) | 2016-10-04 | 2016-10-04 | Sinkhole detection system and method using a drone-based thermal camera and image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160127830A KR101857961B1 (en) | 2016-10-04 | 2016-10-04 | Sinkhole detection system and method using a drone-based thermal camera and image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180037532A true KR20180037532A (en) | 2018-04-12 |
| KR101857961B1 KR101857961B1 (en) | 2018-05-24 |
Family
ID=61969385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160127830A KR101857961B1 (en) | 2016-10-04 | 2016-10-04 | Sinkhole detection system and method using a drone-based thermal camera and image processing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101857961B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200104697A (en) * | 2019-02-27 | 2020-09-04 | 동명대학교산학협력단 | Sea surface wind measurement system and method using X-band rader |
| KR102221096B1 (en) * | 2020-09-23 | 2021-02-26 | 국방과학연구소 | Deep learning training method and system using infrared image |
| KR102262382B1 (en) * | 2019-12-03 | 2021-06-08 | 주식회사 공간정보 | large area space information system for image acquistion base Unmanned Aerial Vehicle |
| KR20220064159A (en) * | 2020-11-11 | 2022-05-18 | 부산대학교 산학협력단 | Method and system for training image classification model |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102185225B1 (en) | 2019-04-22 | 2020-12-01 | 공주대학교 산학협력단 | Method for detecting sinkhole using deep learning and data association and sinkhole detecting system using it |
| KR102467580B1 (en) | 2020-12-18 | 2022-11-15 | 김광익 | Device for detecting subsidence of ground |
| KR102672407B1 (en) | 2021-01-08 | 2024-06-07 | 국립창원대학교 산학협력단 | Method and System for Verifying Accuracy of Land Surface Temperature Images Based on Unmanned Aerial Vehicle |
| KR102660504B1 (en) | 2021-07-14 | 2024-04-24 | 이엔피알 주식회사 | Sinkhole measurement sensor |
| KR102660494B1 (en) | 2021-07-14 | 2024-04-24 | 이엔피알 주식회사 | Sinkhole measurement and prediction system |
| US12055035B2 (en) | 2021-10-28 | 2024-08-06 | Saudi Arabian Oil Company | System and method for detecting a sinkhole |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004325165A (en) * | 2003-04-23 | 2004-11-18 | Mitsubishi Electric Corp | Foreign substance detection device, method, and mine detection device |
| KR101607078B1 (en) * | 2015-04-27 | 2016-03-29 | 서울과학기술대학교 산학협력단 | Method of measuring curvature and mapping of underground pipeline using vision |
-
2016
- 2016-10-04 KR KR1020160127830A patent/KR101857961B1/en active IP Right Grant
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200104697A (en) * | 2019-02-27 | 2020-09-04 | 동명대학교산학협력단 | Sea surface wind measurement system and method using X-band rader |
| KR102262382B1 (en) * | 2019-12-03 | 2021-06-08 | 주식회사 공간정보 | large area space information system for image acquistion base Unmanned Aerial Vehicle |
| KR102221096B1 (en) * | 2020-09-23 | 2021-02-26 | 국방과학연구소 | Deep learning training method and system using infrared image |
| KR20220064159A (en) * | 2020-11-11 | 2022-05-18 | 부산대학교 산학협력단 | Method and system for training image classification model |
| US11748450B2 (en) | 2020-11-11 | 2023-09-05 | Pusan National University Industry-University Cooperation Foundation | Method and system for training image classification model |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101857961B1 (en) | 2018-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101857961B1 (en) | Sinkhole detection system and method using a drone-based thermal camera and image processing | |
| TWI614722B (en) | System for detecting defects on a wafer | |
| TWI621849B (en) | Computer-implemented method, non-transitory computer-readable medium, and system for detecting defects on a wafer | |
| Chambon et al. | Automatic road pavement assessment with image processing: Review and comparison | |
| KR102407075B1 (en) | Detecting defects on a wafer | |
| US9727047B2 (en) | Defect detection using structural information | |
| JP6220061B2 (en) | Wafer inspection using free form protection area | |
| US9008410B2 (en) | Single die inspection on a dark field inspection tool | |
| JP4987826B2 (en) | Number plate recognition method and number plate recognition apparatus | |
| JP2010112802A (en) | Appearance inspection apparatus for wood and appearance inspection method for wood | |
| CN116710763A (en) | Image analysis device, image analysis method, and program | |
| CN112740383A (en) | Detecting defects in logic areas on a wafer | |
| CN109682821A (en) | A kind of citrus detection method of surface flaw based on multiple dimensioned Gaussian function | |
| CN110441315B (en) | Electronic component testing apparatus and method | |
| CN115937642A (en) | Visible light infrared multi-source image target fusion detection method and system | |
| JP4865204B2 (en) | Image processing method, image processing apparatus, and semiconductor inspection apparatus | |
| JP2563865B2 (en) | Image recognition apparatus and method | |
| Naidoo et al. | A hybrid human machine system for the detection and management of potholes on asphalt road surfaces | |
| CN118397514A (en) | Defect hidden danger detection method and device for power transmission line, storage medium and computer equipment | |
| KR20230140621A (en) | Concrete crack detection method and system using artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |