KR101796258B1 - 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법 - Google Patents
소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법 Download PDFInfo
- Publication number
- KR101796258B1 KR101796258B1 KR1020150056089A KR20150056089A KR101796258B1 KR 101796258 B1 KR101796258 B1 KR 101796258B1 KR 1020150056089 A KR1020150056089 A KR 1020150056089A KR 20150056089 A KR20150056089 A KR 20150056089A KR 101796258 B1 KR101796258 B1 KR 101796258B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unmanned aerial
- small unmanned
- aerial vehicle
- vision
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007689 inspection Methods 0.000 title abstract description 22
- 238000010276 construction Methods 0.000 title description 2
- 238000003708 edge detection Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000013112 stability test Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 150000002894 organic compounds Chemical class 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
개시된 본 발명에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법은, 사용자의 원격조정에 의해 동작하는 소형 무인비행체에서 구조물을 촬영하고 지상의 영상처리장치가 촬영된 영상을 이용하여 구조물의 안정성을 검사하는 방법에 관한 것으로서, a) 소형 무인비행체에 장착된 카메라를 통해 구조물의 영상을 취득하는 단계, b) 상기 취득된 영상을 압축하여 무선 전송하는 단계, c) 상기 무선 전송된 영상을 영상처리장치가 수신하는 단계, d) 상기 수신된 컬러영상 이미지를 흑백영상 이미지로 변환하는 전처리 단계, e) 상기 전처리 단계를 거친 흑백영상 이미지를 캐니 에지 검출 방법을 이용하여 윤곽선을 검출하는 단계, f) 상기 윤곽선이 검출된 영상을 디스플레이부에 출력하여 사용자가 균열 여부를 검출하는 단계를 포함한다.
Description
본 발명은 비전 기반의 구조물 안정성 검사 방법에 관한 것으로서, 보다 상세하게는 소형 무인비행체에 구조물 모니터링을 위한 카메라를 포함한 다중센서를 장착하여 무선전송을 통해 영상을 분석 및 모니터링하여 구조물의 안정성을 검사하는 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법에 관한 것이다.
국내 건설산업분야에서는 건설된 지 이미 20년이 지난 시설물의 수가 증가함에 따라 시설물의 파손 및 붕괴에 의한 사고가 늘어나고 있고, 이는 시설물의 노후화와 안전점검 소홀로 인해 더욱 발생빈도가 증가하는 추세이다.
따라서 지속적인 안정성 검사와 관리가 필요한데, 수십 m 내지 100m 이상의 높은 고층 건물은 검사자가 직접 장비를 가지고 검사하기에는 위험성이 매우 높고 시간과 비용이 많이 걸리는 문제점들이 발생하고 있다.
한편 소형 무인비행체(Unmanned aerial vehicle:UAV)는 조종자가 탑승하지 않은 비행체로 지상에서 원격으로 조정하는 사람이 따로 존재하며, 벌이 윙윙 거린다는 의미의 드론(drone) 이라고도 불린다. 이러한 무인 비행체는 종래에 정찰표적용으로 사용되거나 군사용으로 사용되다가 최근에는 민간 및 연구 조사용으로 다양하게 활용되고 있다.
현재 무인비행체 제어 기술은 다큐 촬영이나 농약 살포 등 다양한 분야에 적용하기 위해 다양한 연구가 진행중이고, 영상 분석 기술은 화재 감시, 동작 감시 등 물리적 센서를 대체하기 위한 기술 개발이 상당한 수준까지 진행되고 있다.
따라서 검사자의 접근 제한이나 다수의 구조물 통합검사, 그리고 계절별 및 일별 시간차에 따른 검사 부위 손상 여부 확인을 위해서는 검사시간 단축과 유지비용 절감효과가 큰 무인 소형비행체를 이용한 구조물 안정성 검사 방법에 대한 관심이 증대되고 있다.
유민구, 홍성경, "비전 센서를 이용한 쿼드로터형 무인비행체의 목표 추적 제어", 한국항공우주학회지 40(2), pp118-128, 2012.
본 발명은 상기와 같은 점을 감안하여 안출된 것으로써, 소형 무인비행체에 영상카메라를 장착하여 원격조정을 통해 고층의 구조물에 접근하여 영상 이미지를 획득하여 무선으로 송신하고, 지상에서는 상기 영상 이미지를 수신하여 영상처리를 통해 구조물의 보다 더 정확한 정밀검사 및 진단을 할 수 있도록 하는 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법은, 사용자의 원격조정에 의해 동작하는 소형 무인비행체에서 구조물을 촬영하고 지상의 영상처리장치가 촬영된 영상을 이용하여 구조물의 안정성을 검사하는 방법에 관한 것으로서, a) 소형 무인비행체에 장착된 카메라를 통해 구조물의 영상을 취득하는 단계; b) 상기 취득된 영상을 압축하여 무선 전송하는 단계; c) 상기 무선 전송된 영상을 영상처리장치가 수신하는 단계; d) 상기 수신된 컬러영상 이미지를 흑백영상 이미지로 변환하는 전처리 단계; e) 상기 전처리 단계를 거친 흑백영상 이미지를 캐니 에지 검출 방법을 이용하여 윤곽선을 검출하는 단계; 및, f) 상기 윤곽선이 검출된 영상을 디스플레이부에 출력하여 사용자가 균열 여부를 검출하는 단계;를 포함한다.
또한 본 발명에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법은, 상기 e)단계 후 상기 윤곽선이 검출된 영상 이미지가 균열 식별이 가능한지 여부를 판단하고, 균열식별이 가능하지 않은 경우 사용자의 입력에 의한 임계값을 변경하여 영상을 획득하는 단계를 더 포함한다.
본 발명에 의하면 소형 무인비행체에 영상카메라를 장착하여 원격조정을 통해 고층의 구조물에 접근하여 영상 이미지를 획득하여 무선으로 송신하고, 지상에서는 상기 영상 이미지를 수신하여 영상처리를 통해 구조물의 보다 더 정확한 정밀검사 및 진단을 할 수 있어, 특히 사람의 접근이 어려워 안정성 진단을 하기 어려웠던 구조물의 검사를 쉽고 용이하게 할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법을 수행하기 위한 시스템의 블록 구성도,
도 2는 본 발명의 실시예에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법의 흐름도,
도 3은 본 발명의 실시예에 따라 구현되는 영상처리 프로그램의 UI를 나타낸 도면,
도 4는 본 발명의 실시예에 따라 구현되는 프로그램을 사용하여 컬러영상을 흑백영상으로 변환한 것을 나타낸 도면,
도 5는 본 발명의 실시예에 따라 구현되는 프로그램을 사용하여 흑백 영상이미지로 변환한 후 Canny Edge 알고리즘을 적용한 것을 나타낸 도면,
도 6은 본 발명의 실시예에 따라 실제 소형 무인비행체에 탑재된 카메라를 통해 영상을 획득하고 이를 처리하여 구조물의 내·외부 균열 검출한 결과가 디스플레이부에 표시된 것을 나타내는 도면,
도 7은 다양한 임계값 변경에 따른 결과 화면을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법의 흐름도,
도 3은 본 발명의 실시예에 따라 구현되는 영상처리 프로그램의 UI를 나타낸 도면,
도 4는 본 발명의 실시예에 따라 구현되는 프로그램을 사용하여 컬러영상을 흑백영상으로 변환한 것을 나타낸 도면,
도 5는 본 발명의 실시예에 따라 구현되는 프로그램을 사용하여 흑백 영상이미지로 변환한 후 Canny Edge 알고리즘을 적용한 것을 나타낸 도면,
도 6은 본 발명의 실시예에 따라 실제 소형 무인비행체에 탑재된 카메라를 통해 영상을 획득하고 이를 처리하여 구조물의 내·외부 균열 검출한 결과가 디스플레이부에 표시된 것을 나타내는 도면,
도 7은 다양한 임계값 변경에 따른 결과 화면을 나타낸 도면이다.
본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법을 수행학 위한 시스템의 구성도를 나타낸 것으로, 소형 무인비행체(110)에서 구조물을 촬영하고 지상의 영상처리장치(130)가 촬영된 영상을 이용하여 구조물의 안정성을 검사하게 된다.
소형 무인비행체(110)는 구조물의 안전성 검사를 수행하기 위한 카메라(112)와 다수의 센서(112)와 송신부(118) 및 지상의 조종자로부터 명령을 수신하여 이들의 동작을 제어하는 제어모듈(116)을 포함한다.
소형 무인비행체(Unmanned aerial vehicle, UAV)는 사람이 탑승하지 않는 비행기를 말한다. 기체에 사람이 타지 않은 것으로 지상에는 원격 조종하는 조종사가 존재하고 있다는 점을 강조해 Uninhabited Aerial(Air) Vehicle의 약어로 지칭하는 경우도 있다. 보통 임무에 의한 분류, 비행 고도나 크기에 의한 분류가 존재하는데, 벌이 윙윙거린다는 뜻의 드론(drone)이라고도 불린다.
다수의 센서는 비행을 통제하는 제어모듈(116)에 장착되며 고도유지 기능을 하는 가속도 센서, 수평유지를 위한 자이로 센서, 자세안정화 기능을 하는 압력 센서, 운항을 통제하는 GPS 장치 등을 포함한다.
또한 다수의 센서는 온도 센서, 습도 센서, CO 센서, CO2 센서, 오존 센서, 먼지 센서, VOC(유기화합물) 검지 센서 등의 다양한 종류의 센서를 더 포함할 수 있는데, 이는 제어모듈에 장착된 센서 탑재 모듈에 설치되는 것이 바람직하다. 상기 센서 탑재 모듈을 소형 비행체에 탑재하기 위해서 크거나 무거운 센서 모듈은 비행에 방해가 되므로 작고 가벼운 센서 모듈을 사용하여 비행의 안전성을 기하는 것이 좋다.
계절별 일별 시간차에 따른 검사 부위의 손상여부 확인을 위하여 실제 검사자가 육안으로 점검하려면 시간과 비용 그리고 위험에 노출됨으로써 많은 어려움을 겪을 수 있는데, 이와 같이 본 발명에 의하면 소형 무인비행체에 카메라 이외에 다양한 센서를 탑재하여 검사함으로써 이러한 위험요소 들을 줄이고 효율적으로 구조물을 관리할 수 있는 이점이 있다.
카메라(112)는 구조물을 촬영하여 영상을 획득하는데, 본 실시예에서는 PTZ 카메라가 적용되는 것이 바람직하다. PTZ(Pan/Tilt/Zoom) 카메라는 Pan(수평방향) 과 Tilt(수직방향) 2개의 모터를 가지고 있어서 영상 카메라 탑재 모듈을 제어하여 수행하며 Zoom기능은 카메라 렌즈를 제어하여 수행토록 한다. Pan 기능은 ±170° 범위로 초당 100°의 빠른 속도를 지원함으로써 비행 중 원하는 구조물의 검사 부위를 촬영할 수 있도록 하고, Tilt 기능은 30°∼90° 범위로 초당 90°의 빠른 속도를 지원토록 한다.
비행체에서 수집된 영상과 다중 센서 데이터를 지상의 영상처리장치에 전송해야 하는데 최소 거리 100m 이상의 전송을 위해, 송신부(118)는 IEEE 802.1x 기반의 무선 전송 모듈과 안테나로 구성된다. 송신부는 장면 장면마다 선명한 영상을 전송할 수 있는 Motion JPEG 비디오 압축을 수행하며 20∼30fps 이상의 전송 속도와 4CIF/2CIF의 해상도로 영상을 전송하여 빠르고 신속하게 구조물의 안전성을 파악하도록 한다.
영상처리장치(130)는 소형 무인비행체(110)의 송신부에서 송신하는 영상 및 센서 데이터를 수신하는 수신부(132)와, 수신부에서 수신된 영상을 영상처리하여 구조물의 손상부위를 검출하는 영상처리부(134), 영상처리부(134)에서 처리된 영상을 표시하는 디스플레이부(136)를 포함한다.
영상처리부(134)는 이미지파일 처리 과정과 동영상파일 처리과정을 따로 분리해서 처리할 수 있는데, 이미지파일의 경우 이를 불러와서 영상조작을 통해 이미지를 보다 세밀하게 처리하여 저장하고, 동영상파일의 경우 동영상파일이나 카메라로 입력된 동영상파일을 불러오거나 직접 촬영하여 바로 영상조작 후 저장하여 처리할 수 있다.
영상처리부(134)는 수신된 컬러 영상이미지를 읽어서 영상처리를 거친 후 구조물의 내·외부의 손상여부를 검출해 내야 하므로, 컬러 이미지를 바로 처리하기에는 어려움이 있어 흑백(Grayscale)영상으로 변환하여 처리한 후, 흑백영상 이미지를 에지(Edge) 검출 방법을 이용하여 잡음을 제거해 윤곽선을 검출하게 된다.
이하 도 2를 참조하여, 본 발명의 실시예에 따른 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법에 대해 상세히 설명하기로 한다.
지상에서 조종사는 지상통제장비(무선 조정기)를 이용하여 안정성 검사를 필요로하는 구조물을 촬영하도록 소형 무인비행체(110)를 조작하게 된다.
소형 무인비행체에 장착된 카메라를 통해 구조물의 영상을 획득하면(S210), 제어모듈은 취득된 영상을 압축하여 송신부(118)를 통해 무선 전송하도록 한다(S220).
카메라 영상은 3차원 공간상의 점들을 2차원 이미지 평면에 투시함으로써 얻어진다. 따라서, 월드 좌표계를 카메라 좌표계로 변환, 이동, 회전이 일어나는데 이와 같은 좌표의 변환관계를 설명하기 위해서 파라미터 값을 찾는 과정이 필요하고 이것을 캘리브레이션이라고 한다.
비행체에 탑재할 영상카메라는 공중에서 지상의 시설물의 위치를 파악하고 건물내부 및 외부의 파손여부 및 균열검사를 시행해야 하므로 더욱더 정밀하고 세밀한 영상획득이 필요하므로 카메라의 왜곡과 보정을 위해서 캘리브레이션을 수행한다.
또한 영상 파일의 경우 용량이 크므로 데이터를 효율적으로 전송하기 압축하여 전송하도록 한다.
영상처리장치(130)의 수신부(132)는 무선 전송된 영상을 수신하고(S230), 영상처리부(134)는 이 수신된 영상을 처리하게 된다.
도 3은 본 발명에 의해 구형되는 영상처리 프로그램의 UI를 나타낸 것으로써, 파일을 불러오거나, 저장, 닫기 명령이 있는 파일 메뉴와, 영상처리에 필요한 Gray, Threshold, Edge를 선택하는 체크박스들과, Threshold Value를 조절해주는 Slider바와 값으로 구성되어 있다. 이하 영상처리과정에 대해 상세하게 살펴보도록 한다.
디지털 영상데이터는 화소를 기준으로 높이(height) × 너비(width)의 크기를 갖는 2차원 배열 구조의 데이터로 되어 있다. 특히, 컬러 영상인 경우 2차원 구조의 데이터가 3개로 이루어진다. 영상데이터는 크게는 화소에 있는 값과 구조에 따라 이진영상, 명암도 영상, RGB 영상, 인덱스 영상 등으로 나뉜다.
모니터는 빛의 삼원색인 R(Red), G(Green), B(Blue) 컬러 공간을 사용한다. 영상 파일을 모니터에 보이고자 할 때는 RGB 컬러공간을 기준으로 하여 영상을 처리하는 것을 염두에 두어야 하며, RGB 컬러공간은 정육면체로 이루어져 있는데, 모든 색을 빨강, 녹색, 파랑의 삼원색에 의해 조합해 낸다.
본 발명에 의하면 소형 무인비행체에 탑재한 카메라로 촬영된 컬러영상 이미지를 읽어서 영상처리를 거친 후 구조물의 내·외부의 손상여부를 검출해 내야 하는데, 컬러영상을 바로 처리하기에는 어려움이 있음으로 전처리 과정 즉, 컬러영상을 흑백(Grayscale)영상으로 변환하여 처리한다(S240).
RGB 컬러영상을 흑백(Gray scale)영상으로 바꾸기 위해서는 컬러 정보를 명도 정보로 바꾸는 것이 필요하다. RGB 컬러 값을 명도 값으로 바꾸는 방법은 여러 가지가 있는데, 첫번째로 가장 단순한 형태는 RGB 각각의 값들을 더하여 평균을 내는 방법, 두번째로 우리나라, 미국 등에서 아날로그 방송에서 사용되는 NTSC(National Television System Committee) 방법, 세번째로 ATSC(Advanced Television Systems Committee)에 의해 개발된 방법, 마지막으로 각 Red, Green, Blue 중 한 가지만을 사용하거나 Green만 사용해서 표현 하는 방법들이 있다. 본 본 발명의 실시예에서는 OpenCV Library를 사용해서 처리할 것임으로, NTSC가 제안한 방법을 사용하는데 구하는 공식은 아래와 같다.
도 4는 본 발명의 실시예에 의해 구현된 프로그램을 사용하여 RGB 컬러영상을 흑백영상으로 변환한 것을 나타낸 것으로, 좌측 도면이 RGB 컬러영상을, 우측 도면이 변환된 흑백영상을 나타낸 것이다.
한편, 컬러 영상이미지를 흑백 영상이미지로 변환한 후에 구조물의 손상여부나 안전을 검사해야 하므로 정확한 윤곽선을 추출하는 것이 중요한데, 특히, 건물 내부의 균열 부위를 검출해 내기 위해서는 에지(edge) 검출 방법을 이용하여 윤곽선을 추출하게 된다(S250).
에지(edge) 추출이란 에지에 해당하는 화소를 찾는 과정이며, 에지 추출할 때 잡음을 제거하는 과정을 거치는 경우가 있다. 에지(edge)는 영상의 물체와 물체 또는 물체와 배경사이의 테두리에서 발생하는데 이미지 안에 있는 객체의 경계(boundary)를 가리킨다.
에지를 이용한 검출기법은 많은 연산이 불필요하고 입력되어지는 영상 주변의 배경과 경계인 에지에서의 밝기 변화로 보통 식별한다. 에지 정보는 프리윗(Prewitt) 연산자나 로버트(Roberts) 연산자 또는 소벨(Sobel) 연산자와 같은 1차 미분함수나, 라플라시안(Laplacian) 연산자와 같은 2차 미분 함수 또는 그 밖의 많은 방법들이 검출에 사용된다.
대부분 에지 추출 마스크는 잡음에 대해 민감하므로, 작은 잡음이라도 그것을 에지로 간주하여 추출하는 경우가 많다. 이러한 단점을 보완하는 캐니 마스크를 이용한 에지 추출 기법이 있는데, 실제로 잡음에 민감하지 않게 하여 강한 에지를 추출하는 것에 목적을 둔다.
본 발명에서는 캐니 에지(Canny edge) 검출 알고리즘을 이용하여 건물 내부의 손상부위를 파악하고자 한다.
캐니 에지(Canny edge) 검출 방법은 다음의 단계로 이루어진다.
먼저 가우시안 필터링을 하여 영상을 부드럽게 한다. 그리고 Sobel 연산자를 사용하여 그레디언트 벡터의 크기(magnitude)를 계산한다. 그 후 가느다란 에지(thin edges)를 얻기 위해 3×3 창을 사용하여, 그레디언트 벡터 방향에서 그레디언트 크기가 최대값인 것만을 남기고 나머지는 0으로 억제(non-maximum suppression)한다. 마지막으로 연결된 에지를 얻기 위하여 두 개의 임계값(threshold1, threshold2)을 사용한다.
먼저 높은 값의 임계값(threshold2)을 사용하여 그레디언트 방향에서 낮은 값의 임계값(threshold1)이 나올 때까지 추적하여 에지를 연결하는 히스테리시스 임계값(hysteresis thresholding) 방식을 사용한다.
도 5는 본 발명의 실시예에 의해 구현된 프로그램을 사용하여 흑백 영상이미지로 변환한 후 Canny Edge 알고리즘을 적용한 것을 나타낸 것으로, 좌측 도면이 Canny Edge가 적용되기 전의 흑백영상을, 우측 도면이 Canny Edge가 적용된 영상을 나타낸 것이다.
이렇게 처리된 이미지는 디스플레이부를 통해 보여지거나 필요하면 저장할 수도 있고, 사용자는 이러한 처리된 이미지를 보면서 구조물의 균열여부를 검출할 수 있게 된다(S270)
도 6은 본 발명의 실시예에 따라 실제 소형 무인비행체에 탑재된 카메라를 통해 영상을 획득하고 이를 처리하여 구조물의 내·외부 균열 검출한 결과가 디스플레이부에 표시된 것을 나타내는 도면이다.
도시된 바와 같이 건물 내·외부 균열 이미지를 추출해 본 결과 비교적 양호하게 잘 추출된 것을 알 수 있다.
한편 아주 미세한 균열 부분에 대해서는 추출이 잘 이루어지지 않은 경우도 있어 균열 식별이 가능하지 않을 수 있는데(S270), 더 세밀한 균열 추출을 위해서 사용자의 입력 또는 요청에 의해 임계값을 변경한다(S280).
도 7은 다양한 임계값 변경에 따른 결과 화면을 나타낸 것으로서, 임계값(threshold) 변경을 통해 보다 선명하게 추출할 수 있게 된다.
임계값 영상은 입력 영상의 밝기값이 주어진 임계값보다 크면 max_value, 그렇지 않으면 0으로 출력 영상의 밝기값 S를 얻는다. 여기서 사용한 함수는 다음과 같다.
한편, 지금까지는 이미지 파일의 영상처리에 대해서 설명하였는데, 본 발명에 의하면 동영상 파일의 영상처리도 가능하다. 이 경우 동영상 파일을 가져와서 이미지를 바로 처리하여 볼 수 있게 하고 필요하면 화면 캡쳐와 저장도 가능할 뿐만 아니라, 카메라 입력도 바로 받을 수 있게 된다.
비행체에서 획득한 영상의 이미지의 처리를 위해 영상처리 알고리즘을 사용하여 잡음을 제거하고 윤곽선 검출을 통해 구조물의 손상여부를 판별할 수 있음을 알았다.
이와 같이 본 발명에 의하면 소형 무인비행체에서 영상을 획득하고 이 획득한 영상을 무선으로 전송받아 영상처리를 수행함으로써 구조물의 손상여부를 판별하여 안정성 검사를 할 수 있게 된다. 따라서 설계를 바탕으로 특히 사람의 접근이 어렵고 위험한 송전탑, 플랜트 굴뚝, 교량 및 교각, 풍력 발전 설비의 안전성 검사에 적용할 경우 유용하며, 이외에 고층 빌딩이나 아파트와 같은 콘크리트 구조물에 대한 박리, 균열 검사 등의 안전 검사에 활용이 가능한 이점이 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
110. 소형 무인비행체 112. 카메라
116. 제어모듈 118. 송신부
130. 영상처리장치 132. 수신부
134. 영상처리부 136. 디스플레이부
116. 제어모듈 118. 송신부
130. 영상처리장치 132. 수신부
134. 영상처리부 136. 디스플레이부
Claims (2)
- 사용자의 원격조정에 의해 동작하는 소형 무인비행체에서 구조물을 촬영하고 지상의 영상처리장치가 촬영된 영상을 이용하여 구조물의 안정성을 검사하는 방법에 관한 것으로서,
a) 소형 무인비행체에 장착된 카메라를 통해 구조물의 영상을 취득하는 단계;
b) 상기 취득된 영상을 Motion JPEG 비디오 압축하여 무선 전송하는 단계;
c) 상기 무선 전송된 영상을 영상처리장치가 수신하는 단계;
d) 상기 수신된 컬러영상 이미지를 흑백영상 이미지로 변환하는 전처리 단계;
e) 상기 전처리 단계를 거친 흑백영상 이미지를 캐니 에지 검출 방법을 이용하여 윤곽선을 검출하는 단계; 및,
f) 상기 윤곽선이 검출된 영상을 디스플레이부에 출력하여 사용자가 균열 여부를 검출하는 단계;를 포함하고,
상기 캐니 에지 검출 방법은, 가우시안 필터링을 하여 상기 흑백영상 이미지를 부드럽게 하고, Sobel 연산자를 사용하여 그레디언트 벡터의 크기(magnitude)를 계산하고, 가느다란 에지(thin edges)를 얻기 위해 3×3 창을 사용하여 그레디언트 벡터 방향에서 그레디언트 크기가 최대값인 것만을 남기고 나머지는 0으로 억제(non-maximum suppression)하고, 두 개의 임계값(threshold1, threshold2)을 사용하여 연결된 에지를 얻는 것을 특징으로 하는 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법.
- 제 1 항에 있어서, 상기 e)단계 후,
상기 윤곽선이 검출된 영상 이미지가 균열 식별이 가능한지 여부를 판단하고, 균열식별이 가능하지 않은 경우 사용자의 입력에 의한 임계값을 변경하여 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150056089A KR101796258B1 (ko) | 2015-04-21 | 2015-04-21 | 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150056089A KR101796258B1 (ko) | 2015-04-21 | 2015-04-21 | 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160125590A KR20160125590A (ko) | 2016-11-01 |
| KR101796258B1 true KR101796258B1 (ko) | 2017-11-13 |
Family
ID=57484805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150056089A KR101796258B1 (ko) | 2015-04-21 | 2015-04-21 | 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101796258B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190100708A (ko) | 2018-02-21 | 2019-08-29 | 부산대학교 산학협력단 | 기계학습을 이용하여 구조물의 크랙을 탐지하는 무인항공기 |
| KR102092173B1 (ko) * | 2019-10-21 | 2020-03-24 | 주식회사 일도엔지니어링 | 드론 촬영영상으로 실시간 5g를 이용한 교량의 안전진단방법 |
| US11403845B2 (en) | 2020-01-21 | 2022-08-02 | Kyndryl, Inc. | Dynamic detection of building structure |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101866781B1 (ko) * | 2016-11-21 | 2018-06-12 | 서해기술단 주식회사 | 드론을 이용한 구조물 안전진단 시스템 |
| KR101707865B1 (ko) * | 2016-11-28 | 2017-02-27 | 한국건설기술연구원 | 시설물 근접 촬영용 무인비행체 시스템 및 이를 이용한 촬영 방법 |
| KR101948852B1 (ko) * | 2017-10-25 | 2019-05-29 | 세종대학교산학협력단 | 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치 |
| JP6381094B1 (ja) * | 2018-01-30 | 2018-08-29 | 株式会社シーパーツ | タイヤ劣化評価システム |
| KR102100496B1 (ko) * | 2019-05-02 | 2020-04-13 | 케이에스엠기술 주식회사 | 드론 및 레이저스캐너를 이용한 콘크리트 구조물 균열 검사 시스템 및 방법 |
| JP6788291B1 (ja) * | 2019-06-03 | 2020-11-25 | 株式会社イクシス | 点検支援システム |
| KR102210571B1 (ko) * | 2020-11-16 | 2021-02-03 | 주식회사 우진 | Gps 좌표와 이동통신시스템을 이용한 교량과 터널의 안전진단 원격감시 경보방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007248364A (ja) * | 2006-03-17 | 2007-09-27 | Pasuko:Kk | 建物形状変化検出方法及び建物形状変化検出システム |
| KR101273663B1 (ko) | 2011-11-22 | 2013-06-10 | 건국대학교 산학협력단 | Ｈ.264 에러 은닉 영상을 위한 인페인팅 시스템 및 그 방법 |
| JP2015223995A (ja) | 2014-05-29 | 2015-12-14 | 株式会社熊谷組 | 撮影用無人飛行体 |
-
2015
- 2015-04-21 KR KR1020150056089A patent/KR101796258B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007248364A (ja) * | 2006-03-17 | 2007-09-27 | Pasuko:Kk | 建物形状変化検出方法及び建物形状変化検出システム |
| KR101273663B1 (ko) | 2011-11-22 | 2013-06-10 | 건국대학교 산학협력단 | Ｈ.264 에러 은닉 영상을 위한 인페인팅 시스템 및 그 방법 |
| JP2015223995A (ja) | 2014-05-29 | 2015-12-14 | 株式会社熊谷組 | 撮影用無人飛行体 |
Non-Patent Citations (1)
| Title |
|---|
| 최성숙 외 3인, 소형비행체를 이용한 구조물 안전성 검사 시스템 설계, 2013년 한국전자통신학회 추계학술지 제7권 제2호, pp.466~499 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190100708A (ko) | 2018-02-21 | 2019-08-29 | 부산대학교 산학협력단 | 기계학습을 이용하여 구조물의 크랙을 탐지하는 무인항공기 |
| KR102092173B1 (ko) * | 2019-10-21 | 2020-03-24 | 주식회사 일도엔지니어링 | 드론 촬영영상으로 실시간 5g를 이용한 교량의 안전진단방법 |
| US11403845B2 (en) | 2020-01-21 | 2022-08-02 | Kyndryl, Inc. | Dynamic detection of building structure |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160125590A (ko) | 2016-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101796258B1 (ko) | 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법 | |
| US10515271B2 (en) | Flight device and flight control method | |
| US9465987B1 (en) | Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms | |
| CN104504748B (zh) | 一种无人机倾斜摄影红外三维成像系统及建模方法 | |
| EP1998139A1 (en) | Building shape change detecting method, and building shape change detecting system | |
| JP2019118043A (ja) | 撮像装置、画像処理装置、制御方法およびプログラム | |
| CN105319049B (zh) | 与飞行器的飞行测试有关的数据的实时管理的系统和方法 | |
| CN111307291B (zh) | 基于无人机的地表温度异常检测和定位方法、装置及系统 | |
| KR20170101516A (ko) | 무인 항공기를 이용한 화재 감시 장치 및 방법 | |
| Martinez-De Dios et al. | Automatic detection of windows thermal heat losses in buildings using UAVs | |
| CN111709994B (zh) | 一种自主无人机视觉探测与引导系统及方法 | |
| CN113486697B (zh) | 基于空基多模态图像融合的森林烟火监测方法 | |
| KR20150075505A (ko) | 영상 기반 선박 주변 타선정보 제공장치 및 그 방법 | |
| US11740315B2 (en) | Mobile body detection device, mobile body detection method, and mobile body detection program | |
| Choi et al. | Design and implementation of vision-based structural safety inspection system using small unmanned aircraft | |
| CN112927214A (zh) | 建筑物缺陷定位方法、系统和存储介质 | |
| KR102514703B1 (ko) | 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치 및 이를 이용한 구조물 손상 검사 장치 | |
| KR102210571B1 (ko) | Gps 좌표와 이동통신시스템을 이용한 교량과 터널의 안전진단 원격감시 경보방법 | |
| JP7437930B2 (ja) | 移動体及び撮像システム | |
| CN110136104B (zh) | 基于无人机地面站的图像处理方法、系统及介质 | |
| Ugliano et al. | Automatically detecting changes and anomalies in unmanned aerial vehicle images | |
| KR101590889B1 (ko) | 표적 추적 정확도 분석을 위한 영상 기반의 위치추정 방법 및 이를 위한 위치추정 시스템 | |
| KR20210071863A (ko) | 플랜트 크랙 진단을 위한 인공지능 드론 플랫폼 시스템 | |
| CN106713741B (zh) | 全景视频的质量诊断方法及装置 | |
| JP2019023800A (ja) | 移動体の軌跡表示方法および移動体の軌跡表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |