KR20210057887A - 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법 - Google Patents

딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법 Download PDF

Info

Publication number
KR20210057887A
KR20210057887A KR1020190144412A KR20190144412A KR20210057887A KR 20210057887 A KR20210057887 A KR 20210057887A KR 1020190144412 A KR1020190144412 A KR 1020190144412A KR 20190144412 A KR20190144412 A KR 20190144412A KR 20210057887 A KR20210057887 A KR 20210057887A
Authority
KR
South Korea
Prior art keywords
bolt
image
loosening
image processing
angle
Prior art date
Application number
KR1020190144412A
Other languages
English (en)
Other versions
KR102292602B1 (ko
Inventor
김정태
박재형
후인탄칸
이소영
당억로이
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020190144412A priority Critical patent/KR102292602B1/ko
Publication of KR20210057887A publication Critical patent/KR20210057887A/ko
Application granted granted Critical
Publication of KR102292602B1 publication Critical patent/KR102292602B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G06K9/20—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects

Abstract

본 발명은 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에 관한 것으로, RCNN을 이용하여 영상자료에서 볼트 이미지 검출단계와; 검출된 볼트 이미지에서 이미지 프로세싱 기법을 통해 볼트 풀림각도 추정단계를 포함하는 구성을 통해 초기의 볼트풀림을 보다 정확하게 감지할 수 있고, 러닝 알고리즘을 통해 영상자료로부터 볼트 이미지를 검출하며, 이미지 프로세싱 기법을 통해 원근왜곡 교정 및 볼트풀림 각도를 추정할 수 있는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에 관한 것이다.

Description

딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법{Deep learning and image processing based bolt loosening detection method}
본 발명은 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에 관한 것으로, 보다 구체적으로는 초기의 볼트풀림을 보다 정확하게 감지할 수 있고, 러닝 알고리즘을 통해 영상자료로부터 볼트 이미지를 검출하며, 이미지 프로세싱 기법을 통해 원근왜곡 교정 및 볼트풀림 각도를 추정할 수 있는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에 관한 것이다.
일반적으로 볼트는 교량뿐만 아니라 건축, 기계, 항공 분야에서도 부재 간의 연결을 위해 많이 사용되며, 볼트의 결함은 구조물의 직접적인 붕괴를 유발할 수 있다는 점에서 정확한 진단 및 모니터링이 필요하다.
한국도로공사의 보고에 따르면 운영 중인 강교량의 33.3%에서 볼트결함 문제가 발견되었고 그 원인으로는 볼트의 체결력 저하, 진동에 의한 풀림이나 탈락에 의한 것이 58.1%로 가장 많은 비중을 차지하였다.
현재, 볼트 풀림 진단을 위한 기법에는 육안점검, 해머 타격법, 토크법 등이 이용되고 있으며, 상시볼트풀림 모니터링을 위한 기법에는 음탄성법(acoustoelastic), 유도파법(guided wave), 전기역학적 임피던스(elasto-mechanical impedance), 너트의 회전각 측정법, 전위차를 이용한 기법들이 제안되었다.
하지만 기존의 기법들은 볼트가 완전히 풀릴 때까지 확인할 수 없거나 점검자의 주관 및 경험에 대한 의존도가 높은 단점이 있다.
또한, 국내에서는 지속적인 도로여건 개선에 따라 많은 신설 교량들이 준공되어 최근 10년 만에 교량의 수가 약 2배에 이르고 있다. 교량의 증가 추세와 더불어 교량의 유지관리비용 또한 급격하게 증가하고 있다(통계청, 2019).
점검이 필요한 볼트연결부의 개소가 점차 방대해짐에 따라 기존의 볼트 풀림 진단 기술은 실제 적용성이 떨어져 보다 경제적이며 효과적인 교량 유지관리 기술이 요구된다.
최근, 딥러닝(deep learning) 기술은 컴퓨터 비전 분야에서 탁월한 성능으로 부각되고 있다.
딥러닝 알고리즘 중 합성곱 신경망(convolutional neural network, CNN)은 개체 분류 및 탐지 기능에서 정확성 및 신속성을 인정받고 있으며, 다층 프레임 구조의 손상탐지, 콘크리트 표면의 균열탐지, 회전기계의 결함탐지 등에 활용된 바 있다(특허문헌 1, 2, 4, 5, 6).
특히, 특허문헌 11은 볼트 풀림 각도 검출에도 CNN 기반 딥러닝을 사용하였다.
그러나 특허문헌 11의 기법은 단일 볼트를 대상으로 설계되어 다수의 볼트로 구성되는 현실적인 볼트연결부의 모니터링을 위해서는 그 실용성을 개선할 필요가 있다.
한편, IT 기술의 발전에 따라 이미지 처리 기법은 영상자료를 기반의 토목구조물 진단 및 모니터링 분야에서 그 적용 가능성이 검토되고 있다.
이미지 처리기법을 이용한 구조물 진단기술은 기존 접촉식 센서 기반의 기술의 대안으로 제시되고 있다. 현재, 볼트 풀림 검출을 위한 몇 가지 영상기반 기법이 제안되었다. 특허문헌 9는 Hough 변환 및 Canny 모서리 검출 기법을 이용하여 볼트 풀림각도를 검출하였으며, 이는 풀림 감지 오차가 4° 이내로 정확도가 높은 장점이 있다. 특허문헌 3은 Support Vector Machine과 이미지 처리 기법을 함께 사용하는 기법을 제시하였으며, 이는 볼트 풀림량 추정 시 볼트머리 치수와 볼트 회전에 의한 노출된 나사선의 길이를 이용함에 따라 초기의 볼트풀림 감지에는 취약하다는 단점이 있다.
Abdeljaber, O., Avci, O., Kiranyaz, M.S., Boashash, B., Sodano, H., and Inman, D.J. (2018) 1-D CNNs for structural damage detection: Verification on a structural health monitoring benchmark data. Neurocomputing, 275: p. 1308-1317. Cha, Y.-J., Choi, W., and Buyukozturk, O.(2017) Deep Learning-Based Crack Damage Detection Using Convolutional Neural Networks. Computer-Aided Civil and Infrastructure Engineering, 32(5): p. 361-378. Cha, Y.-J., You, K., and Choi, W. (2016) Vision-based detection of loosened bolts using the Hough transform and support vector machines. Automation in Construction, 71, p. 181-188. Girshick, R., Donahue, J., Darrell, T., and Malik, J. (2014) Rich feature hierarchies for accurate object detection and semantic segmentation. in Proceedings of the IEEE conference on computer vision and pattern recognition. Gu, J., Wang, Z., Kuen, J., Ma, L., Shahroudy, A., Shuai, B., Liu, T., Wang, X., Wang, L., and Wang, G. (2015) Recent advances in convolutional neural networks. arXiv preprint arXiv:1512.07108. Janssens, O., Slavkovikj, V., Vervisch, B., Stockman, K., Loccufier, M., Verstockt, S., Van de Walle, R., and Van Hoecke, S. (2016) Convolutional Neural Network Based Fault Detection for Rotating Machinery. Journal of Sound and Vibration, 377: p. 331-345. Krizhevsky, A. and Hinton, G. (2009) Learning multiple layers of features from tiny images, Citeseer. Nguyen, T.-C., Huynh, T.-C., Ryu, J.-Y., Park, J.-H., and Kim, J.-T. (2016) Bolt-loosening identification of bolt connections by vision image-based technique, in Nondestructive Characterization and Monitoring of Advanced Materials, Aerospace, and Civil Infrastructure 2016. Park, J.-H., Huynh, T.-C., Choi, S.-H., and Kim, J.-T. (2015) Vision-based technique for bolt-loosening detection in wind turbine tower. Wind and Structures, 21(6), p. 709-726. Yang, S., Ho, C.C., Chen, J., and Chang, C. (2012) Practical Homography-Based Perspective Correction Method for License plate Recognition. 2012 International Conference on Information Security and Intelligent Control, p. 198-201. Zhao, X., Zhang, Y., and Wang, N. (2019) Bolt loosening angle detection technology using deep learning. Structural Control and Health Monitoring, 26(1).
상기한 문제점을 해결하기 위하여 본 발명은 볼트풀림 손상 검출 기법으로서 RCNN 알고리즘을 이용한 볼트 이미지 검출기법과 및 이미지 프로세싱 기법을 이용한 볼트 풀림각도 추정 기법을 병합 구성하여 초기의 볼트풀림을 보다 정확하게 감지할 수 있고, 러닝 알고리즘을 통해 영상자료로부터 볼트 이미지를 검출하며, 이미지 프로세싱 기법을 통해 원근왜곡 교정 및 볼트풀림 각도를 추정할 수 있는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여, 본 발명은 RCNN을 이용하여 영상자료에서 볼트 이미지 검출단계와; 검출된 볼트 이미지에서 이미지 프로세싱 기법을 통해 볼트 풀림각도 추정단계를 포함하는 것을 특징으로 하는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법을 제공한다.
여기서, 상기 볼트 이미지 검출단계는 볼트를 촬영한 원본영상 입력단계와; 원본영상에서 지역별 영상정보를 추출하여 데이터 구축단계와; 상기 데이터를 기초로 RCNN 기반 볼트 검출기 훈련단계와; 상기 훈련단계를 통한 테스트이미지에서 볼트 감지단계를 포함하는 것을 특징으로 한다.
이때, 상기 RCNN 기반 볼트 검출기 훈련단계는 입력된 원본영상의 색상 이미지를 그레이스케일로 변환하고, 그레이스케일 이미지에서 경계 상자 개체 영역 후보를 추출한 후 영역 후보 생성 시 선택적 검색 알고리즘을 이용하여 추출된 영역 후보 제1분류단계와; RCNN을 통해 영역 후보의 특징 벡터를 계산 후 소프트맥스 분류기에 의해 각 영영 후보를 볼트 및 배경으로 나누어지는 제2분류단계를 포함하는 것을 특징으로 한다.
한편, 상기 볼트 풀림각도 추정단계는 상기 볼트 이미지 검출단계에서 검출된 볼트 이미지의 원근왜곡을 교정하는 교정단계와; 교정된 볼트 이미지에서 각각의 볼트 이미지로 분할하는 분할단계와; HLT 기반 볼트 각도 추정기를 통해 분할된 볼트 이미지에 대해 허프(Hough)변환을 수행하여 모서리를 검출하고 이로부터 볼트의 각도를 추정하는 변환단계와; 상기 변환단계를 통한 테스트이미지에서 체결이 풀린 볼트 식별단계를 포함하는 것을 특징으로 한다.
상기와 같이 구성된 본 발명을 제공함으로써, 초기의 볼트풀림을 보다 정확하게 감지할 수 있고, 러닝 알고리즘을 통해 영상자료로부터 볼트 이미지를 검출하며, 이미지 프로세싱 기법을 통해 원근왜곡 교정 및 볼트풀림 각도를 추정할 수 있는 효과가 있다.
도 1은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법을 나타내는 흐름도.
도 2는 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 볼트 검출기 훈련단계를 나타내는 구성도.
도 3은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 RCNN 기반 볼트 검출기의 아키텍처를 나타내는 이미지.
도 4는 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 RCNN 기반 볼트 감지기의 교육 진행 상황을 나타내는 그래프.
도 5는 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 투시 보정을 위한 투영 변환을 나타내는 이미지.
도 6은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 허프 라인 변환의 원리를 나타내는 그래프.
도 7은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 감지된 너트 모서리를 사용한 볼트 각도 추정을 나타내는 그래프.
도 8은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 볼트 거더 연결 실험을 설정하는 이미지.
도 9는 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 다른 관점으로 캡처한 볼트 연결 이미지.
도 10은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 실험실 규모의 거더 연결 이미지에서 볼트 식별하는 이미지.
도 11은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 다양한 관점에서 RCNN 기반 볼트 검출기의 정확도를 판단하는 그래프.
도 12는 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 실험실 규모 대들보 연결을 위한 세그먼트 볼트 및 감지된 모서리를 나타내는 이미지.
도 13은 본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법에서 원근 왜곡을 위한 실험실 규모의 볼트 거더 연결에서 볼트 풀림 감지를 나타내는 그래프.
이하, 본 발명에 대하여 동일한 기술분야에 속하는 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 첨부도면을 참조하여 바람직한 실시 예를 상세하게 설명하기로 한다.
본 발명의 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법은 도 1 내지 도 2에 도시된 바와 같이, RCNN을 이용하여 영상자료에서 볼트 이미지 검출단계(S100)와, 검출된 볼트 이미지에서 이미지 프로세싱 기법을 통해 볼트 풀림각도 추정단계(S200)를 포함할 수 있다.
딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법은 도 1과 같이 볼트이미지 검출(bolt identification)과 볼트 플림각도 추정(bolt angle estimation)의 두 단계로 구성된다. 볼트 이미지 검출 단계에서는 RCNN(regional convolutional neural network)을 이용하여 영상자료로부터 볼트 이미지를 검출한다. 이를 위해, 다양한 볼트 연결부 이미지 자료를 이용하여 RCNN 기반 볼트검출기(bolt detector)를 훈련시킨다. 대상 볼트연결부 이미지는 훈련된 볼트검출기를 통해 개개의 볼트를 검출한다. 볼트 풀림각도 추정 단계에서는 이미지 프로세싱 기법을 통해 검출된 볼트의 각도를 추정한다. 촬영 각도에 의해 발생한 볼트연결부 이미지의 원근왜곡을 교정하고 개개의 볼트 이미지로 분할한다. 분할된 볼트 이미지에 대해 Hough 변환(Hough line transform)을 수행하여 모서리를 검출하고 이로부터 볼트의 각도를 추정한다.
상기 볼트 이미지 검출단계(S100)는 볼트를 촬영한 원본영상 입력단계(S110)와, 원본영상에서 지역별 영상정보를 추출하여 데이터 구축단계(S120)와, 상기 데이터를 기초로 RCNN 기반 볼트 검출기 훈련단계(S130)와, 상기 훈련단계(S130)를 통한 테스트이미지에서 볼트 감지단계(S140)를 포함할 수 있다.
이때, 상기 RCNN 기반 볼트 검출기 훈련단계(S130)는 입력된 원본영상의 색상 이미지를 그레이스케일로 변환하고, 그레이스케일 이미지에서 경계 상자 개체 영역 후보를 추출한 후 영역 후보 생성 시 선택적 검색 알고리즘을 이용하여 추출된 영역 후보 제1분류단계(S131)와, RCNN을 통해 영역 후보의 특징 벡터를 계산 후 소프트맥스 분류기에 의해 각 영영 후보를 볼트 및 배경으로 나누어지는 제2분류단계(S133)를 포함할 수 있다.
RCNN을 이용하는 볼트 검출기는 도 2와 같이 영상으로부터 볼트를 감지할 수 있으며, 볼트 검출기는 두 가지 주요 단계로 구성된다.
먼저, 입력된 색상 이미지(input image)를 그레이스케일로 변환하고, 그레이스케일 이미지에서 경계 상자 개체 영역 후보(regional proposal)를 추출한다.
영역 후보 생성 시 선택적 검색 알고리즘(selective search algorithm)을 이용하였으며, 추출된 영역 후보는 일정한 크기로 맞추어진다.
다음으로, RCNN을 통해 영역 후보의 특징 벡터(feature vector)를 계산한다.
이후 각 영역 후보는 softmax 분류기에 의해 볼트 또는 배경(볼트 없음)으로 분류된다.
RCNN 기반 볼트 검출기의 장점은 슬라이딩 윈도우를 사용하여 모든 영역을 분류하는 대신 검출기가 볼트가 포함될 가능성이 있는 잠재적 영역만 처리하는 것이다.
또한, 컬러 영상을 그레이스케일 영상으로 변환하면 볼트 검출기가 네트워크 연결 성능을 향상시킬 수 있다.
볼트 검출을 위한 CNN은 총 15개의 층(layer)으로 구성되어 있다. 신경망의 기본 계층은 Input, Conv, MaxPool, ReLU, FC, Softmax, Output 층으로 구성되며, 각 층별 정보는 표 1과 같다.
Figure pat00001
[표 1] Dimensions of CNN layers and operators
Input 층(L1)은 초기 입력 그레이스케일 이미지로 구성된다.
Conv 층(L2, L5, L8)은 입력 데이터를 필터로 전달하며, 각 필터는 볼트의 특성을 활성화한다.
MaxPool 층(L3, L7, L10)은 신속한 훈련을 위해 음의 값을 0에 매핑하여 입력데이터 값을 양의 값으로 유지한다.
FC 층(L11, L13)은 신경망의 2차원 특징을 1차원 벡터로 변환한다. Softmax 층(L14)는 softmax 함수를 사용하여 벡터를 범주형 확률 분포로 정규화 한다.
Softmax 층의 출력값은 합이 1인 양의 값으로 구성되면, 마지막으로 Output 층(L15)은 Softmax 층에서 발생한 확률값을 사용하여 교차 엔트로피 손실을 계산하는 분류층이다. 신경망을 통과하는 동안 32(높이)×32(폭)×1(채널) 크기의 입력 영상은 FC 층(L11)에서 64개의 요소(1×1×64 크기)로 일반화되며, FC 층(L13)에서 2개의 요소(1×1×2 크기)로 축소된다. 이는 입력 이미지가 볼트인지 배경인지 여부를 예측하기 위해 Softmax 층(L14)으로 공급된다.
RCNN 기반 볼트 검출기의 훈련단계(S130)에 경우 RCNN 기반 볼트 검출기는 신경망 훈련을 위해 전이학습법(transfer learning)을 채택하였다.
전이학습법은 대량의 훈련 이미지로 사전 훈련(pre-train)하고 이를 새로운 검출 과제 해결을 위한 시작점으로 활용함에 따라, 훈련 데이터 수와 훈련 시간을 크게 줄일 수 있다는 장점이 있다.
볼트 검출기는 CIFAR-10 데이터 세트(Krizhevsky 등 2009)에 내장된 50,000개의 훈련 이미지를 통해 사전 훈련되었다. 이때 사용된 훈련 알고리즘은 0.001의 초기 학습률, 8 epoch의 학습률 하강주기 및 128개 이미지의 미니배치 사이즈를 이용하는 확률경사하강법(stochastic gradient decent method) 이다. 훈련은 데스크톱 컴퓨터의 GPU(GPU: GTX 1080 Ti Xtreme Edition 11G, CPU: Intel i7-8700K 3.7GHz, RAM: 32GB)에서 수행되었다.
다음으로 사전 훈련된 신경망은 58개 볼트 연결부 이미지를 이용한 훈련을 통해 볼트 검출에 적합하도록 개선되었다. 사전 훈련 과정이 없으면 RCNN 기반 볼트 검출기 훈련에 훨씬 더 많은 훈련 영상이 필요할 수 있다. 도 3(a)는 볼트 검출기 훈련에 사용된 볼트 연결부의 이미지 예이다. 학습이미지용 볼트 연결부는 8개의 D20 규격 볼트와 회색으로 도색한 스플라이스 플레이트(310×200×10mm)로 구성되었다. 이미지는 DSLR 카메라(Nicon D7000, Tamron AF 17-50mm, f/2.8)로 다양한 각도 및 조명 조건에서 촬영되었다. 카메라와 볼트연결부까지의 거리는 1m 이며, 촬영 영상의 해상도는 3253×4928 픽셀이다. 실제 볼트 영역에 대한 정보 구축을 위하여 도 3(b)와 같이 볼트 연결부 이미지에 경계박스로 표식처리 하였다.
확률경사하강법은 1×10-6의 초기 학습률, 100 epoch의 학습률 하강주기 및 128개 이미지의 미니배치 사이즈를 이용하며, 500 epoch(5,000회 반복)의 반복 훈련이 수행되었다. 도 4는 RCNN 기반 볼트 검출기의 훈련 진행 상황을 나타낸다. 5,000회의 반복 후 볼트 검출기의 정확도는 99.22%로 나타났다(도 4(a)). 교차 엔트로피 손실은 5,000번째 반복에서 무시할 만큼 매우 작게 나타났다(도 4(b)).
한편, 상기 볼트 풀림각도 추정단계(S200)는 상기 볼트 이미지 검출단계(S100)에서 검출된 볼트 이미지의 원근왜곡을 교정하는 교정단계(S210)와, 교정된 볼트 이미지에서 각각의 볼트 이미지로 분할하는 분할단계(S220)와, HLT 기반 볼트 각도 추정기를 통해 분할된 볼트 이미지에 대해 허프(Hough)변환을 수행하여 모서리를 검출하고 이로부터 볼트의 각도를 추정하는 변환단계(S230)와, 상기 변환단계(S230)를 통한 테스트이미지에서 체결이 풀린 볼트 식별단계(S240)를 포함할 수 있다.
볼트 풀림각도 추정단계(S200)
에 경우 호모그래피 기반 원근왜곡 교정을 수행할 수 있다.
임의의 촬영 각도 조건에서 취득된 영상의 원근왜곡현상을 보정하기 위하여 호모그래피(homography) 기반 보정 기법을 이용하였다. 이 기법은 평면 외 영상(왜곡된 영상)을 평면 내 영상(보정된 영상)으로 변환하기 위해 동차 좌표계(homogeneous coordinate)를 이용한 투영 변환을 기반으로 한다(Yang 등 2012, Nguyen 등 2016). 왜곡된 이미지 상의 점
Figure pat00002
은 식 (1)의 호모그래피 행렬
Figure pat00003
를 통해 동차 좌표 상의 점
Figure pat00004
으로 보정된다. 호모그래피 행렬
Figure pat00005
를 결정을 위해서는 도 5와 같이 왜곡된 영상과 보정된 영상의 4개 점
Figure pat00006
및
Figure pat00007
(
Figure pat00008
)의 정보로부터 호모그래피 행렬 요소를 식 (2)와 같이 구성할 수 있다. 이때, 왜곡된 이미지 상의 4개 점(
Figure pat00009
,
Figure pat00010
,
Figure pat00011
,
Figure pat00012
)은 볼트 검출기를 통해 추출된 볼트 이미지 중 가장자리 볼트의 좌표를 이용하며, 보정된 이미지상의 4개 점(
Figure pat00013
,
Figure pat00014
,
Figure pat00015
,
Figure pat00016
)은 볼트 연결부의 실제 치수로 결정할 수 있다.
Figure pat00017
(1)
Figure pat00018
(2)
호모그래피 기법을 통해 보정된 볼트 연결부 이미지는 단일 볼트 영상으로 분할할 수 있다.
분할된 단일 볼트 이미지로부터 볼트의 각도를 추정하기 위하여 Hough 변환 기반 볼트 풀림각도 추정기법으로 다음의 과정을 통해 수행된다.
먼저, 볼트 영상의 Hough 변환을 수행하여 너트의 모서리 방정식을 추출한다.
다음으로, 너트의 모서리 방정식으로부터 볼트의 회전 각도를 계산하고, 볼트의 초기 각도와 비교하여 그 풀림각도를 결정한다.
상기에 Hough 변환 기반 볼트풀림각도 추정기에 경우 Hough 변환을 통해 영상 공간(image space)은 직선으로 정의될 수 있는 Hough 공간(Hough space)으로 변환된다(도 6). 영상공간에서 직선은 다음 식과 같이
Figure pat00019
와
Figure pat00020
로 나타낼 수 있다.
Figure pat00021
(3)
식(3)으로부터 영상공간의 직선은 Hough 공간의 점(
Figure pat00022
)로 나타낼 수 있다.
Hough 변환을 통해 영상공간의 모든 점은 Hough 공간의 선으로 변환되고, Hough 공간상에서 교차가 많이 발생하는 점은 너트의 모서리에 해당된다.
영상의 노이즈 또는 계산상의 오류로 인한 모서리 검출 오류를 감소시키기 위하여 다음의 두 가지 제약조건을 설정하였다. 첫째, 검출된 모서리의 수는 육각볼트의 모서리 수 인 6 보다 작거나 같다. 둘째, 너트 이미지의 중심에서 검출된 가장자리까지의 거리는 이미지 크기의 1/4 보다 크다.
도 7은 Hough 변환을 통해 검출된 너트의 모서리로부터 볼트의 각도를 추정하는 원리를 나타낸다. 실제 너트의 번째 모서리를 한 쌍의 매개변수
Figure pat00023
로 정의하면 수평 축(
Figure pat00024
축)과 모서리의 각도는
Figure pat00025
로 정의된다. 너트의 형상은 육각형태로서 각 모서리의 각도는 다음 식을 통해 일관된 각도로서 0~60° 범위로 나타낼 수 있다. 검출된 너트의 모서리별 각도
Figure pat00026
의 평균값으로부터 볼트의 풀림 각도를 결정한다.
Figure pat00027
(4)
상기와 같이 구성된 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법
을 제시하여 영상기반 볼트풀림 손상 검출 기법의 성능 검증을 수행할 수 있다.
이를 위해 도 8(a)와 같이 거더 볼트연결부 모형을 제작하였다.
대상 볼트연결부는 8쌍의 볼트-너트(D20)와 스플라이스 플레이트(310×200×10mm)로 구성된다.
볼트 연결부의 영상 취득을 위하여 스마트폰 카메라(iPhone, AF 28mm, f/2.4)를 이용하였다. 취득된 영상의 해상도는 4032×3024 픽셀이다.
볼트 연결부의 영상은 삼각대를 사용하지 않고 1.5m 거리에서 촬영되었다.
실제 현장에서 정면 촬영이 어려울 수 있는 점을 고려하여 0~50° 범위내의 다양한 수평 및 수직방향 촬영 각도에서 영상을 취득하였다. 도 9는 여러 가지 촬영 각도에서 취득된 볼트연결부 영상을 나타낸다. 촬영 각도가 증가함에 따라 원근왜곡현상이 더욱 커짐을 확인할 수 있다.
서로 다른 풀림 정도에 대한 볼트 풀림 손상 검출 성능을 검토하였다. 이를 위해 네 개 볼트(Bolt 1, 3, 6, 8)에 대하여 서로 다른 정도의 풀림 상태를 모사하였다. Bolt 1은 5°, Bolt 3은 16.5°, Bolt 6은 10°, Bolt 8은 30°의 볼트 풀림손상을 재현할 수 있다.
제안된 영상기반 볼트 풀림손상 검출 방법을 통해 거더 볼트 연결부 모형의 볼트 풀림손상을 추정할 수 있으며, 비손상 및 손상 조건하에 촬영된 176개의 볼트 연결부 이미지에 대하여 손상검출 기법을 적용할 수 있다.
먼저, 2.1절의 RCNN 기반 볼트 검출기를 이용하여 볼트 연결부 영상으로부터 개개의 볼트를 검출한 후 도10에 도시된 바와 같이, 정면에서 촬영된 볼트 연결부 영상에 대한 볼트 검출 결과를 나타내며, 8개의 볼트가 검출될 수 있다.
원근왜곡의 정도에 따른 영상별 볼트 검출 정확도를 분석하였다. 0~50° 범위의 수직 및 수평 촬영 각도에 대해 검토할 수 있으며, 그 결과 도 11에 도시한 바와 같이 30° 이하의 수평 및 수직 촬영 각도에서는 8개의 모든 볼트가 정확하게 검출되었다. 촬영 각도가 증가함에 따라 볼트 검출률이 점차 감소하는 경향을 보였다. 50°의 촬영 각도 발생 시 수평방향의 경우 검출률이 약 65%까지 감소하였으며, 수직방향의 경우 33%의 볼트만이 검출되었다. 이로부터 볼트연결부 영상 취득 시 30~40°이하의 촬영 각도를 유지할 경우 충분한 볼트 검출 성능을 보일 것으로 판단된다.
다음으로, 2.2절의 이미지 프로세싱 기반 볼트 풀림각도 추정 기법을 통해 각 볼트의 각도를 산정하였다.
먼저, 볼트 연결부 영상은 호모그래피를 기반으로 원근왜곡을 교정하고 단일 볼트 이미지로 각각 분할할 수 있다.
또한, Hough 변환을 통해 너트의 모서리를 검출하였다. 도 12(a)는 단일 볼트 이미지로 분할된 8개의 볼트 이미지를 나타내며, 도 12(b)는 각각의 단일 볼트 이미지로부터 검출된 모서리를 보여준다. 도 7의 기하학적 특성으로부터 식(4)와 같이 0~60° 범위 내의 볼트 풀림 각도로 산정할 수 있다.
손상 여부를 판정하는 임계값 결정을 위하여 99.7%의 신뢰수준을 갖는 상한관리치(upper control limit, UCL)를 산정하였다.
만약, 상한관리치를 초과할 경우 볼트 풀림손상이 발생한 것으로 판정할 수 있으며, 상한관리치 값은 볼트 풀림 검출의 정확도를 평가하기 위한 지표로도 사용될 수 있다.
도 13(a)는 볼트 연결부의 정면에서 촬영된 이미지로부터 수행된 볼트 풀림손상 검출 결과이다. 상한관리치 값은 2.58°로 산정되었으며, 볼트 풀림 손상이 발생함에 따라 풀림각도(rotational angle) 값이 크게 변화할 수 있다.
따라서, 4 곳의 볼트 풀림 손상발생 여부 및 풀림 각도까지 정확하게 추정하여 도 13(b)의 도시와 같이 20°의 원근왜곡 조건에 대한 결과를 얻을 수 있다.
상한관리치 값은 3.75°로 정면 촬영 이미지 경우에 비해 다소 높게 산정되었다. 4개의 볼트 풀림 손상은 모두 손상으로 정확하게 판정되었으며 풀림각도 또한 정확하게 추정되었다. 도 13(c)는 40°의 원근왜곡 조건에 대한 결과이다. 상한관리치 값은 5.27°로 산정되었다. 이에 따라 풀림각도가 5°인 Bolt 1은 손상은 검출되지 못하였으며, 나머지 3개 볼트 손상은 성공적으로 검출할 수 있다.
상기와 같이 구성된 본 발명을 제공하여 영상자료를 이용하는 볼트풀림 손상 검출 기법을 제시할 수 있다.
이를 위해 먼저, 볼트풀림 손상 검출 기법으로서 RCNN 알고리즘을 이용한 볼트 이미지 검출기법과 및 이미지 프로세싱 기법을 이용한 볼트 풀림각도 추정 기법을 병합 구성하였다. 다음으로, 제안된 영상기반 볼트 풀림 검출 기법은 거더의 볼트연결부 모형에 대한 볼트 풀림 검출 실험을 수행하고 영상의 원근왜곡 조건에 대한 손상검출 성능을 분석할 수 있다.
볼트 이미지 검출 성능의 경우, 40° 이하의 수평 및 수직 원근 왜곡 조건에 대해 80% 이상의 높은 검출률을 보였다. 볼트 풀림각도 검출 성능의 경우, 원근 왜곡 정도가 커짐에 따라 풀림각도 검출 정확도가 감소하는 경향을 보였으며 40°의 원근 왜곡 조건에 대하여 약 5°의 작은 검출 오차가 발생하는 것으로 분석할 수 있다.
상기와 같이 구성된 본 발명을 제공함으로써, 초기의 볼트풀림을 보다 정확하게 감지할 수 있고, 러닝 알고리즘을 통해 영상자료로부터 볼트 이미지를 검출하며, 이미지 프로세싱 기법을 통해 원근왜곡 교정 및 볼트풀림 각도를 추정할 수 있는 효과가 있다.
이상에 설명한 본 명세서 및 청구범위에 사용되는 용어 및 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 도면 및 실시 예에 도시된 구성은 본 발명의 가장 바람직한 하나의 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
S100: 볼트 이미지 검출단계
S110: 원본영상 입력단계
S120: 데이터 구축단계
S130: 볼트 검출기 훈련단계
S131: 제1분류단계
S133: 제2분류단계
S140: 볼트 감지단계
S200: 볼트 풀림각도 추정단계
S210: 원근왜곡 교정단계
S220: 볼트 이미지 분할단계
S230: 허프 변환단계
S240: 풀린 볼트 식별단계

Claims (4)

  1. RCNN을 이용하여 영상자료에서 볼트 이미지 검출단계(S100)와;
    검출된 볼트 이미지에서 이미지 프로세싱 기법을 통해 볼트 풀림각도 추정단계(S200)를 포함하는 것을 특징으로 하는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법.
  2. 청구항 1에 있어서,
    상기 볼트 이미지 검출단계(S100)는,
    볼트를 촬영한 원본영상 입력단계(S110)와;
    원본영상에서 지역별 영상정보를 추출하여 데이터 구축단계(S120)와;
    상기 데이터를 기초로 RCNN 기반 볼트 검출기 훈련단계(S130)와;
    상기 훈련단계(S130)를 통한 테스트이미지에서 볼트 감지단계(S140)를 포함하는 것을 특징으로 하는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법.
  3. 청구항 2에 있어서,
    상기 RCNN 기반 볼트 검출기 훈련단계(S130)는,
    입력된 원본영상의 색상 이미지를 그레이스케일로 변환하고, 그레이스케일 이미지에서 경계 상자 개체 영역 후보를 추출한 후 영역 후보 생성 시 선택적 검색 알고리즘을 이용하여 추출된 영역 후보 제1분류단계(S131)와;
    RCNN을 통해 영역 후보의 특징 벡터를 계산 후 소프트맥스 분류기에 의해 각 영영 후보를 볼트 및 배경으로 나누어지는 제2분류단계(S133)를 포함하는 것을 특징으로 하는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법.
  4. 청구항 1에 있어서,
    상기 볼트 풀림각도 추정단계(S200)는,
    상기 볼트 이미지 검출단계(S100)에서 검출된 볼트 이미지의 원근왜곡을 교정하는 교정단계(S210)와;
    교정된 볼트 이미지에서 각각의 볼트 이미지로 분할하는 분할단계(S220)와;
    HLT 기반 볼트 각도 추정기를 통해 분할된 볼트 이미지에 대해 허프(Hough)변환을 수행하여 모서리를 검출하고 이로부터 볼트의 각도를 추정하는 변환단계(S230)와;
    상기 변환단계(S230)를 통한 테스트이미지에서 체결이 풀린 볼트 식별단계(S240)를 포함하는 것을 특징으로 하는 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법.
KR1020190144412A 2019-11-12 2019-11-12 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법 KR102292602B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190144412A KR102292602B1 (ko) 2019-11-12 2019-11-12 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144412A KR102292602B1 (ko) 2019-11-12 2019-11-12 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법

Publications (2)

Publication Number Publication Date
KR20210057887A true KR20210057887A (ko) 2021-05-24
KR102292602B1 KR102292602B1 (ko) 2021-08-25

Family

ID=76153080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144412A KR102292602B1 (ko) 2019-11-12 2019-11-12 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법

Country Status (1)

Country Link
KR (1) KR102292602B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742820A (zh) * 2022-05-11 2022-07-12 西南交通大学 一种基于深度学习的螺栓松动检测方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136905A (ko) * 2015-05-21 2016-11-30 부경대학교 산학협력단 볼트풀림 검출 방법 및 컴퓨터 프로그램
CN110097536A (zh) * 2019-04-10 2019-08-06 东南大学 基于深度学习和霍夫变换的六边形螺栓松动检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136905A (ko) * 2015-05-21 2016-11-30 부경대학교 산학협력단 볼트풀림 검출 방법 및 컴퓨터 프로그램
CN110097536A (zh) * 2019-04-10 2019-08-06 东南大学 基于深度学习和霍夫变换的六边形螺栓松动检测方法

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
Abdeljaber, O., Avci, O., Kiranyaz, M.S., Boashash, B., Sodano, H., and Inman, D.J. (2018) 1-D CNNs for structural damage detection: Verification on a structural health monitoring benchmark data. Neurocomputing, 275: p. 1308-1317.
Cha, Y.-J., Choi, W., and Buyukozturk, O.(2017) Deep Learning-Based Crack Damage Detection Using Convolutional Neural Networks. Computer-Aided Civil and Infrastructure Engineering, 32(5): p. 361-378.
Cha, Y.-J., You, K., and Choi, W. (2016) Vision-based detection of loosened bolts using the Hough transform and support vector machines. Automation in Construction, 71, p. 181-188.
Girshick, R., Donahue, J., Darrell, T., and Malik, J. (2014) Rich feature hierarchies for accurate object detection and semantic segmentation. in Proceedings of the IEEE conference on computer vision and pattern recognition.
Gu, J., Wang, Z., Kuen, J., Ma, L., Shahroudy, A., Shuai, B., Liu, T., Wang, X., Wang, L., and Wang, G. (2015) Recent advances in convolutional neural networks. arXiv preprint arXiv:1512.07108.
Janssens, O., Slavkovikj, V., Vervisch, B., Stockman, K., Loccufier, M., Verstockt, S., Van de Walle, R., and Van Hoecke, S. (2016) Convolutional Neural Network Based Fault Detection for Rotating Machinery. Journal of Sound and Vibration, 377: p. 331-345.
Krizhevsky, A. and Hinton, G. (2009) Learning multiple layers of features from tiny images, Citeseer.
Nguyen, T.-C., Huynh, T.-C., Ryu, J.-Y., Park, J.-H., and Kim, J.-T. (2016) Bolt-loosening identification of bolt connections by vision image-based technique, in Nondestructive Characterization and Monitoring of Advanced Materials, Aerospace, and Civil Infrastructure 2016.
Park, J.-H., Huynh, T.-C., Choi, S.-H., and Kim, J.-T. (2015) Vision-based technique for bolt-loosening detection in wind turbine tower. Wind and Structures, 21(6), p. 709-726.
Yang, S., Ho, C.C., Chen, J., and Chang, C. (2012) Practical Homography-Based Perspective Correction Method for License plate Recognition. 2012 International Conference on Information Security and Intelligent Control, p. 198-201.
Zhao, X., Zhang, Y., and Wang, N. (2019) Bolt loosening angle detection technology using deep learning. Structural Control and Health Monitoring, 26(1).

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742820A (zh) * 2022-05-11 2022-07-12 西南交通大学 一种基于深度学习的螺栓松动检测方法、系统及存储介质

Also Published As

Publication number Publication date
KR102292602B1 (ko) 2021-08-25

Similar Documents

Publication Publication Date Title
Huynh et al. Quasi-autonomous bolt-loosening detection method using vision-based deep learning and image processing
KR102008973B1 (ko) 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법
Cha et al. Vision-based detection of loosened bolts using the Hough transform and support vector machines
CN111583229B (zh) 一种基于卷积神经网络路面故障检测方法
Luo et al. A fast adaptive crack detection algorithm based on a double-edge extraction operator of FSM
Schmugge et al. Crack segmentation by leveraging multiple frames of varying illumination
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
JP2023139099A (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
Moradi et al. Real-time defect detection in sewer closed circuit television inspection videos
Kumar et al. A deep learning based automated structural defect detection system for sewer pipelines
Dong et al. Corrosion detection and evaluation for steel wires based on a multi-vision scanning system
Devereux et al. A new approach for crack detection and sizing in nuclear reactor cores
Pan et al. 3D vision-based bolt loosening assessment using photogrammetry, deep neural networks, and 3D point-cloud processing
KR102292602B1 (ko) 딥러닝 및 이미지 프로세싱 기반 볼트 풀림 검출 방법
Vijayan et al. A survey on surface crack detection in concretes using traditional, image processing, machine learning, and deep learning techniques
Bush et al. Deep Neural Networks for visual bridge inspections and defect visualisation in Civil Engineering
Garcia et al. Large scale semantic segmentation of virtual environments to facilitate corrosion management
Vozmilov et al. Development of an algorithm for the program to recognize defects on the surface of hot-rolled metal
Liu et al. Automatic detection on the bolt loose based on digital image processing
Habeenzu et al. Towards automated UAV assisted bridge inspections using photogrammetry and image processing techniques
Tan et al. Target-free vision-based approach for vibration measurement and damage identification of truss bridges
Yasuno et al. One-class steel detector using patch GAN discriminator for visualising anomalous feature map
Spytek et al. Novelty detection approach for the monitoring of structural vibrations using vision-based mean frequency maps
Song et al. Bolt looseness detection based on Canny edge detection algorithm
CN114120129B (zh) 基于无人机图像和深度学习的滑坡滑移面的三维识别方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant