KR102586815B1 - 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 - Google Patents
구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 Download PDFInfo
- Publication number
- KR102586815B1 KR102586815B1 KR1020200187751A KR20200187751A KR102586815B1 KR 102586815 B1 KR102586815 B1 KR 102586815B1 KR 1020200187751 A KR1020200187751 A KR 1020200187751A KR 20200187751 A KR20200187751 A KR 20200187751A KR 102586815 B1 KR102586815 B1 KR 102586815B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- crack
- neural network
- unit
- learning data
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 238000000691 measurement method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000002860 competitive effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8803—Visual inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 개시된다. 구조물 균열 측정 시스템은 표면 영상 획득부, 균열 탐지부, 시점 변환부, 중첩 영상 생성부, 및 균열 영역 산출부를 포함한다. 표면 영상 획득부는 구조물 표면의 영상을 서로 다른 복수의 카메라로 각각 획득하고, 균열 탐지부는 동일한 심층 신경망 알고리즘을 이용하여 획득된 복수의 영상으로부터 균열 영역을 각각 탐지하고, 시점 변환부는 복수의 영상의 시점을 모두 동일하도록 변환하고, 중첩 영상 생성부는 동일 시점의 복수 영상을 중첩하여 중첩 영상을 생성하며, 균열 영역 산출부는 복수의 영상에서 모두 균열이라고 탐지된 화소 영역을 출력한다.
Description
본 발명은 인프라 구조물(Infra structures) 진단 관련 기술에 관한 것으로서, 더욱 상세하게는 영상으로 촬영한 콘크리트 균열과 도로 노면 균열 등을 이용하여 노후화된 SOC 시설물의 상태를 점검 및 진단하기 위한 시스템 및 방법에 관한 것이다.
최근, SOC 구조물 중 기대 수명에 임박한 구조물의 수가 증가하면서, 누수, 동결 융해, 탄산화, 철근 부식 및 팽창 등의 원인으로 인해, 노후화에 따른 콘크리트 표면 손상이 지속적으로 발생하고 있다.
하지만, 일반적으로 콘크리트 구조물에 발생하는 균열, 박락, 박리 등 여러 가지 손상에 대해서는 육안으로 점검을 수행함에 따라, 점검자의 주관적인 판단과 경험에 의존하여 손상 유무를 판단하므로, 객관성과 신뢰성이 떨어진다는 문제점이 발생한다.
이러한 문제점을 해결하기 위해 인공 지능의 도입이 시도되고 있지만, 객관적인 진단과 점검을 위한 디지털 센서 기술과 데이터의 부족에 의한 인식 성능의 한계에 부딪히고 있다.
또한, 최근 들어 주관적 점검으로 인한 객관성과 신뢰성 감소를 해결하기 위해, 딥러닝을 활용한 영상처리 기술로 콘크리트 표면의 손상을 탐지하는 연구가 활발하게 진행되고 있지만, 대부분 지도 학습 형태로 개발되어 다수의 영상 데이터를 확보하지 못해 역시 기술 발전의 한계 직면하고 있다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 다수의 영상 데이터를 확보하지 못한 경우에도, 인공지능을 이용한 영상 처리 기술을 이용하여 구조물 표면에 발생하는 균열을 보다 효과적으로 측정할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 구조물 균열 측정 시스템은 표면 영상 획득부, 균열 탐지부, 시점 변환부, 중첩 영상 생성부, 및 균열 영역 산출부를 포함한다.
표면 영상 획득부는 구조물 표면의 영상을 서로 다른 복수의 카메라로 각각 획득하고, 균열 탐지부는 동일한 심층 신경망 알고리즘을 이용하여 획득된 복수의 영상으로부터 균열 영역을 각각 탐지하고, 시점 변환부는 복수의 영상의 시점을 모두 동일하도록 변환하고, 중첩 영상 생성부는 동일 시점의 복수 영상을 중첩하여 중첩 영상을 생성하며, 균열 영역 산출부는 복수의 영상에서 모두 균열이라고 탐지된 화소 영역을 산출한다.
이와 같은 구성에 의하면, 복수의 카메라와 인공지능을 이용한 영상 처리 기술을 이용하여 구조물 표면에 발생하는 균열을 보다 효과적으로 측정할 수 있게 된다.
이때, 표면 영상 획득부는 스테레오 카메라를 이용하여 구조물 표면에 대해 제 1 영상과 제 2 영상을 각각 획득할 수 있으며, 제 1 영상과 제 2 영상에서 모두 균열이라고 판단된 영역의 화소인 매칭 포인트에 대해 3차원 좌표를 산출하는 3차원 좌표 산출부, 및 3차원 좌표로부터 균열 영역의 크기를 산출하는 균열 크기 산출부를 더 포함할 수 있다.
이와 같은 구성에 의하면, 스테레오 카메라 기반의 삼각 측량을 통해 구조물 균열의 실제 물리적 크기를 3차원으로 측정할 수 있게 된다.
또한, 획득된 영상의 방사형 왜곡을 보정하는 방사형 왜곡 보정부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 광각 촬영을 위한 카메라 렌즈에 의한 왜곡을 보정할 수 있게 된다.
또한, 균열 영상 탐지부는, 균열 영상과 균열 영상에 대응하는 라벨 영상을 포함하는 지도 학습용 데이터, 및 균열 영상만을 포함하는 준지도 학습용 데이터를 저장하는 학습용 데이터 저장부, 지도 학습용 데이터와 준지도 학습용 데이터의 균열 영상을 이용하여 균열의 위치를 추출하는 예측 영상을 생성하는 분할 신경망, 라벨 영상의 진위 여부를 판단하는 판별자 신경망, 판별자 신경망이 지도 학습용 데이터에 대한 예측 영상은 거짓으로 판별하고, 라벨 영상은 참으로 판별하며, 준지도 학습용 데이터에 대한 예측 영상은 참으로 판별하도록 설정하는 판별자 신경망 학습부, 및 지도 학습용 데이터의 균열 영상과 라벨 영상을 이용하여 분할 신경망의 가중치를 개선하고 판별자 신경망의 출력인 컨피던스 이미지를 라벨 영상으로 설정하여 분할 신경망의 가중치를 더 개선하는 분할 신경망 학습부를 포함할 수 있다.
이와 같은 구성에 의하면, 적대적 학습 기법을 통해 소수의 영상 데이터만을 활용하여 구조물 탐지 성능을 향상할 수 있게 된다.
또한, 본 발명에 따른 구조물 균열 측정 방법은, 표면 영상 획득부가 구조물 표면의 영상을 서로 다른 복수의 카메라로 각각 획득하는 표면 영상 획득 단계, 균열 탐지부가 동일한 심층 신경망 알고리즘을 이용하여 획득된 복수의 영상으로부터 균열 영역을 각각 탐지하는 균열 영역 탐지 단계, 시점 변환부가 복수의 영상의 시점을 모두 동일하도록 변환하는 시점 변환 단계, 및 중첩 영상 생성부가 동일 시점의 복수 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계, 및 균열 영역 산출부가 복수의 영상에서 모두 균열이라고 탐지된 화소 영역을 출력하는 균열 영상 출력 단계를 포함한다.
아울러, 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.
본 발명에 의하면, 복수의 카메라와 인공지능을 이용한 영상 처리 기술을 이용하여 구조물 표면에 발생하는 균열을 보다 효과적으로 측정할 수 있게 된다.
또한, 스테레오 카메라 기반의 삼각 측량을 통해 구조물 균열의 실제 물리적 크기를 3차원으로 측정할 수 있게 된다.
또한, 광각 촬영을 위한 카메라 렌즈에 의한 왜곡을 보정할 수 있게 된다.
또한, 적대적 학습 기법을 통해 소수의 영상 데이터만을 활용하여 구조물 탐지 성능을 향상할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 구조물 균열 측정 시스템의 개략적인 블록도.
도 2는 균열 탐지 심층 신경망 기술의 개요가 도시된 도면.
도 3은 스테레오 비전 기반 균열 측정 기술의 개요가 도시된 도면.
도 4는 스테레오 비전 균열 탐지의 순서도.
도 2는 균열 탐지 심층 신경망 기술의 개요가 도시된 도면.
도 3은 스테레오 비전 기반 균열 측정 기술의 개요가 도시된 도면.
도 4는 스테레오 비전 균열 탐지의 순서도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 구조물 균열 측정 시스템의 개략적인 블록도이다. 도 1에서, 구조물 균열 측정 시스템은 표면 영상 획득부(110), 균열 탐지부(120), 시점 변환부(130), 중첩 영상 생성부(140), 균열 영역 산출부(150), 3차원 좌표 산출부(160), 균열 크기 산출부(170), 및 방사형 왜곡 보정부(180)를 포함한다.
또한, 균열 탐지부(120)는 다시, 학습용 데이터 저장부(121), 분할 신경망(122), 판별자 신경망(123), 판별자 신경망 학습부(124), 및 분할 신경망 학습부(125)를 포함한다.
표면 영상 획득부(110)는 구조물 표면의 영상을 서로 다른 복수의 카메라로 각각 획득한다. 이때, 표면 영상 획득부(110)는 스테레오 카메라를 이용하여 구조물 표면에 대해 제 1 영상과 제 2 영상을 각각 획득할 수 있으며, 방사형 왜곡 보정부(180)는 획득된 영상의 방사형 왜곡을 보정할 수 있다. 이와 같은 구성에 의하면, 광각 촬영을 위한 카메라 렌즈에 의한 왜곡을 보정할 수 있게 된다.
균열 탐지부(120)는 동일한 심층 신경망 알고리즘을 이용하여 획득된 복수의 영상으로부터 균열 영역을 각각 탐지한다. 이를 위해, 학습용 데이터 저장부(121)는 균열 영상과 대응하는 라벨 영상을 포함하는 지도 학습용 데이터, 및 균열 영상만을 포함하는 준지도 학습용 데이터를 저장하고, 분할 신경망(122)은 지도 학습용 데이터와 준지도 학습용 데이터의 균열 영상을 이용하여 균열의 위치를 추출하는 예측 영상을 생성한다.
또한, 판별자 신경망(123)은 라벨 영상의 진위 여부를 판단하고, 판별자 신경망 학습부(124)는 판별자 신경망(123)이 지도 학습용 데이터에 대한 예측 영상은 거짓으로 판별하고, 라벨 영상은 참으로 판별하며, 준지도 학습용 데이터에 대한 예측 영상은 참으로 판별하도록 설정한다.
또한, 분할 신경망 학습부(125)는 지도 학습용 데이터의 균열 영상과 라벨 영상을 이용하여 분할 신경망(122)의 가중치를 개선하고 판별자 신경망(123)의 출력인 컨피던스 이미지를 라벨 영상으로 설정하여 분할 신경망(122)의 가중치를 더 개선한다.
시점 변환부(130)는 복수의 영상의 시점을 모두 동일하도록 변환하고, 중첩 영상 생성부(140)는 동일 시점의 복수 영상을 중첩하여 중첩 영상을 생성하며, 균열 영역 산출부(150)는 복수의 영상에서 모두 균열이라고 탐지된 화소 영역을 산출한다.
3차원 좌표 산출부(160)는 제 1 영상과 제 2 영상에서 모두 균열이라고 판단된 영역의 화소인 매칭 포인트에 대해 3차원 좌표를 산출하고, 균열 크기 산출부(170)는 3차원 좌표로부터 균열 영역의 크기를 산출한다. 이와 같은 구성에 의하면, 스테레오 카메라 기반의 삼각 측량을 통해 구조물 균열의 실제 물리적 크기를 3차원으로 측정할 수 있게 된다.
도 2 및 도 3은 본 발명에 적용되는 기술의 개요를 도시한 도면이다. 도 2에는 균열 탐지 심층 신경망 기술의 개요가 도시되어 있고, 도 3에는 스테레오 비전 기반 균열 측정 기술의 개요가 도시되어 있다.
도 2에 도시된 균열 탐지 심층 신경망 기술은 영상을 입력으로 한 균열 탐지 알고리즘으로서 준지도 학습을 통한 인식 성능 고도화 기술이고, 도 3에 도시된 스테레오 비전 기반 균열 측정 기술은 콘크리트의 균열 측정하기 위해 스테레오 카메라를 이용한 균열의 물리적 정보 측정 기술이다.
1. 균열 탐지- 준지도 학습을 통한 인식 성능 고도화 기법
적대적 학습을 위한 심층 신경망 구조를 활용하여 균열을 탐지하는 기술로서, 고해상도 영상을 입력으로 하여 분할 심층 신경망을 통하여 균열 영역을 검출한다.
이를 위해, 준지도 학습을 통해 심층 신경망 알고리즘을 개발하며, labeled data(균열을 포함하고 있는 crack image와 균열 영역을 표시한 labeled image를 모두를 말함)와 unlabeled data(unlabeled data: 균열을 포함하고 있는 crack image를 말함)를 동시에 사용하여 학습한다.
적대적 학습을 진행하기 위해서는 3종류의 학습을 동시에 수행하는데, labeled data를 이용한 판별자 신경망의 학습과 분할 신경망 학습, 그리고 unlabeled data를 이용한 분할 신경망의 준지도 학습이다.
우선, 판별자 신경망의 학습은 지도학습 방식이 적용되고, 입력은 예측 영상(Prediction image)과 라벨 영상이다. 이 두 영상을 판별자 신경망의 입력으로 학습을 수행하는데, 라벨 영상의 결과에 대해서는 True로 설정하고 예측 영상의 결과에 대해서는 False로 설정한다.
다음으로, unlabeled data의 균열 영상을 분할 신경망에 입력으로 넣어 얻게 된 결과 영상을 판별자 신경망의 입력으로 넣을 때, 그 결과를 True로 설정하여 상호 경쟁적 학습이 되도록 구조를 설계한다.
분할 신경망의 학습은 labeled data의 균열 영상과 라벨 영상을 활용한 지도 학습이고, 준지도 학습은 원래의 라벨 영상이 없는 균열 영상으로 학습하는 것으로서, 앞서 경쟁적인 구도로 학습된 판별자 신경망의 출력을 pseudo labeled image로 간주하여 분할 신경망의 가중치를 업데이트한다.
2. 균열 측정 - 스테레오 카메라를 이용한 균열의 물리적 정보 측정 기술
도 4는 스테레오 비전 균열 탐지의 순서도이다. 도 4에서 먼저, 스테레오 카메라를 이용한 대상 균열이 좌우에 모두 나타나도록 촬영한다. 이어서, 좌우 카메라에서 촬영한 영상에서 정확한 측정을 위해 Radial distortion을 제거하고, 좌우 영상 모두에 존재하는 균열 영역을 탐지하기 위해서 분할 신경망을 적용하여 균열을 탐지한다.
이어서, 사전에 정의된 두 카메라의 관계를 이용하여 Homography matrix를 생성하고 이를 이용하여 우측 영상을 좌측 영상의 좌표계로 Affine transformation을 수행하며, 이와 변환을 균열을 탐지한 결과 영상에도 적용한 후, 두 탐지된 결과의 중첩된 영역을 추출한다.
마지막으로, 중첩된 포인트를 matching point로 간주하여 Projection matrix를 이용한 삼각측량을 수행하여 3차원 측정 좌표를 구한다.
정리하면, 본 발명은 영상으로 촬영한 콘크리트 균열과 도로 노면 균열 등을 영상 간 변환 신경망을 이용해, 양 도메인 간의 의미론적 분할(Semantic Segmentation) 인식 성능을 향상 또는 고도화시키는 노후화된 SOC 시설물의 상태 점검 및 진단용 영상처리 기술을 제시한다.
또한, 이와 같은 콘크리트 균열 영상을 의미론적 분할 기법을 통해 스테레오 비전을 통해 탐지하고, 물리적인 길이와 너비를 측정할 할 수 있는 비접촉 형식의 균열 탐지 기술을 제시한다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야할 것이다.
110: 표면 영상 획득부
120: 균열 탐지부
121: 학습용 데이터 저장부
122: 분할 신경망
123: 판별자 신경망
124: 판별자 신경망 학습부
125: 분할 신경망 학습부
130: 시점 변환부
140: 중첩 영상 생성부
150: 균열 영역 산출부
160: 3차원 좌표 산출부
170: 균열 크기 산출부
180: 방사형 왜곡 보정부
120: 균열 탐지부
121: 학습용 데이터 저장부
122: 분할 신경망
123: 판별자 신경망
124: 판별자 신경망 학습부
125: 분할 신경망 학습부
130: 시점 변환부
140: 중첩 영상 생성부
150: 균열 영역 산출부
160: 3차원 좌표 산출부
170: 균열 크기 산출부
180: 방사형 왜곡 보정부
Claims (11)
- 구조물 표면의 영상을 서로 다른 복수의 카메라로 각각 획득하는 표면 영상 획득부;
동일한 심층 신경망 알고리즘을 이용하여 획득된 복수의 영상으로부터 균열 영역을 각각 탐지하는 균열 탐지부;
상기 복수의 영상의 시점을 모두 동일하도록 변환하는 시점 변환부;
상기 동일 시점의 복수 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성부; 및
상기 복수의 영상에서 모두 균열이라고 탐지된 화소 영역을 산출하는 균열 영역 산출부를 포함하는 구조물 균열 측정 시스템으로서,
상기 표면 영상 획득부는 스테레오 카메라를 이용하여 구조물 표면에 대해 제 1 영상과 제 2 영상을 각각 획득하고,
상기 제 1 영상과 상기 제 2 영상에서 모두 균열이라고 판단된 영역의 화소인 매칭 포인트에 대해 3차원 좌표를 산출하는 3차원 좌표 산출부; 및
상기 3차원 좌표로부터 상기 균열 영역의 크기를 산출하는 균열 크기 산출부를 더 포함하며,
상기 균열 탐지부는,
균열 영상과 균열 영상에 대응하는 라벨 영상을 포함하는 지도 학습용 데이터, 및 균열 영상만을 포함하는 준지도 학습용 데이터를 저장하는 학습용 데이터 저장부;
상기 지도 학습용 데이터와 상기 준지도 학습용 데이터의 균열 영상을 이용하여 균열의 위치를 추출하는 예측 영상을 생성하는 분할 신경망;
라벨 영상의 진위 여부를 판단하는 판별자 신경망;
상기 판별자 신경망이 상기 지도 학습용 데이터에 대한 예측 영상은 거짓으로 판별하고, 상기 라벨 영상은 참으로 판별하며, 상기 준지도 학습용 데이터에 대한 예측 영상은 참으로 판별하도록 설정하는 판별자 신경망 학습부; 및
상기 지도 학습용 데이터의 균열 영상과 라벨 영상을 이용하여 상기 분할 신경망의 가중치를 개선하고, 상기 판별자 신경망의 출력인 컨피던스 이미지를 라벨 영상으로 설정하여 상기 분할 신경망의 가중치를 더 개선하는 분할 신경망 학습부를 포함하는 것을 특징으로 하는 구조물 균열 측정 시스템.
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 획득된 영상의 방사형 왜곡을 보정하는 방사형 왜곡 보정부를 더 포함하는 것을 특징으로 하는 구조물 균열 측정 시스템.
- 삭제
- 표면 영상 획득부가 구조물 표면의 영상을 서로 다른 복수의 카메라로 각각 획득하는 표면 영상 획득 단계;
균열 탐지부가 동일한 심층 신경망 알고리즘을 이용하여 획득된 복수의 영상으로부터 균열 영역을 각각 탐지하는 균열 탐지 단계;
시점 변환부가 상기 복수의 영상의 시점을 모두 동일하도록 변환하는 시점 변화 단계;
중첩 영상 생성부가 상기 동일 시점의 복수 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계; 및
균열 영역 산출부가 상기 복수의 영상에서 모두 균열이라고 탐지된 화소 영역을 출력하는 균열 영역 산출 단계를 포함하는 구조물 균열 측정 방법으로서,
상기 표면 영상 획득 단계는 스테레오 카메라를 이용하여 구조물 표면에 대해 제 1 영상과 제 2 영상을 각각 획득하고,
3차원 좌표 산출부가 상기 제 1 영상과 상기 제 2 영상에서 모두 균열이라고 판단된 영역의 화소인 매칭 포인트에 대해 3차원 좌표를 산출하는 단계; 및
균열 크기 산출부가 상기 3차원 좌표로부터 상기 균열 영역의 크기를 산출하는 단계를 더 포함하며,
상기 균열 탐지 단계는,
학습용 데이터 저장부가 균열 영상과 대응하는 라벨 영상을 포함하는 지도 학습용 데이터, 및 균열 영상만을 포함하는 준지도 학습용 데이터를 저장하는 단계;
예측 영상 생성부가 상기 지도 학습용 데이터와 상기 준지도 학습용 데이터의 균열 영상을 이용하여 균열의 위치를 추출하는 예측 영상을 생성하는 단계;
판별자 신경망이 라벨 영상의 진위 여부를 판단하는 단계;
판별자 신경망 학습부가 상기 지도 학습용 데이터에 대한 예측 영상은 거짓으로 판별하고, 상기 라벨 영상은 참으로 판별하며, 상기 준지도 학습용 데이터에 대한 예측 영상은 참으로 판별하도록 설정하는 단계; 및
분할 신경망 학습부가 상기 지도 학습용 데이터의 균열 영상과 라벨 영상을 이용하여 상기 분할 신경망의 가중치를 개선하고, 상기 판별자 신경망의 출력인 컨피던스 이미지를 라벨 영상으로 설정하여 상기 분할 신경망의 가중치를 더 개선하는 단계를 포함하는 것을 특징으로 하는 구조물 균열 측정 방법.
- 삭제
- 삭제
- 청구항 6에 있어서,
방사형 왜곡 보정부가 상기 획득된 영상의 방사형 왜곡을 보정하는 단계를 더 포함하는 것을 특징으로 하는 구조물 균열 측정 방법.
- 삭제
- 청구항 6 또는 청구항 9의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200187751A KR102586815B1 (ko) | 2020-12-30 | 2020-12-30 | 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200187751A KR102586815B1 (ko) | 2020-12-30 | 2020-12-30 | 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220095831A KR20220095831A (ko) | 2022-07-07 |
| KR102586815B1 true KR102586815B1 (ko) | 2023-10-10 |
Family
ID=82398752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200187751A KR102586815B1 (ko) | 2020-12-30 | 2020-12-30 | 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102586815B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993746B (zh) * | 2023-09-28 | 2023-12-19 | 武汉海微科技有限公司 | 车载屏幕排线缺陷检测方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009053126A (ja) * | 2007-08-29 | 2009-03-12 | Topcon Corp | 画像測定装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101922238B1 (ko) | 2017-11-09 | 2018-11-29 | (주)태명이씨앤씨 | 터널 라이닝 영상 데이터 분산 병렬 처리 방법, 영상 데이터 획득 장치, 및 통합 소프트웨어 |
-
2020
- 2020-12-30 KR KR1020200187751A patent/KR102586815B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009053126A (ja) * | 2007-08-29 | 2009-03-12 | Topcon Corp | 画像測定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220095831A (ko) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN | |
| Yang et al. | Deep concrete inspection using unmanned aerial vehicle towards cssc database | |
| US9811742B2 (en) | Vehicle-surroundings recognition device | |
| CN105335955B (zh) | 对象检测方法和对象检测装置 | |
| WO2020059706A1 (ja) | 学習用データ収集装置、学習用データ収集方法、及びプログラム | |
| CN113516660A (zh) | 适用于列车的视觉定位与缺陷检测方法和装置 | |
| CN104574393A (zh) | 一种三维路面裂缝图像生成系统和方法 | |
| KR102015706B1 (ko) | 콘크리트 표면 균열 측정 장치 및 방법 | |
| Kim et al. | Automated concrete crack evaluation using stereo vision with two different focal lengths | |
| JP2001324305A (ja) | 画像対応位置検出装置および該装置を備える測距装置 | |
| KR102346676B1 (ko) | 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법 | |
| Yang et al. | A robotic system towards concrete structure spalling and crack database | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| JP7412983B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| KR102586815B1 (ko) | 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
| Pan et al. | 3D vision-based bolt loosening assessment using photogrammetry, deep neural networks, and 3D point-cloud processing | |
| Deng et al. | Detection of loosening angle for mark bolted joints with computer vision and geometric imaging | |
| WO2020158726A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Zeng et al. | A systematic approach to pixel-level crack detection and localization with a feature fusion attention network and 3D reconstruction | |
| CN114120129B (zh) | 基于无人机图像和深度学习的滑坡滑移面的三维识别方法 | |
| Guldur et al. | Damage detection on structures using texture mapped laser point clouds | |
| JP3810755B2 (ja) | 位置判別装置、移動経路算出装置、位置判別方法およびプログラム | |
| Huynh et al. | Vision-based inspection of bolted joints: Field evaluation on a historical truss bridge in Vietnam | |
| KR102641506B1 (ko) | 실내 점검 드론을 활용한 인공지능 기반 협소시설의 3차원 디지털 점검 야장 구축 시스템 및 방법 | |
| Al-Sabbag et al. | Real-Time quantitative visual inspection using extended reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |