KR102121958B1 - 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램 - Google Patents

콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102121958B1
KR102121958B1 KR1020180083221A KR20180083221A KR102121958B1 KR 102121958 B1 KR102121958 B1 KR 102121958B1 KR 1020180083221 A KR1020180083221 A KR 1020180083221A KR 20180083221 A KR20180083221 A KR 20180083221A KR 102121958 B1 KR102121958 B1 KR 102121958B1
Authority
KR
South Korea
Prior art keywords
defect
image
concrete structure
crack
region
Prior art date
Application number
KR1020180083221A
Other languages
English (en)
Other versions
KR20200013148A (ko
Inventor
홍사장
박신전
지기환
이상원
이현석
Original Assignee
주식회사 케이엠티엘
홍사장
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이엠티엘, 홍사장 filed Critical 주식회사 케이엠티엘
Priority to KR1020180083221A priority Critical patent/KR102121958B1/ko
Publication of KR20200013148A publication Critical patent/KR20200013148A/ko
Application granted granted Critical
Publication of KR102121958B1 publication Critical patent/KR102121958B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/38Concrete; Lime; Mortar; Gypsum; Bricks; Ceramics; Glass
    • G01N33/383Concrete or cement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Ceramic Engineering (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램에 관한 것이다. 본 발명은 서버가 클라우드 기반의 콘크리트 구조물 결함 분석 서비스를 제공하는 방법에 있어서, 제1 단말로부터 콘크리트 구조물 영상을 질의 영상으로 수신하는 단계, 상기 질의 영상을 기 학습된 결함 영역 검출 모델에 적용하여, 상기 질의 영상에서 균열 또는 결함이 존재할 것으로 추정되는 하나 이상의 결함 영역을 추출하는 단계, 상기 결함 영역에서 균열 또는 결함이 발생된 부분을 픽셀 단위로 식별하여 결함 정보를 생성하는 단계, 상기 결함 정보를 하나 이상의 제2 단말로 전송하는 단계를 포함하며, 상기 결함 영역 검출 모델은 복수의 콘크리트 구조물 이미지, 상기 콘크리트 구조물 이미지 내에 균열 또는 결함이 발생된 부분을 포함하는 바운딩 박스, 및 상기 바운딩 박스의 특성을 나타내는 레이블을 이용하여 학습되는 것을 특징으로 한다. 본 발명에 의하면, 종래 대비 개선된 인공 신경망을 사용하여, 콘크리트 구조물의 균열 결함을 보다 빠르고 정확하게 추출할 수 있으며, 박리, 박락, 누수, 철근노출 등 다양한 결함을 추출할 수 있다.

Description

콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램{METHOD, SYSTEM AND COMPUTER PROGRAM FOR PROVIDING DEFECT ANALYSIS SERVICE OF CONCRETE STRUCTURE}
본 발명은 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램에 관한 것으로, 보다 자세하게는 클라우드를 기반으로 콘크리트 구조물의 결함 및 손상을 자동으로 추출 및 분석할 수 있는 방법 및 시스템에 관한 것이다.
고도 성장기에 건설된 노후 시설물이 폭증하면서, 안전 관리 강화의 중요성이 높아지고 있으며, 최근에는 시설물 안전과 유지 관리 위주로 건설 산업의 패러다임이 급격히 변화하고 있다.
특히, 건축 및 토목 시설물의 붕괴는 큰 인명피해를 가져올 수 있는 바, 건축 및 토목 시설물의 붕괴를 사전에 감지하고 안전성을 확보하기 위해 주기적으로 시설물의 균열, 손상, 파손 등의 구조적 결함을 조사 및 평가하는 사전점검의 중요성이 크게 대두되고 있다.
특히 건축 및 토목 시설물의 대부분을 구성하고 있는 콘크리트 구조물은 재료적 특성, 시공시 결함, 과도 하중 및 외부 환경의 영향으로 인해 균열로 대표되는 구조적 결함이 공용 중 지속적으로 발생하며, 시간 경과에 따른 균열 증대와 후속 균열 발생으로 구조 안전성, 사용성 및 내구성이 크게 저하되어 구조물의 붕괴를 초래할 수 있다.
이러한 문제를 해결하기 위하여 종래에는 점검자의 육안에 의존하여 시설물의 균열 등 결함 정보를 포함한 외관 상태를 임시적으로 기록하고, 이후 내업을 통해 수작업으로 외관조사망도를 작성하는 방식으로 콘크리트 구조물의 안전진단이 이루어졌으며, 이를 토대로 보수 공법 및 시기가 결정되었다. 이러한 육안 조사에 의한 시설물의 상태 평가는 많은 시간과 인력이 소요되고, 조사 데이터의 객관성 및 신뢰성이 보장되지 않는다는 문제가 있다.
육안 조사에 의한 시설물의 상태 평가의 문제점을 해결하기 위하여, 영상 처리 기술이 이용되어 왔으나, 균열과 유사한 특징(시공 이음부, 줄눈, 거미줄, 음각 등)을 균열로 인식함에 따라 균열 검출 및 균열정보 추출 정확도가 떨어져 여전히 추가적인 전문가 검토가 필요하다는 문제가 제기되어 왔다.
최근에는 인공 신경망을 이용하여 균열을 인식하고자 하는 시도가 한국등록특허 제1772916호와 같이 국내외에서 이루어지고 있으나, 실제로 제한된 학습 이미지 데이터로 인해 실제 시설물의 다양한 환경을 반영하지 못하는 문제가 있다. 또한 균열 인식 처리 속도를 높이기 위해서는 우수한 컴퓨팅 환경의 조성이 필요한 바, 기술의 적용 및 사용화가 이루어지지 않는 실정이다.
또한, 균열 결함 이외에 박리, 탈락, 누수, 철근노출 등 다양한 결함으로 인한 구조물의 손상이 일어나는 바, 다양한 종류의 결함을 손쉽게 분석할 수 있는 서비스가 요구된다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 종래 대비 개선된 인공 신경망을 사용하여, 콘크리트 구조물의 균열, 박리, 철근노출 등의 결함을 빠르게 추출할 수 있는 방법을 제공하는 것을 일 목적으로 한다.
또한 본 발명은 클라우드 컴퓨팅 기반 분석 시스템을 제공함으로써, 다양한 장소에서 수집되는 구조물 영상을 전송하는 것만으로 다수의 주체가 영상에 대한 분석 결과를 용이하게 확인하고, 구조물의 상태를 평가하기 위한 소프트웨어 및 시스템 도입 비용을 대폭 절감할 수 있도록 하는 것을 다른 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 서버가 클라우드 기반의 콘크리트 구조물 결함 분석 서비스를 제공하는 방법에 있어서, 제1 단말로부터 콘크리트 구조물 영상을 질의 영상으로 수신하는 단계, 상기 질의 영상을 기 학습된 결함 영역 검출 모델에 적용하여, 상기 질의 영상에서 균열 또는 결함이 존재할 것으로 추정되는 하나 이상의 결함 영역을 추출하는 단계, 상기 결함 영역에서 균열 또는 결함이 발생된 부분을 픽셀 단위로 식별하여 결함 정보를 생성하는 단계, 상기 결함 정보를 하나 이상의 제2 단말로 전송하는 단계를 포함하며, 상기 결함 영역 검출 모델은 복수의 콘크리트 구조물 이미지, 상기 콘크리트 구조물 이미지 내에 균열 또는 결함이 발생된 부분을 포함하는 바운딩 박스, 및 상기 바운딩 박스의 특성을 나타내는 레이블을 이용하여 학습되는 것을 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 종래 대비 개선된 인공 신경망을 사용하여, 콘크리트 구조물의 균열 결함을 보다 빠르고 정확하게 추출할 수 있으며, 박리, 박락, 누수, 철근노출 등 다양한 결함을 추출할 수 있다.
또한 본 발명에 의하면, 다양한 장소에서 수집되는 시설물 조사 영상을 전송하는 것만으로 다수의 주체가 영상에 대한 분석 결과를 용이하게 확인할 수 있으며, 각 관리 주체는 구조물의 균열 결함을 판단하기 위한 소프트웨어 및 시스템 도입 비용을 대폭 절감할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 클라우드 기반의 콘크리트 구조물 결함분석 서비스 제공 시스템을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 서버를 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 따른 결함 정보 생성부를 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 따른 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시 예에 따른 결함 정보 생성 방법을 설명하기 위한 순서도,
도 6은 본 발명의 일 실시 예에 따른 결함 영역 검출 모델의 구조를 설명하기 위한 순서도,
도 7은 본 발명의 일 실시 예에 따른 결함 정보 생성 방법을 설명하기 위한 도면,
도 8 내지 도 10은 본 발명의 일 실시 예에 따른 결함 정보 생성 서비스의 입력 데이터 및 출력 데이터를 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 시스템을 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 콘크리트 구조물 결함 분석 서비스 제공 시스템은 단말(100)과 서버(200)를 포함한다.
단말(100)은 콘크리트 구조물 영상을 수집하여 서버로 전송하는 전자 장치로, 유무선 네트워크를 통해 데이터를 송수신 하기 위한 유무선 통신 모듈을 포함하며, 영상의 수집, 전송, 편집, 표시 등을 제어하기 위한 컴퓨터 프로세서를 포함한다. 단말(100)로는 외부에서 촬영된 콘트리트 구조물 영상을 서버(200)로 전송하는 개인 컴퓨터(Personal Computer), 스마트폰, 태블릿 PC(100a)를 예로 들 수 있다.
또한, 단말(100)은 카메라 모듈을 포함하는 컴퓨팅 장치일 수 있다. 단말(100)의 다른 실시 예로는 직접 콘크리트 구조물 영상을 획득하여 서버(200)로 전송하는 드론, 조사 로봇, CCTV, 터널 스캐닝 장비, 하수관로 조사 장비, 일반 카메라 등이 있을 수 있다.
서버(200)은 제1 단말(100a, 100b, 100c)로부터 분석 대상 영상(질의 영상)을 수신하고, 질의 영상을 분석한 결과를 제2 단말(100d)로 전송한다. 여기서 제1 단말과 제2 단말은 동일한 단말일 수도 있고, 상이한 단말일 수도 있다.
질의 영상을 전송한 단말과 결함 정보를 수신하는 주체가 동일한 경우의 일 예로, 제1 단말(100a)은 제1 단말(100a)에 저장되어 있던 콘크리트 구조물 영상을 질의 영상으로 서버(200)에 전송하고, 서버(200)로부터 질의 영상에 대한 분석 결과(결함 정보)를 수신할 수 있다.
제1 단말과 제2 단말이 상이한 경우의 일 예로, 제1 단말(100b)이 드론과 같은 시설물 점검 장치인 경우, 드론(100b)은 촬영한 콘크리트 구조물 영상을 실시간 또는 촬영이 종료된 시점에 서버(200)로 전송할 수 있다. 그리고 서버(200)는 수신한 질의 영상에 대한 분석이 완료되면, 분석 결과를 기 등록된 하나 이상의 시설물 점검 기관의 단말(제2 단말)로 전송할 수 있다.
분석 결과의 전송은 푸시 방식으로 제공될 수 있으며, 제2 단말이 웹 서버에 접속하여 분석 결과를 요청하면 서버가 요청에 대응하여 분석 결과를 전송하는 방식으로 제공될 수도 있다.
본 발명의 콘크리트 구조물 결함 분석 서비스는 클라우드를 기반으로 제공되는 서비스(Software as a Service)일 수 있으며, 따라서 단말에 콘크리트 구조물 결함 분석 응용 프로그램이 설치 및/또는 저장되어있지 않더라도, 단말은 웹 브라우저에서 인터넷을 통해 서버(200)가 공급하는 서비스에 액세스할 수 있다.
따라서 본 발명의 일 실시 예에 의한 콘크리트 구조물 결함 분석 서비스 제공 컴퓨터 프로그램은 네트워크 기반으로 접근, 관리 및/또는 사용이 가능한 응용 프로그램인 것으로 이해될 수 있다. 또한 본 발명에 의하면 중앙 서버(200)에서 활동을 관리, 유무선 네트워크 접속 가능한 단말(100)이 웹을 통해 응용 프로그램에 접근 가능하므로, 단말의 컴퓨팅 환경과 장소, 단말의 종류에 의해 서비스 이용이 제한되지 않는다는 장점이 있다.
이하에서는 도 2 내지 도 5를 참조하여, 본 발명의 일 실시 예에 의한 콘크리트 구조물 결함 분석 서비스 제공 시스템에서의 서버(200)의 동작을 보다 자세히 살펴보기로 한다.
도 2를 참조하면, 서버(200)는 통신부(210), 이미지 처리부(230), 결함 영역 추출부(250), 결함 정보 생성부(270), 저장부(290)를 포함할 수 있다.
통신부(210)는 유무선 네트워크를 통해 단말(100)과 데이터를 송수신하기 위한 통신 모듈을 포함한다. 통신부(210)는 제1 단말로부터 콘크리트 구조물 영상을 질의 영상으로 수신하고, 결함 정보를 제2 단말에 전송할 수 있다. 전술한 바와 같이 제1 단말과 제2 단말은 동일한 단말일 수도 있으나, 서로 상이한 단말일 수 있으며, 본 발명의 통신부(210)는 데이터 송수신 프로토콜 및 통신 방식에 의해 제한되지 아니한다. 질의 영상은 복수개의 프레임으로 이루어진 동영상일 수 있으며, 콘크리트 구조물을 촬영한 단일 또는 복수의 2차원/3차원 이미지일 수 있다. 또한 질의 영상은 콘크리트 구조물의 일부 또는 전체를 촬영한 것일 수 있다. 질의 영상이 동영상인 경우, 질의 영상은 이미지 처리부(230)로 전송되어 복수의 프레임을 이용하여 생성된 단일 이미지로 변환될 수 있다.
이미지 처리부(230)는 하나 이상의 제1 단말로부터 수신한 콘크리트 구조물 영상에서 복수개의 이미지를 추출하고, 복수개의 이미지를 접합하여 콘크리트 구조물의 전개 이미지를 생성한다. 이미지 처리부(230)는 통신부(210)가 수신한 질의 영상이 동영상이거나 복수개의 이미지인 경우, 동영상 또는 복수개의 이미지를 이용하여 단일 이미지를 생성할 수 있다. 따라서 만약 질의 영상이 2차원 단일 이미지라면, 통신부(210)는 수신한 단일 이미지를 이미지 처리부(230)로 전달하지 않고, 바로 결함 영역 추출부(250)로 전달할 수 있다.
예를 들어, 콘크리트 교각의 결함을 분석하기 위하여 드론이 공중에서 콘크리트 교각을 촬영하고, 지상에서 스캐닝 장비를 이용하여 콘크리트 교각의 일부를 촬영하여 서버(200)로 전송하였다고 가정하자. 이미지 처리부(230)는 드론으로부터 수신한 촬영 영상과 스캐닝 장비로부터 수신한 촬영 영상에서 교각의 전개 이미지 생성을 위해 필요한 프레임을 추출할 수 있다. 그리고 추출한 프레임을 접합하여 교각의 전개 이미지를 생성할 수 있다. 또 다른 실시 예로 도 9에 도시된 바와 같이, 이미지 처리부(230)는 고화질 디지털 카메라로 촬영한 다수의 구조물 촬영 영상(A) 을 보정, 편집, 접합하여 원화상전개도(B)를 생성할 수 있다.
보다 자세하게, 이미지 처리부(230)는 다수의 촬영 영상을 수신하면, 영상을 보정하고, 보정된 영상을 정합하여 영상을 편집하고, 이미지를 추출하여 추출된 이미지를 접합하는 방식으로 원화상전개도를 생성할 수 있다. 이미지 처리부(230)는 다수의 영상의 시점과 종점 프레임을 동기화한 후에 이미지로 추출할 수 있다.
동영상을 이용하여 원화상전개도를 생성하는 경우, 이미지 처리부(230)는 동영상의 프레임을 동기화하고, 원본영상(a)의 명도와 색상을 조정하고(b), 영상의 왜곡을 보정(c)한 후, 동영상을 자르고(d) 이미지를 추출하여 파일을 분할하고, 이미지를 접합하여 원화상전개도를 생성할 수 있다. 이미지 처리부(230)는 동영상 촬영 차량의 속도에 따라 화상의 번짐과 시간 간격이 다르므로, 접합된 영상을 최대한 좁은 범위로 잘라낸 후 많은 수의 이미지를 추출할 수 있다. 또한 영상에서 최대한 카메라 왜곡이 없는 부분을 잘라낸 후 추출한 이미지를 특징점 매칭을 통해 자동으로 최종 이미지 형태로 접합할 수 있다. 특징점 매칭은 다중 영상간 공통된 특징점을 특징 연산자, 예를 들어, SIFT, SURF, ORB 등을 이용하여 추출하거나, 이미지 상의 특징점 간 특징량의 유사성을 비교하여 연결된 이미지를 합성하는 식으로 이루어질 수 있다.
상술한 영상 정합 시, 이미지 처리부(230)는 각각의 프레임에서 이미지 특징점을 검출하고, 특징점을 매칭하는 방식으로 영상을 정합할 수 있는데, 본 발명의 일 실시 예에서 이러한 영상 처리는 병렬 컴퓨팅의 고속화 알고리즘을 활용하는 클라우드 컴퓨팅 특성을 활용하여 보다 빠르게 처리될 수 있다.
이미지 처리부(230)는 생성된 전개 이미지를 결함 영역 추출부(250)로 전달하여, 결함 영역 추출부(250)가 전개 이미지에서 결함 영역을 추출할 수 있도록 한다.
결함 영역 추출부(250)는 질의 영상을 기 학습된 결함 영역 검출 모델에 적용하여, 질의 영상에서 균열 또는 결함이 존재할 것으로 추정되는 하나 이상의 결함 영역을 추출할 수 있다. 만일 결함 영역 추출부(250)에 입력된 영상이 이미지 처리부(230)에서 복수개의 이미지를 접합하여 생성된 전개 이미지인 경우, 결함 영역 추출부(250)는 전개 이미지를 결함 영역 검출 모델에 적용할 수 있다.
결함 영역 추출부(250)의 결함 영역 검출 모델은 복수의 콘크리트 구조물 이미지, 콘크리트 구조물 이미지 내에 균열 또는 결함이 발생된 부분을 포함하는 바운딩 박스, 및 바운딩 박스의 특성을 나타내는 레이블을 데이터 세트로 하여 학습될 수 있다. 데이터 세트는 학습용 데이터와 수렴 확인 및 정확도 성능 평가를 위한 검증용 데이터로 구분된다. 후술하겠지만, 본 발명의 일 실시 예에 따른 결함 영역 검출 모델은 각 기능에 따른 다수의 신경망을 포함하나, 위의 데이터 세트로 전체 모델이 일괄 학습될 수 있다.
보다 자세하게, 본 발명의 일 실시 예에 따른 결함 영역 검출 모델은 질의 영상 내의 특징들에 대한 특징 지도(feature map)을 만들어내는 합성곱 신경망(Convolution Neural Network), 특징 지도에서 제안 영역을 추출하는 영역 제안망(Region Proposal Network), 및 특징 지도에서 제안 영역에 해당하는 영역의 특징을 추출하는 관심 영역 통합층(RoI Pooling layer)을 포함할 수 있다.
본 발명의 결함 영역 검출 모델의 일 구조를 도시한 도 6을 참조하면, 결함 영역 추출부(250)는 특징 추출부(253), 영역 제안부(255), 분류부(257)를 포함할 수 있다.
특징 추출부(253)에서, 질의 영상(11)은 결함 영역 검출 모델의 합성곱 신경망(CNN: Convolution Neural Network, 13)에 입력되며, 합성곱 신경망(13)은 입력된 질의 영상(11)의 특징을 추출하여 질의 영상 내의 특징들에 대한 특징 지도(feature map, 15)을 만들어낼 수 있다. 특징 지도(또는 특징 맵)은 합성곱 신경망에서 각 객체(균열 또는 결함)의 클래스를 분류하기 직전의 형태로, 클래스 분류를 위한 특징이 표현된 단계를 의미한다.
합성곱 신경망(13)은 여러개의 합성곱 계층(Convolution layer), 여러 개의 서브 샘플링 계층(Subsampling layer)을 포함할 수 있다. 합성곱 계층은 입력 영상에 대해 합성곱(convolution)을 수행하는 계층이며, 서브샘플링 계층은 입력 영상에 대해 지역적으로 최대값을 추출하여 2차원 영상에 매핑하는 계층으로, 국소적인 영역을 더 크게하고 서브샘플링을 수행할 수 있다.
특징 추출부(253)에서 만들어진 특징 지도(15)는 영역 제안부(255)의 영역 제안망(Region Proposal Network, 23)으로 입력된다. 영역 제안망(23)은 특징 지도에서 제안 영역을 추출하는 네트워크로, 합성곱 신경망(13)의 마지막 계층(layer)에서 3 x 3 슬라이딩 윈도우가 특징 지도(15)를 가로질러 이동하여 이를 더 낮은 차원으로 매핑하는데, 슬라이딩 윈도우 위치마다 k개의 고정 비율 앵커(anchor)를 기반으로 여러 개의 가능한 영역을 생성한다(이를 ‘바운딩 박스’라 한다).
영역 제안망(23)은 각 바운딩 박스에 객체(균열 또는 결함)가 포함되어 있는지 여부와, 해당 바운딩 박스의 좌표가 무엇인지를 출력할 수 있다. 즉, 영역 제안망(23)은 특징 지도 내에서 객체의 존재 가능성이 높은 영역을 제안하며, 바운딩 박스의 “객체성”점수가 특정 임계값보다 높으면 해당 바운딩 박스의 좌표가 객체 후보 영역으로 제안될 수 있으며, 이러한 복수의 객체 후보 영역을 포함하는 영역 제안망(23)의 결과물을 영역 제안(region proposal, 25)이라 한다.
분류부(157)는 관심 영역 통합층(RoI Pooling layer, 31)을 이용하여, 특징 지도(15)에서 각 객체 후보 영역 대응되는 특징을 추출한다(33)
관심 영역 통합층(31)이 추출하는 특징은 객체를 판별하기 위하여 정규화된 특징으로, 관심 영역 통합층(31)은 영역제안망(23)을 통해 제안된 다양한 크기의 객체 후보 영역을 일정한 크기의 완전 연결 계층(Fully-Connected layer, 35)에 입력하기 위해 다운 샘플링(down sampling)한다.
관심 영역 통합층(31)에서 추출된 객체 후보 영역의 특징은 완전 연결 계층(35)에서 균열/비균열, 결함(누수, 부식 등)/비결함 등으로 분류될 수 있다.
본 발명의 결함 영역 검출 모델은 복수의 콘크리트 표면 이미지, 콘크리트 표면 이미지 내에 균열 또는 결함이 발생된 부분을 포함하는 바운딩 박스, 및 바운딩 박스의 특성을 나타내는 레이블(균열, 비균열, 결함, 비결함, 누수, 부식 등)을 이용한 종단간 학습(end-to-end training)이 가능하다. 즉, 심층 신경망인 결함 영역 검출 모델을 학습시킴에 있어서, 각 기능에 따른 다수의 신경망 학습을 대체하여 전체 네트워크를 일괄 학습시킬 수 있어, 메모리 부하를 최소화할 수 있다.
나아가, 본 발명의 결함 영역 검출 모델은 합성공 신경망(CNN)만을 이용하여 콘크리트 표면에 발생한 균열을 검출하는 종래의 방식보다 결함 인식 처리 속도를 크게 향상시킬 수 있으며, 콘크리트 구조물의 균열 결함 이외에도 박리, 탈락, 누수, 철근노출 등 다양한 유형의 결함 및 손상에도 적용 가능하다는 장점이 있다.
본 발명의 일 실시 예에 따른 결함 영역 검출 모델은 콘크리트 구조물의 균열 결함을 최적으로 인식하도록 하기 위하여, 미니배치 경사하강법(MBGD, Mini Batch Gradient Descent)를 이용하여 학습될 수 있다. 미니배치 경사하강법은 일정 크기의 데이터 세트를 무작위로 뽑아내어 학습하는 경사 하강법(gradient descent)의 일종으로, 연산 비용과 학습 효과를 적절히 안배할 수 있다는 특징이 있다. 경사 하강법은 설정 오차함수가 작아지는 방향으로 변수를 조정하는 최적화 기법으로, 학습시 신경망의 가중치 갱신에 사용된다.
결함 영역 추출부(250)가 질의 영상에서 결함 영역을 추출하고, 각 결함 영역의 결함의 종류를 식별하면, 추출된 결함 영역은 결함 정보 생성부(270)로 전달된다.
결함 정보 생성부(270)는 결함 영역에서 균열 또는 결함이 발생된 부분을 픽셀 단위로 식별하여 결함 정보를 생성한다. 결함 정보는 본 발명의 결함 영역 추출부(250)에서 추출된 결함 영역을 대상으로, 결함 영역에 대응되는 이미지(영상)으로부터 균열 또는 결함이 발생된 부분을 픽셀 단위로 식별하여 분석된 균열 또는 결함의 방향, 폭, 길이, 면적, 위치 등의 정보를 포함한다.
예를 들어, 균열의 경우 어둡고 얇고 긴 선의 형태로 나타나는 특징이 있으므로, 결함 정보 생성부(270)는 영상 처리 기술을 이용하여 결함 영역으로 추출된 이미지에서 픽셀단위로 균열 부위를 구분함으로써 빠른 속도록 균열 부위를 추출해내고, 균열 부분의 픽셀을 분석하여 균열 정보를 생성할 수 있다.
결함 정보는 결함 객체가 결합 표시된 질의 영상(출력 이미지), 외관조사망도와 균열/결함 결함 데이터(집계표)의 형태를 가질 수 있으며, 질의 영상에 대한 정성적 및/또는 정성적 분석 결과를 제공한다. 이에 대해서는 도 8 내지 도 10을 참조하여 보다 자세하게 후술하기로 한다.
보다 구체적으로, 도 3을 참조하면, 본 발명의 일 실시 예에 따른 결함 정보 생성부(270)는 전처리부(271), 이진화부(273), 모폴로지부(275), 노이즈 제거부(277), 분석부(279)를 포함할 수 있다.
전처리부(271)는 결함영역 추출부(250)에서 추출된 결함 영역(38)을 대상으로 디지털 영상처리 기법을 이용하여 영상의 품질을 개선하여 전처리된 결함 영역(40)을 생성할 수 있다. 전처리 기법의 일 예로는 명도 히스토그램 평활화, 샤프닝 기법 등이 사용될 수 있다.
명도 히스토그램 평활화 기법은 대상 이미지의 명도 값의 누적 빈도를 정규화 하여 명도 값을 재설정하는 것으로, 명암분포를 균일하게 보정하여 결함의 가시성을 높일 수 있다.
샤프닝 기법은 고주파에 해당하는 상세한 부분을 강조하여 영상의 선명도를 높이는 영상 처리 기법으로 결함 정보 생성 성능을 향상시킬 수 있다. 샤프닝 기법에서는 기 설정된 샤프닝 커널을 컨볼루션 연산하는 것으로 균열 결함 영역(38)에서 결함으로 판단되는 객체의 윤곽을 강조할 수 있다.
이진화부(273)는 결함 영역(38)에 포함된 픽셀값을 기 설정된 기준치와 비교하고, 비교 결과에 따라 픽셀값을 기 설정된 이진값 중 어느 하나에 맵핑함으로써, 결함 영역 이미지를 이진화 할 수 있다. 만약 결함 영역(38)이 전처리부(271)에서 품질 개선을 위해 영상처리 된 경우, 이진화부(273)는 전처리된 균영 결함 영역(40)의 이미지를 입력값으로 하여 이진화를 수행할 수 있다. 즉, 본 명세서에서의 결함 정보 생성부의 각 구성이 수행하는 실시 예는 결함 영역(38) 또는 전처리된 결함 영역(40) 모두에 적용 가능한 것으로 이해될 수 있다.
예를 들어, 전술한 도 6의 실시 예에서 결함 영역 추출부(250)는 균열이 발생된 것으로 추정되는 결함 영역(38)을 붉은색 박스와 같이 추출 및 추천한 바 있다. 결함 정보 생성부(270)는 균열 결함 영역(38) 또는 전처리된 균열 결함 영역(40)의 각 픽셀값을 미리 설정된 기준치와 비교할 수 있다. 어둡고 얇고 긴 선의 특징을 갖는 균열 결함의 특성을 고려할 때, 기준치는 픽셀의 밝기를 두 그룹으로 분류할 수 있는 특정한 명도값일 수 있다. 이진화부(273)는 픽셀의 밝기가 기준치보다 어두우면 해당 픽셀값을 1에 맵핑하고, 픽셀의 밝기가 기준치보다 밝으면 해당 픽셀값을 0에 맵핑하는 식으로 결함 영역 이미지를 이진화할 수 있다. 도 7에는 이진화된 균열 결함 영역(42)의 일 예가 도시되어 있다.
모폴로지부(275)는 이진화된 이미지를 모폴로지 연산 처리할 수 있다. 모폴로지 연산 처리는 영상을 형태학적인 측면에서 다루는 것으로, 이진 영상의 침식(erosion) 연산, 이진 영상의 팽창(dilation) 연산, 열기(opening) 연산, 닫기(closing) 연산을 포함한다.
침식 연산은 한 두 픽셀짜리 잡음을 제거하기 위한 것으로, 객체 영역(도 7의 예시에서의 균열 부위)를 얇게 줄이고 잡음을 제거하는 데 사용될 수 있다. 팽창 연산은 객체 내부의 홀을 채우기 위한 것으로, 객체 영역을 팽창시키는 데 사용될 수 있다.
열기 연산은 침식 연산 후 팽창 연산을 수행하는 것이며, 닫기 연산은 팽창 연산 후 침식 연산을 수행하는 것을 의미한다. 열기 연산은 잡음을 제거하는 데 사용될 수 있다. 예를 들어 도 7의 이진화된 이미지(42)에서 중앙의 가는 선 주변에 검은색을 띄는 점들이 다수 존재하는데, 이러한 점들은 균열의 형태를 띄고 있지 않아 노이즈에 해당할 가능성이 높다. 모폴로지부(275)는 상술한 연산을 수행하여 이미지 내에서 유의미한 객체가 부각될 수 있도록 한다.
노이즈 제거부(277)는 균열을 특정하고 모폴로지 연산 처리된 이미지에서 노이즈를 제거한다. 노이즈 제거는 다양한 방법으로 이루어질 수 있는데, 일 예로, 노이즈 제거부(277)는 객체의 길이 및/또는 면적이 기 설정된 값 미만이면 이를 노이즈로 인식하여 제거할 수 있다. 또 다른 실시 예로, 노이즈 제거부(277)는 간단한 신경망을 이용하여 노이즈를 분류할 수 있다. 그 결과 도 7의 (46)에 도시된 바와 같이 균열이 특정되고 노이즈가 제거된 균열 결함 이미지를 얻을 수 있다.
분석부(279)는 노이즈 제거부(277)에 의해 특정된 결함 객체((46)의 파란색 객체)를 이용하여 결함 영역에서 결함 객체에 대응되는 균열 또는 결함의 방향, 폭 또는 길이 중 적어도 하나를 측정하여 결함 정보를 생성할 수 있다. 예를 들어, 도 7에 도시된 결함 영역 이미지(40)에서, 파란색 선에 해당하는 부분만이 균열 결함 객체로 특정되었으므로, 분석부(279)는 균열 결함 객체에 대응되는 픽셀의 방향, 폭, 길이 등을 측정할 수 있다.
즉, 종래에는 전체 이미지에 CNN을 적용하여 슬라이딩 윈도우에 해당하는 영역의 결함/비결함 여부를 분류하였기 때문에 오랜 시간이 소요된 반면, 본 발명에 의하면, 빠른 속도로 결함이 존재하는 것으로 추정되는 영역만을 추출하고(결함 영역 추출) 추출된 영역만을 영상 처리하여 분석하게 되므로, 전체적으로 균열, 결함 추출의 속도 및 정확도가 크게 높아지는 효과가 있다.
저장부(290)는 다수의 단말로부터 수신되는 질의 영상, 이미지 처리부(230)에서 생성되는 콘크리트 구조물의 전개 이미지, 결함 영역 추출부(250)에서 생성되는 특징 지도, 결함 정보 생성부(270)에서 생성되는 결함 정보 등을 데이터베이스에 저장한다. 본 발명은 클라우드 컴퓨팅 기반으로 서비스가 제공되는 바, 저장부(290)는 서버(200)에 포함되지 않고 서버(200) 외부에 별도로 구축될 수 있다.
이하에서는 도 4 내지 도 5를 참조하여, 본 발명의 일 실시 예에 따른 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 방법을 설명한다.
도 4를 참조하면, 서버는 하나 이상의 제1 단말로부터 콘크리트 구조물 영상을 질의 영상으로 수신할 수 있다(S100). 서버는 수신한 하나 이상의 질의 영상에서 복수개의 이미지를 추출할 수 있으며, 복수개의 이미지를 접합하여 콘크리트 구조물의 전개 이미지를 생성할 수 있다(S200). 그리고 질의 영상을 기 학습된 결함 영역 검출 모델에 적용하여, 질의 영상에서 균열 또는 결함이 존재할 것으로 추정되는 하나 이상의 결함 영역을 추출한다(S300). 서버는 결함 영역을 추출하면, 결함 영역에서 균열 또는 결함이 발생된 부분을 픽셀 단위로 식별하여 결함 정보를 생성하고(S400), 결함 정보를 하나 이상의 제2 단말로 전송할 수 있다(S500). 서버는 단계 500에서 임의의 제2단말로부터 기 등록된 식별정보를 포함하는 결함 정보 요청을 수신하면, 결함 정보 요청에 대응되는 결함 정보를 제2 단말로 전송할 수 있으며, 결함 정보 요청의 수신 및 결함 정보의 전송은 웹을 통해 이루어질 수 있다.
예를 들어, 사용자 A가 웹을 통해 제공되는 콘크리트 구조물 결함 분석 서비스에 접속한 경우를 가정하자. 사용자 A는 서버에 기 등록된 ID와 패스워드를 통해 서버에 접속할 수 있으며, 서버에 분석 대상 영상을 업로드 할 수 있다(S100). 서버는 업로드된 분석 대상 영상을 단계 200 내지 단계 400을 거쳐 분석하고, 분석 대상 영상에 대한 결함 분석 결과를 서버가 이용하는 데이터베이스에 저장할 수 있다.
서버는 결함 정보의 생성이 완료되면, 푸시 알림을 통해 사용자 A에게 결함 정보의 생성 완료 사실을 통지할 수 있으며, 사용자 A는 인터넷을 통해 서비스 서버에 접속하여 결함 정보를 확인할 수 있다. 단계 500에서 서버는 사용자 A의 것으로 등록된 단말 B에 결함 정보 생성이 완료되면 이를 바로 전송할 수도 있다.
한편, 단계 400에서 서버는 단계 300에서 추출된 결함 영역을 대상으로 영상 품질 개선을 위한 전처리를 수행할 수 있다(S410). 예를 들어, 서버는 명도 히스토그램 평활화, 샤프닝 등을 수행함으로써, 결함 영역의 명암 분포를 균일하게 보정하여 결함의 가시성을 높이거나, 고주파에 해당하는 부분을 강조하여 영상의 선명도를 높일 수 있다. 단계 410은 필요에 따라 생략될 수 있다.
다음으로 서버는 결함 영역에 포함된 픽셀값을 기 설정된 기준치와 비교하고, 비교 결과에 따라 픽셀값을 기 설정된 이진값 중 어느 하나에 맵핑하여 이진화를 수행할 수 있다(S430). 단계 410을 수행한 경우 서버는 전처리된 이미지에 대해 이진화를 수행하며, 단계 410이 생략된 경우, 서버는 추출된 결함 영역 이미지에 대하여 이진화를 수행할 수 있다.
다음으로 서버는 이진화된 이미지를 모폴로지 연산 처리할 수 있다(S450). 서버는 모폴로지 연산 처리된 이미지에서 노이즈를 제거하여 결함 객체를 특정하며(S470), 결함 영역에서 결함 객체에 대응되는 균열 또는 결함의 방향, 폭 또는 길이 중 적어도 하나를 측정하여 결함 정보를 생성할 수 있다(S490).
이하에서는 도 8 내지 도 10을 참조하여, 본 발명의 콘크리트 구조물 결함 분석 서비스에 입력되는 입력 데이터 및 결함 분석 결과로 출력되는 출력 데이터의 일 실시 예를 설명한다.
도 8을 참조하면, 본 발명의 일 실시 예에 의한 콘크리트 구조물 결함 분석 서비스 제공 서버(200)로 도 8의 1000과 같은 분석 대상 영상이 입력될 수 있다. 분석 대상 영상은 단일 이미지일 수 있으며, 복수의 이미지 및/또는 복수의 연속되는 이미지 프레임을 포함하는 동영상일 수 있다. 서버(200)는 분석 대상 영상(1000)을 입력받으면, 전술한 콘크리트 구조물 결함 분석에 따라 분석 대상 영상(100)의 분석 결과(1200, 1400, 1600)를 출력할 수 있다. 분석 결과(1200, 1400, 1600)는 기 등록된 단말 또는 분석 대상 영상(1000)을 전송한 단말로 전송될 수 있다.
도 8에 도시된 분석 결과 1(1200)은 복수의 이미지를 포함하는 분석 대상 영상이 서버(200)에서 콘크리트 구조물 전체를 나타내는 단일 이미지로 접합되어, 접합된 단일 이미지를 기반으로 생성된 결함 정보 출력 이미지의 일 예이다.
분석 결과 1(1200)을 확대 표시한 도 10을 참조하면, 콘크리트 구조물 이미지를 포함하는 분석 결과 1(1200)에서 균열 결함 객체는 각각 하늘색(0.1mm 미만), 초록색(0.1mm~0.2mm), 파란색(0.2mm~0.3), 노란색(0.3mm~0.5mm), 빨간색(0.5mm 이상)으로 표시되어 있으며, 균열 보수는 점선으로 표시될 수 있다. 균열 결함 객체의 표시 범위, 표시 색상 등이 설정에 따라 달라질 수 있음은 통상의 기술자에게 자명한 사항이다. 한편, 분석 결과 1(1200)의 범례에 표시된 바와 같이, 분석 결과에는 철근 노출, 재료 분리, 누수, 백태, 박락, 박리, 보수부위, 망상균열, 결로가 영역 또는 면으로 표시될 수 있다.
분석 결과 2(1400)는 분석 대상 영상에 대한 결함 정보를 포함하는 외관 조사망도의 일 예이다. 외관 조사망도는 점검 또는 진단시 조사된 결함의 종류 및 위치를 설계도면 및/또는 약식 도면에 알기 쉽게 표기한 것이다. 외관 조사망도(1400)에는 건축물의 안전점검 및 정밀안전진단 세부지침 등을 통해 표준화된 기호, 문자 등이 사용될 수 있다.
분석 결과 3(1600)은 분석 대상 영상의 분석 결과에 따른 결함 데이터를 정량적으로 표시한 집계표로, 아래의 [표 1]과 같이 결함 분석 결과를 제공할 수 있다. 집계표(1600)에는 균열, 누수, 파손 및 결함, 재질열화, 배수 등 결함의 종류가 포함될 수 있으며, 각 종류 별 특성 정보가 포함될 수 있다. 예를 들어, 균열 결함의 경우 균열이 종방향인지, 횡방향인지, 사방향인지, 격자형인지에 따른 결함 등급 별 균열 개수가 표시될 수 있으며, 누수 결함의 경우, 천장 누수인지, 벽체 누수인지, 바닥 누수인지 시공이음누수인지 등과 같은 누수의 종류가 표시될 수 있다.
결함 등급은 미리 설정된 기준에 따라 분류될 수 있으며, 두께, 길이, 면적 등이 기준 지표로 사용될 수 있다.
Figure 112018070726926-pat00001
본 발명의 일 실시 예에 의한 콘크리트 구조물 결함 분석 서비스는 클라우드 컴퓨팅 기반, 웹을 통해 제공되기 때문에 사용자는 동 서비스를 이용하기 위해 응용프로그램을 별도로 구매하거나 설치할 필요가 없다. 또한 본 발명에 의하면, 수집되는 질의 영상을 학습데이터로 하여 결함 영역 검출 모델의 신뢰도가 계속해서 높아지게 되므로, 0.2mm 이하의 매우 높은 정밀도로 균열 폭 등을 계산할 수 있으며, 콘크리트 구조물 영상 업로드시, 영상에서 균열 또는 결함을 추출하여 분석하기까지 10여분 내외의 매우 짧은 시간이 소요되는바, 사용자 측면에서 거의 실시간으로 서비스를 이용할 수 있다는 장점이 있다.
서버는 결함 정보의 생성 및 제공에 따라 단말에 서비스 이용료를 부과할 수 있다.
본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100: 단말
200: 서버

Claims (10)

  1. 서버가 클라우드 기반의 콘크리트 구조물 결함 분석 서비스를 제공하는 방법에 있어서,
    복수개의 단말이 촬영한 콘크리트 구조물 영상을 질의 영상으로 수신하는 단계;
    상기 질의 영상에서 복수개의 이미지를 추출하는 단계;
    상기 복수개의 이미지에서 카메라 왜곡이 없는 부분을 잘라낸 후, 공통된 특징점을 추출하고, 상기 특징점 간 특징량의 유사성을 비교하여 상기 복수개의 이미지를 접합함으로써 상기 콘크리트 구조물의 전개 이미지를 생성하는 단계;
    상기 전개 이미지를 기 학습된 결함 영역 검출 모델에 적용하여, 상기 질의 영상에서 균열 또는 결함이 존재할 것으로 추정되는 하나 이상의 결함 영역을 추출하는 단계;
    상기 결함 영역에서 균열 또는 결함이 발생된 부분을 픽셀 단위로 식별하여 결함 정보를 생성하는 단계;
    상기 결함 정보를 상기 전개 이미지 상에 표시한 결함 정보 출력 이미지, 상기 결함 정보를 포함하는 외관 조사망도, 상기 전개 이미지에 포함된 결함의 종류, 상기 종류 별 특성 정보 및 상기 결함의 등급 별 개수를 포함하는 집계표를 포함하는 분석 결과를 하나 이상의 단말로 전송하는 단계를 포함하며,
    상기 결함 영역 검출 모델은 복수의 콘크리트 구조물 이미지, 상기 콘크리트 구조물 이미지 내에 균열 또는 결함이 발생된 부분을 포함하는 바운딩 박스, 및 상기 바운딩 박스의 특성을 나타내는 레이블을 이용하여 학습되는 것을 특징으로 하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 결함 영역 검출 모델은
    상기 질의 영상 내의 특징들에 대한 특징 지도(feature map)을 만들어내는 합성곱 신경망(Convolution Neural Network); 상기 특징 지도에서 객체 후보 영역을 식별하는 영역 제안망(Region Proposal Network); 및 상기 특징 지도에서 상기 객체 후보 영역 의 특징을 추출하는 관심 영역 통합층(RoI Pooling layer); 상기 추출된 객체 후보 영역의 특징을 분류하는 완전 연결 계층(Fully-Connected layer)을 포함하여, 상기 질의 영상에서 결함 영역을 추출하고, 상기 결함 영역에 포함된 객체의 결함 종류를 식별하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 결함 정보를 생성하는 단계는
    상기 결함 영역에 포함된 픽셀값을 기 설정된 기준치와 비교하고, 비교 결과에 따라 상기 픽셀값을 기 설정된 이진값 중 어느 하나에 맵핑하는 이진화 단계;
    상기 이진화된 이미지를 모폴로지 연산 처리하는 모폴로지 단계;
    상기 모폴로지 연산 처리된 이미지에서 노이즈를 제거하여 결함 객체를 특정하는 노이즈 제거 단계;
    상기 결함 영역에서 상기 결함 객체에 대응되는 균열 또는 결함의 방향, 폭 또는 길이 중 적어도 하나를 측정하여 결함 정보를 생성하는 단계를 포함하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 단말은 카메라 모듈을 포함하는 단말인 것을 특징으로 하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 방법.
  6. 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 시스템에 있어서,
    콘크리트 구조물 영상을 수집하여 서버로 전송하는 복수개의 단말;
    상기 복수개의 단말로부터 상기 콘크리트 구조물 영상을 질의 영상으로 수신하면, 상기 질의 영상을 분석하여 분석 결과를 생성하는 서버를 포함하며,
    상기 서버는
    상기 복수개의 단말로부터 상기 질의 영상을 수신하고, 상기 분석 결과를 복수개의 단말에 전송하는 통신부;
    상기 질의 영상에서 복수개의 이미지를 추출하고, 상기 복수개의 이미지에서 카메라 왜곡이 없는 부분을 잘라낸 후 공통된 특징점을 추출하고, 상기 특징점 간 특징량의 유사성을 비교하여 상기 복수개의 이미지를 접합하며, 상기 복수개의 이미지 접합을 통해 상기 콘크리트 구조물의 전개 이미지를 생성하는 이미지 처리부;
    상기 전개 이미지를 기 학습된 결함 영역 검출 모델에 적용하여, 상기 질의 영상에서 균열 또는 결함이 존재할 것으로 추정되는 하나 이상의 결함 영역을 추출하는 결함 영역 추출부;
    상기 결함 영역에서 균열 또는 결함이 발생된 부분을 픽셀 단위로 식별하여 결함 정보를 생성하고, 상기 결함 정보를 상기 전개 이미지 상에 표시한 결함 정보 출력 이미지, 상기 결함 정보를 포함하는 외관 조사망도, 상기 전개 이미지에 포함된 결함의 종류, 상기 종류 별 특성 정보 및 상기 결함의 등급 별 개수를 포함하는 집계표를 포함하는 상기 분석 결과를 생성하는 결함 정보 생성부를 포함하며,
    상기 결함 영역 검출 모델은 복수의 콘크리트 표면 이미지, 상기 콘크리트 표면 이미지 내에 균열 또는 결함이 발생된 부분을 포함하는 바운딩 박스, 및 상기 바운딩 박스의 특성을 나타내는 레이블을 이용하여 학습되는 것을 특징으로 하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 시스템.
  7. 제6항에 있어서,
    상기 결함 영역 검출 모델은
    상기 질의 영상 내의 특징들에 대한 특징 지도(feature map)을 만들어내는 합성곱 신경망(Convolution Neural Network); 상기 특징 지도에서 객체 후보 영역을 식별하는 영역 제안망(Region Proposal Network); 및 상기 특징 지도에서 상기 객체 후보 영역 의 특징을 추출하는 관심 영역 통합층(RoI Pooling layer); 상기 추출된 객체 후보 영역의 특징을 분류하는 완전 연결 계층(Fully-Connected layer)을 포함하여, 상기 질의 영상에서 결함 영역을 추출하고, 상기 결함 영역에 포함된 객체의 결함 종류를 식별하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 시스템.
  8. 제6항에 있어서,
    상기 결함 정보 생성부는
    상기 결함 영역에 포함된 픽셀값을 기 설정된 기준치와 비교하고, 비교 결과에 따라 상기 픽셀값을 기 설정된 이진값 중 어느 하나에 맵핑하는 이진화부;
    상기 이진화된 이미지를 모폴로지 연산 처리하는 모폴로지부;
    상기 모폴로지 연산 처리된 이미지에서 노이즈를 제거하여 결함 객체를 특정하는 노이즈 제거부;
    상기 결함 영역에서 상기 결함 객체에 대응되는 균열 또는 결함의 방향, 폭 또는 길이 중 적어도 하나를 측정하여 결함 정보를 생성하는 분석부를 포함하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 시스템.
  9. 삭제
  10. 제6항에 있어서,
    상기 제1 단말은 카메라 모듈을 포함하는 것을 특징으로 하는 클라우드 기반의 콘크리트 구조물 결함 분석 서비스 제공 시스템.
KR1020180083221A 2018-07-18 2018-07-18 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램 KR102121958B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180083221A KR102121958B1 (ko) 2018-07-18 2018-07-18 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180083221A KR102121958B1 (ko) 2018-07-18 2018-07-18 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20200013148A KR20200013148A (ko) 2020-02-06
KR102121958B1 true KR102121958B1 (ko) 2020-06-11

Family

ID=69569268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180083221A KR102121958B1 (ko) 2018-07-18 2018-07-18 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102121958B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254773B1 (ko) 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
KR20220043340A (ko) 2020-09-29 2022-04-05 아주대학교산학협력단 건물 하자 이미지 생성 장치 및 방법
KR20220042916A (ko) * 2020-09-28 2022-04-05 (주)미래융합정보기술 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
KR20220138950A (ko) 2021-04-07 2022-10-14 포항공과대학교 산학협력단 위상 기반 진동 분석 방법 및 장치
KR102456987B1 (ko) * 2022-03-15 2022-10-20 디엘이앤씨 주식회사 건물 외벽의 균열을 탐지하는 방법
KR102539543B1 (ko) * 2022-09-27 2023-06-02 유세영 학교시설 하자관리 시스템
KR102559586B1 (ko) * 2022-10-17 2023-07-26 (주)유디엔에스 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
KR102647135B1 (ko) * 2022-10-31 2024-03-15 이관훈 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102162028B1 (ko) * 2020-04-07 2020-10-06 (재)한국건설품질연구원 Ai를 이용한 손상탐지 시스템
CN111724358A (zh) * 2020-06-11 2020-09-29 华中科技大学 基于图像和卷积神经网络的混凝土质量检测方法及系统
KR102208008B1 (ko) * 2020-07-17 2021-01-28 박헌우 드론을 이용한 시공 방법
KR102227756B1 (ko) * 2020-12-07 2021-03-15 박봉진 구조물 손상판단 서비스 시스템 및 서비스 제공방법
KR102366840B1 (ko) * 2021-02-08 2022-02-24 (주)아이언박스 건설 감리 서비스 제공을 위한 클라우드 플랫폼 시스템 기반의 인공지능 건설 객체 검출 방법 및 시스템
KR102293525B1 (ko) * 2021-03-31 2021-08-26 유씨아이테크 주식회사 구조물 유지관리용 3d 스캐닝 장비
CN113096089B (zh) * 2021-04-07 2022-05-13 浙江大学 一种基于持续深度学习的混凝土结构检测方法
KR102355997B1 (ko) * 2021-05-17 2022-02-08 주식회사 한국건설 방재연구원 스마트글래스 기반의 콘크리트 구조물 건전도 모니터링 방법
KR102713576B1 (ko) 2021-10-19 2024-10-10 세종대학교산학협력단 이미지 데이터를 활용한 조적조 건축물의 하이브리드 손상평가 시스템 및 그 방법
KR102666787B1 (ko) * 2021-11-03 2024-05-17 (주)플레이오니 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
KR102486225B1 (ko) * 2021-11-24 2023-01-12 주식회사 케이엠티엘 균열진단장치를 구비한 등벽드론 및 이를 이용한 시설물 외관조사방법
KR102465284B1 (ko) * 2022-04-13 2022-11-11 주식회사 디와이스코프코리아 모바일 단말 기반의 구조물 균열 검출 방법, 장치 및 시스템
KR102525491B1 (ko) * 2022-08-11 2023-04-25 주식회사 한국 종합엔지니어링 구조물 손상검출 보고서 제공 방법
KR20240050012A (ko) * 2022-10-11 2024-04-18 주식회사 에프디 교각 구동장치를 이용한 ai 균열 검출방법
KR102565689B1 (ko) * 2022-10-12 2023-08-09 부경대학교 산학협력단 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치
KR102539835B1 (ko) * 2023-01-10 2023-06-02 (재) 한국건설품질연구원 3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템
KR102597860B1 (ko) * 2023-02-13 2023-11-02 동국대학교 와이즈캠퍼스 산학협력단 인공지능 기술을 이용한 문화재 점검 장치 및 방법
JP2024132070A (ja) * 2023-03-17 2024-09-30 株式会社リコー 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN116797407B (zh) * 2023-08-21 2023-11-03 北京华邑建设集团有限公司 一种室外建筑场地施工管理方法及系统
KR102691046B1 (ko) * 2023-11-13 2024-08-05 에이존테크 주식회사 시설물 관리를 위한 안전관리 플랫폼 기반 관제시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012152A (ja) * 2002-06-03 2004-01-15 Asia Air Survey Co Ltd 構造物の壁面調査装置
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100631095B1 (ko) * 2004-11-09 2006-10-04 학교법인 정석학원 지아이에스를 이용한 건축 구조물 정보 수집 및 관리 시스템
US10380741B2 (en) * 2016-12-07 2019-08-13 Samsung Electronics Co., Ltd System and method for a deep learning machine for object detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012152A (ja) * 2002-06-03 2004-01-15 Asia Air Survey Co Ltd 構造物の壁面調査装置
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254773B1 (ko) 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
KR20220042916A (ko) * 2020-09-28 2022-04-05 (주)미래융합정보기술 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
KR102579783B1 (ko) 2020-09-28 2023-09-18 (주)미래융합정보기술 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
KR20220043340A (ko) 2020-09-29 2022-04-05 아주대학교산학협력단 건물 하자 이미지 생성 장치 및 방법
KR20220138950A (ko) 2021-04-07 2022-10-14 포항공과대학교 산학협력단 위상 기반 진동 분석 방법 및 장치
KR102456987B1 (ko) * 2022-03-15 2022-10-20 디엘이앤씨 주식회사 건물 외벽의 균열을 탐지하는 방법
KR102539543B1 (ko) * 2022-09-27 2023-06-02 유세영 학교시설 하자관리 시스템
KR20240043660A (ko) * 2022-09-27 2024-04-03 유세영 시설 하자관리 시스템
KR102692882B1 (ko) 2022-09-27 2024-08-07 유세영 시설 하자관리 시스템
KR102559586B1 (ko) * 2022-10-17 2023-07-26 (주)유디엔에스 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
KR102647135B1 (ko) * 2022-10-31 2024-03-15 이관훈 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법

Also Published As

Publication number Publication date
KR20200013148A (ko) 2020-02-06

Similar Documents

Publication Publication Date Title
KR102121958B1 (ko) 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR102254773B1 (ko) 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
US11221107B2 (en) Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing
KR101926561B1 (ko) 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
US11361423B2 (en) Artificial intelligence-based process and system for visual inspection of infrastructure
JP2018185552A (ja) 画像解析装置および画像解析方法、ならびにプログラム
KR102185225B1 (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
KR102355997B1 (ko) 스마트글래스 기반의 콘크리트 구조물 건전도 모니터링 방법
CN112966665A (zh) 路面病害检测模型训练方法、装置和计算机设备
CN113240623B (zh) 一种路面病害检测方法及装置
CN110503637B (zh) 一种基于卷积神经网络的道路裂缝自动检测方法
KR102559586B1 (ko) 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
CN112967255A (zh) 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法
Crognale et al. Damage detection with image processing: A comparative study
JP2020038132A (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
Dadrasjavan et al. Automatic crack detection of road pavement based on aerial UAV imagery
Shatnawi Automatic pavement cracks detection using image processing techniques and neural network
Tayo et al. Portable crack width calculation of concrete road pavement using machine vision
Katsamenis et al. A few-shot attention recurrent residual U-Net for crack segmentation
CN116883831A (zh) 一种被遮挡的隧道表面裂缝识别方法
JP3572750B2 (ja) コンクリート欠陥の自動評価方法
Ashraf et al. Machine learning-based pavement crack detection, classification, and characterization: a review
CN110070520B (zh) 基于深度神经网络的路面裂缝检测模型构建及检测方法
Saini et al. Feature-based template matching for joggled fishplate detection in railroad track with drone images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right