KR102521825B1 - 포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템 - Google Patents

포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템 Download PDF

Info

Publication number
KR102521825B1
KR102521825B1 KR1020220098844A KR20220098844A KR102521825B1 KR 102521825 B1 KR102521825 B1 KR 102521825B1 KR 1020220098844 A KR1020220098844 A KR 1020220098844A KR 20220098844 A KR20220098844 A KR 20220098844A KR 102521825 B1 KR102521825 B1 KR 102521825B1
Authority
KR
South Korea
Prior art keywords
image
cloud server
user terminal
analysis result
point cloud
Prior art date
Application number
KR1020220098844A
Other languages
English (en)
Inventor
한명웅
박봉진
Original Assignee
주식회사 한국 종합엔지니어링
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한국 종합엔지니어링 filed Critical 주식회사 한국 종합엔지니어링
Priority to KR1020220098844A priority Critical patent/KR102521825B1/ko
Application granted granted Critical
Publication of KR102521825B1 publication Critical patent/KR102521825B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 이상영역 자동 판단 시스템은 구조물에 대한 포인트 클라우드 정보 및 구조물 영상을 획득하는 사용자 단말, 상기 사용자 단말로부터 상기 포인트 클라우드 정보를 수신하고, 상기 구조물에 대한 3차원 영상을 획득하고, 상기 3차원 영상을 제1 인공지능 모델에 입력하여 상기 구조물의 이상영역에 대한 분석결과를 출력하고, 상기 분석결과를 클라우드 서버로 송신하는 포인트 클라우드 서버, 상기 사용자 단말로부터 상기 구조물 영상을 수신하고, 상기 분석결과를 바탕으로 상기 구조물 영상에 대한 복수의 구조물 이미지를 획득하고, 상기 복수의 구조물 이미지를 제2 인공지능 모델에 입력하여 제1 후보 이미지를 획득하고, 상기 제1 후보 이미지를 기초로 최적 이미지를 생성하여 상기 구조물의 이상영역을 판단하는 클라우드 서버를 포함한다.

Description

포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템 {AUTOMATIC DETERMINATION SYSTEM FOR DETERMINATING ABNORMAL AREA OF STRUCTURE DAMAGE BASED ON POINT CLOUD}
본 발명은 포인트 클라우드를 이용한 구조물 손상판단 시스템의 이상영역 자동 판단 시스템에 관한 것이다.
또한, 본 발명은 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
최근 인공 지능 시스템을 콘크리트 구조물에 대한 결함을 검출하기 위한 서비스에 접목시키는 연구가 진행되고 있다.
선행문헌 1(공개특허 10-2020-0013148)을 보면, 콘크리트 구조물 영상에서 복수개의 이미지를 추출하고, 복수개의 이미지를 접합하여 콘크리트 구조물의 전개 이미지를 생성한다.
특히, 다수의 촬영 영상을 통해 영상을 보정하고, 보정된 영상을 정합하여 영상을 편집하고, 이미지를 추출하여 추출된 이미지를 접합하는 방식으로 원화상전개도를 생성한다.
다만, 선행문헌 1과 같은 종래의 기술에 따르면, 촬영 대상에 대한 원화상전개도를 생성함에 있어서, 비용 및 시간에 대한 낭비가 있어왔다.
선행문헌 2(등록특허 10-2227756)을 보면, 구조물 영상 내 이상영역에 대하여, 사용자 단말로부터 재생성 신호를 수신하는 경우에 한하여, 후보 이미지를 재획득한다. 선행문헌 2에 따르면, 사용자 단말(또는 사용자 단말의 사용자)가 후보 이미지가 손상 영역을 포함하고 있지 않음을 실수로 누락하게 되는 경우, 정확한 이상영역을 탐지하지 못한다는 문제점이 있다.
본 발명은 상술한 필요성에 따른 것으로, 포인트 클라우드 정보를 이용하여 효율적인 구조물 손상판단 시스템의 이상영역 판단방법을 제공하는 것을 목적으로 한다.
그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 이상영역 자동 판단 시스템은 구조물에 대한 포인트 클라우드 정보 및 구조물 영상을 획득하는 사용자 단말, 상기 사용자 단말로부터 상기 포인트 클라우드 정보를 수신하고, 상기 구조물에 대한 3차원 영상을 획득하고, 상기 3차원 영상을 제1 인공지능 모델에 입력하여 상기 구조물의 이상영역에 대한 분석결과를 출력하고, 상기 분석결과를 클라우드 서버로 송신하는 포인트 클라우드 서버, 상기 사용자 단말로부터 상기 구조물 영상을 수신하고, 상기 분석결과를 바탕으로 상기 구조물 영상에 대한 복수의 구조물 이미지를 획득하고, 상기 복수의 구조물 이미지를 제2 인공지능 모델에 입력하여 제1 후보 이미지를 획득하고, 상기 제1 후보 이미지를 기초로 최적 이미지를 생성하여 상기 구조물의 이상영역을 판단하는 클라우드 서버를 포함할 수 있다
이때, 상기 구조물 영상은 콘크리트 댐의 외관에 대한 동영상인 것을 특징으로 할 수 있다.
이때, 상기 클라우드 서버는, 기설정된 제1 시간간격마다 상기 구조물 영상을 캡쳐하여 상기 복수의 구조물 이미지를 획득하는 것을 특징으로 할 수 있다.
또한, 상기 클라우드 서버는, 상기 포인트 클라우드 서버로부터 수신한 분석결과가 제1 분석결과인 경우, 기설정된 제1 시간간격을 유지하고, 상기 제1 분석결과는 상기 3차원 영상에 이상영역을 기설정된 면적 이상 포함하는 것을 의미하는 것을 특징으로 할 수 있다.
또한, 상기 클라우드 서버는, 상기 포인트 클라우드 서버로부터 수신한 분석결과가 제2 분석결과인 경우 상기 최적 이미지를 상기 사용자 단말로 전송하고, 상기 사용자 단말로부터 재생성 명령 신호를 수신하면, 상기 제1 시간간격보다 짧은 제2 시간간격을 기초로 상기 복수의 구조물 이미지를 획득하고, 상기 제2 분석결과는 상기 3차원 영상에 이상영역을 1개 이상 기설정된 면적 미만의 영역 포함하는 것을 의미하는 것을 특징으로 할 수 있다.
또한, 상기 클라우드 서버는, 상기 포인트 클라우드 서버로부터 수신한 분석결과가 제3 분석결과인 경우 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 재추출하는 것을 특징으로 할 수 있다.
한편, 상기 클라우드 서버는, 상기 이상영역의 형태 및 상기 제1 후보 이미지 경계선 중 상기 이상영역을 포함하는 경계선에 인접한 패턴을 식별하고, 상기 형태 및 상기 패턴을 기초로 상기 제1 후보 이미지를 클러스터링하고, 상기 클러스터링된 제1 후보 이미지를 기초로 상기 이상영역이 상기 최적 이미지의 중앙부에 위치하도록 상기 최적 이미지를 생성하는 것을 특징으로 할 수 있다.
한편, 상기 클라우드 서버는, 사용자 단말의 서비스 이용 권한이 제1 등급으로 식별되면, 상기 최적 이미지를 상기 사용자 단말로 전송하는 것을 특징으로 할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.
상기한 바와 같이 이루어진 본 발명의 구조물 손상판단 시스템에 따르면, 종래에 구조물 손상 분석하는 인공지능 모델에 입력하기 위한 데이터(최적 이미지)를 선정하는 데에 있어서 소모되는 시간과 인적 자원 낭비를 줄일 수 있다는 효과가 있다. 이에 따라, 서비스의 이용 가격이 획기적으로 낮아질 수 있다.
나아가, 본 발명에 따르면, 포인트 클라우드 서버를 통한 1차적인 이상영역 판단을 수행함으로써, 최적 이미지에 대한 사용자 단말의 별도의 판단 없이도 구조물이 이상영역을 어느 정도로 포함하고 있는지에 대해서 미리 확인할 수 있고, 자동으로 정밀한 구조물 이미지를 재획득할 수 있다는 효과가 있다. 특히, 포인트 클라우드 서버로부터 구조물에 대한 이상영역이 있다고 판단된 경우라고 하여도, 클라우드 서버에서의 수행결과에 따라 추가적인 복수의 구조물 이미지를 재획득할 수 있도록 함으로써, 필요에 따라 더 높은 정확도로 이상영역을 탐지할 수 있다는 효과가 있다.
물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 구조물 손상판단 서비스를 제공하는 클라우드 기반 시스템을 설명하기 위한 시스템도이다.
도 2 내지 도 4에서는 클라우드 서버를 구현하기 위한 구성요소를 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 클라우드 기반 서비스 제공방법을 설명하기 위한 간단한 흐름도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 개시의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나 이는 본 개시의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 개시의 다양한 실시예에서, "포함하다." 또는 "가지다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 개시의 다양한 실시예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않으며, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 개시의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 개시에서, 인공 지능(artificial intelligence, AI)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미할 수 있고, 기계 학습(machine learning)은 인공지능 기술의 한 분야로서 컴퓨팅 장치가 데이터를 통해 학습하여 특정 대상 혹은 조건을 이해할 수 있게 하거나 데이터의 패턴을 찾아내 분류하는 기술적 방식으로써 컴퓨터가 데이터를 분석할 수 있게 하는 알고리즘일 수 있다. 본 발명에서 개시하는 기계 학습은 인공지능 모델을 학습하기 위한 동작 방법을 포함하는 의미로서 이해될 수 있다.
이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 구조물 손상판단 서비스를 제공하는 클라우드 기반 시스템을 설명하기 위한 시스템도이다.
도 1을 참조하면, 본 발명의 시스템(10)은 사용자 단말(100-1 내지 100-n), 클라우드 서버(200) 및 포인트 클라우드 분석서버(300)를 포함한다.
본 발명의 사용자 단말(100-1 내지 100-n)은 구조물 손상판단 서비스를 이용하기 위한 사용자에 대응하는 단말기일 수 있다. 도 1에서와 같이, 사용자 단말(100)은 복수의 사용자에 의해 각각 제어되는 복수의 단말기일 수 있다.
사용자 단말(100)은 콘크리트 댐 등 구조물에 대한 영상을 획득하고, 이를 기초로 클라우드 서버(200)로부터 손상판단에 대한 서비스를 제공받을 수 있다. 이때, 구조물의 손상은 크랙, 박리/박락, 누수, 백태, 철근노출 등을 포함할 수 있다.
선택적 실시예로, 사용자 단말(100)은 구조물에 대한 영상을 직접 촬영할 수도 있고, 드론과 같은 별도의 비행 촬영장치가 촬영한 영상을 획득할 수도 있다. 사용자 단말(100)은 획득한 구조물 영상을 클라우드 서버(200) 및/또는 포인트 클라우드 분석 서버(300)로 전송할 수 있다.
이때, 드론과 같은 비행 촬영장치는 라이다(LiDAR, Light Detection And Ranging) 센서를 포함하는 장비일 수 있다.
본 발명의 클라우드 서버(200)는 구조물 손상판단 서비스를 제공하기 위한 서버일 수 있다. 구체적으로, 클라우드 서버(200)는 사용자 단말(100)로부터 수신하는 구조물 영상을 분석하고, 이에 대한 분석 결과를 사용자 단말(100)로 제공하기 위한 웹 서비스를 운영하는 서버일 수 있다.
본 발명의 일 실시예에 따른 클라우드 서버(200)는 사용자 단말(100)의 클라우드 기반 서비스 이용 권한을 식별할 수 있다. 선택적 실시예에 따른 클라우드 서버(200)는 사용자 단말(100)의 이용 권한에 따라, 상이한 서비스를 제공할 수 있다.
예를 들어, 본 발명의 클라우드 서버(200)는 제1 사용자 단말(100-1)의 서비스 계정이 제1 등급 이용 권한인 것으로 식별하면, 제1 사용자 단말(100-1)에 제1 서비스를 제공한다.
구체적으로, 제1 서비스는 제1 사용자 단말(100-1)로부터 수신한 구조물 영상으로부터 최적 이미지(이하, 후보 이미지)를 생성하고, 제1 사용자 단말(100-1)로 후보 이미지를 전송하는 것일 수 있다. 이때, 후보 이미지는 구조물 영상에 포함된 이미지 중 손상된 것으로 의심되는 이상영역을 포함하는 이미지일 수 있다.
또 다른 예로, 본 발명의 클라우드 서버(200)는 제2 사용자 단말(100-2)의 서비스 계정이 제2 등급 이용 권한인 것으로 식별하면, 제2 사용자 단말(100-2)에 제2 서비스를 제공한다.
제2 서비스는 제2 사용자 단말(100-2)로부터 수신한 구조물 영상으로부터 후보 이미지를 생성하고, 후보 이미지를 기초로 손상 이미지를 생성한 후, 후보 이미지 및 손상 이미지를 제2 사용자 단말(100-2)로 전송하는 것일 수 있다. 이때, 손상 이미지는 후보 이미지에 포함된 이상영역에 대한 손상 정보를 포함하는 이미지일 수 있다.
한편, 선택적 실시예에 따른 클라우드 서버(200)는 사용자 단말(100)로부터의 서비스 이용료 결재여부를 기초로 서비스 이용 권한을 식별할 수 있다. 예를 들어, 클라우드 서버(200)는 제1 사용자 단말(100-1)이 무료 이용 중인 경우에 제1 등급으로 식별할 수 있고, 제2 사용자 단말(100-2)의 서비스 계정이 특정 서비스에 대한 서비스 이용료를 지불한 경우에 제2 등급으로 식별할 수 있다.
상술한 예시는 일예에 불과하고, 클라우드 서버(200)는 다양한 기준으로 이용 권한을 분류할 수 있고, 다양한 분류에 각각 대응하는 손상 판단 서비스를 제공할 수 있다.
본 발명의 일 실시예에 따른 포인트 클라우드 서버(300)는 사용자 단말(100)로부터 수신하는 포인트 클라우드 정보를 기초로 영상을 획득 및 분석하고, 이에 대한 분석 결과를 클라우드 서버(200)로 전송하는 서버일 수 있다.
구체적으로, 본 발명의 사용자 단말(100)은 드론과 같은 비행장치의 라이다 센서를 통한 포인트 클라우드(Point Cloud) 정보 및 구조물 영상을 획득할 할 수 있고, 포인트 클라우드 서버(300)로 전송할 수 있다.
이때, 포인트 클라우드 정보는 Lidar 센서, RGB-D센서 등으로 수집되는 데이터를 의미한다. 이러한 센서들은 아래 그림처럼 물체에 빛/신호를 보내서 돌아오는 시간을 기록하여 각　빛/신호 당 거리 정보를 계산하고, 하나의 포인트(점)을 생성한다. 포인트 클라우드 정보는 3차원 공간상에 퍼져 있는 여러 포인트(Point)의 집합(set cloud)를 의미한다.
본 발명의 일 실시예에 따른 포인트 클라우드 서버(300)는 상기 사용자 단말(100)을 통해 획득한 포인트 클라우드 정보를 반영하여 3차원 영상을 제작할 수 있고, 상기 3차원 영상과 구조물 영상을 기초로 2차원 평면형의 정사영상 제작할 수 있다. 이 경우, 후보 이미지 생성부(230)는 드론으로 촬영한 영상을 이용하여 3차원 영상제작의 과정없이 바로 2차원 평면형의 정사영상을 자동 제작할 수 있다.
본 발명의 또 다른 실시예에 따른 포인트 클라우드 서버(300)는 포인트 클라우드(Point Cloud) 정보를 기초로 구조물에 대한 3차원 영상을 획득할 수 있고, 3차원 영상을 분석하여 구조물의 이상영역 포함 여부를 판단하여 클라우드 서버(200)로 전송할 수 있다.
본 발명의 클라우드 서버(200) 및 포인트 클라우드 서버(300)는 각각 서로 다른 기능을 수행하는 복수개의 서버로 구분될 수 있으며, 이 구분은 물리적인 구분인 하드웨어로 구분되거나, 추상적인 구분인 소프트웨어로 구분될 수 있다.
예를 들어, 클라우드 서버(200)는 하나의 하드웨어를 통해 구현되는 것이 아니라 각각 별도의 기능을 수행하는 복수의 서버들이 하나의 서버군으로 운영되도록 구현될 수 있다
이하, 도 2 내지 도 4에서는 클라우드 서버를 구현하기 위한 구성요소를 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 클라우드 서버(200)는 통신부(210), 권한식별부(220), 후보 이미지 생성부(230) 및 손상 이미지 분석부(240)를 포함할 수 있다.
통신부(210)는 유무선 네트워크를 통해 사용자단말(100)과 데이터를 송수신하기 위한 통신 모듈을 포함한다. 통신부(210)는 제1 사용자 단말(100-1)로부터 콘크리트 구조물 영상을 수신하고, 결함 정보를 제2 사용자 단말(100-2)에 전송할 수 있다. 전술한 바와 같이 제1 사용자 단말과 제2 사용자 단말은 동일한 단말일 수도 있으나, 서로 상이한 단말일 수 있으며, 본 발명의 통신부(210)는 데이터 송수신 프로토콜 및 통신 방식에 의해 제한되지 아니한다.
구조물 영상은 복수개의 프레임으로 이루어진 동영상일 수 있다. 또한, 구조물 영상은 콘크리트 구조물의 일부 또는 전체를 촬영한 것일 수 있다.
구조물 영상이 동영상인 경우, 구조물 영상은 후보 이미지 생성부(230)로 전송되고, 후보 이미지 생성부(230)는 구조물 영상으로부터 복수의 이미지를 획득할 수 있다.
본 발명의 일 실시예에 따른 후보 이미지 생성부(230)는 기설정된 시간간격마다 상기 구조물 영상을 캡쳐하여 복수의 구조물 이미지를 획득할 수 있다. 이때, 복수의 구조물 이미지는 손상 판단 대상인 콘크리트 구조물(예로, 댐)에 대한 이미지이다.
후보 이미지 생성부(230)는 획득한 복수의 구조물 이미지의 이상영역을 추출할 수 있고, 해당 이상영역을 기초로 후보 이미지를 생성할 수 있다. 이때, 후보 이미지는 구조물의 손상부를 포함하는 이미지이며, 구조물의 손상부를 분석하기 위한 인공지능 모델에 입력하기 위한 최적 이미지일 수 있다. 구체적인 실시예는 추후에 설명하기로 한다.
본 발명의 손상 이미지 분석부(240)는 상기 후보 이미지를 분석하여 손상 이미지, 손상 정보 및 평가 보고서를 생성할 수 있다. 구체적으로, 손상 이미지 분석부(240)는 후보 이미지에 포함된 이상영역을 분석하여 손상부로 판단할 수 있고, 해당 손상부에 대응하는 손상 정보를 생성할 수 있다.
본 발명의 권한식별부(220)는 사용자 단말(100)에 대응하는 계정의 클라우드 서버(200)가 제공하는 손상판단 서비스의 이용 권한을 식별하기 위한 구성이다.
구체적으로, 권한식별부(220)는 사용자 단말(100)의 계정이 클라우드 서버(200)가 운영하는 구조물 손상판단 서비스의 이용 권한을 판단할 수 있다. 이때, 사용자 단말(100)의 계정은 손상판단 서비스를 이용하기 위해 가입절차를 통해 생성된 계정일 수 있으나, 이에 한정하지 않는다.
권한식별부(220)는 상기 계정을 제1 등급 내지 제n 등급 중 어느 하나로 판단할 수 있다. 본 발명의 일 실시예에 따르면, 상기 계정이 제1 등급인 것으로 판단되는 경우, 통신부(210)는 후보 이미지 생성부(230)에서 생성된 후보 이미지를 사용자 단말(100)로 전송할 수 있다. 또 다른 실시예에 따르면, 상기 계정이 제2 등급인 것으로 판단되는 경우, 통신부(210)는 손상 이미지 분석부(240)에서 생성된 손상 이미지 및 손상 정보를 사용자 단말(100)로 전송할 수 있다.
본 실시예에 대란 자세한 설명은 추후에 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 후보 이미지 생성부의 구성요소를 설명하기 위한 블록도이다.
도 3을 참조하면, 후보 이미지 생성부(230)는 이미지 획득부(231), 이상영역 추출부(232), 이미지 분석부(233) 및 이미지 처리부(234)를 포함할 수 있다. 본 발명의 이미지 획득부(231)는 기설정된 시간간격마다 구조물 영상을 캡쳐하여 복수의 구조물 이미지를 획득할 수 있다.
예를 들어, 구조물 영상이 드론으로 촬영된 댐에 대한 동영상으로써, 러닝타임이 40분이라고 가정한다. 이때 기설정된 제1 시간간격이 2초인 경우, 이상영역 추출부(231)는 1200개의 구조물 이미지를 획득할 수 있다.
상기 기설정된 시간간격은 손상판단 서비스 웹사이트 또는 어플리케이션을 통해 수신되는 사용자 단말(100)로부터의 입력 신호에 의해 설정되는 것일 수도 있고, 서비스 출고시 설정된 것일 수 있다.
구체적으로, 사용자 단말(100)의 사용자는 구조물 영상을 상기 웹사이트 또는 어플리케이션을 통해 클라우드 서버(200)로 전송하는 과정에서, 상기 구조물 영상을 캡쳐하기 위한 시간간격을 설정할 수 있다.
선택적 실시예로, 이미지 획득부(231)는 동영상의 용량, 화질, 러닝타임을 고려하여 시간간격을 설정할 수 있다. 예를 들어, 본 발명의 이미지 획득부(231)는 제1 용량(150MB) 이하 또는 제1 러닝타임(15분) 이내의 경우, 제1 시간간격을 3초로 설정할 수 있다. 또한, 이미지 획득부(231)는 제1 용량(150MB) 또는 제1 러닝타임(15분) 초과하고 제2 용량(2GB) 이하 또는 제2 러닝타임(30분) 이내인 경우, 제1 시간간격을 4초으로 설정할 수 있다. 또한, 이미지 획득부(231)는 제2 용량(2GB) 또는 제2 러닝타임(30분)을 초과하고, 제3 용량(4GB) 또는 제3 러닝타임(1시간) 이내인 경우 제1 시간 간격을 5초로 설정할 수 있다. 다만, 상술한 예시는 일예에 불과하고, 이미지 획득부(231)는 다양한 기준으로 시간간격을 설정할 수 있다.
본 발명의 또 다른 실시예에 따르면, 기설정된 시간간격은 사용자 단말(100)로부터의 재생성 신호에 응답하여 변경될 수 있다. 예를 들어, 제1 시간간격으로 캡쳐한 복수의 구조물 이미지들은 제1 시간간격이 과도하게 길어서, 손상부에 대한 충분한 이미지를 포함하지 못할 수 있다. 이때, 상기 제1 시간간격으로 캡쳐된 복수의 구조물 이미지를 기초로 생성된 제2 후보 이미지에는 사용자가 원하는 이상영역이 포함되어 있지 않을 수 있다. 이 경우, 사용자는 사용자 단말(100)의 계정을 통해 로그인된 서비스 상에서 재생성에 대응하는 사용자 명령을 입력할 수 있고, 사용자 단말(100)은 재생성에 대응하는 명령 신호(재생성 신호)를 클라우드 서버(200)로 전송할 수 있다.
본 발명의 일 실시예에 따른 이미지 획득부(231)는 제1 시간간격으로 추출한 복수의 구조물 이미지를 기초로 생성된 최적 이미지(또는 제2 후보 이미지)를 수신한 사용자 단말(100)로부터 '재생성 신호'를 수신하면, 재생성 신호에 응답하여 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 재추출할 수 있다. 이후, 제2 시간간격으로 획득된 복수의 구조물 이미지를 기초로 제2 후보 이미지를 재생성할 수 있고, 클라우드 서버(200)는 재생성된 제2 후보 이미지를 사용자 단말(100)로 전송할 수 있다.
상술한 실시예를 통해, 본 발명의 클라우드 서버(200)는 수신한 구조물 영상 전체에 대하여 분석할 필요 없이, 시간과 메모리 수요를 줄일 수 있다는 장점이 있다.
본 발명의 또 다른 실시예에 따르면, 이미지 획득부(231)는 포인트 클라우드 서버(300)로부터 수신한 분석 결과를 기초로, 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 재추출할 수 있다.
구체적으로 포인트 클라우드 서버(300)는 라이다(LiDAR) 센서로부터 수신한 포인트 클라우드 정보를 이용하여 구조물에 대한 3차원 영상을 생성할 수 있다. 드론과 같은 비행 촬영장치는 구조물을 향해 레이저펄스(70KHz)를 발사하여 반사되는 레이저펄스로부터 구조물의 뎁스 정보를 라이다 센싱 정보(포인트 클라우드 데이터)로 획득할 수 있다.
이때, 포인트 클라우드 서버(300)는 라이다(LiDAR) 센서로부터 수신한 정보를 기초로, DSM/DCM/DBM을 생성하고, 고품질 DEM/DTM 을 생성하고, 3차원 모델링 및 시뮬레이션을 생성함으로써, 구조물에 대한 3차원 영상을 생성할 수 있다. 라이다(LiDAR) 센서로부터 수신한 정보는 바람직하게는 촬영고도 150m이내이고, 점밀도는 400점/m^2 로 측량된 센싱 정보일 수 있으나, 이에 한정하지 않는다.
본 발명의 일 예시에 따르면, 포인트 클라우드 서버(300)는 상기 3차원 영상을 제1 인공지능 모델에 입력하여, 구조물에 대한 이상영역 포함 여부를 획득할 수 있다.
이때, 제1 인공지능 모델은, 구조물에 대한 포인트 클라우드 3차원 영상이 입력되면, 이상영역을 포함하는지 여부를 출력하도록 학습되어 포인트 클라우드 서버(300)에 저장된 인공지능 모델일 수 있다. 상기 제1 인공지능 모델은 CNN, RNN 등을 활용할 수 있으나 이에 한정하지 않으며, 경량 알고리즘 또는 알고리즘 경량화를 이용한 신경망을 이용하여 학습된 모델의 정확도를 유지하면서 보다 크기가 작고, 연산을 간소화한 알고리즘을 모두 포함할 수 있다.
구체적으로, 이미지 획득부(231)는 상기 포인트 클라우드 서버(300)로부터 제1 인공지능 모델의 출력 결과로, 제1 분석결과를 수신하면, 제1 시간간격을 재조정하지 않을 수 있다. 이때, 제1 분석결과는 해당 3차원 영상에 이상영역을 기설정된 면적 이상 포함하고 있는 경우에 해당할 수 있다. 이때, 면적은 3차원 영상에 대한 사영평면(Projective plane) 또는 포인트 클라우드 서버에서 생성한 상기 정사영상을 기준으로 판단된 것일 수 있으나, 이에 한정하지 않는다.
나아가, 이미지 획득부(231)는 상기 포인트 클라우드 서버(300)로부터 제1 인공지능 모델의 출력 결과로, 제2 분석결과를 수신하고, 제1 시간간격으로 추출한 복수의 구조물 이미지를 기초로 생성된 최적 이미지(또는 제2 후보 이미지)를 수신한 사용자 단말(100)로부터 '재생성 신호'를 수신하면, 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 재추출할 수 있다. 이때, 제2 분석결과는 해당 3차원 영상에 이상영역을 1개 이상 기설정된 면적 미만의 영역 포함하고 있는 경우에 해당할 수 있다.
다시 말하면, 이미지 획득부(231)는 포인트 클라우드 서버(300)로부터 제2 분석결과(이상영역 포함)를 수신하였지만, 사용자 단말(100)로부터 '재생성 신호'를 수신하지 않으면, 제1 시간간격을 재조정하지 않을 수 있다.
나아가, 이미지 획득부(231)는 상기 포인트 클라우드 서버(300)로부터 제1 인공지능 모델의 출력 결과로, 제3 분석결과(이상영역 미포함)를 수신하면, 사용자 단말(100)로부터 '재생성 신호'를 수신하는지 여부와 무관하게, 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 재추출할 수 있다.
상술한 실시예를 통해, 본 발명의 클라우드 서버(200)는 포인트 클라우드 정보가 별도의 서버(포인트 클라우드 서버, 300)에서 병렬적으로 작업 수행됨에 따라, 종래의 포인트 클라우드 정보 처리 과정에서 발생하는 시간적 비용 및 포인트 클라우드 정보를 저장하기 위한 공간적 비용을 절감할 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드 서버(300)를 통한 1차적인 이상영역 판단을 수행함으로써, 최적 이미지에 대한 사용자 단말(100)의 별도의 판단 없이도 구조물이 이상영역을 어느 정도로 포함하고 있는지에 대해서 미리 확인할 수 있고, 자동으로 정밀한 구조물 이미지를 재획득할 수 있다는 효과가 있다.
특히, 포인트 클라우드 서버(300)로부터 구조물에 대한 이상영역이 있다고 판단된 경우라고 하여도, 클라우드 서버(200)에서의 수행결과에 따라 추가적인 복수의 구조물 이미지를 재획득할 수 있도록 함으로써, 필요에 따라 더 높은 정확도로 이상영역을 탐지할 수 있다는 효과가 있다. 본 발명의 이상영역 추출부(232)는 상기 복수의 구조물 이미지(또는 재추출된 구조물 이미지)에 포함된 이상영역을 추출할 수 있다. 이때, 이상영역은 구조물의 결함부에 대응하는 영역으로 추정되는 영역일 수 있다.
구체적으로, 본 발명의 이상영역 추출부(232)는 제2 인공지능 모델에 복수의 구조물 이미지를 입력하고, 상기 제2 인공지능 모델로부터 이상영역이 포함된 제1 후보 이미지를 획득할 수 있다.
이때, 제2 인공지능 모델은, 복수의 구조물 이미지가 입력되면, 이상영역을 포함하는 제1 후보 이미지를 출력하도록 학습된 모델일 수 있다. 이때, 제2 인공지능 모델은 CNN 등을 이용할 수 있으나, 이에 한정하지 않으며, 경량 알고리즘 또는 알고리즘 경량화를 이용한 신경망을 이용하여 학습된 모델의 정확도를 유지하면서 보다 크기가 작고, 연산을 간소화한 것일 수 있다.
본 발명의 이미지 편집부(233)는 적어도 하나의 제1 후보 이미지를 기초로 제2 후보 이미지를 생성하기 위한 구성이다. 이때, 제1 후보 이미지는 1개 이상의 결함에 대한 이상영역을 포함할 수 있다. 이상영역 추출부(232)는 결함의 종류를 구분하지 않고, 결함으로 판단되는 이상영역을 추출한다.
다만, 적어도 하나의 제1 후보 이미지들은 실제로 복수의 결함에 대응하는 이상영역을 포함하고 있을 수 있다. 예를 들어, 제1 후보 이미지가 100개라고 가정할때, 20개는 제1 결함에 대응하는 이상영역을 포함하고, 30개는 제2 결함에 대응하는 이상영역을 포함하고, 50개는 제3 결함에 대응하는 이상영역을 포함할 수 있다.
본 발명의 이미지 편집부(233)는 적어도 하나의 제1 후보 이미지를 클러스터링할 수 있다. 상술한 실시예에서, 이미지 편집부(233)는 100개의 제1 후보 이미지에 대하여, 20개, 30개, 50개로 각각 클러스터링할 수 있다.
본 발명의 일 실시예에 따른 이미지 편집부(233)는 상기 이상영역의 형태 및 제1 후보 이미지 경계선 중 상기 이상영역을 포함하는 경계선에 인접한 패턴을 식별하고, 상기 형태 및 패턴을 기초로 클러스터링을 수행할 수 있다.
제1 후보 이미지에는 이상영역이 일부만 잘려서 포함되어 있을 수 있다. 이때, 제1 후보 이미지 경계면 중 이상영역을 포함하는 경계선은, 제1 후보 이미지를 사격형으로 구성하는 제1 경계 내지 제4 경계 중 이상영역을 자르는 경계선을 의미한다.
본 발명의 일 실시예에 따른 이미지 편집부(233)는 상기 이상영역의 형태 및 상기 패턴을 기초로 상기 제1 후보 이미지를 클러스터링 할 수 있다.
구체적으로, 이미지 편집부(233)는 이상영역이 제1 후보 이미지 중 이상영역이 잘리지 않고 온전히 포함되어 있는 경우, 해당 이상영역의 형태 유사도를 기초로 클러스터링을 수행할 수 있다. 이미지 편집부(233)는 제1 후보 이미지 중 잘려진 이상영역을 포함하는 경우, 상기 이상영역을 자르는 경계선에 인접한 패턴을 식별할 수 있다. 이미지 편집부(233)는 식별된 패턴과 유사한 패턴을 포함하는 제1 후보 이미지를 클러스터링할 수 있다.
본 발명의 이미지 편집부(233)는 클러스터링된 제1 후보 이미지에 대하여, 이상영역이 이미지의 중앙부에 위치하도록 편집 및 결합하여 제2 후보 이미지를 생성할 수 있다.
일예로, 이미지 편집부(233)는 복수의 제1 후보 이미지가 이상영역을 온전히 포함하고 있는 경우, 이상영역 형태를 기준으로 복수의 제1 후보 이미지를 회전, 확대/축소를 수행하여, 제2 후보 이미지를 생성할 수 있다.
선택적 실시예로 이미지 편집부(233)는 제1 후보 이미지가 이상영역을 일부 자르며 걸쳐서 포함하는 경우, 경계선에 인접한 패턴이 유사한 제1 후보 이미지들을 회전, 확대/축소를 수행하여, 제2 후보 이미지(최적 이미지)를 생성할 수 있다.
본 발명의 이미지 처리부(234)는 제2 후보 이미지에서 노이즈를 제거한다. 노이즈 제거는 다양한 방법으로 이루어질 수 있으며, 일 예로, 객체의 길이 및/또는 면적이 기 설정된 값 미만이면 이를 노이즈로 인식하여 제거할 수 있다. 또 다른 실시 예로, 이미지 처리부(234)는 간단한 신경망을 이용하여 노이즈를 분류할 수 있다.
상술한 바와 같이, 본 발명의 후보 이미지 생성부(230)는 방대한 양의 구조물 영상에 대하여, 이미지 획득을 통한 샘플링 및 경량화된 제2 인공지능 모델을 이용하여 고속으로 최적 이미지(제2 후보 이미지)를 획득할 수 있다.
즉, 제3 인공지능 모델에 입력하기 위한 최적 이미지를 적은 시간과 메모리용량으로 구현함으로써, 종래의 결함 분류 모델에 입력하기 위한 이미지를 선택해야되는 시간과 인력 소모를 줄일 수 있다는 효과가 있다.
한편, 본 발명의 일 실시예에 따르면, 이미지 획득부(231)는 제2 분석결과를 수신하고, 사용자 단말(100)로부터 '재생성 신호'를 수신하지 않은 경우에도, 이미지 편집부(233)가 제1 후보 이미지에 대한 클러스터링을 기저장된 제1 개수(예로, 5개)를 초과하여 수행하는 경우에는 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 재추출할 수 있다. 이 경우, 이미지 획득부(231)는 재추출된 이미지를 획득하고, 이상영역 추출부(232)는 새로운 복수의 구조물 이미지를 획득할 수 있다. 제1 후보 이미지의 클러스터링 개수가 기저장된 제1 개수보다 많다는 것은, 결함의 전체 영역과 별개로 결함이 발생한 부분의 개수가 통상적인 결함구조물에 비하여 많다는 것을 의미한다. 이 경우, 비록 포인트 클라우드 서버(300)를 통해 결함의 영역이 과도한 경우가 아니라고 판단하더라도, 더 정밀한 구조물 영상 분석이 필요할 수 있다. 즉, 포인트 클라우드 서버(300)를 통한 1차적인 분석 결과, 이상영역으로 판단되는 면적이 기설정된 면? 미만이라고 하더라도, 해당 이상영역으로 판단되는 부분이 특정 개수 이상(예로, 5개)이라면, 본 발명의 클라우드 서버(200)는 자동으로 더 정밀하게 구조물 이미지를 분석할 수 있다.
본 발명의 또 다른 실시예에 따르면, 이미지 획득부(231)는 제2 분석결과를 수신하고, 사용자 단말(100)로부터 '재생성 신호'를 수신하지 않은 경우에도, 제1 후보 이미지가 이상영역을 일부 자르며 걸쳐서 포함하는 경우의 제2 후보 이미지가 기저장된 제2 개수(예로, 2개)를 초과하는 경우, 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 추가로 추출할 수 있다. 이 경우, 이미지 획득부(231)는 추가로 추출된 이미지를 획득하고, 이상영역 추출부(232)는 기존의 구조물 이미지에 더하여 추가적인 구조물 이미지를 획득할 수 있다. 이상영역을 일부 자르며 걸쳐서 포함하는 제2 후보 이미지개수가 기저장된 제2 개수보다 많다는 것은, 클러스터링 시 오류가 발생할 확률이 상대적으로 높다는 것을 의미한다. 즉, 클라우드 서버(200)는 오류가 적은 구조물 이미지를 추가로 확보하기 위해 이상영역이 잘리지 않은 후보 이미지를 획득할 수 있다. 이 경우, 비록 포인트 클라우드 서버(300)를 통해 결함의 영역이 과도한 경우가 아니라고 판단하더라도, 오류 발생을 줄이기 위해 더 정밀한 구조물 영상 분석을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 손상 이미지 분석부의 구성요소를 설명하기 위한 블록도이다.
도 4를 참조하면, 손상 이미지 분석부(240)는 손상이미지 생성부(241), 손상정보 생성부(242) 및 보고서 생성부(243)를 포함할 수 있다.
본 발명의 일 실시예에 따른 손상이미지 생성부(241)는 제2 후보 이미지를 기초로 손상 이미지를 생성할 수 있다. 손상이미지 생성부(241)는 이미지를 입력하면, 구조물 결함에 대한 바운딩 박스가 포함된 손상 이미지를 출력하도록 학습된 제3 인공지능 모델을 이용할 수 있다.
보다 자세하게, 본 발명의 일 실시 예에 따른 제3 인공지능 모델은 제2 후보 이미지 내의 특징들에 대한 특징 맵(feature map)을 만들어내는 합성곱 신경망(Convolution Neural Network), 특징 맵에서 제안 영역을 추출하는 영역 제안망(Region Proposal Network), 및 특징 맵에서 제안 영역에 해당하는 영역의 특징을 추출하는 관심 영역 통합층(RoI Pooling layer)을 포함할 수 있다.
본 발명의 제3 인공지능 모델은, 결함 영역 추출부(미도시)는 특징 추출부 (미도시) 및 영역 제안부(미도시)를 포함할 수 있다.
특징 추출부에서, 제2 후보 이미지는 제3 인공지능 모델의 합성곱 신경망(CNN: Convolution Neural Network)에 입력되며, 합성곱 신경망은 입력된 제2 후보 이미지의 특징을 추출하여 제2 후보 이미지 내의 특징들에 대한 특징 맵을 만들어낼 수 있다. 특징 맵(또는 특징 지도)은 합성곱 신경망에서 각 객체(균열 또는 결함)의 클래스를 분류하기 직전의 형태로, 클래스 분류를 위한 특징이 표현된 단계를 의미한다.
합성곱 신경망은 여러개의 합성곱 계층(Convolution layer), 여러 개의 서브 샘플링 계층(Subsampling layer)을 포함할 수 있다. 합성곱 계층은 입력 영상에 대해 합성곱(convolution)을 수행하는 계층이며, 서브 샘플링 계층은 입력 영상에 대해 지역적으로 최대값을 추출하여 2차원 영상에 매핑하는 계층으로, 국소적인 영역을 더 크게하고 서브샘플링을 수행할 수 있다.
특징 추출부에서 만들어진 특징 맵은 영역 제안부의 영역 제안망(Region Proposal Network)으로 입력된다. 영역 제안망은 특징 맵에서 제안 영역을 추출하는 네트워크로, 합성곱 신경망의 마지막 계층(layer)에서 m x m 슬라이딩 윈도우가 특징 맵을 가로질러 이동하여 이를 더 낮은 차원으로 매핑하는데, 슬라이딩 윈도우 위치마다 k개의 고정 비율 앵커(anchor)를 기반으로 여러 개의 가능한 영역을 생성한다(이를 '바운딩 박스'라 한다).
영역 제안망은 각 바운딩 박스에 객체(균열 또는 결함)가 포함되어 있는지 여부와, 해당 바운딩 박스의 좌표가 무엇인지를 출력할 수 있다. 즉, 영역 제안망은 특징 맵 내에서 결함(객체)의 존재 가능성이 높은 영역을 제안하며, 바운딩 박스의 "객체성"점수가 특정 임계값보다 높으면 해당 바운딩 박스의 좌표가 이상영역(객체 후보 영역)으로 제안될 수 있다.
본 발명의 제3 인공지능 모델은 관심 영역 통합층(RoI Pooling layer)을 이용하여, 특징 맵에서 각 객체 후보 영역 대응되는 특징을 추출한다.
관심 영역 통합층이 추출하는 특징은 객체를 판별하기 위하여 정규화된 특징으로, 관심 영역 통합층은 영역제안망을 통해 제안된 다양한 크기의 이상영역(객체 후보 영역)을 일정한 크기의 완전 연결 계층(Fully-Connected layer)에 입력하기 위해 다운 샘플링(down sampling)한다.
관심 영역 통합층에서 추출된 객체 후보 영역의 특징은 완전 연결 계층에서 균열/비균열, 결함(누수, 부식 등)/비결함 등으로 분류될 수 있다.
본 발명의 제3 인공지능 모델은 복수의 콘크리트 표면 이미지, 콘크리트 표면 이미지 내에 균열 또는 결함이 발생된 부분을 포함하는 바운딩 박스, 및 바운딩 박스의 특성을 나타내는 레이블(균열, 비균열, 결함, 비결함, 누수, 부식 등)을 이용한 종단간 학습(end-to-end training)이 가능하다.
본 발명의 손상정보 생성부(242)는 상기 결함에 대한 손상정보를 생성할 수 있다. 예를 들어, 상기 손상정보는 결함의 종류(크랙, 박리, 박락, 백태, 누수, 철근노출 등)에 대한 정보, 결함의 특성 정보, 결함에 대한 통계 정보를 포함할 수 있다.
예를 들어, 균열 결함의 경우, 손상정보에는 균열이 종방향인지, 횡방향인지, 사방향인지, 격자형인지에 따른 결함 등급 별 균열 개수가 표시될 수 있으며, 누수 결함의 경우, 천장 누수인지, 벽체 누수인지, 바닥 누수인지 시공이음누수인지 등과 같은 누수의 종류가 표시될 수 있다. 결함 등급은 미리 설정된 기준에 따라 분류될 수 있으며, 두께, 길이, 면적 등이 기준 지표로 사용될 수 있다.
본 발명의 보고서 생성부(243)는 외관조사망도 및/또는 안전진단 보고서를 생성하기 위한 구성이다. 외관 조사망도는 점검 또는 진단시 조사된 결함의 종류 및 위치를 설계도면 및/또는 약식 도면에 알기 쉽게 표기한 것이다. 외관 조사망도에는 건축물의 안전점검 및 정밀안전진단 세부지침 등을 통해 표준화된 기호, 문자 등이 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 클라우드 기반 시스템의 서비스 제공방법을 설명하기 위한 간단한 흐름도이다.
도 5를 참조하면, 본 발명의 포인트 클라우드 서버(300)는 포인트 클라우드 정보 및 구조물 영상을 사용자 단말(100)로부터 수신할 수 있다(S510). 본 발명의 포인트 클라우드 서버(300)는 포인트 클라우드 정보를 기초로 3차원 영상을 획득할 수 있고(S520), 제1 인공지능 모델에 3차원 영상을 입력하여 분석결과를 출력할 수 있다(S530).
본 발명의 클라우드 서버(200)는 상기 분석 결과를 기초로 상기 구조물 영상에서 복수의 구조물 이미지를 획득할 수 있다(S540). 본 발명의 클라우드 서버(200)는 복수의 구조물 이미지를 제2 인공지능 모델에 입력하고, 제1 후보 이미지를 획득할 수 있다(S550). 본 발명의 클라우드 서버(200)는 상기 복수의 제1 후보 이미지를 기초로 제2 후보 이미지(최적 이미지)를 생성할 수 있다(S560).
한편, 본 발명의 클라우드 서버(200)는 복수의 구조물 이미지에 포함된 이상영역 및 경계에 인접한 패턴을 추출할 수 있다. 본 발명의 클라우드 서버(200)는 이상영역의 형태 및 경계에 인접한 패턴를 기초로 이상영역이 이미지의 중앙으로 오도록 편집할 수 있다.
본 발명의 클라우드 서버(200)가 사용자 단말(100)로부터 수신한 구조물 영상으로부터 획득한 제2 후보 이미지는 결함이 이미지의 중앙에 오도록 생성된 것으로, 제3 인공지능 모델에 입력되기 위한 최적의 이미지일 수 있다.
한편, 본 발명의 일 실시예에 따른 클라우드 서버(200)는 제2 후보 이미지를 획득한 후, 사용자 단말(100)에 대응하는 계정의 서비스 이용 권한을 식별할 수 있다. 이용 권한이 제1 등급인 경우, 클라우드 서버(200)는 제2 후보 이미지를 사용자 단말(100)로 전송할 수 있다. 이때, 제2 후보 이미지는 구조물 영상에 포함된 구조물 흠결을 분석하기 위해서, 인공지능 모델에 입력하기 위한 최적의 이미지일 수 있다.
클라우드 서버(200)는 이용 권한이 제2 등급인 것으로 식별하면, 제2 후보 이미지를 제3 인공지능 모델에 입력할 수 있다. 클라우드 서버(200)는 이미지가 입력되면 손상부에 대한 바운딩 박스가 포함된 손상 이미지를 획득할 수 있다. 이때, 손상 이미지는 최적 이미지에 포함된 구조물 손상에 대하여 식별할 수 있도록 표시되고, 해당 손상에 대한 정보가 포함된 이미지일 수 있다.
본 발명의 클라우드 서버(200)는 손상 이미지를 획득한 후, 사용자 단말(100) 계정의 권한이 변경되었는지 여부를 확인할 수 있다. 이때, 여전히 제2 등급인 것으로 식별되면, 클라우드 서버(200)는 사용자 단말(100)로 손상 이미지를 전송할 수 있다. 반면, 사용자 단말(100)의 계정 권한이 제3 등급으로 변경된 것으로 식별되면, 클라우드 서버(200)는 손상 분석을 위한 평가 보고서를 생성할 수 있고, 사용자 단말(100)로 손상 이미지 및 평가 보고서를 전송할 수 있다.
선택적 실시예에 따른 클라우드 서버(200)는 사용자 단말(100)의 계정이 서비스 이용료를 지불하지 않은 단순 회원 또는 제1 금액을 지불한 경우, 상기 계정을 제1 등급으로 식별할 수 있다. 즉, 클라우드 서버(200)는 제1 등급의 사용자에게는 구조물 영상 중에서 구조물의 손상부를 분석하는 제3 인공지능 모델에 입력하기 위한 최적의 이미지(제2 후보 이미지)만을 제공할 수 있다.
클라우드 서버(200)는 제2 후보 이미지를 제공하면서, 추가 서비스(손상 분석)를 받기 위한 안내문을 제공할 수 있다. 사용자는 최적 이미지를 수신 후, 해당 이미지에 대한 손상 분석을 원하는 경우, 추가 서비스 이용료를 지불한다. 클라우드 서버(200)는 상기 계정이 클라우스 기반 서비스 내에서 제1 금액보다 큰 제2 금액을 지불한 것으로 판단하면, 사용자 단말(100)의 계정을 제2 등급으로 식별할 수 있다. 마찬가지로, 사용자는 추가 서비스(평가보고서 수신 등)을 제공 받고 싶으면, 서비스 이용료를 지불하고, 이 경우 클라우드 서버(200)는 사용자 단말(100)의 계정을 더 높은 등급의 이용 권한을 가진 것으로 식별할 수 있다.
상술한 바와 같은 실시예에 따르면, 클라우드 서버(200)는 사용자가 필요한 서비스만을 제공함으로써, 클라우드 서버(200)의 부하 및 시간 소요를 감축할 수 있다.
클라우드 서버(200)는 손상 부분(크랙, 박리/박락, 백태, 누수)에 대하여 바운딩 박스로 표시할 수 있다. 선택적 실시예에 따르면, 클라우드 서버(200)는 바운딩 박스 외에도, 손상부에 대한 다양한 분석 정보를 포함할 수 있다. 선택적 실시예에 따른 클라우드 서버(200)는 손상 이미지에 포함된 복수의 정보에 대한 데이터필드 마다 등급 별로 공개 범위를 설정할 수 있다.
클라우드 서버(200)는 손상 이미지 및 바운딩 박스를 획득하면서 복수의 손상 정보를 생성할 수 있다. 본 발명의 일 실시예에 따른 클라우드 서버(200)는 상기 바운딩 박스를 포함하는 손상 이미지의 일 부분에 상기 손상 정보를 별도로 표시할 수 있다. 이때 손상 정보는 해당 손상부로 인한 위험도, 손상부의 종류, 전체 손상 종류 대비 해당 손상부의 비율에 대한 통계정보를 포함할 수 있으나 이에 한정하지 않는다.
클라우드 서버(200)는 손상 정보에 대한 데이터 필드(예로, 위험도 데이터 필드, 손상 종류 데이터 필드, 통계 정보 데이터 필드 등)에 대하여 각각 이용 권한 별로 제공여부를 달리할 수 있다.
예를 들어, 클라우드 서버(200)는 손상 종류 데이터 필드, 통계 정보 데이터 필드에 대하여 제2 등급 이상의 사용자 계정에게 접근 허용하고, 위험도 데이터 필드에 대하여 제3 등급 이상의 사용자 계정에게 접근 허용할 수 있다.
선택적 실시예에 따른 클라우드 서버(200)는 사용자 단말(100) 계정 등급이 제2 등급인 것으로 식별된 경우, 위험도 데이터 필드에 대응하는 정보는 블러링 처리 또는 해쉬 값으로 은폐하여 제공할 수 있다. 클라우드 서버(200)는 사용자 단말(100)의 계정 등급의 변경이 있는 경우, 상기 블러링 처리 또는 해쉬값으로 은혜된 정보를 제공할 수 있다. 예를 들어, 클라우드 서버(200)는 제3 등급으로 식별되면(사용자 단말(100)의 계정이 추가 서비스를 위한 서비스 이용료를 지불한 것으로 판단되면), 상기 블러링 처리 또는 해쉬값으로 은폐된 위험도 데이터 필드에 대응하는 정보에 대하여 공개 표시할 수 있고, 공개표시된 손상 이미지를 사용자 단말(100)로 제공할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시예들은 전자 장치에 구비된 임베디드 서버, 또는 전자장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록매체(computer readable recording medium)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 컴퓨터(computer) 또는 이와 유사한 장치는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 장치를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
기기로 읽을 수 있는 기록매체는, 비일시적 기록매체(non-transitory computer readable recording medium)의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 이때 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (7)

  1. 이상영역 자동 판단 시스템에 있어서,
    구조물에 대한 포인트 클라우드 정보 및 구조물 영상을 획득하는 사용자 단말;
    상기 사용자 단말로부터 상기 포인트 클라우드 정보를 수신하고, 상기 구조물에 대한 3차원 영상을 획득하고, 상기 3차원 영상을 제1 인공지능 모델에 입력하여 상기 구조물의 이상영역에 대한 분석결과를 출력하고, 상기 분석결과를 클라우드 서버로 송신하는 포인트 클라우드 서버;
    상기 사용자 단말로부터 상기 구조물 영상을 수신하고, 상기 분석결과를 바탕으로 상기 구조물 영상에 대한 복수의 구조물 이미지를 획득하고, 상기 복수의 구조물 이미지를 제2 인공지능 모델에 입력하여 제1 후보 이미지를 획득하고, 상기 제1 후보 이미지를 기초로 최적 이미지를 생성하여 상기 구조물의 이상영역을 판단하는 클라우드 서버; 를 포함하고,
    상기 클라우드 서버는 기설정된 제1 시간간격마다 상기 구조물 영상을 캡쳐하여 상기 복수의 구조물 이미지를 획득하고, 상기 포인트 클라우드 서버로부터 수신한 분석결과가 제1 분석결과인 경우 기설정된 제1 시간간격을 유지하고,
    상기 제1 분석결과는 상기 3차원 영상에 이상영역을 기설정된 면적 이상 포함하는 것을 의미하는 것을 특징으로 하는 이상영역 자동 판단 시스템.
  2. 제1항에 있어서,
    상기 구조물 영상은 콘크리트 댐의 외관에 대한 동영상인 것을 특징으로 하는 이상영역 자동 판단 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 클라우드 서버는,
    상기 포인트 클라우드 서버로부터 수신한 분석결과가 제2 분석결과인 경우 상기 최적 이미지를 상기 사용자 단말로 전송하고, 상기 사용자 단말로부터 재생성 명령 신호를 수신하면, 상기 제1 시간간격보다 짧은 제2 시간간격을 기초로 상기 복수의 구조물 이미지를 획득하고,
    상기 제2 분석결과는 상기 3차원 영상에 이상영역을 1개 이상 기설정된 면적 미만의 영역 포함하는 것을 의미하는 것을 특징으로 하는 이상영역 자동 판단 시스템.
  6. 제5항에 있어서,
    상기 클라우드 서버는,
    상기 포인트 클라우드 서버로부터 수신한 분석결과가 제3 분석결과인 경우 제1 시간간격보다 짧은 제2 시간간격으로 상기 구조물 영상으로부터 복수의 구조물 이미지를 재추출하는 것을 특징으로 하는 이상영역 자동 판단 시스템.
  7. 제1항에 있어서,
    상기 클라우드 서버는,
    상기 이상영역의 형태 및 상기 제1 후보 이미지 경계선 중 상기 이상영역을 포함하는 경계선에 인접한 패턴을 식별하고,
    상기 형태 및 상기 패턴을 기초로 상기 제1 후보 이미지를 클러스터링하고,
    상기 클러스터링된 제1 후보 이미지를 기초로 상기 이상영역이 상기 최적 이미지의 중앙부에 위치하도록 상기 최적 이미지를 생성하는 것을 특징으로 하는 이상영역 자동 판단 시스템.
KR1020220098844A 2022-08-08 2022-08-08 포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템 KR102521825B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220098844A KR102521825B1 (ko) 2022-08-08 2022-08-08 포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220098844A KR102521825B1 (ko) 2022-08-08 2022-08-08 포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템

Publications (1)

Publication Number Publication Date
KR102521825B1 true KR102521825B1 (ko) 2023-04-14

Family

ID=85946769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220098844A KR102521825B1 (ko) 2022-08-08 2022-08-08 포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템

Country Status (1)

Country Link
KR (1) KR102521825B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611805A (zh) * 2023-12-20 2024-02-27 济南大学 一种规则三维语义点云的3d异常区域提取方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
KR101696629B1 (ko) * 2015-07-10 2017-01-17 경북대학교 산학협력단 구조물 변형 모니터링을 이용한 붕괴 경고 시스템 및 그 방법
KR102227756B1 (ko) * 2020-12-07 2021-03-15 박봉진 구조물 손상판단 서비스 시스템 및 서비스 제공방법
KR102252845B1 (ko) * 2021-01-26 2021-05-27 주식회사 도로시 머신비전 및 3d 프로파일을 통한 콘크리트 표면 분석 방법, 장치 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
KR101696629B1 (ko) * 2015-07-10 2017-01-17 경북대학교 산학협력단 구조물 변형 모니터링을 이용한 붕괴 경고 시스템 및 그 방법
KR102227756B1 (ko) * 2020-12-07 2021-03-15 박봉진 구조물 손상판단 서비스 시스템 및 서비스 제공방법
KR102252845B1 (ko) * 2021-01-26 2021-05-27 주식회사 도로시 머신비전 및 3d 프로파일을 통한 콘크리트 표면 분석 방법, 장치 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Assessment of cracks on concrete bridges using image processing supported by laser scanning survey, Construction and Building Materials Vol. 146, 15, 2017.08.* *
Deep-Learning-Based Classification of Point Clouds for Bridge Inspection, Remote Sens., 2020.11.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611805A (zh) * 2023-12-20 2024-02-27 济南大学 一种规则三维语义点云的3d异常区域提取方法及装置

Similar Documents

Publication Publication Date Title
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN108921159B (zh) 用于检测安全帽的佩戴情况的方法和装置
KR102227756B1 (ko) 구조물 손상판단 서비스 시스템 및 서비스 제공방법
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN109977921B (zh) 一种输电线路隐患检测方法
US9235902B2 (en) Image-based crack quantification
CN110827190A (zh) 针对自动对象标识的图像处理
CN110348435B (zh) 一种基于区域候选网络的目标检测方法及系统
KR102521825B1 (ko) 포인트 클라우드 기반 구조물 손상판단을 위한 이상영역 자동 판단 시스템
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
KR102559586B1 (ko) 인공지능을 이용한 구조물 외관 점검 시스템 및 방법
CN112446239A (zh) 神经网络的训练及目标检测方法、设备及存储介质
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
KR102525491B1 (ko) 구조물 손상검출 보고서 제공 방법
CN114120086A (zh) 路面病害识别、图像处理模型训练方法、装置及电子设备
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
KR102311558B1 (ko) 인공지능을 이용한 구조물 손상 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
EP1591960A1 (en) Method and apparatus for image processing
CN116596895A (zh) 一种变电设备图像缺陷识别方法及系统
Tilon et al. Infrastructure degradation and post-disaster damage detection using anomaly detecting generative adversarial networks
CN114140707A (zh) 一种电网故障巡检方法
KR102396329B1 (ko) 촬영영상 및 설명가능 인공지능 기반의 공항 시설물 안전점검 시스템 및 그 방법
KR102619578B1 (ko) 인공지능 기반 구조물 손상 판단 학습 데이터 확충 서비스 시스템 및 서비스 제공 방법
CN110674764A (zh) 一种工地裸露土方的检测方法、装置及系统

Legal Events

Date Code Title Description
GRNT Written decision to grant