KR102539835B1 - 3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템 - Google Patents

3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템 Download PDF

Info

Publication number
KR102539835B1
KR102539835B1 KR1020230003320A KR20230003320A KR102539835B1 KR 102539835 B1 KR102539835 B1 KR 102539835B1 KR 1020230003320 A KR1020230003320 A KR 1020230003320A KR 20230003320 A KR20230003320 A KR 20230003320A KR 102539835 B1 KR102539835 B1 KR 102539835B1
Authority
KR
South Korea
Prior art keywords
damage
digital twin
camera
damaged
image
Prior art date
Application number
KR1020230003320A
Other languages
English (en)
Inventor
전상혁
Original Assignee
(재) 한국건설품질연구원
주식회사 인프라플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (재) 한국건설품질연구원, 주식회사 인프라플러스 filed Critical (재) 한국건설품질연구원
Priority to KR1020230003320A priority Critical patent/KR102539835B1/ko
Application granted granted Critical
Publication of KR102539835B1 publication Critical patent/KR102539835B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

본 발명은 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템에 관한 것이다.
본 발명에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템은 구조물에 대한 3차원 영상 정보를 획득하여 전송하는 디바이스; 및 상기 3차원 영상 정보를 이용하여 3차원 디지털 트윈을 생성하는 서버를 포함하고, 상기 디바이스는 3차원 영상 정보를 획득하는 3D 카메라와, 상기 3차원 영상 정보를 전송하는 제1 통신부 및 영상 촬영에 대한 제어를 수행하는 제어부를 포함하고, 상기 서버는 상기 제1 통신부로부터 상기 3차원 영상 정보를 수신하는 제2 통신부와, 상기 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 생성부와, 상기 3차원 디지털 트윈을 출력하는 출력부와, 유저 인터페이스를 제공하는 입력부와, 상기 3차원 디지털 트윈을 저장하는 저장부를 포함한다.

Description

3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템{SYSTEM FOR DIGITAL TWIN GENERATION AND DAMAGE ANALYSIS USING 3D CAMERA}
본 발명은 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템에 관한 것이다.
설계 도면 등의 자료를 활용하여 모델링한 구조물에서 정보를 시각화하는 기술이 제안되고 있다. 그런데, 인력에 의한 구조물 점검은 점검자의 시력, 숙련도에 따라 점검 결과 편차가 발생되고, 외관조사망도 작성 중 오차 누적에 의해 최종 성과물에 대한 신뢰성이 확보되지 못하는 문제점이 있다. 또한, 영상 속 손상을 발견하지 못하는 경우, 비손상을 손상으로 잘못 인식하는 경우에는 인력에 의한 현장 재조사가 필요하게 되는 문제점이 있다.
구조물 정밀안전점검 및 정밀안전진단은 주기적으로 실시되는데, 점검자마다의 판단기준이 상이하고, 손상위치 표기 오차의 누적으로 인하여 구조물에 발생한 손상에 대해 진행성 여부 확인이 어려운 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 3D 카메라를 이용하여 디지털 트윈을 생성하고, 손상 분석 결과를 출력함으로써, 주기적인 촬영 정보 업데이트에 따라 손상의 진행성 여부를 확인하고, 선제적 예방체계를 구축하는 것이 가능한 시스템을 제공하는데 그 목적이 있다.
본 발명은 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템에 관한 것이다.
본 발명에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템은 구조물에 대한 3차원 영상 정보를 획득하여 전송하는 디바이스; 및 상기 3차원 영상 정보를 이용하여 3차원 디지털 트윈을 생성하는 서버를 포함하고, 상기 디바이스는 3차원 영상 정보를 획득하는 3D 카메라와, 상기 3차원 영상 정보를 전송하는 제1 통신부 및 영상 촬영에 대한 제어를 수행하는 제어부를 포함하고, 상기 서버는 상기 제1 통신부로부터 상기 3차원 영상 정보를 수신하는 제2 통신부와, 상기 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 생성부와, 상기 3차원 디지털 트윈을 출력하는 출력부와, 유저 인터페이스를 제공하는 입력부와, 상기 3차원 디지털 트윈을 저장하는 저장부를 포함한다.
상기 디바이스는 손상 이미지가 포함된 3차원 구조물 데이터를 전송하고, 상기 서버는 유사손상객체가 존재하는 이미지에 손상 객체를 합성한 합성 학습 데이터를 이용한 인공지능 모델을 기반으로 손상 분석을 수행한다.
상기 인공지능 모델은 콘크리트의 손상에 대한 균열, 망상균열, 박락, 파손, 철근노출, 재료분리, 백태의 탐지 모델과, 강재의 손상에 대한 부식, 도막박리의 탐지 모델이 손상 별로 구축되고, 병렬로 활용된다.
상기 인공지능 모델은 유사성이 높은 손상에 대한 그룹핑을 수행하여 탐지하고, 분류 기준 적용에 따라 최종 탐지 손상을 수행하며, 손상 탐지 스코어에 기초하여 파라메터가 교정된다.
상기 손상 탐지 스코어인 F1-스코어는 1-오탐지율로 정의되는 정밀도와, 1-미탐지율로 정의되는 재현율의 조화 평균으로 정의되며, 하기 [수학식]과 같이 산출되며,
[수학식]
Figure 112023003304111-pat00001
Figure 112023003304111-pat00002
이 때, TP는 손상 영역을 정상적으로 탐지한 픽셀의 수, FP는 손상이 아닌 영역을 손상이라 잘못 탐지한 픽셀의 수, FN은 손상을 탐지하지 못하고 놓친 픽셀의 수로 정의된다.
상기 인공지능 모델은 상기 손상을 선형 손상 및 면적형 손상으로 구분하고, 상기 선형 손상의 경우 손상 픽셀을 결정하고, 폭, 길이를 포함하는 손상 정보를 픽셀 단위로 계산하며, 상기 면적형 손상의 경우 필터링 또는 외접박스를 활용하여 손상 면적을 픽셀 단위로 계산한다.
상기 3D 카메라는 손상 종류에 따라 픽셀, 초점 거리, 중첩률 중 적어도 어느 하나의 촬영 정보가 상이하게 적용되어 촬영이 수행된다.
본 발명에 따르면, 3D 카메라를 이용하여 현장을 3차원 모델링하고 점검하는 동시에, 상태 데이터를 디지털 트윈에 시각화 표현함으로써, 실시간/직관적으로 손상 분석 결과를 모니터링하는 것이 가능한 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 유사손상객체 합성 이미지의 예시를 도시한다.
도 2는 본 발명의 실시예에 따른 손상별 인공지능 모델과 2차분류기준을 이용한 9종 손상 탐지 전략을 도시한다.
도 3은 본 발명의 실시예에 따른 균열 정량화 알고리즘의 예시를 도시한다.
도 4는 본 발명의 실시예에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템을 도시한다.
도 5는 본 발명의 실시예에 따른 3차원 디지털 트윈 생성부의 구성을 도시한다.
도 6은 본 발명의 실시예에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 방법을 도시한다.
도 7은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
도 1은 유사손상객체 합성 이미지의 예시를 도시한다.
영상 분석을 통해 손상을 탐지함에 있어서, 손상과 특징(형태, 색상 등)이 유사한 객체(유사손상객체)들로 인하여 손상 탐지의 정확도가 낮아지는 문제점이 있다. 예컨대 콘크리트 균열의 경우, 콘크리트 제작에 사용된 거푸집에 의한 선형의 자국 및 거미줄, 오염물질에 의해 혼동이 발생하는 경향이 있다.
본 발명의 실시예에 따르면, 손상 별로 유사손상객체의 종류를 조사하고, 유사손상객체의 이미지를 수집한다. 유사손상객체가 존재하는 이미지에 손상 객체를 합성하여, 유사손상객체를 배제하기 위한 합성 학습데이터를 구축한다. 본 발명의 실시예에 따르면, 손상별로 2000장 이상의 학성 학습데이터를 구축하는 것이 바람직하다.
본 발명의 실시예에 따르면, 손상객체 학습데이터 및 유사손상객체 합성 학습데이터를 이용하여 유사손상객체를 배제하고, 손상만을 정확하게 탐지하는 것이 가능한 인공지능 모델을 이용하여, 손상 분석을 수행한다.
본 발명의 실시예에 따르면, 촬영하여 획득한 고해상도 이미지에 인공지능(딥러닝) 모델을 적용하여 구조물 노후화 및 공용중에 발생되는 대표적 손상 9종을 탐지하고 정량화한 뒤, 자동으로 외관조사망도와 손상물량표를 생성한다. 콘크리트의 손상에는 균열, 망상균열, 박락, 파손, 철근노출, 재료분리, 백태 (7종)이 포함되고, 강재의 손상에는 부식, 도막박리(2종)이 포함된다.
본 발명의 실시예에 따르면, 전술한 9종의 손상에 대해 정선한 학습 이미지를 수집하고, 인공지능을 활용하여 학습데이터를 신속히 구축하고, 인공지능(딥러닝)을 활용한 9종 손상 탐지를 수행하며, 인공지능을 이용하여 탐지된 손상의 정량화 후 자동으로 외관조사망도 및 손상물량표를 생성하며, 자동화된 구조물 정밀안전진단을 수행한다.
본 발명의 실시예에 따르면, 다양한 현장에서의 촬영 조건을 고려하여, 이미지 증강 방법(Image Augmentation)을 적용하며, 조도, 블러링, 촬영각도 등이 고려대상 촬영 조건에 포함된다.
도 2는 본 발명의 실시예에 따른 손상별 인공지능 모델과 2차분류기준을 이용한 9종 손상 탐지 전략을 도시한다.
본 발명의 실시예에 따르면, 손상 학습데이터와 유사손상객체 합성 학습데이터를 이용하여 손상을 자동으로 탐지하는 세그멘테이션(Segmentation) 기반 인공지능 모델을 적용한다. 다종의 손상을 동지 탐지하는 1개의 모델 활용 대비, 각각의 손상을 탐지하는 모델을 병렬로 활용할 때 훨씬 더 좋은 성능이 확보되는 바, 손상 각각에 대해 손상탐지 모델을 개발하고, 이들을 병렬로 활용한다.
균열과 망상균열, 박락과 파손은 유사성이 높으므로 1차적으로 균열, 파손으로 그룹핑(grouping)하여 탐지하고, 분류 기준 적용에 따라 세부적으로 최종 탐지 손상을 수행한다. 인공지능 모델에 대한 학습 방법 결정에 따라, 손상 탐지에 관련한 파라메터의 교정을 수행하고, 손상탐지 성능을 향상시킨다.
성능(정확도)은 손상의 탐지 유무를 기반으로 계산한 F1-score를 기준으로 계산하는데, F1-score는 정밀도(1-오탐지율)와 재현율(1-미탐지율)의 조화평균으로 정의된다. 정밀도(Precision)와 재현율(Recall)은 True Positive(TP), False Positive(FP) 및 False Negative(FN)을 기반으로 아래 [수학식 1]와 같이 계산된다.
[수학식 1]
Figure 112023003304111-pat00003
TP는 손상 영역을 정상적으로 탐지한 픽셀의 수, FP는 손상이 아닌 영역을 손상이라 잘못 탐지한 픽셀의 수, FN은 손상을 탐지하지 못하고 놓친 픽셀의 수로 정의되고, 정밀도와 재현율의 조화평균인 F1-Score는 아래 [수학식 2]와 같이 계산된다.
[수학식 2]
Figure 112023003304111-pat00004
도 3은 본 발명의 실시예에 따른 균열 정량화 알고리즘의 예시를 도시한다.
본 발명의 실시예에 따르면, 손상을 선형 손상(균열, 철근노출)과 면적형 손상(박락, 백태, 부식, 도막박리 등)으로 구분하고, 각 손상 유형에 적합한 손상 정량화 방법을 결정한다.
선형 손상의 경우 Filtering, Dilation-Erosion 기능 등의 영상처리 기법을 적용하여 정확한 손상 픽셀을 결정하고, 손상 정보(폭, 길이)를 픽셀단위로 계산한다. 면적형 손상의 경우 Filtering, 외접박스 등을 활용하여 손상 면적을 픽셀단위로 계산한다.
본 발명의 실시예에 따르면, Blob Detection(얼룩감지) 기능 등을 활용하여 미세한 오탐지 손상을 제거하고, 픽셀 단위로 계산된 손상 정보를 참고거리를 활용하여 실제단위(mm 등)로 변환하여 실단위 손상 정보에 대한 정량화를 수행한다. 이 때, 참고거리는 영상 센서와 영상까지의 촬영거리, 또는 영상에서 확인가능한 물체의 실제 길이를 의미한다.
도 4 본 발명의 실시예에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템을 도시한다.
본 발명의 실시예에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템은, 3D 카메라(110), 통신부(120), 제어부(130)를 포함하는 디바이스(100) 및 통신부(210), 3차원 디지털 트윈 생성부(220), 출력부(230), 입력부(240), 저장부(250)를 포함하는 서버(200)를 포함한다.
예컨대, 디바이스(100)는 이동체에 부착되거나, 인력이 소지하여 구조물 내부에 진입하여 구조물에 대한 디지털 트윈 생성을 위한 3차원 영상 스캐닝을 수행한다. 이동체는 드론 또는 이동 로봇 등으로 관리자가 수동으로 조작할 수도 있고, 자율주행을 수행하는 무인체인 것이 가능하다.
3D 카메라(110)는 복수의 카메라를 사용하여 입체 영상을 획득하며, 카메라 배치 방식에 따라 평행식과 직교식으로 분류되고, 주시점 제어 방식(입체 카메라가 촬영할 때 대상 물체까지의 거리를 주시거리라고 하며, 주시거리를 제어하는 방식을 주시점 제어 방식이라고 정의함)에 따라 수평식, 교차식, 수평 이동식으로 분류된다.
3차원 디지털 트윈 생성 및 손상 분석 결과에 대한 신뢰도 산출에 따라, 후속 시점에 구조물 내부에 진입하는 3D 카메라(110)의 배치 방식 및 주시점 제어 방식이 상이하게 적용되는 것이 가능하다.
3D 카메라(110)는 디바이스(100)에 설치되어 이동체의 이동에 따라 구조물을 스캔하고, 3차원 구조물 데이터를 획득한다. 이 때, 3차원 구조물 데이터에는 전술한 종류의 손상 이미지가 포함된다. 구조물 스캔에 따라, 손상이 자주 발생되는 구조물의 영역에 대해서는 픽셀, 초점 거리, 중첩률 등 촬영 설정 정보가 상이하게 적용되어 촬영이 수행될 수 있다. 이 때, 3차원 디지털 트윈 생성에 따라 외부 관제 영역에서 모니터링하는 관리자의 명령어 입력을 통해, 또는 엣지 컴퓨팅을 수행하는 디바이스(100)의 제어부(130)에 의해 자동으로 촬영 설정 정보가 상이하게 적용될 수 있다. 또한, 주기적으로 수행되는 진단에 있어서, 이전에 손상이 있는 것으로 판단되었거나, 손상이 발생될 가능성이 높은 것으로 판단된 영역에 대해서는, 전술한 바와 같이 픽셀, 초점 거리, 중첩률 등 촬영 설정 정보가 상이하게 적용되어 촬영이 수행될 수 있다. 이 때, 손상의 종류 및 진단 주기 정보를 종합적으로 고려하여, 손상이 추가적으로 발생되었을 가능성이 높은 것으로 판단되는 영역, 또는 추후 손상이 추가적으로 발생될 가능성이 높은 예상 영역에 대해서는 촬영 설정 정보가 상이하게 적용되어 촬영이 수행되고, 촬영 결과가 3차원 디지털 트윈 생성에 반영되는 것이 가능하다. 예컨대, 제1 시점에서 제1 손상이 발생된 것으로 판단된 영역에 대해, 후속하는 제2 시점에서 제1 손상 부근의 영역에 대한 촬영 설정 정보가 타 영역 대비 상이하게 적용되어 촬영이 수행될 수 있고, 제1 시점에서 제1 손상이 발생된 것으로 판단된 구조물에 대해, 별도의 제2 손상이 후속하여 발생될 수 있는 구조물의 후보 영역에 대해 타 영역 대비 상이한 촬영 설정 정보가 적용되어 촬영이 수행될 수도 있다.
또한, 유사손상객체와의 구별 정도(즉, 유사손상객체와 구별되는 것에 대한 신뢰성의 지표)가 기설정 기준 이하인 경우, 해당 영역에 대해 촬영 설정 정보가 상이하게 적용되어 촬영이 수행되도록 조정될 수 있다. 즉, 유사손상객체 구별을 위한 학습이미지를 구축한 경우에도, 제1 촬영 설정 정보에 따라 획득된 영상을 이용한 3차원 디지털 트윈 생성 및 손상 정보 반영 시 유사손상객체와의 구별 정도의 신뢰성이 기설정 기준(예: 80%)이하인 것으로 판단되는 경우, 제1 촬영 설정 정보와 상이한 제2 촬영 설정 정보가 반영되어 해당 영역에 대한 부가 촬영(또는 대체 촬영)이 수행될 수 있다. 또한, 제2 촬영 설정 정보는, 손상의 종류 및 유사손상객체의 종류에 따라, 상이하게 설정될 수 있다.
디바이스(100)의 통신부(120)는 서버(200)의 통신부(210)로 3D 카메라를 이용하여 획득한 영상 정보를 전송하고, 3차원 디지털 트윈 생성부(220)는 획득한 구조물 데이터를 활용하여 스캔 매칭을 통해 정합을 수행하고, 3D 맵을 생성한다.
3차원 디지털 트윈 생성부(220)는 3D 맵 데이터를 복셀로 표현하며, 복셀 내 3차원 포인트에 기반하여 고유 벡터를 획득하고, 통신부를 통해 업데이트되는 3차원 포인트에 대응하는 대응 포인트를 검출하고, 회전 또는 이동 변환을 통해 3D 맵을 갱신한다. 3차원 디지털 트윈 생성부(220)는 자신이 생성한 구조물의 3D 맵에 대해, 디바이스(100)의 3D 카메라(10)가 촬영을 수행한 위치 및 방향을 고려하여, 좌표 계산을 수행한다. 3차원 디지털 트윈 생성부(220)는 촬영 위치 및 방향 좌표, 구조물 영상 좌표, 3차원 모델링 좌표, 구조물 상태 좌표를 바탕으로 구조물의 3차원 모델링 및 3차원 디지털 트윈을 생성한다. 3차원 디지털 트윈 생성부(220)는 통신부(210)를 통해 디바이스(100)의 통신부(120)로 촬영 위치, 촬영 방향, 구조물 영상 좌표, 3D 맵 좌표, 구조물 상태 등을 포함하는 공유 정보를 전송한다. 구조물 내 디바이스(100)를 통해 해당 공유 정보를 확인한 작업자는 제어부(130)에 제어 지령을 입력하여, 디바이스(100)의 위치를 조정하거나 촬영 설정을 조정하는 것이 가능하다. 여기서, 3차원 디지털 트윈은 3차원 모델링된 구조물에 구조물 상태 또는 구조물 영상이 반영될 수 있다.
출력부(230)는 3차원 디지털 트윈 생성부(220)가 생성한 3차원 디지털 트윈을 출력하고, 입력부(240)는 관리자가 3차원 디지털 트윈에 대해 설명 자료를 텍스트로 입력할 수 있도록 유저 인터페이스를 제공한다. 이 때, 관리자의 수동 입력 없이, 설명 가능 인공지능 모델을 적용하여, 3차원 디지털 트윈에 대해 손상 분석 결과의 논리 구조에 대한 텍스트 자동 입력이 수행될 수도 있다.
입력부(240)에서 제공하는 유저 인터페이스를 통해, 관리자는 3차원 디지털 트윈에서 구조물 영상의 관련 정보를 수정할 수 있고, 디바이스의 위치 및 촬영 방향에 대한 조정 명령 입력이 가능하다.
저장부(250)는 구조물 데이터, 구조물 영상, 3D 맵, 디바이스의 위치 및 촬영 방향, 구조물 영상 좌표, 3차원 모델링 좌표, 구조물 상태 정보, 3차원 디지털 트윈, 유저 인터페이스 또는 설명 가능 인공지능 모델을 통해 입력된 손상 분석 정보를 저장한다.
저장부(250)는 외부 서버로부터 점검 대상 구조물과 유사한 타 구조물의 손상 분석 결과를 업데이트하고, 3차원 디지털 트윈 생성부(220)는 해당 업데이트된 정보를 이용하여 점검 대상 구조물의 3차원 디지털 트윈 생성/갱신에 활용한다.
도 5는 본 발명의 실시예에 따른 3차원 디지털 트윈 생성부의 구성을 도시한다.
3차원 디지털 트윈 생성부(220)는 3차원 모델링부(221), 매칭부(222) 및 구조물 손상 탐지부(223)를 포함한다.
3차원 모델링부(221)는 통신부(210)를 통해 전송받은 구조물 데이터를 바탕으로, 구조물에 대한 3차원 모델링을 수행한다. 이 때, 저장부(250)에 저장된 타 구조물의 손상 분석 결과를 참고하여 점검 대상 구조물의 3차원 모델링을 생성하는 것이 가능하다.
매칭부(222)는 통신부(210)를 통해 수신한 구조물 영상 좌표, 3차원 모델링 좌표, 구조물 상태에 대한 좌표를 매칭하고, 구조물 손상 탐지부(223)는 매칭 결과를 토대로 3차원 디지털 트윈을 생성하고, 구조물 손상에 대한 정보를 3차원 디지털 트윈에 반영시킨다. 이 때, 구조물 손상 탐지부(223)는 기분류된 손상 정보 중에 해당되는 가능성, 손상의 심각도에 대한 정보를 자동으로 반영하여, 관리자가 직관적으로 인지할 수 있도록 지원한다.
본 발명의 다른 실시예에 따르면, 3차원 디지털 트윈 생성부(220)는 기획득된 영상 정보와 결함 검출 정보를 이용한 외관조사망도 작성 시, 외부 수집 정보를 참고한다. 외부 수집 정보에 대한 데이터 크롤링과 관련하여, 데이터 수집을 위해서는 안정적인 프록시(Proxy)의 확보가 필수적인데, 고정 IP는 사이트(Site)마다 초당 N번 이상 수집(call)하는 경우 IP 자체가 밴(Ban)되는 경우가 많다. 또한, 유동 IP의 경우 크롤링 등의 데이터 수집 시 상대적으로 수집을 목적으로 하는 사이트(Site)의 방해를 우회하는 데 유리하기 때문에, 일반적으로 프록시 서비스는 유동 IP의 경우 고정 IP의 경우보다 과금이 높게 책정된다. 본 발명의 다른 실시예에 따르면, 자동 크롤링을 수행함에 있어서, 모바일 유심이 부착된 모바일 디바이스의 그룹으로 형성되는 프록시 서버를 이용하고, 프록시 서버를 관리하고 데이터 수집 요청에 따라 해당 데이터 수집을 수행할 모바일 디바이스를 어레인지하는 관리 서버를 이용하여 크롤링을 수행한다. 관리 서버는 크롤러 서버 또는 일반 유저의 요청을 전달하는 웹 서버로부터, 데이터 수집 요청을 수신한다. 관리 서버는 그룹에 편입되는 모바일 디바이스 및 그룹으로부터 퇴출되는 모바일 디바이스의 정보를 이용하여, 프록시 서버에 대한 등록 현황을 관리한다. 관리 서버는 그룹에 포함되는 모바일 디바이스의 유동 IP 변경 주기에 대한 제어를 수행한다. 관리 서버는 데이터 수집 요청이 사이트에 대한 유해한 공격인지 여부를 모니터링하고, 해당 공격이 확인되면 요청을 전송한 유저를 차단시키고 블랙리스트를 관리한다. 모바일 유심은 컴퓨팅 장치(모바일 디바이스)에 부착되어, 안정적인 유동 IP 프록시 서비스 구축을 수행한다. 컴퓨팅 장치는 모바일 디바이스 외에, 워크스테이션, 랩탑, PDA 등이 활용될 수 있다. 모바일 디바이스들에는 별도의 앱이 설치되며, 유동 IP 프록시 서비스 구축을 위해 그룹핑된 모바일 디바이스를 프록시 서버로 정의한다. 관리 서버는 크롤러 서버 또는 웹 서버로부터 수집 요청을 수신하여, 접속된 프록시 서버에 포함되는 적어도 어느 하나의 디바이스에 해당 요청을 전달한다. 관리 서버는 그룹핑된 모바일 디바이스의 통신 현황을 관리하여, 해당 요청에 따라 데이터 수집을 수행할 적어도 하나 이상의 모바일 디바이스를 프록시 서버 내에 서브-그룹핑한다. 관리 서버는 현재 다른 데이터 수집 요청을 수행하고 있는 모바일 디바이스의 태스크 완료 예상 시점을 고려하여, 모바일 디바이스에 대한 서브-그룹핑을 수행하고, 필요 시 관리자에게 알람을 전송하여 새로운 모바일 디바이스의 인(in)을 요청한다. 관리 서버는 사용자가 요청한 결함 분류 정보를 이용하여, 크롤링 대상 정보의 범주를 고려하여 모바일 디바이스에 대한 서바-그룹핑과 인(in) 요청이 수행된다. 관리 서버는 데이터 수집 요청의 특성(긴급성, 정보 수집 대상의 시계열적 특성)을 고려하여, 기존에 제1 데이터 수집 요청에 따라 태스크를 수행하고 있는 제1 서브-그룹과, 새로운 제2 데이터 수집 요청에 따라 태스크를 수행할 제2 서버-그룹을 통합하여, 일정 기간 동안 제2 데이터 수집 요청에 따른 태스크를 집중적으로 수행하고, 그 이후에는 제1 및 제2 서브-그룹으로 리그룹핑되어 각각의 태스크를 수행하도록 제어한다. 예컨대, 제1 서브-그룹이 수집하고자 하는 데이터는 실시간 수집에 대한 필요성이 기설정 수치 이하인 경우(예컨대 실시간 수집이 아닌, "1일 누적 데이터 수집: 매일 22시부터 24시까지 1일 동안의 누적 데이터 집계"가 요청 사항이므로, 데이터 수집을 위한 구동 필요 시간대가 1일 기준 1/12인 경우), 제1 서브-그룹을 일시적으로 활용하여 다른 데이터의 수집 용도로 활용하는 것이 가능하다. 이 때, 제1 서브-그룹은 새로운 제2 데이터 수집 요청에 따라 태스크를 수행할 통합 그룹으로 편입되어, 기설정된 기간 동안은 제2 데이터 수집을 수행하고, 그 외 기간에는 본래의 제1 데이터 수집 요청에 따른 태스크를 수행한다.
데이터 수집 요청을 수신한 모바일 디바이스는 타겟 사이트(target websites)에 접속하여 정보를 가져오고, 해당 정보는 최초의 요청자(크롤러 서버 또는 일반 유저)까지 전달된다. 관리 서버는 프록시 서버 내에 인(in), 아웃(out)되는 모바일 디바이스의 등록 현황을 관리하고, 전술한 바와 같이 각각의 모바일 디바이스의 통신 현황을 모니터링한다. 관리 서버는 프록시 서버의 등록 관리를 수행함에 있어서, 새로운 모바일 디바이스의 그룹 내 편입(new device in) 시, 예비 그룹을 운영하여 관리한다. 이 때, 관리 서버는 프록시 서버 내 모바일 디바이스 각각의 통신 현황을 모니터링하고, 데이터 수집 요청을 전달하여 그 태스크를 수행할 모바일 디바이스를 지정하여야 하는 바, 모니터링 및 지정에 소요되는 연산 로드(load)를 함께 모니터링한다. 관리 서버는 모니터링 대상 모바일 디바이스의 개수가 많아질수록 모니터링 및 지정에 소요되는 연산 로드(load)가 커지므로, 새로운 모바일 디바이스의 그룹 내 편입 허가에 있어서, 모니터링 및 지정에 소요되는 연산 로드를 고려하여 허가 시점을 결정한다. 현재 프록시 서버 내 모바일 디바이스의 통신 현황 모니터링 및 지정에 소요되는 연산 부하량이 100을 기준으로 하였을 때, 새로이 편입되는 모바일 디바이스 n개가 추가되면 통신 현황 모니터링 및 지정에 소요되는 연산 부하량이 120이 되는 것으로 판단한 경우, 연산 부하량의 증가는 20%가 된다. 이 때, 현재 수신되고 있는 데이터 수집 요청의 증감 수치를 고려하여, 연산 부하량의 증가에도 불구하고 새로이 편입되는 모바일 디바이스 n개를 즉시 그룹 내로 편입되도록 허가하여야 하는 경우, 모바일 디바이스 n개를 즉시 그룹 내로 편입시킨다. 반면, 현재 수신되고 있는 데이터 수집 요청의 증감 수치를 고려하여 볼 때, 굳이 현 시점에서 새로운 모바일 디바이스 n개를 편입시킬 필요가 없다고 판단되는 경우에는, 예비 그룹을 운영/관리함으로써, 추후 필요에 따라 즉시 프록시 서버의 그룹 내로 편입될 수 있도록 대비한다. 관리 서버는 프록시 서버 내에서도 복수의 계층으로 그룹을 관리하여, 타겟 웹사이트에 대해 데이터를 수집하는 태스크를 우선 지정하는 제1 그룹, 태스크를 우선 지정하지 않고 데이터 수집 요청 특성(수집 대상 데이터의 양, 수집 기간 등)을 고려하여 예비적으로 구비하는 제2 그룹, 새로운 디바이스의 편입 시에 전술한 예비 그룹 등으로 계층화하여 그룹을 관리함으로써, 프록시 서버에 대한 관리를 효율적으로 수행하는 것이 바람직하다. 외부 수집 정보를 이용하여 외관조사망도를 작성할 뿐 아니라, 디지털 트윈 생성을 위한 3D 카메라의 촬영 설정 정보(촬영 초점거리, 촬영 영역, 해상도 등)를 외부 수집 정보를 참고하여 실시간으로 자동 변경시키는 것 역시 가능하다.
도 6은 본 발명의 실시예에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 방법을 도시한다.
본 발명의 실시예에 따른 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 방법은 구조물 데이터를 획득하는 단계(S610)와, 구조물 데이터를 이용하여 3차원 맵을 생성하는 단계(S620) 및 3차원 디지털 트윈을 생성하고 구조물 손상 탐지를 수행하는 단계(S630)를 포함한다.
S610 단계에서, 디바이스에 배치된 3D 카메라를 이용하여 3차원 영상 스캐닝이 수행된다. 디바이스는 이동체로서, 드론 또는 이동 로봇 등으로 관리자가 수동으로 조작할 수도 있고, 자율주행을 수행하는 무인체인 것이 가능하다. 3차원 구조물 데이터에는 전술한 종류의 손상 이미지가 포함되며, 구조물 스캔에 따라, 손상이 자주 발생되는 구조물의 영역에 대해서는 픽셀, 초점 거리, 중첩률 등 촬영 설정 정보가 상이하게 적용되어 촬영이 수행될 수 있다.
S620 단계에서, 구조물 데이터를 활용하여 스캔 매칭을 통해 정합을 수행하고, 3차원 맵을 생성한다.
S630 단계에서, 3차원 맵 데이터를 복셀로 표현하며, 복셀 내 3차원 포인트에 기반하여 고유 벡터를 획득하고, 업데이트되는 3차원 포인트에 대응하는 대응 포인트를 검출하고, 회전 또는 이동 변환을 통해 3차원 맵을 갱신한다. 또한, 촬영 위치 및 방향 좌표, 구조물 영상 좌표, 3차원 모델링 좌표, 구조물 상태 좌표를 바탕으로 구조물의 3차원 디지털 트윈을 생성한다.
S630 단계에서는 유사손상객체가 존재하는 이미지에 손상 객체를 합성한 합성 학습데이터를 이용하여 구조물 손상을 탐지하고, 주기적인 진단에 따라 구조물 손상 정보를 3차원 디지털 트윈에 갱신시킨다.
도 7은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
도 7을 참조하면, 컴퓨터 시스템(1000)은, 버스(1070)를 통해 통신하는 프로세서(1010), 메모리(1030), 입력 인터페이스 장치(1050), 출력 인터페이스 장치(1060), 및 저장 장치(1040) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(1000)은 또한 네트워크에 결합된 통신 장치(1020)를 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(1030) 또는 저장 장치(1040)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 저장 장치(1040)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(1020)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (7)

  1. 구조물에 대한 3차원 영상 정보를 획득하여 전송하는 디바이스; 및
    상기 3차원 영상 정보를 이용하여 3차원 디지털 트윈을 생성하는 서버를 포함하고,
    상기 디바이스는 3차원 영상 정보를 획득하는 3D 카메라와, 상기 3차원 영상 정보를 전송하는 제1 통신부 및 영상 촬영에 대한 제어를 수행하는 제어부를 포함하고,
    상기 서버는 상기 제1 통신부로부터 상기 3차원 영상 정보를 수신하는 제2 통신부와, 상기 3차원 디지털 트윈을 생성하는 3차원 디지털 트윈 생성부와, 상기 3차원 디지털 트윈을 출력하는 출력부와, 유저 인터페이스를 제공하는 입력부와, 상기 3차원 디지털 트윈을 저장하는 저장부를 포함하고,
    상기 디바이스는 손상 이미지가 포함된 3차원 구조물 데이터를 전송하고, 상기 서버는 유사손상객체가 존재하는 이미지에 손상 객체를 합성한 합성 학습 데이터를 이용한 인공지능 모델을 기반으로 손상 분석을 수행하고,
    상기 인공지능 모델은 콘크리트의 손상에 대한 균열, 망상균열, 박락, 파손, 철근노출, 재료분리, 백태의 탐지 모델과, 강재의 손상에 대한 부식, 도막박리의 탐지 모델이 손상 별로 구축되고, 병렬로 활용되고,
    상기 인공지능 모델은 유사성이 높은 손상에 대한 그룹핑을 수행하여 탐지하고, 분류 기준 적용에 따라 최종 탐지 손상을 수행하며, 손상 탐지 스코어에 기초하여 파라메터가 교정되고,
    상기 손상 탐지 스코어인 F1-스코어는 1-오탐지율로 정의되는 정밀도와, 1-미탐지율로 정의되는 재현율의 조화 평균으로 정의되며, 하기 [수학식]과 같이 산출되며,
    [수학식]
    Figure 112023033096516-pat00014

    Figure 112023033096516-pat00015

    이 때, TP는 손상 영역을 정상적으로 탐지한 픽셀의 수, FP는 손상이 아닌 영역을 손상이라 잘못 탐지한 픽셀의 수, FN은 손상을 탐지하지 못하고 놓친 픽셀의 수로 정의되는 것
    인 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 인공지능 모델은 상기 손상을 선형 손상 및 면적형 손상으로 구분하고, 상기 선형 손상의 경우 손상 픽셀을 결정하고, 폭, 길이를 포함하는 손상 정보를 픽셀 단위로 계산하며, 상기 면적형 손상의 경우 필터링 또는 외접박스를 활용하여 손상 면적을 픽셀 단위로 계산하는 것
    인 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템.
  7. 제1항에 있어서,
    상기 3D 카메라는 손상 종류에 따라 픽셀, 초점 거리, 중첩률 중 적어도 어느 하나의 촬영 정보가 상이하게 적용되어 촬영이 수행되는 것
    인 3D 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템.
KR1020230003320A 2023-01-10 2023-01-10 3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템 KR102539835B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230003320A KR102539835B1 (ko) 2023-01-10 2023-01-10 3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230003320A KR102539835B1 (ko) 2023-01-10 2023-01-10 3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템

Publications (1)

Publication Number Publication Date
KR102539835B1 true KR102539835B1 (ko) 2023-06-02

Family

ID=86755472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230003320A KR102539835B1 (ko) 2023-01-10 2023-01-10 3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템

Country Status (1)

Country Link
KR (1) KR102539835B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117890380A (zh) * 2024-03-14 2024-04-16 蓝芯存储技术(赣州)有限公司 一种芯片外观缺陷检测方法及检测装置
CN117890380B (zh) * 2024-03-14 2024-05-14 蓝芯存储技术(赣州)有限公司 一种芯片外观缺陷检测方法及检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR20210077322A (ko) * 2019-12-17 2021-06-25 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
KR20210108257A (ko) * 2020-02-25 2021-09-02 창원대학교 산학협력단 부유식 해상풍력 터빈용 디지털 트윈 시스템 장치
KR20220106999A (ko) * 2019-11-29 2022-08-01 도쿄엘렉트론가부시키가이샤 추론 장치, 추론 방법 및 추론 프로그램
KR20220125982A (ko) * 2021-03-08 2022-09-15 주식회사 지엔아이티 3ｄ 디지털 트윈 댐 안전 관리 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR20220106999A (ko) * 2019-11-29 2022-08-01 도쿄엘렉트론가부시키가이샤 추론 장치, 추론 방법 및 추론 프로그램
KR20210077322A (ko) * 2019-12-17 2021-06-25 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
KR20210108257A (ko) * 2020-02-25 2021-09-02 창원대학교 산학협력단 부유식 해상풍력 터빈용 디지털 트윈 시스템 장치
KR20220125982A (ko) * 2021-03-08 2022-09-15 주식회사 지엔아이티 3ｄ 디지털 트윈 댐 안전 관리 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117890380A (zh) * 2024-03-14 2024-04-16 蓝芯存储技术(赣州)有限公司 一种芯片外观缺陷检测方法及检测装置
CN117890380B (zh) * 2024-03-14 2024-05-14 蓝芯存储技术(赣州)有限公司 一种芯片外观缺陷检测方法及检测装置

Similar Documents

Publication Publication Date Title
KR101926561B1 (ko) 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
Yang et al. Vision-based tower crane tracking for understanding construction activity
Protopapadakis et al. Autonomous robotic inspection in tunnels
Halfawy et al. Integrated vision-based system for automated defect detection in sewer closed circuit television inspection videos
US20160133008A1 (en) Crack data collection method and crack data collection program
JP2019056668A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
Yan et al. Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles
Chen et al. Automated bridge deck evaluation through UAV derived point cloud
JP2021131652A (ja) データ構造、記録媒体、プログラム、及びシステム
Rayhana et al. Valve detection for autonomous water pipeline inspection platform
CN114814877B (zh) 一种基于巡检机器人的隧道数据采集方法、设备及介质
Liu et al. Framework for automated UAV-based inspection of external building façades
Braun et al. Bim-based progress monitoring
Pan Three-dimensional vision-based structural damage detection and loss estimation–towards more rapid and comprehensive assessment
KR102539835B1 (ko) 3d 카메라를 이용한 디지털 트윈 생성 및 손상 분석 시스템
KR20230013206A (ko) 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법
KR20240051806A (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법
CN115951704B (zh) 一种基于bim模型的无人机地铁巡检方法及设备
Ko et al. Developing a Free and Open-Source Semi-Automated Building Exterior Crack Inspection Software for Construction and Facility Managers
Bartczak et al. Case Study for Uas-Assisted Bridge Inspections
KR102263029B1 (ko) 화재 피해를 입은 구조물의 위험도 추정 방법
Gupta et al. Challenges in Capturing and Processing UAV based Photographic Data From Construction Sites
Buatik et al. Image-based multiview change detection in concrete structures
YAMANE et al. Reflection of the position of cracks in a 3-d model of a bridge using semantic segmentation
TWI839487B (zh) 檢查支援系統

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant