KR20220156432A - Photo-based building construction defect analysis apparatus using deep learning - Google Patents

Photo-based building construction defect analysis apparatus using deep learning Download PDF

Info

Publication number
KR20220156432A
KR20220156432A KR1020220031784A KR20220031784A KR20220156432A KR 20220156432 A KR20220156432 A KR 20220156432A KR 1020220031784 A KR1020220031784 A KR 1020220031784A KR 20220031784 A KR20220031784 A KR 20220031784A KR 20220156432 A KR20220156432 A KR 20220156432A
Authority
KR
South Korea
Prior art keywords
defect
image
unit
defect detection
deep learning
Prior art date
Application number
KR1020220031784A
Other languages
Korean (ko)
Inventor
김정헌
이상영
안은철
김규원
배종윤
정혜인
Original Assignee
디엘이앤씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디엘이앤씨 주식회사 filed Critical 디엘이앤씨 주식회사
Publication of KR20220156432A publication Critical patent/KR20220156432A/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a photo-based building construction defect detection system using deep learning, and more specifically, to a photo-based building construction defect detection system using deep learning, which is to perform defect detection on an interior space after completion of building construction and to increase the defect detection performance. The photo-based building construction defect detection system comprises an interface unit and a defect detection unit.

Description

딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템{PHOTO-BASED BUILDING CONSTRUCTION DEFECT ANALYSIS APPARATUS USING DEEP LEARNING}Photo-based construction defect detection system using deep learning {PHOTO-BASED BUILDING CONSTRUCTION DEFECT ANALYSIS APPARATUS USING DEEP LEARNING}

본 발명은 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 관한 것으로, 보다 상세하게는 건축 공사가 완료된 실내 공간에 대한 하자 검출을 수행하고, 하자 검출 성능을 높이는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 관한 것이다.The present invention relates to a photo-based construction construction defect detection system using deep learning, and more particularly, to a photo-based construction using deep learning that detects defects in an indoor space where construction work is completed and improves defect detection performance. It is about a construction defect detection system.

최근 4차 산업혁명이 크게 발전하면서 컴퓨터를 이용한 자동화 기술이 각광을 받고 있다.Recently, as the fourth industrial revolution has developed significantly, computer-based automation technology has been in the limelight.

가령 특정 데이터나 규칙을 입력하여 사람이 하는 일을 기계나 컴퓨터에 학습시키는 인공지능(artificial intelligence)기술과, 수천 내지 수만 개 이상의 빅 데이터(big data) 인공지능에 학습시켜 특정 대상을 인식하거나 결정을 내리는 머신 러닝(Machine Learning)기술 및 인공신경망(Artificial neural network)을 이용하여 보다 복합적인 사고 및 판단이 가능하도록 컴퓨터를 학습시키는 딥 러닝(Deep Learning)기술이 있다.For example, artificial intelligence technology that learns what a person does by inputting specific data or rules into a machine or computer, and learning to recognize or decide a specific target by learning thousands or tens of thousands of big data artificial intelligence There is a deep learning technology that trains a computer to enable more complex thinking and judgment using a machine learning technology and an artificial neural network.

최근, 컴퓨팅 속도와 딥 러닝 기술이 크게 발전하면서 단순히 특정 대상을 인식하는 것 뿐 아니라, 복합적인 환경에서 특정 대상을 인식하거나 판단 가능한 정도까지 개발되었다.Recently, with the great development of computing speed and deep learning technology, it has been developed to the extent that it is possible to recognize or judge a specific object in a complex environment as well as simply recognizing a specific object.

한편, 이미지에서 특정 대상을 인식하기 위해서는 학습된 데이터로부터 이미지의 경계를 분석하고, 분석된 경계가 특정 대상인지 아닌지를 분석하는 과정으로 진행된다. 여기서, 이미지에 복합적인 요소가 많이 포함되어 있을수록 이미지의 경계를 분석하고 대상을 식별하는 과정에서 복잡한 알고리즘이 필요하게 된다.Meanwhile, in order to recognize a specific object in an image, a boundary of the image is analyzed from the learned data, and a process of analyzing whether or not the analyzed boundary is a specific object is performed. Here, the more complex elements are included in the image, the more complex algorithm is required in the process of analyzing the boundary of the image and identifying the object.

다시 말해, 이미지 식별의 정확도를 높이기 위해서는 더 복잡한 알고리즘과 더 많은 학습데이터가 필요하다. In other words, more complex algorithms and more training data are needed to increase the accuracy of image identification.

하지만, 이러한 데이터를 학습하는 과정에서 기존에 학습되지 않은 새로운 오브젝트가 포함되어 있는 경우, 이를 제대로 인식하지 못하는 문제점이 있었다.However, in the process of learning such data, if a new object that has not been previously learned is included, there is a problem of not properly recognizing it.

이러한 문제점을 해결하기 위해 특허문헌 1에는 AI를 이용한 손상탐지 시스템은 시설물 점검 현장에서 카메라를 특정 영역에 줌으로 인하여 대상을 촬영하고, 촬영된 이미지에서 하자를 찾는 방식을 사용하고 있으나, 이 또한 확대된 이미지에 학습되지 않는 데이터가 포함되어 있는 경우, 하자의 식별력이 감소하는 문제점이 있다.In order to solve this problem, Patent Document 1 uses a damage detection system using AI to photograph an object by zooming a camera to a specific area at a facility inspection site and to find defects in the photographed image, but this is also expanded. When the processed image includes unlearned data, there is a problem in that the discriminative power of defects is reduced.

또한, 특허문헌 2에는 증강현실 기반의 시공관리 시스템 및 이를 이용한 시공관리 방법은 실내 또는 실외 공간에서 증강현실을 구현 기술, 디지털화된 3차원 건축물 모델의 저장 및 매칭 기술, 시공관리자의 의사결정 지원 기술, 건축물 시공과정의 자동 기록 등을 포함하여, 실제 촬영화면에 해당 예정 공기 BIM모델이 상기 이동식단말기의 화면에 디스플레이 되므로, 완성부분과 미완성부분을 확인할 수 있다.In addition, Patent Document 2 describes an augmented reality-based construction management system and a construction management method using the augmented reality implementation technology in an indoor or outdoor space, a digitized 3D building model storage and matching technology, and a construction manager's decision support technology. , including automatic recording of the building construction process, etc., since the scheduled air BIM model corresponding to the actual shooting screen is displayed on the screen of the mobile terminal, it is possible to check the completed and unfinished parts.

또한, 특허문헌 3에는 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버는 건설 현장 관계자 또는 유지관리 대상 건축물 관계자들의 주관적 기준을 근거로 공종 현황, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부 등이 잘못 판단되지 않도록, 데이터에 기반하여 객관적으로 공간 상태 정보를 판별한다.In addition, Patent Document 3 discloses a method for determining space state information of a building based on machine learning and a space state information determination server using the same, which complies with the current state of construction and safety rules based on subjective criteria of construction site officials or building officials subject to maintenance. Objectively discriminate spatial state information based on data so as not to erroneously determine whether or not there is a defect or whether a defect has occurred.

등록특허공보 제10-2260056호Registered Patent Publication No. 10-2260056 등록특허공보 제10-2162028호Registered Patent Publication No. 10-2162028 등록특허공보 제10-2298260호Registered Patent Publication No. 10-2298260

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 창안된 것으로, 더욱 상세하게는 객체 검출 대신 딥러닝 하자 분류 기술을 적용해서 건축 공사 실내 이미지에서 하자를 검출하는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템을 제공하는 것을 목적으로 한다.The present invention was invented to solve the problems of the prior art as described above, and more specifically, photo-based construction using deep learning that detects defects in interior images of construction works by applying deep learning defect classification technology instead of object detection. It is an object of the present invention to provide a construction defect detection system.

또한, 본 발명은 이미지의 최소 해상도, 주변 장애물의 영향도, 음영 정도를 확인하여 학습용 이미지의 조건을 하자 종류별 영향을 고려해서 적용하는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention is to provide a photo-based construction construction defect detection system using deep learning that applies the condition of the learning image in consideration of the effect of each defect type by checking the minimum resolution of the image, the degree of influence of surrounding obstacles, and the degree of shading. for another purpose.

또한, 본 발명은 자율 주행 로봇이 실내 공간을 자율 주행하며 수집한 이미지에 대해 하자 검출을 수행해서 건축 공사 검증을 처리하는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to provide a photo-based construction defect detection system using deep learning that processes construction verification by performing defect detection on images collected by an autonomous robot autonomously traveling in an indoor space. to be

본 발명의 바람직한 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은, 사용자 조작, 디스플레이 표시의 사용자 인터페이스를 처리하고, 이미지 선택, 메뉴 선택의 사용자 조작을 하자 인식부(30)에 전달하고, 상기 하자 인식부(30)의 동작 상태인 영상 분할, 하자 검출, 검출 결과를 디스플레이에 표시하는 인터페이스부(20); 및 건축 공사가 마친 실내 공간이 촬영된 이미지에 대해 하자 검출을 수행하며, 스틸컷부(31), 영상 분할부(32), 분석부(33), 출력부(34)를 포함하는 하자 인식부(30);를 포함하는 것을 특징으로 한다.The photo-based construction defect detection system using preferred deep learning of the present invention processes user manipulation and display user interface, transmits image selection and menu selection user manipulation to the defect recognition unit 30, and an interface unit 20 that displays image segmentation, defect detection, and detection results, which are operational states of the defect recognition unit 30, on a display; and a defect recognition unit including a still cut unit 31, an image segmentation unit 32, an analysis unit 33, and an output unit 34 that detects defects in an image of an indoor space where the construction work is completed ( 30); characterized in that it includes.

또한, 상기 하자 인식부(30)는, 상기 인터페이스부(20)에서 선택된 이미지로부터 각각의 스틸컷을 만들고, 하나의 스틸컷에 대해 영상 분할, 하자 검출이 이루어지도록 스틸컷을 상기 영상 분할부(32)로 전달하는 스틸컷부(31); 상기 스틸컷을 가로, 세로 일정 비율로 분할하고, 분할된 이미지에 대해 하자 검출이 이루어지도록 분할 이미지를 순서대로 상기 분석부(33)에 전달하는 영상 분할부(32); 상기 영상 분할부(32)에 의해 분할된 이미지에 대해 신경망을 이용한 하자 검출을 수행하고, 검출 결과를 상기 출력부(34)에 전달하는 분석부(33); 및 상기 분석부(33)의 검출 결과인 하자 확률 수치를 상기 인터페이스부(20)로 전달해서 상기 인터페이스부(20)의 수치 출력, 하자 확인 절차가 수행되도록 하는 출력부(34);를 포함하는 것을 특징으로 한다.In addition, the defect recognizing unit 30 makes each still cut from the image selected by the interface unit 20, and divides the still cut into the image division unit ( 32) to the steel cut portion 31; an image segmentation unit 32 that divides the still cut at a constant ratio horizontally and vertically, and sequentially transmits the divided images to the analysis unit 33 so that defects are detected on the divided images; an analysis unit 33 which performs defect detection using a neural network on the image segmented by the image segmentation unit 32 and transmits a detection result to the output unit 34; And an output unit 34 that transmits the defect probability value, which is the detection result of the analysis unit 33, to the interface unit 20 so that the numerical output of the interface unit 20 and the defect confirmation procedure are performed. characterized by

또한, 자율 주행 로봇(40)이 건축 공사 실내 공간을 자율 주행하며, 실내 공간을 촬영하고, 촬영된 이미지를 상기 하자 인식부(30)로 전달하는 자율 주행부(50)를 더 포함하고, 상기 하자 인식부(30)는, 수신된 이미지에 대해 하자 검출을 수행하고, 검출 결과를 단말기(6)로 전송하고, 상기 단말기(6)는, 상기 자율 주행 로봇(40)의 하자 검출 결과를 화면에 표시하는 것을 특징으로 한다.In addition, the self-driving robot 40 further includes an autonomous driving unit 50 for autonomously traveling in an indoor space for construction work, photographing the indoor space, and transmitting the captured image to the defect recognition unit 30, The defect recognition unit 30 performs defect detection on the received image and transmits the detection result to the terminal 6, and the terminal 6 displays the defect detection result of the self-driving robot 40 on the screen. It is characterized by displaying in.

또한, 상기 분석부(33)는, 하자 이미지를 입력하는 단계(S101); 영상 분할, 하자 검출의 초기 하자 검출 모델을 수립하는 단계(S102); 분할된 이미지에 대해 하자를 판단하는 단계(S103); 상기 단계 S103에서 하자 검출 정확도가 30~80%인 이미지를 2차 분류하는 단계(S104); 2차 분류된 이미지를 수작업으로 하자 판단하는 단계(S105); 상기 단계 S103에서 하자 검출 정확도가 90% 이상인 이미지, 상기 단계 S105에서 하자 판단된 이미지를 데이터 수집하는 단계(S106); 하자 검출 모델의 학습량을 모니터링하는 단계(S107); 및 딥러닝 학습 데이터를 확보하고, 하자 검출 모델을 구축하는 단계(S108);를 수행하는 것을 특징으로 한다.In addition, the analysis unit 33, the step of inputting a defect image (S101); Establishing an initial defect detection model for image segmentation and defect detection (S102); Determining defects in the divided images (S103); Secondarily classifying the image having a defect detection accuracy of 30 to 80% in step S103 (S104); Manually determining defects in the secondary classified images (S105); Collecting data of the image having a defect detection accuracy of 90% or more in the step S103 and the image determined to be defective in the step S105 (S106); monitoring the amount of learning of the defect detection model (S107); and securing deep learning learning data and building a defect detection model (S108).

또한, 상기 분석부(33)는, 도배 찢김 하자 판독 테스트를 시작하는 단계(S201); 학습 데이터 종류를 분류하는 단계(S202); 하자 단독 이미지, 근경 이미지를 수집하는 단계(S203); 해상도를 분류하는 단계(S204); 128, 245, 1024, 4096 크기 이미지를 수집하는 단계(S205); 장애물 비율을 분류하는 단계(S206); 10%, 20%, 30%, 40% 장애물 비율의 이미지를 수집하는 단계(S207); 하자 종류를 분류하는 단계(S208); 및 A, B, C, D 하자 종류를 수집하는 단계(S209);를 수행하는 것을 특징으로 한다.In addition, the analysis unit 33, the step of starting the paper tear defect reading test (S201); Classifying the type of learning data (S202); Collecting defect-only images and foreground images (S203); Classifying the resolution (S204); Collecting 128, 245, 1024, 4096 size images (S205); Classifying the obstacle ratio (S206); Collecting images with obstacle ratios of 10%, 20%, 30%, and 40% (S207); Classifying defect types (S208); and collecting defect types A, B, C, and D (S209).

한편 본 명세서에 개시된 기술에 관한 설명은 단지 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 개시된 기술에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.On the other hand, since the description of the technology disclosed in this specification is merely an embodiment for structural or functional description, the scope of rights of the disclosed technology should not be construed as being limited by the embodiment described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of rights of the disclosed technology includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the disclosed technology does not mean that a specific embodiment should include all of them or only such effects, the scope of rights of the disclosed technology should not be construed as being limited thereto.

또한 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. “제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소로 제1 구성요소로 명명될 수 있다.In addition, the meaning of terms described in the present invention should be understood as follows. Terms such as “first” and “second” are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

나아가 어떤 구성요소가 다른 구성요소에 “연결되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.Furthermore, it should be understood that when a component is referred to as being “connected” to another component, it may be directly connected to the other component, but other components may exist in the middle. On the other hand, when an element is referred to as being “directly connected” to another element, it should be understood that no intervening element exists. Meanwhile, other expressions describing the relationship between components, such as “between” and “between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다”또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “have” refer to the described feature, number, step, operation, component, part, or It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

본 발명은 객체 검출 대신 딥러닝 하자 분류 기술을 적용해서 건축 공사 실내 이미지에서 하자를 검출함으로써 건축 공사가 마치고 실내 마감 검증을 수행하는 효과를 가질 수 있다.The present invention can have the effect of performing interior finish verification after the construction work is completed by detecting defects in the interior image of the construction work by applying the deep learning defect classification technology instead of object detection.

또한, 본 발명은 이미지의 최소 해상도, 주변 장애물의 영향도, 음영 정도를 확인하여 학습용 이미지의 조건을 하자 종류별 영향을 고려해서 적용함으로써 하자 검출 성능을 높이는 효과를 가질 수 있다.In addition, the present invention can have an effect of improving defect detection performance by checking the minimum resolution of the image, the influence of surrounding obstacles, and the degree of shading and applying the conditions of the learning image in consideration of the effect of each defect type.

또한, 본 발명은 자율 주행 로봇이 실내 공간을 자율 주행하며 수집한 이미지에 대해 하자 검출을 수행해서 건축 공사 검증을 처리함으로써 하자 검출 작업을 자동화하는 효과를 가질 수 있다.In addition, the present invention can have an effect of automating the defect detection task by performing defect detection on images collected by the self-driving robot autonomously traveling in an indoor space and processing construction work verification.

도 1은 본 발명 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 구성을 설명하기 위한 하드웨어 자원과 운영체제, 코어인 제어부의 동작, 제어부 동작을 실행할 권한을 부여하는 시스템 인증 구성을 설명하는 예시도이다.
도 2는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용되는 하자 데이터 수집, 하자 검출 모델 구축을 보인 흐름도이다.
도 3은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 하자 데이터 판독 테스트를 보인 흐름도이다.
도 4는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 사용자 인터페이스를 보인 예시도이다.
도 5는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용될 수 있는 하자 데이터의 예시도이다.
도 6은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 영상 분할, 하자 검출, 검출 결과를 보인 예시도이다.
도 7은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 실내 다수 사진에 영상 분할, 하자 검출이 적용된 검출 결과를 보인 예시도이다.
도 8은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템이 적용된 자율 주행 로봇의 구성을 보인 블록도이다.
1 is an exemplary view illustrating a system authentication configuration that grants authority to execute hardware resources, an operating system, a core control unit, and a control unit operation for explaining the configuration of a photo-based construction defect detection system using deep learning of the present invention. to be.
FIG. 2 is a flow chart showing defect data collection and defect detection model construction used in the picture-based construction defect detection system using deep learning in FIG. 1 .
FIG. 3 is a flowchart illustrating a defect data reading test of the photo-based construction defect detection system using deep learning in FIG. 1 .
FIG. 4 is an exemplary view showing a user interface of the picture-based construction defect detection system using deep learning in FIG. 1 .
5 is an exemplary view of defect data that can be used in the picture-based construction defect detection system using deep learning in FIG. 1 .
6 is an exemplary diagram showing image segmentation, defect detection, and detection results of the photo-based construction defect detection system using deep learning in FIG. 1 .
FIG. 7 is an exemplary view showing detection results in which image segmentation and defect detection are applied to multiple indoor photos of the photo-based construction work defect detection system using deep learning in FIG. 1 .
8 is a block diagram showing the configuration of an autonomous robot to which the picture-based construction defect detection system using deep learning in FIG. 1 is applied.

이하, 도면을 참조하여 본 발명의 바람직한 일 실시 예에 따른 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 대하여 상세히 설명하기로 한다. 이하에서 종래 주지된 사항에 대한 설명은 본 발명의 요지를 명확히 하기 위해 생략하거나 간단히 한다. 본 발명의 설명에 포함된 구성은 개별 또는 복합 결합 구성되어 동작한다.Hereinafter, a photo-based construction defect detection system using deep learning according to a preferred embodiment of the present invention will be described in detail with reference to the drawings. Hereinafter, descriptions of conventionally known matters are omitted or simplified to clarify the gist of the present invention. The configurations included in the description of the present invention operate in individual or complex combination configurations.

도 1은 본 발명 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 구성을 설명하기 위한 하드웨어 자원과 운영체제, 코어인 제어부의 동작, 제어부 동작을 실행할 권한을 부여하는 시스템 인증 구성을 설명하는 예시도로서, 도 1을 참조하면, 본 발명은 프로세서(1), 메모리(2), 입출력장치(3), 카메라(10), 운영체제(4), 제어부(5), 인터페이스부(20), 하자 인식부(30)를 포함한다.1 is an exemplary view illustrating a system authentication configuration that grants authority to execute hardware resources, an operating system, a core control unit, and a control unit operation for explaining the configuration of a photo-based construction defect detection system using deep learning of the present invention. As such, referring to FIG. 1, the present invention includes a processor 1, a memory 2, an input/output device 3, a camera 10, an operating system 4, a control unit 5, an interface unit 20, and defect recognition. It includes part 30.

프로세서(1)는 CPU(Central Processing Units), GPU(Graphic Processing Unit), FPGA(Field Programmable Gate Array), NPU(Neural Processing Unit)로서, 메모리(2)에 탑재된 운영체제(4), 제어부(5)의 실행 코드를 수행한다.The processor 1 is a CPU (Central Processing Units), a GPU (Graphic Processing Unit), an FPGA (Field Programmable Gate Array), and an NPU (Neural Processing Unit). ) executes the executable code.

메모리(2)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다.The memory 2 includes a permanent mass storage device such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), flash memory, etc. can do.

입출력장치(3)는 입력 장치로, 오디오 센서 및/또는 이미지 센서를 포함한 카메라, 키보드, 마이크로폰, 마우스 등의 장치를, 그리고 출력 장치로, 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다.The input/output device 3 is an input device, such as a camera, keyboard, microphone, mouse, etc., including an audio sensor and/or an image sensor, and an output device, such as a display, speaker, haptic feedback device, etc. device may be included.

카메라(10)는 촬상소자에 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)를 사용하여 빛을 전자적인 신호로 바꾸어 메모리(2)에 저장한다. 메모리(2)에는 대용량의 RAW 이미지가 저장되고, 운영체제(4)는 메모리(2)의 RAW 이미지를 하자 인식부(30)에 제공한다.The camera 10 uses a Charge-Coupled Device (CCD) or a Complementary Metal-Oxide Semiconductor (CMOS) as an imaging device to convert light into an electronic signal and store it in the memory 2 . A large-capacity RAW image is stored in the memory 2, and the operating system 4 provides the RAW image in the memory 2 to the defect recognition unit 30.

운영체제(4)는 윈도우, 리눅스, IOS, 가상 머신, 웹브라우저, 인터프리터를 포함할 수 있다.The operating system 4 may include Windows, Linux, IOS, a virtual machine, a web browser, and an interpreter.

제어부(5)는 운영체제(4)의 지원하에 입출력장치(3)의 센서, 키, 터치, 마우스 입력에 의한 상태를 결정하고, 결정된 상태에 따른 동작을 수행한다. 제어부(5)는 병렬 수행 루틴으로 타이머, 쓰레드에 의한 작업 스케줄링을 수행한다.The control unit 5 determines the state of the input/output device 3 by sensor, key, touch, and mouse input under the support of the operating system 4, and performs an operation according to the determined state. The control unit 5 performs task scheduling using a timer and thread as a parallel execution routine.

제어부(5)는 입출력장치(3)의 센서값을 이용하여 상태를 결정하고, 결정된 상태에 따른 알고리즘을 수행한다.The control unit 5 determines a state using the sensor value of the input/output device 3 and performs an algorithm according to the determined state.

인터페이스부(20)는 사용자 조작, 디스플레이 표시의 사용자 인터페이스를 처리하고, 이미지 선택, 메뉴 선택의 사용자 조작을 하자 인식부(30)에 전달하고, 하자 인식부(30)의 동작 상태인 영상 분할, 하자 검출, 검출 결과를 디스플레이에 표시한다.The interface unit 20 processes a user interface such as user manipulation and display display, transmits user manipulations such as image selection and menu selection to the defect recognition unit 30, and divides images, which are operational states of the defect recognition unit 30, Defect detection and detection results are displayed on the display.

하자 인식부(30)는 건축 공사가 마친 실내 공간이 촬영된 이미지에 대해 하자 검출을 수행하며, 스틸컷부(31), 영상 분할부(32), 분석부(33), 출력부(34)를 포함한다.The defect recognition unit 30 performs defect detection on the image of the indoor space where the building work is completed, and uses the still cut unit 31, the image segmentation unit 32, the analysis unit 33, and the output unit 34. include

스틸컷부(31)는 인터페이스부(20)에서 선택된 이미지로부터 각각의 스틸컷을 만들고, 하나의 스틸컷에 대해 영상 분할, 하자 검출이 이루어지도록 스틸컷을 영상 분할부(32)로 전달한다.The still cut unit 31 creates each still cut from the image selected by the interface unit 20 and transfers the still cut to the image segmentation unit 32 so that image segmentation and defect detection are performed on one still cut.

영상 분할부(32)는 스틸컷을 가로, 세로 일정 비율로 분할하고, 분할된 이미지에 대해 하자 검출이 이루어지도록 분할 이미지를 순서대로 분석부(33)에 전달한다.The image segmentation unit 32 divides the still cut into a predetermined ratio horizontally and vertically, and sequentially transmits the divided images to the analysis unit 33 so that defects are detected on the divided images.

분석부(33)는 영상 분할부(32)에 의해 분할된 이미지에 대해 신경망을 이용한 하자 검출을 수행하고, 검출 결과를 출력부(34)에 전달한다. 예를 들어, 분석부(33)는 오픈 소스 기반의 Automated M/L(DataRobot) 딥러닝 알고리즘을 이용할 수 있다. 이외에도, H2O.ai, dotData, EdgeVerve, Aible, Big Squid 솔루션을 이용할 수도 있다.The analysis unit 33 performs defect detection using a neural network on the image segmented by the image segmentation unit 32 and transmits the detection result to the output unit 34 . For example, the analysis unit 33 may use an open source Automated M/L (DataRobot) deep learning algorithm. In addition, you can use H2O.ai, dotData, EdgeVerve, Aible, and Big Squid solutions.

신경망 학습은 온도, 고도, 지문 등 각종 센서, 이미지, 적외선 등 카메라, 라이더와 같은 입력 장치로부터 수집된 시계열 데이터로부터 특징량 선택, 알고리즘 선택을 통해 모델을 선택하고, 학습, 성능 검증 과정에 의한 반복 시행 착오를 거쳐 모델 선택을 반복한다. 성능 검증이 마치면 인공지능 모델이 선택된다.Neural network learning selects a model through feature selection and algorithm selection from time-series data collected from input devices such as various sensors such as temperature, altitude, and fingerprints, cameras such as images and infrared rays, and LIDAR, and then repeats learning and performance verification processes. Repeat model selection through trial and error. After performance verification is complete, an artificial intelligence model is selected.

분석부(33)는 센서값 판단에 신경망을 이용한 딥러닝 알고리즘을 수행하고, 신경망 학습에 훈련 데이터를 이용하고, 시험 데이터로 신경망 성능을 검증한다.The analysis unit 33 performs a deep learning algorithm using a neural network to determine the sensor value, uses training data to learn the neural network, and verifies the performance of the neural network with test data.

분석부(33)는 이미지에서 하자를 찾고 위치를 표시해야 하기 때문에 객체 검출이 적합하지만, 딥러닝 분류 기술을 활용하되 노이즈를 최소화하고, 하자를 효과적으로 표현하기 위해 사전에 영상을 분할하는 전처리 기술을 적용한 모델을 구축한다.The analysis unit 33 is suitable for object detection because it needs to find defects in the image and display the location, but deep learning classification technology is used while minimizing noise and pre-processing technology that divides the image in advance to effectively express the defect. Build the applied model.

분석부(33)는 4m 이내 실내 공간에서 촬영된 이미지에 대해 하자 검출에 전처리 1분, 검출 1분, 출력 1분 정도를 소요하고, 1~5mm 크기까지의 하자를 검출할 수 있다.The analysis unit 33 takes about 1 minute of pre-processing, 1 minute of detection, and 1 minute of output to detect defects in an image captured in an indoor space within 4 m, and can detect defects up to a size of 1 to 5 mm.

출력부(34)는 분석부(33)의 검출 결과인 하자 확률 수치를 인터페이스부(20)로 전달해서 인터페이스부(20)의 수치 출력, 하자 확인 절차가 수행되도록 한다.The output unit 34 transfers the defect probability value, which is the detection result of the analysis unit 33, to the interface unit 20 so that the numerical output of the interface unit 20 and the defect check procedure are performed.

분석부(33)는 하자 검출에 선형 판별 분석(LDA), 로지스틱 회귀(LR), 지원 벡터 머신(SVM), 결정 트리(DT), k-최근접 이웃(KNN), 랜덤 포레스트(RF) 등 6가지 머신 러닝 알고리즘을 적용할 수 있다.The analysis unit 33 uses linear discriminant analysis (LDA), logistic regression (LR), support vector machine (SVM), decision tree (DT), k-nearest neighbor (KNN), random forest (RF), etc. Six machine learning algorithms can be applied.

선형 판별 분석(LDA)는 새로운 입력 세트가 각 클래스에 속할 확률을 추정하여 예측한다. 가장 높은 확률을 얻는 클래스가 출력 클래스이며 예측이 수행된다. 로지스틱 회귀(LR)은 두 가지 가능한 분류 문제에 대한 확률이다.Linear discriminant analysis (LDA) makes predictions by estimating the probability that a new set of inputs belongs to each class. The class that gets the highest probability is the output class and predictions are made. Logistic regression (LR) is the probability for two possible classification problems.

지원 벡터 머신(SVM)은 예제를 두 개의 클래스로 가장 잘 분할하는 초평면 결정 경계를 찾는다. 분할은 일부 포인트가 잘못 분류될 수 있는 여백을 사용하여 부드럽게 만들어진다. 결정 트리(DT)에는 훈련 데이터 세트의 예를 분류하기 위해 트리를 성장시키는 작업이 포함된다. 트리는 훈련 데이터 세트를 나누는 것으로 생각할 수 있다. 여기서, 예제는 트리의 결정 지점을 따라 진행되어 트리의 잎에 도달하고 클래스 레이블이 할당된다. k-최근접 이웃(KNN)은 사용 가능한 모든 데이터를 저장하고 유사성을 기반으로 새로운 데이터 포인트를 분류한다. 즉, 새로운 데이터가 나타날 때 k-최근접 이웃(KNN)을 사용하여 웰 스위트 범주로 쉽게 분류할 수 있다. 마지막으로 랜덤 포레스트(RF)는 최종 출력을 위한 많은 의사결정나무로 구성되며, 그 과정에 참여하는 의사결정나무의 수가 많기 때문에 매우 정확하고 강력한 방법으로 간주된다.Support vector machines (SVMs) find the hyperplanar decision boundary that best splits the examples into two classes. The division is made smooth using margins where some points may be misclassified. A decision tree (DT) involves growing a tree to classify examples from a training data set. A tree can be thought of as dividing a training data set. Here, the example proceeds through the decision points of the tree until it reaches the leaves of the tree and is assigned a class label. A k-nearest neighbor (KNN) stores all available data and classifies new data points based on similarity. That is, when new data appears, it can be easily classified into well-sweet categories using k-Nearest Neighbors (KNN). Finally, a random forest (RF) consists of many decision trees for the final output, and is considered a very accurate and powerful method because the number of decision trees participating in the process is large.

도 1을 참조하면, 시스템 인증 구성은 제어부(5)를 포함하는 단말기(6), 인증 서버(7)를 포함한다.Referring to FIG. 1 , the system authentication configuration includes a terminal 6 including a control unit 5 and an authentication server 7 .

단말기(6)는 데이터 채널을 이중화하고, 단말기(6)의 키값, 생체 정보를 입력받아 인증 서버(7)에 제1데이터 채널을 통해 사용자 인증을 요청하고, 단말기(6)는 생성된 킷값을 디스플레이에 표시하고, 인증 서버(7)로 전송한다.The terminal 6 duplicates the data channels, receives the key value and biometric information of the terminal 6, and requests user authentication from the authentication server 7 through the first data channel. It is displayed on the display and transmitted to the authentication server (7).

단말기(6)는 단말기(6)의 디스플레이에 표시된 킷값을 입력하고, 사용자 정보와 함께 제2데이터 채널을 통해 인증 서버(7)로 전송한다. 단말기(6)는 킷값과 사용자 정보를 이용하여 단말기(6)에 탑재된 시스템의 인증을 인증 서버(7)에 요청한다. 단말기(6)의 킷값은 컴퓨터 고유의 정보인 CPU 제조번호, 이더넷 칩의 맥주소로부터 생성될 수 있다. 단말기(6)는 카메라를 이용한 얼굴 인식, 마이크를 이용한 음성 인식, 디스플레이를 이용한 필기 인식을 통해 사용자 정보를 획득하고, 인증에 활용할 수 있다.The terminal 6 inputs the kit value displayed on the display of the terminal 6 and transmits it to the authentication server 7 through the second data channel along with user information. The terminal 6 requests the authentication server 7 to authenticate the system installed in the terminal 6 using the kit value and user information. The kit value of the terminal 6 can be generated from computer-specific information such as the CPU manufacturing number and the address of the Ethernet chip. The terminal 6 may obtain user information through face recognition using a camera, voice recognition using a microphone, and handwriting recognition using a display, and may use it for authentication.

인증 서버(7)는 단말기(6)로부터 킷값을 수신하고, 단말기(6)로부터 이중화된 데이터 채널을 통해 킷값과 사용자 정보를 수신하여 단말기(6)의 킷값과 사용자 정보를 비교하고, 사용자 정보를 대응시켜 단말기(6)의 시스템 이용에 대한 인증을 처리한다. 인증 서버(7)는 인증 결과를 단말기(6)로 전송하여 시스템에 대한 사용자의 사용을 허가한다. 단말기(6)의 이중화된 데이터 채널로 인해 킷값 손실이 최소화되는 효과를 가질 수 있다.The authentication server 7 receives the kit value from the terminal 6, receives the kit value and user information from the terminal 6 through a duplicated data channel, compares the kit value of the terminal 6 with the user information, and returns the user information Correspondingly, authentication for system use of the terminal 6 is processed. The authentication server 7 transmits the authentication result to the terminal 6 to allow the user to use the system. Due to the duplicated data channel of the terminal 6, loss of kit value can be minimized.

인증 서버(7)는 사용자 정보의 히스토리 분석을 수행하고, 시간 흐름에 따라 사용자 정보의 일관성, 변화를 비교 판단한다. 히스토리 분석에서 사용자 정보가 일관성을 나타내면 사용자의 사용을 허가하고, 변화를 나타내면 사용자의 사용을 허가하지 않는다. 사용자 정보가 일관성을 나타낼 때 사용자의 시스템 사용을 허가함으로써 사용자 정보가 변조된 사용자가 시스템에 접근하지 못하도록 보안을 강화한다.The authentication server 7 performs a history analysis of user information, and compares and determines consistency and change of user information over time. In the history analysis, if the user information shows consistency, the user's use is permitted, and if it shows change, the user's use is not permitted. When the user information shows consistency, the user's use of the system is permitted, thereby strengthening security to prevent a user whose user information has been altered from accessing the system.

시스템의 사용을 인증하는 수단인 단말기(6)는 시스템과 직접 연결하지 않고, 인증 서버(7)를 통한 우회 경로를 형성함으로써 인터넷망을 이루는 네트워크가 내부망과 외부망으로 구성되어 아이피 주소 설정 과정이 번거로울 때 단말기(6)를 이용한 인증 과정이 원활히 수행되는 장점이 있다. 이때, 단말기(6)에는 시스템이 탑재되고, 단말기(6)는 인증 단말 수단이 되고, 인증 서버(7)는 인증 서버 수단이 된다.The terminal 6, which is a means of authenticating the use of the system, does not directly connect to the system, but forms a detour through the authentication server 7, so that the network constituting the Internet network is composed of an internal network and an external network, and the IP address setting process When this is cumbersome, there is an advantage in that the authentication process using the terminal 6 is smoothly performed. At this time, the system is mounted on the terminal 6, the terminal 6 serves as an authentication terminal means, and the authentication server 7 serves as an authentication server means.

도 2는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용되는 하자 데이터 수집, 하자 검출 모델 구축을 보인 흐름도로서, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 하자 이미지를 입력하는 단계(S101); 영상 분할, 하자 검출의 초기 하자 검출 모델을 수립하는 단계(S102); 분할된 이미지에 대해 하자를 판단하는 단계(S103); 단계 S103에서 하자 검출 정확도가 30~80%인 이미지를 2차 분류하는 단계(S104); 2차 분류된 이미지를 수작업으로 하자 판단하는 단계(S105); 단계 S103에서 하자 검출 정확도가 90% 이상인 이미지, 단계 S105에서 하자 판단된 이미지를 데이터 수집하는 단계(S106); 하자 검출 모델의 학습량을 모니터링하는 단계(S107); 딥러닝 학습 데이터를 확보하고, 하자 검출 모델을 구축하는 단계(S108)를 수행한다.Figure 2 is a flow chart showing defect data collection and defect detection model construction used in the picture-based construction defect detection system using deep learning in Figure 1. The photo-based construction defect detection system using deep learning inputs a defect image Step (S101); Establishing an initial defect detection model for image segmentation and defect detection (S102); Determining defects in the divided images (S103); Secondarily classifying the image having a defect detection accuracy of 30 to 80% in step S103 (S104); Manually determining defects in the secondary classified images (S105); Collecting data of the image having a defect detection accuracy of 90% or more in step S103 and the image determined to be defective in step S105 (S106); monitoring the amount of learning of the defect detection model (S107); A step of securing deep learning learning data and building a defect detection model (S108) is performed.

도 3은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 하자 데이터 판독 테스트를 보인 흐름도로서, 도 3을 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 도배 찢김 하자 판독 테스트를 시작하는 단계(S201); 학습 데이터 종류를 분류하는 단계(S202); 하자 단독 이미지, 근경 이미지를 수집하는 단계(S203); 해상도를 분류하는 단계(S204); 128, 245, 1024, 4096 크기 이미지를 수집하는 단계(S205); 장애물 비율을 분류하는 단계(S206); 10%, 20%, 30%, 40% 장애물 비율의 이미지를 수집하는 단계(S207); 하자 종류를 분류하는 단계(S208); A, B, C, D 하자 종류를 수집하는 단계(S209);를 수행한다.3 is a flow chart showing a defect data reading test of the photo-based construction work defect detection system using deep learning in FIG. 1. Referring to FIG. starting the test (S201); Classifying the type of learning data (S202); Collecting defect-only images and foreground images (S203); Classifying the resolution (S204); Collecting 128, 245, 1024, 4096 size images (S205); Classifying the obstacle ratio (S206); Collecting images with obstacle ratios of 10%, 20%, 30%, and 40% (S207); Classifying defect types (S208); Collecting defect types A, B, C, and D (S209); is performed.

건출 공사 하자 분석 장치는 하자만 학습시키는 경우, 배경이 포함된 이미지를 학습시키는 경우의 학습용 이미지의 조건을 확인하고, 이미지 해상도를 강제로 변경시키면서 하자 판독 정확도를 교차 검증하여 이미지의 최소 해상도 조건을 확인하고, 최적 해상도와 이미지 분할 기준으로 주변 장애물 비율에 따른 정확도 영향을 확인하고, 하자 종류별 최적 조건들의 차이가 있는지를 확인한다.The device for analyzing defects in construction works checks the condition of the training image when only defects are trained or when an image containing the background is trained, and cross-verifies the defect reading accuracy while forcibly changing the image resolution to meet the minimum resolution condition of the image. , check the accuracy effect according to the ratio of surrounding obstacles based on the optimal resolution and image segmentation, and check whether there is a difference in optimal conditions for each defect type.

도 4는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 사용자 인터페이스를 보인 예시도로서, 도 4를 참조하면, 사용자 인터페이스는 AI하자점검 메뉴(101)가 선택되고, 화면 전환되어 사진 가져오기(102), 이력 조회(103)가 표시되고, 사진 가져오기(102)가 선택되면 단말기(6)에 저장된 이미지 목록이 표시되고, 이미지 목록 중 이미지(104)가 선택되면 화면 전환되어 하자식별(105), 다시 가져오기(106)가 표시되고, 하자식별(105)이 선택되면 하자 식별중(107)이 표시되고, 하자 검출 이미지(108)가 표시되고, 하자식별완료(109)가 표시되고, 화면 전환되어 하자 맞음(110), 하자 아님(111), 취소(112)가 표시되고, 하자 맞음(110)이 선택되면 하자 검출 이미지(108)에 대해 하자식별완료(109)가 표시된다.Figure 4 is an exemplary view showing a user interface of the picture-based construction defect detection system using deep learning in Figure 1. Referring to Figure 4, the user interface is selected AI defect inspection menu 101, the screen is switched to a picture Import (102) and history inquiry (103) are displayed, and when import picture (102) is selected, a list of images stored in the terminal (6) is displayed, and when an image (104) is selected from the image list, the screen is switched. Identification (105) and Reimport (106) are displayed, and when defect identification (105) is selected, defect identification (107) is displayed, a defect detection image (108) is displayed, and defect identification completion (109) is displayed. is displayed, and the screen is switched to display defect correct (110), non-defective (111), cancel (112), and when defect correct (110) is selected, defect identification completion (109) is displayed for the defect detection image (108) do.

도 5는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용될 수 있는 하자 데이터의 예시도로서, 도 5를 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 하자 데이터로 단독 하자 이미지, 장애물이 포함된 하자 데이터를 이용할 수 있다. 단독 하자 이미지 또는 장애물이 포함된 하자 데이터가 하자 검출 알고리즘에 적용되면, 데이터 특성에 따라 하자 검출 알고리즘의 하자 검출 성능에 차이가 발생하고, 하자 검출 성능을 높이기 위해 단독 하자 이미지가 사용될 수 있다. 또한, 장애물 비율이 낮고 데이터 량이 많으면 장애물이 포함된 하자 데이터도 사용될 수 있다.5 is an exemplary view of defect data that can be used in the picture-based construction work defect detection system using deep learning in FIG. 1. Referring to FIG. 5, the photo-based construction work defect detection system using deep learning uses defect data Single defect images and defect data including obstacles can be used. When defect data including a single defect image or an obstacle is applied to a defect detection algorithm, a difference occurs in defect detection performance of the defect detection algorithm according to data characteristics, and the single defect image may be used to improve defect detection performance. In addition, if the obstacle ratio is low and the amount of data is large, defect data including obstacles may also be used.

딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 이미지 해상도를 강제로 변경시켜가면서 하자 판독 정확도를 교차 검증할 수 있고, 이미지의 최소 해상도 조건을 확인해서 하자 판별이 가능한 해상도 확보를 위한 촬영 기준의 설정을 필요로 한다. 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 4032*3024픽셀 해상도, 폭 4m 이내 범위 촬영, 촬영하는 면을 정면으로 바라보고 촬영했을 때 1cm 크기 이내의 하자 검출이 가능하다.A photo-based construction construction defect detection system using deep learning can cross-verify defect reading accuracy while forcibly changing the image resolution, and check the minimum resolution condition of the image to determine the resolution required for defect detection. setup is required. The photo-based construction defect detection system using deep learning has a resolution of 4032*3024 pixels, and can detect defects within 1 cm when shooting within a range of 4 m in width and looking straight at the surface to be filmed.

딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에서는 주변 장애물에 영향을 받지만 정확도의 급격한 변화가 없을 때 정확도 임계치 설정을 통해 보완이 가능하고, 장애물이 없는 경우 정확도는 높지만 장애물이 70%이상 포함되면 정확도가 급격하게 떨어진다.In the photo-based construction defect detection system using deep learning, it is possible to compensate by setting the accuracy threshold when there is no rapid change in accuracy even though it is affected by surrounding obstacles. Accuracy drops drastically.

딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 하자 학습용 이미지 해상도가 너무 낮은 경우 하자로 인식할 수 있고, 음영 부분을 하자로 인식할 수 있어, 이러한 이미지에 대해 전처리를 통해 이미지 제거할 수 있다.A photo-based construction construction defect detection system using deep learning can recognize defects as defects when the image resolution for defect learning is too low, and can recognize shadowed areas as defects, so these images can be removed through pre-processing. .

딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 다양한 도배지를 학습해서 하자 검출 성능을 높이고, 장애물이 포함된 정상 이미지를 학습하여 하자 검출 성능을 추가로 더 높인다.The photo-based construction defect detection system using deep learning learns various wallpapers to improve defect detection performance, and learns normal images containing obstacles to further improve defect detection performance.

도 6은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 영상 분할, 하자 검출, 검출 결과를 보인 예시도로서, 도 6을 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 건축 공사 실내 이미지에 대해 영상 분할 처리하고, 분할 이미지에 대해 하자 검출을 수행하고, 하자 확률이 56%일 때 하자로 판단하지만 임계치 보정을 통해 보완이 가능하고, 하자 확률이 94%이면 하지 인식으로 성공 처리할 수 있다.6 is an exemplary view showing image segmentation, defect detection, and detection results of the photo-based construction work defect detection system using deep learning in FIG. 1. Referring to FIG. 6, the photo-based construction work defect detection system using deep learning performs video segmentation processing on the indoor image of construction work, performs defect detection on the split image, and judges it as a defect when the defect probability is 56%, but can be supplemented through threshold correction, and recognizes the lower body when the defect probability is 94%. can be processed with success.

도 7은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 실내 다수 사진에 영상 분할, 하자 검출이 적용된 검출 결과를 보인 예시도로서, 도 7을 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 건축 공사 실내 이미지(301)에 대해 하자 확률이 100%인 하자 이미지(302), 48%인 하자 이미지(303)를 표시하고, 다른 예로 건축 공사 실내 이미지(304)에 대해 하자 확률이 99%인 하자 이미지(305)를 표시하고, 또 다른 예로 건축 공사 실내 이미지(306)에 대해 하자 확률이 100%인 하자 이미지(307), 56%인 하자 이미지(308), 69%인 하자 이미지(309)를 표시한다.FIG. 7 is an exemplary diagram showing the detection results of image segmentation and defect detection applied to multiple indoor photos of the photo-based construction defect detection system using deep learning in FIG. 1 . Referring to FIG. 7 , photo-based using deep learning The building construction defect detection system displays a defect image 302 with a defect probability of 100% and a defect image 303 with a 48% probability for the building construction indoor image 301, and as another example, for the building construction indoor image 304 A defect image (305) with a defect probability of 99% is displayed, and as another example, a defect image (307) with a defect probability of 100%, a defect image (308) with a defect probability of 56%, and a defect image (308) with a defect probability of 69% are displayed for an indoor image (306) of construction work. A defect defect image 309 is displayed.

도 8은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템이 적용된 자율 주행 로봇의 구성을 보인 블록도로서, 도 8을 참조하면, 자율 주행 로봇은 도 1의 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 구성과, 자율 주행부(50)를 포함하고, 단말기(6)와 통신한다.Figure 8 is a block diagram showing the configuration of the self-driving robot to which the picture-based building construction defect detection system using deep learning of Figure 1 is applied. Referring to Figure 8, the self-driving robot is photo-based using deep learning It includes the configuration of the construction work defect detection system and the autonomous driving unit 50, and communicates with the terminal 6.

자율 주행부(50)는 자율 주행 로봇(40)이 건축 공사 실내 공간을 자율 주행하며, 실내 공간을 촬영하고, 촬영된 이미지를 하자 인식부(30)로 전달한다. 하자 인식부(30)는 수신된 이미지에 대해 하자 검출을 수행하고, 검출 결과를 단말기(6)로 전송한다. 단말기(6)는 자율 주행 로봇(40)의 하자 검출 결과를 화면에 표시한다.In the self-driving unit 50 , the self-driving robot 40 autonomously travels in an indoor space for construction work, photographs the indoor space, and transmits the photographed image to the defect recognition unit 30 . The defect recognition unit 30 performs defect detection on the received image and transmits the detection result to the terminal 6 . The terminal 6 displays the defect detection result of the autonomous robot 40 on the screen.

자율 주행부(50)는 실내 공간에서 위치를 측위하고, 벽과 거리를 측정해서 일정 거리 내에 자율 주행 로봇(40)이 위치할 때 촬영되는 이미지를 하자 인식부(30)로 전달해서 하자 인식부(30)가 하자 검출을 수행하도록 조치한다. 또한, 카메라(10)는 렌즈 초점을 조절해서 이미지를 촬영하고, 촬상 소자의 성능을 최대로 이용한다.The self-driving unit 50 localizes the position in the indoor space, measures the distance to the wall, and transmits an image captured when the self-driving robot 40 is located within a certain distance to the defect recognition unit 30, and the defect recognition unit (30) takes action to perform defect detection. In addition, the camera 10 captures an image by adjusting the focus of the lens and maximizes the performance of the imaging device.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이행할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will be able to fulfill what you can do.

1: 프로세서 2: 메모리
3: 입출력장치 4: 운영체제
5: 제어부 6: 단말기
7: 인증 서버 10: 카메라
20: 인터페이스부 30: 하자 인식부
31: 스틸컷부 32: 영상 분할부
33: 분석부 34: 출력부
40: 자율 주행 로봇 50: 자율 주행부
1: processor 2: memory
3: input/output device 4: operating system
5: control unit 6: terminal
7: authentication server 10: camera
20: interface unit 30: defect recognition unit
31: still cut part 32: video division part
33: analysis unit 34: output unit
40: autonomous driving robot 50: autonomous driving unit

Claims (5)

사용자 조작, 디스플레이 표시의 사용자 인터페이스를 처리하고, 이미지 선택, 메뉴 선택의 사용자 조작을 하자 인식부(30)에 전달하고, 상기 하자 인식부(30)의 동작 상태인 영상 분할, 하자 검출, 검출 결과를 디스플레이에 표시하는 인터페이스부(20); 및
건축 공사가 마친 실내 공간이 촬영된 이미지에 대해 하자 검출을 수행하며, 스틸컷부(31), 영상 분할부(32), 분석부(33), 출력부(34)를 포함하는 하자 인식부(30);를 포함하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
User manipulation and user interface display display are processed, and user manipulations such as image selection and menu selection are transmitted to the defect recognition unit 30, and image segmentation, defect detection, and detection results, which are operating states of the defect recognition unit 30, are performed. an interface unit 20 displaying on a display; and
A defect recognition unit 30 that performs defect detection on an image of an indoor space where construction work is completed and includes a still cut unit 31, an image segmentation unit 32, an analysis unit 33, and an output unit 34. ); Photo-based construction defect detection system using deep learning, characterized in that it includes.
제1항에 있어서,
상기 하자 인식부(30)는,
상기 인터페이스부(20)에서 선택된 이미지로부터 각각의 스틸컷을 만들고, 하나의 스틸컷에 대해 영상 분할, 하자 검출이 이루어지도록 스틸컷을 상기 영상 분할부(32)로 전달하는 스틸컷부(31);
상기 스틸컷을 가로, 세로 일정 비율로 분할하고, 분할된 이미지에 대해 하자 검출이 이루어지도록 분할 이미지를 순서대로 상기 분석부(33)에 전달하는 영상 분할부(32);
상기 영상 분할부(32)에 의해 분할된 이미지에 대해 신경망을 이용한 하자 검출을 수행하고, 검출 결과를 상기 출력부(34)에 전달하는 분석부(33); 및
상기 분석부(33)의 검출 결과인 하자 확률 수치를 상기 인터페이스부(20)로 전달해서 상기 인터페이스부(20)의 수치 출력, 하자 확인 절차가 수행되도록 하는 출력부(34);를 포함하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
According to claim 1,
The defect recognition unit 30,
a still cut unit 31 that creates each still cut from the image selected in the interface unit 20 and transfers the still cut to the image segmentation unit 32 so that image segmentation and defect detection are performed on one still cut;
an image segmentation unit 32 that divides the still cut at a constant ratio horizontally and vertically, and sequentially transmits the divided images to the analysis unit 33 so that defects are detected on the divided images;
an analysis unit 33 which performs defect detection using a neural network on the image segmented by the image segmentation unit 32 and transmits a detection result to the output unit 34; and
An output unit 34 that transmits the defect probability value, which is the detection result of the analysis unit 33, to the interface unit 20 so that the interface unit 20 outputs a numerical value and performs a defect check procedure; Characterized by a photo-based construction defect detection system using deep learning.
제1항에 있어서,
자율 주행 로봇(40)이 건축 공사 실내 공간을 자율 주행하며, 실내 공간을 촬영하고, 촬영된 이미지를 상기 하자 인식부(30)로 전달하는 자율 주행부(50)를 더 포함하고,
상기 하자 인식부(30)는, 수신된 이미지에 대해 하자 검출을 수행하고, 검출 결과를 단말기(6)로 전송하고, 상기 단말기(6)는, 상기 자율 주행 로봇(40)의 하자 검출 결과를 화면에 표시하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
According to claim 1,
The self-driving robot 40 further includes an autonomous driving unit 50 that autonomously travels in an indoor space for construction work, photographs the indoor space, and transmits the captured image to the defect recognition unit 30,
The defect recognition unit 30 performs defect detection on the received image, transmits the detection result to the terminal 6, and the terminal 6 receives the defect detection result of the autonomous robot 40. A photo-based construction defect detection system using deep learning, characterized in that it is displayed on the screen.
제 1항에 있어서,
상기 분석부(33)는,
하자 이미지를 입력하는 단계(S101);
영상 분할, 하자 검출의 초기 하자 검출 모델을 수립하는 단계(S102);
분할된 이미지에 대해 하자를 판단하는 단계(S103);
상기 단계 S103에서 하자 검출 정확도가 30~80%인 이미지를 2차 분류하는 단계(S104);
2차 분류된 이미지를 수작업으로 하자 판단하는 단계(S105);
상기 단계 S103에서 하자 검출 정확도가 90% 이상인 이미지, 상기 단계 S105에서 하자 판단된 이미지를 데이터 수집하는 단계(S106);
하자 검출 모델의 학습량을 모니터링하는 단계(S107); 및
딥러닝 학습 데이터를 확보하고, 하자 검출 모델을 구축하는 단계(S108);를 수행하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
According to claim 1,
The analysis unit 33,
inputting a defect image (S101);
Establishing an initial defect detection model for image segmentation and defect detection (S102);
Determining defects in the divided images (S103);
Secondarily classifying the image having a defect detection accuracy of 30 to 80% in step S103 (S104);
Manually determining defects in the secondary classified images (S105);
Collecting data of the image having a defect detection accuracy of 90% or more in the step S103 and the image determined to be defective in the step S105 (S106);
monitoring the amount of learning of the defect detection model (S107); and
Securing deep learning learning data and building a defect detection model (S108); photo-based construction defect detection system using deep learning, characterized in that performing.
제1항에 있어서,
상기 분석부(33)는,
도배 찢김 하자 판독 테스트를 시작하는 단계(S201);
학습 데이터 종류를 분류하는 단계(S202);
하자 단독 이미지, 근경 이미지를 수집하는 단계(S203);
해상도를 분류하는 단계(S204);
128, 245, 1024, 4096 크기 이미지를 수집하는 단계(S205);
장애물 비율을 분류하는 단계(S206);
10%, 20%, 30%, 40% 장애물 비율의 이미지를 수집하는 단계(S207);
하자 종류를 분류하는 단계(S208); 및
A, B, C, D 하자 종류를 수집하는 단계(S209);를 수행하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
According to claim 1,
The analysis unit 33,
Starting a paper tear defect reading test (S201);
Classifying the type of learning data (S202);
Collecting defect-only images and foreground images (S203);
Classifying the resolution (S204);
Collecting 128, 245, 1024, 4096 size images (S205);
Classifying the obstacle ratio (S206);
Collecting images with obstacle ratios of 10%, 20%, 30%, and 40% (S207);
Classifying defect types (S208); and
A photo-based construction defect detection system using deep learning, characterized by performing the step (S209) of collecting defect types A, B, C, and D.
KR1020220031784A 2021-05-18 2022-03-15 Photo-based building construction defect analysis apparatus using deep learning KR20220156432A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210064339 2021-05-18
KR1020210064339 2021-05-18

Publications (1)

Publication Number Publication Date
KR20220156432A true KR20220156432A (en) 2022-11-25

Family

ID=84237194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220031784A KR20220156432A (en) 2021-05-18 2022-03-15 Photo-based building construction defect analysis apparatus using deep learning

Country Status (1)

Country Link
KR (1) KR20220156432A (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102162028B1 (en) 2020-04-07 2020-10-06 (재)한국건설품질연구원 Degradation detection system using artificial intelligence
KR102260056B1 (en) 2020-02-12 2021-06-03 주식회사 씨엠엑스 Method and server for differentiating space state information of structure based on machine learning
KR102298260B1 (en) 2020-11-25 2021-09-07 한국건설기술연구원 the construction managing system based on augmented reality and the construction management method using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102260056B1 (en) 2020-02-12 2021-06-03 주식회사 씨엠엑스 Method and server for differentiating space state information of structure based on machine learning
KR102162028B1 (en) 2020-04-07 2020-10-06 (재)한국건설품질연구원 Degradation detection system using artificial intelligence
KR102298260B1 (en) 2020-11-25 2021-09-07 한국건설기술연구원 the construction managing system based on augmented reality and the construction management method using the same

Similar Documents

Publication Publication Date Title
CN106960195B (en) Crowd counting method and device based on deep learning
US9744671B2 (en) Information technology asset type identification using a mobile vision-enabled robot
CN111814850A (en) Defect detection model training method, defect detection method and related device
CN110796018B (en) Hand motion recognition method based on depth image and color image
US20150262068A1 (en) Event detection apparatus and event detection method
JP2021520530A (en) Biological detection methods and devices, electronic devices and storage media
CN112364827B (en) Face recognition method, device, computer equipment and storage medium
CN110705357A (en) Face recognition method and face recognition device
CN111310826B (en) Method and device for detecting labeling abnormality of sample set and electronic equipment
RU2713876C1 (en) Method and system for detecting alarm events when interacting with self-service device
KR20210048272A (en) Apparatus and method for automatically focusing the audio and the video
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
CN112926522B (en) Behavior recognition method based on skeleton gesture and space-time diagram convolution network
CN111368682A (en) Method and system for detecting and identifying station caption based on faster RCNN
CN111460858A (en) Method and device for determining pointed point in image, storage medium and electronic equipment
JP5137805B2 (en) Inspection system, control method therefor, and computer program
CN117152094A (en) Method, device and system for analyzing surface defects of steel plate based on computer vision
US20220309782A1 (en) Using smartphone camera and application to capture, analyze, and evaluate latent fingerprints in real-time
KR20220156432A (en) Photo-based building construction defect analysis apparatus using deep learning
CN113269190B (en) Data classification method and device based on artificial intelligence, computer equipment and medium
CN115311723A (en) Living body detection method, living body detection device and computer-readable storage medium
CN115690514A (en) Image recognition method and related equipment
CN115116119A (en) Face recognition system based on digital image processing technology
CN114038045A (en) Cross-modal face recognition model construction method and device and electronic equipment
JP7337541B2 (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
A302 Request for accelerated examination