KR20220156432A - Photo-based building construction defect analysis apparatus using deep learning - Google Patents
Photo-based building construction defect analysis apparatus using deep learning Download PDFInfo
- Publication number
- KR20220156432A KR20220156432A KR1020220031784A KR20220031784A KR20220156432A KR 20220156432 A KR20220156432 A KR 20220156432A KR 1020220031784 A KR1020220031784 A KR 1020220031784A KR 20220031784 A KR20220031784 A KR 20220031784A KR 20220156432 A KR20220156432 A KR 20220156432A
- Authority
- KR
- South Korea
- Prior art keywords
- defect
- image
- unit
- defect detection
- deep learning
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 214
- 238000013135 deep learning Methods 0.000 title claims abstract description 51
- 238000004458 analytical method Methods 0.000 title claims description 27
- 238000009435 building construction Methods 0.000 title abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 121
- 238000010276 construction Methods 0.000 claims description 61
- 238000003709 image segmentation Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000003066 decision tree Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000009430 construction management Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000010977 unit operation Methods 0.000 description 2
- 241000238366 Cephalopoda Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Immunology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 관한 것으로, 보다 상세하게는 건축 공사가 완료된 실내 공간에 대한 하자 검출을 수행하고, 하자 검출 성능을 높이는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 관한 것이다.The present invention relates to a photo-based construction construction defect detection system using deep learning, and more particularly, to a photo-based construction using deep learning that detects defects in an indoor space where construction work is completed and improves defect detection performance. It is about a construction defect detection system.
최근 4차 산업혁명이 크게 발전하면서 컴퓨터를 이용한 자동화 기술이 각광을 받고 있다.Recently, as the fourth industrial revolution has developed significantly, computer-based automation technology has been in the limelight.
가령 특정 데이터나 규칙을 입력하여 사람이 하는 일을 기계나 컴퓨터에 학습시키는 인공지능(artificial intelligence)기술과, 수천 내지 수만 개 이상의 빅 데이터(big data) 인공지능에 학습시켜 특정 대상을 인식하거나 결정을 내리는 머신 러닝(Machine Learning)기술 및 인공신경망(Artificial neural network)을 이용하여 보다 복합적인 사고 및 판단이 가능하도록 컴퓨터를 학습시키는 딥 러닝(Deep Learning)기술이 있다.For example, artificial intelligence technology that learns what a person does by inputting specific data or rules into a machine or computer, and learning to recognize or decide a specific target by learning thousands or tens of thousands of big data artificial intelligence There is a deep learning technology that trains a computer to enable more complex thinking and judgment using a machine learning technology and an artificial neural network.
최근, 컴퓨팅 속도와 딥 러닝 기술이 크게 발전하면서 단순히 특정 대상을 인식하는 것 뿐 아니라, 복합적인 환경에서 특정 대상을 인식하거나 판단 가능한 정도까지 개발되었다.Recently, with the great development of computing speed and deep learning technology, it has been developed to the extent that it is possible to recognize or judge a specific object in a complex environment as well as simply recognizing a specific object.
한편, 이미지에서 특정 대상을 인식하기 위해서는 학습된 데이터로부터 이미지의 경계를 분석하고, 분석된 경계가 특정 대상인지 아닌지를 분석하는 과정으로 진행된다. 여기서, 이미지에 복합적인 요소가 많이 포함되어 있을수록 이미지의 경계를 분석하고 대상을 식별하는 과정에서 복잡한 알고리즘이 필요하게 된다.Meanwhile, in order to recognize a specific object in an image, a boundary of the image is analyzed from the learned data, and a process of analyzing whether or not the analyzed boundary is a specific object is performed. Here, the more complex elements are included in the image, the more complex algorithm is required in the process of analyzing the boundary of the image and identifying the object.
다시 말해, 이미지 식별의 정확도를 높이기 위해서는 더 복잡한 알고리즘과 더 많은 학습데이터가 필요하다. In other words, more complex algorithms and more training data are needed to increase the accuracy of image identification.
하지만, 이러한 데이터를 학습하는 과정에서 기존에 학습되지 않은 새로운 오브젝트가 포함되어 있는 경우, 이를 제대로 인식하지 못하는 문제점이 있었다.However, in the process of learning such data, if a new object that has not been previously learned is included, there is a problem of not properly recognizing it.
이러한 문제점을 해결하기 위해 특허문헌 1에는 AI를 이용한 손상탐지 시스템은 시설물 점검 현장에서 카메라를 특정 영역에 줌으로 인하여 대상을 촬영하고, 촬영된 이미지에서 하자를 찾는 방식을 사용하고 있으나, 이 또한 확대된 이미지에 학습되지 않는 데이터가 포함되어 있는 경우, 하자의 식별력이 감소하는 문제점이 있다.In order to solve this problem,
또한, 특허문헌 2에는 증강현실 기반의 시공관리 시스템 및 이를 이용한 시공관리 방법은 실내 또는 실외 공간에서 증강현실을 구현 기술, 디지털화된 3차원 건축물 모델의 저장 및 매칭 기술, 시공관리자의 의사결정 지원 기술, 건축물 시공과정의 자동 기록 등을 포함하여, 실제 촬영화면에 해당 예정 공기 BIM모델이 상기 이동식단말기의 화면에 디스플레이 되므로, 완성부분과 미완성부분을 확인할 수 있다.In addition,
또한, 특허문헌 3에는 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버는 건설 현장 관계자 또는 유지관리 대상 건축물 관계자들의 주관적 기준을 근거로 공종 현황, 안전 수칙 준수 여부 및 결함 또는 하자 발생 여부 등이 잘못 판단되지 않도록, 데이터에 기반하여 객관적으로 공간 상태 정보를 판별한다.In addition,
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 창안된 것으로, 더욱 상세하게는 객체 검출 대신 딥러닝 하자 분류 기술을 적용해서 건축 공사 실내 이미지에서 하자를 검출하는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템을 제공하는 것을 목적으로 한다.The present invention was invented to solve the problems of the prior art as described above, and more specifically, photo-based construction using deep learning that detects defects in interior images of construction works by applying deep learning defect classification technology instead of object detection. It is an object of the present invention to provide a construction defect detection system.
또한, 본 발명은 이미지의 최소 해상도, 주변 장애물의 영향도, 음영 정도를 확인하여 학습용 이미지의 조건을 하자 종류별 영향을 고려해서 적용하는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention is to provide a photo-based construction construction defect detection system using deep learning that applies the condition of the learning image in consideration of the effect of each defect type by checking the minimum resolution of the image, the degree of influence of surrounding obstacles, and the degree of shading. for another purpose.
또한, 본 발명은 자율 주행 로봇이 실내 공간을 자율 주행하며 수집한 이미지에 대해 하자 검출을 수행해서 건축 공사 검증을 처리하는 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to provide a photo-based construction defect detection system using deep learning that processes construction verification by performing defect detection on images collected by an autonomous robot autonomously traveling in an indoor space. to be
본 발명의 바람직한 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은, 사용자 조작, 디스플레이 표시의 사용자 인터페이스를 처리하고, 이미지 선택, 메뉴 선택의 사용자 조작을 하자 인식부(30)에 전달하고, 상기 하자 인식부(30)의 동작 상태인 영상 분할, 하자 검출, 검출 결과를 디스플레이에 표시하는 인터페이스부(20); 및 건축 공사가 마친 실내 공간이 촬영된 이미지에 대해 하자 검출을 수행하며, 스틸컷부(31), 영상 분할부(32), 분석부(33), 출력부(34)를 포함하는 하자 인식부(30);를 포함하는 것을 특징으로 한다.The photo-based construction defect detection system using preferred deep learning of the present invention processes user manipulation and display user interface, transmits image selection and menu selection user manipulation to the
또한, 상기 하자 인식부(30)는, 상기 인터페이스부(20)에서 선택된 이미지로부터 각각의 스틸컷을 만들고, 하나의 스틸컷에 대해 영상 분할, 하자 검출이 이루어지도록 스틸컷을 상기 영상 분할부(32)로 전달하는 스틸컷부(31); 상기 스틸컷을 가로, 세로 일정 비율로 분할하고, 분할된 이미지에 대해 하자 검출이 이루어지도록 분할 이미지를 순서대로 상기 분석부(33)에 전달하는 영상 분할부(32); 상기 영상 분할부(32)에 의해 분할된 이미지에 대해 신경망을 이용한 하자 검출을 수행하고, 검출 결과를 상기 출력부(34)에 전달하는 분석부(33); 및 상기 분석부(33)의 검출 결과인 하자 확률 수치를 상기 인터페이스부(20)로 전달해서 상기 인터페이스부(20)의 수치 출력, 하자 확인 절차가 수행되도록 하는 출력부(34);를 포함하는 것을 특징으로 한다.In addition, the
또한, 자율 주행 로봇(40)이 건축 공사 실내 공간을 자율 주행하며, 실내 공간을 촬영하고, 촬영된 이미지를 상기 하자 인식부(30)로 전달하는 자율 주행부(50)를 더 포함하고, 상기 하자 인식부(30)는, 수신된 이미지에 대해 하자 검출을 수행하고, 검출 결과를 단말기(6)로 전송하고, 상기 단말기(6)는, 상기 자율 주행 로봇(40)의 하자 검출 결과를 화면에 표시하는 것을 특징으로 한다.In addition, the self-driving
또한, 상기 분석부(33)는, 하자 이미지를 입력하는 단계(S101); 영상 분할, 하자 검출의 초기 하자 검출 모델을 수립하는 단계(S102); 분할된 이미지에 대해 하자를 판단하는 단계(S103); 상기 단계 S103에서 하자 검출 정확도가 30~80%인 이미지를 2차 분류하는 단계(S104); 2차 분류된 이미지를 수작업으로 하자 판단하는 단계(S105); 상기 단계 S103에서 하자 검출 정확도가 90% 이상인 이미지, 상기 단계 S105에서 하자 판단된 이미지를 데이터 수집하는 단계(S106); 하자 검출 모델의 학습량을 모니터링하는 단계(S107); 및 딥러닝 학습 데이터를 확보하고, 하자 검출 모델을 구축하는 단계(S108);를 수행하는 것을 특징으로 한다.In addition, the analysis unit 33, the step of inputting a defect image (S101); Establishing an initial defect detection model for image segmentation and defect detection (S102); Determining defects in the divided images (S103); Secondarily classifying the image having a defect detection accuracy of 30 to 80% in step S103 (S104); Manually determining defects in the secondary classified images (S105); Collecting data of the image having a defect detection accuracy of 90% or more in the step S103 and the image determined to be defective in the step S105 (S106); monitoring the amount of learning of the defect detection model (S107); and securing deep learning learning data and building a defect detection model (S108).
또한, 상기 분석부(33)는, 도배 찢김 하자 판독 테스트를 시작하는 단계(S201); 학습 데이터 종류를 분류하는 단계(S202); 하자 단독 이미지, 근경 이미지를 수집하는 단계(S203); 해상도를 분류하는 단계(S204); 128, 245, 1024, 4096 크기 이미지를 수집하는 단계(S205); 장애물 비율을 분류하는 단계(S206); 10%, 20%, 30%, 40% 장애물 비율의 이미지를 수집하는 단계(S207); 하자 종류를 분류하는 단계(S208); 및 A, B, C, D 하자 종류를 수집하는 단계(S209);를 수행하는 것을 특징으로 한다.In addition, the analysis unit 33, the step of starting the paper tear defect reading test (S201); Classifying the type of learning data (S202); Collecting defect-only images and foreground images (S203); Classifying the resolution (S204); Collecting 128, 245, 1024, 4096 size images (S205); Classifying the obstacle ratio (S206); Collecting images with obstacle ratios of 10%, 20%, 30%, and 40% (S207); Classifying defect types (S208); and collecting defect types A, B, C, and D (S209).
한편 본 명세서에 개시된 기술에 관한 설명은 단지 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 개시된 기술에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.On the other hand, since the description of the technology disclosed in this specification is merely an embodiment for structural or functional description, the scope of rights of the disclosed technology should not be construed as being limited by the embodiment described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of rights of the disclosed technology includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the disclosed technology does not mean that a specific embodiment should include all of them or only such effects, the scope of rights of the disclosed technology should not be construed as being limited thereto.
또한 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. “제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소로 제1 구성요소로 명명될 수 있다.In addition, the meaning of terms described in the present invention should be understood as follows. Terms such as “first” and “second” are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.
나아가 어떤 구성요소가 다른 구성요소에 “연결되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.Furthermore, it should be understood that when a component is referred to as being “connected” to another component, it may be directly connected to the other component, but other components may exist in the middle. On the other hand, when an element is referred to as being “directly connected” to another element, it should be understood that no intervening element exists. Meanwhile, other expressions describing the relationship between components, such as “between” and “between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다”또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “have” refer to the described feature, number, step, operation, component, part, or It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
본 발명은 객체 검출 대신 딥러닝 하자 분류 기술을 적용해서 건축 공사 실내 이미지에서 하자를 검출함으로써 건축 공사가 마치고 실내 마감 검증을 수행하는 효과를 가질 수 있다.The present invention can have the effect of performing interior finish verification after the construction work is completed by detecting defects in the interior image of the construction work by applying the deep learning defect classification technology instead of object detection.
또한, 본 발명은 이미지의 최소 해상도, 주변 장애물의 영향도, 음영 정도를 확인하여 학습용 이미지의 조건을 하자 종류별 영향을 고려해서 적용함으로써 하자 검출 성능을 높이는 효과를 가질 수 있다.In addition, the present invention can have an effect of improving defect detection performance by checking the minimum resolution of the image, the influence of surrounding obstacles, and the degree of shading and applying the conditions of the learning image in consideration of the effect of each defect type.
또한, 본 발명은 자율 주행 로봇이 실내 공간을 자율 주행하며 수집한 이미지에 대해 하자 검출을 수행해서 건축 공사 검증을 처리함으로써 하자 검출 작업을 자동화하는 효과를 가질 수 있다.In addition, the present invention can have an effect of automating the defect detection task by performing defect detection on images collected by the self-driving robot autonomously traveling in an indoor space and processing construction work verification.
도 1은 본 발명 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 구성을 설명하기 위한 하드웨어 자원과 운영체제, 코어인 제어부의 동작, 제어부 동작을 실행할 권한을 부여하는 시스템 인증 구성을 설명하는 예시도이다.
도 2는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용되는 하자 데이터 수집, 하자 검출 모델 구축을 보인 흐름도이다.
도 3은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 하자 데이터 판독 테스트를 보인 흐름도이다.
도 4는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 사용자 인터페이스를 보인 예시도이다.
도 5는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용될 수 있는 하자 데이터의 예시도이다.
도 6은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 영상 분할, 하자 검출, 검출 결과를 보인 예시도이다.
도 7은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 실내 다수 사진에 영상 분할, 하자 검출이 적용된 검출 결과를 보인 예시도이다.
도 8은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템이 적용된 자율 주행 로봇의 구성을 보인 블록도이다.1 is an exemplary view illustrating a system authentication configuration that grants authority to execute hardware resources, an operating system, a core control unit, and a control unit operation for explaining the configuration of a photo-based construction defect detection system using deep learning of the present invention. to be.
FIG. 2 is a flow chart showing defect data collection and defect detection model construction used in the picture-based construction defect detection system using deep learning in FIG. 1 .
FIG. 3 is a flowchart illustrating a defect data reading test of the photo-based construction defect detection system using deep learning in FIG. 1 .
FIG. 4 is an exemplary view showing a user interface of the picture-based construction defect detection system using deep learning in FIG. 1 .
5 is an exemplary view of defect data that can be used in the picture-based construction defect detection system using deep learning in FIG. 1 .
6 is an exemplary diagram showing image segmentation, defect detection, and detection results of the photo-based construction defect detection system using deep learning in FIG. 1 .
FIG. 7 is an exemplary view showing detection results in which image segmentation and defect detection are applied to multiple indoor photos of the photo-based construction work defect detection system using deep learning in FIG. 1 .
8 is a block diagram showing the configuration of an autonomous robot to which the picture-based construction defect detection system using deep learning in FIG. 1 is applied.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시 예에 따른 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 대하여 상세히 설명하기로 한다. 이하에서 종래 주지된 사항에 대한 설명은 본 발명의 요지를 명확히 하기 위해 생략하거나 간단히 한다. 본 발명의 설명에 포함된 구성은 개별 또는 복합 결합 구성되어 동작한다.Hereinafter, a photo-based construction defect detection system using deep learning according to a preferred embodiment of the present invention will be described in detail with reference to the drawings. Hereinafter, descriptions of conventionally known matters are omitted or simplified to clarify the gist of the present invention. The configurations included in the description of the present invention operate in individual or complex combination configurations.
도 1은 본 발명 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 구성을 설명하기 위한 하드웨어 자원과 운영체제, 코어인 제어부의 동작, 제어부 동작을 실행할 권한을 부여하는 시스템 인증 구성을 설명하는 예시도로서, 도 1을 참조하면, 본 발명은 프로세서(1), 메모리(2), 입출력장치(3), 카메라(10), 운영체제(4), 제어부(5), 인터페이스부(20), 하자 인식부(30)를 포함한다.1 is an exemplary view illustrating a system authentication configuration that grants authority to execute hardware resources, an operating system, a core control unit, and a control unit operation for explaining the configuration of a photo-based construction defect detection system using deep learning of the present invention. As such, referring to FIG. 1, the present invention includes a
프로세서(1)는 CPU(Central Processing Units), GPU(Graphic Processing Unit), FPGA(Field Programmable Gate Array), NPU(Neural Processing Unit)로서, 메모리(2)에 탑재된 운영체제(4), 제어부(5)의 실행 코드를 수행한다.The
메모리(2)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다.The
입출력장치(3)는 입력 장치로, 오디오 센서 및/또는 이미지 센서를 포함한 카메라, 키보드, 마이크로폰, 마우스 등의 장치를, 그리고 출력 장치로, 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다.The input/
카메라(10)는 촬상소자에 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)를 사용하여 빛을 전자적인 신호로 바꾸어 메모리(2)에 저장한다. 메모리(2)에는 대용량의 RAW 이미지가 저장되고, 운영체제(4)는 메모리(2)의 RAW 이미지를 하자 인식부(30)에 제공한다.The
운영체제(4)는 윈도우, 리눅스, IOS, 가상 머신, 웹브라우저, 인터프리터를 포함할 수 있다.The operating system 4 may include Windows, Linux, IOS, a virtual machine, a web browser, and an interpreter.
제어부(5)는 운영체제(4)의 지원하에 입출력장치(3)의 센서, 키, 터치, 마우스 입력에 의한 상태를 결정하고, 결정된 상태에 따른 동작을 수행한다. 제어부(5)는 병렬 수행 루틴으로 타이머, 쓰레드에 의한 작업 스케줄링을 수행한다.The control unit 5 determines the state of the input/
제어부(5)는 입출력장치(3)의 센서값을 이용하여 상태를 결정하고, 결정된 상태에 따른 알고리즘을 수행한다.The control unit 5 determines a state using the sensor value of the input/
인터페이스부(20)는 사용자 조작, 디스플레이 표시의 사용자 인터페이스를 처리하고, 이미지 선택, 메뉴 선택의 사용자 조작을 하자 인식부(30)에 전달하고, 하자 인식부(30)의 동작 상태인 영상 분할, 하자 검출, 검출 결과를 디스플레이에 표시한다.The
하자 인식부(30)는 건축 공사가 마친 실내 공간이 촬영된 이미지에 대해 하자 검출을 수행하며, 스틸컷부(31), 영상 분할부(32), 분석부(33), 출력부(34)를 포함한다.The
스틸컷부(31)는 인터페이스부(20)에서 선택된 이미지로부터 각각의 스틸컷을 만들고, 하나의 스틸컷에 대해 영상 분할, 하자 검출이 이루어지도록 스틸컷을 영상 분할부(32)로 전달한다.The still cut unit 31 creates each still cut from the image selected by the
영상 분할부(32)는 스틸컷을 가로, 세로 일정 비율로 분할하고, 분할된 이미지에 대해 하자 검출이 이루어지도록 분할 이미지를 순서대로 분석부(33)에 전달한다.The image segmentation unit 32 divides the still cut into a predetermined ratio horizontally and vertically, and sequentially transmits the divided images to the analysis unit 33 so that defects are detected on the divided images.
분석부(33)는 영상 분할부(32)에 의해 분할된 이미지에 대해 신경망을 이용한 하자 검출을 수행하고, 검출 결과를 출력부(34)에 전달한다. 예를 들어, 분석부(33)는 오픈 소스 기반의 Automated M/L(DataRobot) 딥러닝 알고리즘을 이용할 수 있다. 이외에도, H2O.ai, dotData, EdgeVerve, Aible, Big Squid 솔루션을 이용할 수도 있다.The analysis unit 33 performs defect detection using a neural network on the image segmented by the image segmentation unit 32 and transmits the detection result to the
신경망 학습은 온도, 고도, 지문 등 각종 센서, 이미지, 적외선 등 카메라, 라이더와 같은 입력 장치로부터 수집된 시계열 데이터로부터 특징량 선택, 알고리즘 선택을 통해 모델을 선택하고, 학습, 성능 검증 과정에 의한 반복 시행 착오를 거쳐 모델 선택을 반복한다. 성능 검증이 마치면 인공지능 모델이 선택된다.Neural network learning selects a model through feature selection and algorithm selection from time-series data collected from input devices such as various sensors such as temperature, altitude, and fingerprints, cameras such as images and infrared rays, and LIDAR, and then repeats learning and performance verification processes. Repeat model selection through trial and error. After performance verification is complete, an artificial intelligence model is selected.
분석부(33)는 센서값 판단에 신경망을 이용한 딥러닝 알고리즘을 수행하고, 신경망 학습에 훈련 데이터를 이용하고, 시험 데이터로 신경망 성능을 검증한다.The analysis unit 33 performs a deep learning algorithm using a neural network to determine the sensor value, uses training data to learn the neural network, and verifies the performance of the neural network with test data.
분석부(33)는 이미지에서 하자를 찾고 위치를 표시해야 하기 때문에 객체 검출이 적합하지만, 딥러닝 분류 기술을 활용하되 노이즈를 최소화하고, 하자를 효과적으로 표현하기 위해 사전에 영상을 분할하는 전처리 기술을 적용한 모델을 구축한다.The analysis unit 33 is suitable for object detection because it needs to find defects in the image and display the location, but deep learning classification technology is used while minimizing noise and pre-processing technology that divides the image in advance to effectively express the defect. Build the applied model.
분석부(33)는 4m 이내 실내 공간에서 촬영된 이미지에 대해 하자 검출에 전처리 1분, 검출 1분, 출력 1분 정도를 소요하고, 1~5mm 크기까지의 하자를 검출할 수 있다.The analysis unit 33 takes about 1 minute of pre-processing, 1 minute of detection, and 1 minute of output to detect defects in an image captured in an indoor space within 4 m, and can detect defects up to a size of 1 to 5 mm.
출력부(34)는 분석부(33)의 검출 결과인 하자 확률 수치를 인터페이스부(20)로 전달해서 인터페이스부(20)의 수치 출력, 하자 확인 절차가 수행되도록 한다.The
분석부(33)는 하자 검출에 선형 판별 분석(LDA), 로지스틱 회귀(LR), 지원 벡터 머신(SVM), 결정 트리(DT), k-최근접 이웃(KNN), 랜덤 포레스트(RF) 등 6가지 머신 러닝 알고리즘을 적용할 수 있다.The analysis unit 33 uses linear discriminant analysis (LDA), logistic regression (LR), support vector machine (SVM), decision tree (DT), k-nearest neighbor (KNN), random forest (RF), etc. Six machine learning algorithms can be applied.
선형 판별 분석(LDA)는 새로운 입력 세트가 각 클래스에 속할 확률을 추정하여 예측한다. 가장 높은 확률을 얻는 클래스가 출력 클래스이며 예측이 수행된다. 로지스틱 회귀(LR)은 두 가지 가능한 분류 문제에 대한 확률이다.Linear discriminant analysis (LDA) makes predictions by estimating the probability that a new set of inputs belongs to each class. The class that gets the highest probability is the output class and predictions are made. Logistic regression (LR) is the probability for two possible classification problems.
지원 벡터 머신(SVM)은 예제를 두 개의 클래스로 가장 잘 분할하는 초평면 결정 경계를 찾는다. 분할은 일부 포인트가 잘못 분류될 수 있는 여백을 사용하여 부드럽게 만들어진다. 결정 트리(DT)에는 훈련 데이터 세트의 예를 분류하기 위해 트리를 성장시키는 작업이 포함된다. 트리는 훈련 데이터 세트를 나누는 것으로 생각할 수 있다. 여기서, 예제는 트리의 결정 지점을 따라 진행되어 트리의 잎에 도달하고 클래스 레이블이 할당된다. k-최근접 이웃(KNN)은 사용 가능한 모든 데이터를 저장하고 유사성을 기반으로 새로운 데이터 포인트를 분류한다. 즉, 새로운 데이터가 나타날 때 k-최근접 이웃(KNN)을 사용하여 웰 스위트 범주로 쉽게 분류할 수 있다. 마지막으로 랜덤 포레스트(RF)는 최종 출력을 위한 많은 의사결정나무로 구성되며, 그 과정에 참여하는 의사결정나무의 수가 많기 때문에 매우 정확하고 강력한 방법으로 간주된다.Support vector machines (SVMs) find the hyperplanar decision boundary that best splits the examples into two classes. The division is made smooth using margins where some points may be misclassified. A decision tree (DT) involves growing a tree to classify examples from a training data set. A tree can be thought of as dividing a training data set. Here, the example proceeds through the decision points of the tree until it reaches the leaves of the tree and is assigned a class label. A k-nearest neighbor (KNN) stores all available data and classifies new data points based on similarity. That is, when new data appears, it can be easily classified into well-sweet categories using k-Nearest Neighbors (KNN). Finally, a random forest (RF) consists of many decision trees for the final output, and is considered a very accurate and powerful method because the number of decision trees participating in the process is large.
도 1을 참조하면, 시스템 인증 구성은 제어부(5)를 포함하는 단말기(6), 인증 서버(7)를 포함한다.Referring to FIG. 1 , the system authentication configuration includes a
단말기(6)는 데이터 채널을 이중화하고, 단말기(6)의 키값, 생체 정보를 입력받아 인증 서버(7)에 제1데이터 채널을 통해 사용자 인증을 요청하고, 단말기(6)는 생성된 킷값을 디스플레이에 표시하고, 인증 서버(7)로 전송한다.The
단말기(6)는 단말기(6)의 디스플레이에 표시된 킷값을 입력하고, 사용자 정보와 함께 제2데이터 채널을 통해 인증 서버(7)로 전송한다. 단말기(6)는 킷값과 사용자 정보를 이용하여 단말기(6)에 탑재된 시스템의 인증을 인증 서버(7)에 요청한다. 단말기(6)의 킷값은 컴퓨터 고유의 정보인 CPU 제조번호, 이더넷 칩의 맥주소로부터 생성될 수 있다. 단말기(6)는 카메라를 이용한 얼굴 인식, 마이크를 이용한 음성 인식, 디스플레이를 이용한 필기 인식을 통해 사용자 정보를 획득하고, 인증에 활용할 수 있다.The
인증 서버(7)는 단말기(6)로부터 킷값을 수신하고, 단말기(6)로부터 이중화된 데이터 채널을 통해 킷값과 사용자 정보를 수신하여 단말기(6)의 킷값과 사용자 정보를 비교하고, 사용자 정보를 대응시켜 단말기(6)의 시스템 이용에 대한 인증을 처리한다. 인증 서버(7)는 인증 결과를 단말기(6)로 전송하여 시스템에 대한 사용자의 사용을 허가한다. 단말기(6)의 이중화된 데이터 채널로 인해 킷값 손실이 최소화되는 효과를 가질 수 있다.The
인증 서버(7)는 사용자 정보의 히스토리 분석을 수행하고, 시간 흐름에 따라 사용자 정보의 일관성, 변화를 비교 판단한다. 히스토리 분석에서 사용자 정보가 일관성을 나타내면 사용자의 사용을 허가하고, 변화를 나타내면 사용자의 사용을 허가하지 않는다. 사용자 정보가 일관성을 나타낼 때 사용자의 시스템 사용을 허가함으로써 사용자 정보가 변조된 사용자가 시스템에 접근하지 못하도록 보안을 강화한다.The
시스템의 사용을 인증하는 수단인 단말기(6)는 시스템과 직접 연결하지 않고, 인증 서버(7)를 통한 우회 경로를 형성함으로써 인터넷망을 이루는 네트워크가 내부망과 외부망으로 구성되어 아이피 주소 설정 과정이 번거로울 때 단말기(6)를 이용한 인증 과정이 원활히 수행되는 장점이 있다. 이때, 단말기(6)에는 시스템이 탑재되고, 단말기(6)는 인증 단말 수단이 되고, 인증 서버(7)는 인증 서버 수단이 된다.The
도 2는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용되는 하자 데이터 수집, 하자 검출 모델 구축을 보인 흐름도로서, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 하자 이미지를 입력하는 단계(S101); 영상 분할, 하자 검출의 초기 하자 검출 모델을 수립하는 단계(S102); 분할된 이미지에 대해 하자를 판단하는 단계(S103); 단계 S103에서 하자 검출 정확도가 30~80%인 이미지를 2차 분류하는 단계(S104); 2차 분류된 이미지를 수작업으로 하자 판단하는 단계(S105); 단계 S103에서 하자 검출 정확도가 90% 이상인 이미지, 단계 S105에서 하자 판단된 이미지를 데이터 수집하는 단계(S106); 하자 검출 모델의 학습량을 모니터링하는 단계(S107); 딥러닝 학습 데이터를 확보하고, 하자 검출 모델을 구축하는 단계(S108)를 수행한다.Figure 2 is a flow chart showing defect data collection and defect detection model construction used in the picture-based construction defect detection system using deep learning in Figure 1. The photo-based construction defect detection system using deep learning inputs a defect image Step (S101); Establishing an initial defect detection model for image segmentation and defect detection (S102); Determining defects in the divided images (S103); Secondarily classifying the image having a defect detection accuracy of 30 to 80% in step S103 (S104); Manually determining defects in the secondary classified images (S105); Collecting data of the image having a defect detection accuracy of 90% or more in step S103 and the image determined to be defective in step S105 (S106); monitoring the amount of learning of the defect detection model (S107); A step of securing deep learning learning data and building a defect detection model (S108) is performed.
도 3은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 하자 데이터 판독 테스트를 보인 흐름도로서, 도 3을 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 도배 찢김 하자 판독 테스트를 시작하는 단계(S201); 학습 데이터 종류를 분류하는 단계(S202); 하자 단독 이미지, 근경 이미지를 수집하는 단계(S203); 해상도를 분류하는 단계(S204); 128, 245, 1024, 4096 크기 이미지를 수집하는 단계(S205); 장애물 비율을 분류하는 단계(S206); 10%, 20%, 30%, 40% 장애물 비율의 이미지를 수집하는 단계(S207); 하자 종류를 분류하는 단계(S208); A, B, C, D 하자 종류를 수집하는 단계(S209);를 수행한다.3 is a flow chart showing a defect data reading test of the photo-based construction work defect detection system using deep learning in FIG. 1. Referring to FIG. starting the test (S201); Classifying the type of learning data (S202); Collecting defect-only images and foreground images (S203); Classifying the resolution (S204); Collecting 128, 245, 1024, 4096 size images (S205); Classifying the obstacle ratio (S206); Collecting images with obstacle ratios of 10%, 20%, 30%, and 40% (S207); Classifying defect types (S208); Collecting defect types A, B, C, and D (S209); is performed.
건출 공사 하자 분석 장치는 하자만 학습시키는 경우, 배경이 포함된 이미지를 학습시키는 경우의 학습용 이미지의 조건을 확인하고, 이미지 해상도를 강제로 변경시키면서 하자 판독 정확도를 교차 검증하여 이미지의 최소 해상도 조건을 확인하고, 최적 해상도와 이미지 분할 기준으로 주변 장애물 비율에 따른 정확도 영향을 확인하고, 하자 종류별 최적 조건들의 차이가 있는지를 확인한다.The device for analyzing defects in construction works checks the condition of the training image when only defects are trained or when an image containing the background is trained, and cross-verifies the defect reading accuracy while forcibly changing the image resolution to meet the minimum resolution condition of the image. , check the accuracy effect according to the ratio of surrounding obstacles based on the optimal resolution and image segmentation, and check whether there is a difference in optimal conditions for each defect type.
도 4는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 사용자 인터페이스를 보인 예시도로서, 도 4를 참조하면, 사용자 인터페이스는 AI하자점검 메뉴(101)가 선택되고, 화면 전환되어 사진 가져오기(102), 이력 조회(103)가 표시되고, 사진 가져오기(102)가 선택되면 단말기(6)에 저장된 이미지 목록이 표시되고, 이미지 목록 중 이미지(104)가 선택되면 화면 전환되어 하자식별(105), 다시 가져오기(106)가 표시되고, 하자식별(105)이 선택되면 하자 식별중(107)이 표시되고, 하자 검출 이미지(108)가 표시되고, 하자식별완료(109)가 표시되고, 화면 전환되어 하자 맞음(110), 하자 아님(111), 취소(112)가 표시되고, 하자 맞음(110)이 선택되면 하자 검출 이미지(108)에 대해 하자식별완료(109)가 표시된다.Figure 4 is an exemplary view showing a user interface of the picture-based construction defect detection system using deep learning in Figure 1. Referring to Figure 4, the user interface is selected AI
도 5는 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에 사용될 수 있는 하자 데이터의 예시도로서, 도 5를 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 하자 데이터로 단독 하자 이미지, 장애물이 포함된 하자 데이터를 이용할 수 있다. 단독 하자 이미지 또는 장애물이 포함된 하자 데이터가 하자 검출 알고리즘에 적용되면, 데이터 특성에 따라 하자 검출 알고리즘의 하자 검출 성능에 차이가 발생하고, 하자 검출 성능을 높이기 위해 단독 하자 이미지가 사용될 수 있다. 또한, 장애물 비율이 낮고 데이터 량이 많으면 장애물이 포함된 하자 데이터도 사용될 수 있다.5 is an exemplary view of defect data that can be used in the picture-based construction work defect detection system using deep learning in FIG. 1. Referring to FIG. 5, the photo-based construction work defect detection system using deep learning uses defect data Single defect images and defect data including obstacles can be used. When defect data including a single defect image or an obstacle is applied to a defect detection algorithm, a difference occurs in defect detection performance of the defect detection algorithm according to data characteristics, and the single defect image may be used to improve defect detection performance. In addition, if the obstacle ratio is low and the amount of data is large, defect data including obstacles may also be used.
딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 이미지 해상도를 강제로 변경시켜가면서 하자 판독 정확도를 교차 검증할 수 있고, 이미지의 최소 해상도 조건을 확인해서 하자 판별이 가능한 해상도 확보를 위한 촬영 기준의 설정을 필요로 한다. 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 4032*3024픽셀 해상도, 폭 4m 이내 범위 촬영, 촬영하는 면을 정면으로 바라보고 촬영했을 때 1cm 크기 이내의 하자 검출이 가능하다.A photo-based construction construction defect detection system using deep learning can cross-verify defect reading accuracy while forcibly changing the image resolution, and check the minimum resolution condition of the image to determine the resolution required for defect detection. setup is required. The photo-based construction defect detection system using deep learning has a resolution of 4032*3024 pixels, and can detect defects within 1 cm when shooting within a range of 4 m in width and looking straight at the surface to be filmed.
딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템에서는 주변 장애물에 영향을 받지만 정확도의 급격한 변화가 없을 때 정확도 임계치 설정을 통해 보완이 가능하고, 장애물이 없는 경우 정확도는 높지만 장애물이 70%이상 포함되면 정확도가 급격하게 떨어진다.In the photo-based construction defect detection system using deep learning, it is possible to compensate by setting the accuracy threshold when there is no rapid change in accuracy even though it is affected by surrounding obstacles. Accuracy drops drastically.
딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 하자 학습용 이미지 해상도가 너무 낮은 경우 하자로 인식할 수 있고, 음영 부분을 하자로 인식할 수 있어, 이러한 이미지에 대해 전처리를 통해 이미지 제거할 수 있다.A photo-based construction construction defect detection system using deep learning can recognize defects as defects when the image resolution for defect learning is too low, and can recognize shadowed areas as defects, so these images can be removed through pre-processing. .
딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 다양한 도배지를 학습해서 하자 검출 성능을 높이고, 장애물이 포함된 정상 이미지를 학습하여 하자 검출 성능을 추가로 더 높인다.The photo-based construction defect detection system using deep learning learns various wallpapers to improve defect detection performance, and learns normal images containing obstacles to further improve defect detection performance.
도 6은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 영상 분할, 하자 검출, 검출 결과를 보인 예시도로서, 도 6을 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 건축 공사 실내 이미지에 대해 영상 분할 처리하고, 분할 이미지에 대해 하자 검출을 수행하고, 하자 확률이 56%일 때 하자로 판단하지만 임계치 보정을 통해 보완이 가능하고, 하자 확률이 94%이면 하지 인식으로 성공 처리할 수 있다.6 is an exemplary view showing image segmentation, defect detection, and detection results of the photo-based construction work defect detection system using deep learning in FIG. 1. Referring to FIG. 6, the photo-based construction work defect detection system using deep learning performs video segmentation processing on the indoor image of construction work, performs defect detection on the split image, and judges it as a defect when the defect probability is 56%, but can be supplemented through threshold correction, and recognizes the lower body when the defect probability is 94%. can be processed with success.
도 7은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 실내 다수 사진에 영상 분할, 하자 검출이 적용된 검출 결과를 보인 예시도로서, 도 7을 참조하면, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템은 건축 공사 실내 이미지(301)에 대해 하자 확률이 100%인 하자 이미지(302), 48%인 하자 이미지(303)를 표시하고, 다른 예로 건축 공사 실내 이미지(304)에 대해 하자 확률이 99%인 하자 이미지(305)를 표시하고, 또 다른 예로 건축 공사 실내 이미지(306)에 대해 하자 확률이 100%인 하자 이미지(307), 56%인 하자 이미지(308), 69%인 하자 이미지(309)를 표시한다.FIG. 7 is an exemplary diagram showing the detection results of image segmentation and defect detection applied to multiple indoor photos of the photo-based construction defect detection system using deep learning in FIG. 1 . Referring to FIG. 7 , photo-based using deep learning The building construction defect detection system displays a defect image 302 with a defect probability of 100% and a defect image 303 with a 48% probability for the building construction indoor image 301, and as another example, for the building construction indoor image 304 A defect image (305) with a defect probability of 99% is displayed, and as another example, a defect image (307) with a defect probability of 100%, a defect image (308) with a defect probability of 56%, and a defect image (308) with a defect probability of 69% are displayed for an indoor image (306) of construction work. A defect defect image 309 is displayed.
도 8은 도 1 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템이 적용된 자율 주행 로봇의 구성을 보인 블록도로서, 도 8을 참조하면, 자율 주행 로봇은 도 1의 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템의 구성과, 자율 주행부(50)를 포함하고, 단말기(6)와 통신한다.Figure 8 is a block diagram showing the configuration of the self-driving robot to which the picture-based building construction defect detection system using deep learning of Figure 1 is applied. Referring to Figure 8, the self-driving robot is photo-based using deep learning It includes the configuration of the construction work defect detection system and the autonomous driving unit 50, and communicates with the
자율 주행부(50)는 자율 주행 로봇(40)이 건축 공사 실내 공간을 자율 주행하며, 실내 공간을 촬영하고, 촬영된 이미지를 하자 인식부(30)로 전달한다. 하자 인식부(30)는 수신된 이미지에 대해 하자 검출을 수행하고, 검출 결과를 단말기(6)로 전송한다. 단말기(6)는 자율 주행 로봇(40)의 하자 검출 결과를 화면에 표시한다.In the self-driving unit 50 , the self-driving
자율 주행부(50)는 실내 공간에서 위치를 측위하고, 벽과 거리를 측정해서 일정 거리 내에 자율 주행 로봇(40)이 위치할 때 촬영되는 이미지를 하자 인식부(30)로 전달해서 하자 인식부(30)가 하자 검출을 수행하도록 조치한다. 또한, 카메라(10)는 렌즈 초점을 조절해서 이미지를 촬영하고, 촬상 소자의 성능을 최대로 이용한다.The self-driving unit 50 localizes the position in the indoor space, measures the distance to the wall, and transmits an image captured when the self-driving
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이행할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will be able to fulfill what you can do.
1: 프로세서
2: 메모리
3: 입출력장치
4: 운영체제
5: 제어부
6: 단말기
7: 인증 서버
10: 카메라
20: 인터페이스부
30: 하자 인식부
31: 스틸컷부
32: 영상 분할부
33: 분석부
34: 출력부
40: 자율 주행 로봇
50: 자율 주행부1: processor 2: memory
3: input/output device 4: operating system
5: control unit 6: terminal
7: authentication server 10: camera
20: interface unit 30: defect recognition unit
31: still cut part 32: video division part
33: analysis unit 34: output unit
40: autonomous driving robot 50: autonomous driving unit
Claims (5)
건축 공사가 마친 실내 공간이 촬영된 이미지에 대해 하자 검출을 수행하며, 스틸컷부(31), 영상 분할부(32), 분석부(33), 출력부(34)를 포함하는 하자 인식부(30);를 포함하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
User manipulation and user interface display display are processed, and user manipulations such as image selection and menu selection are transmitted to the defect recognition unit 30, and image segmentation, defect detection, and detection results, which are operating states of the defect recognition unit 30, are performed. an interface unit 20 displaying on a display; and
A defect recognition unit 30 that performs defect detection on an image of an indoor space where construction work is completed and includes a still cut unit 31, an image segmentation unit 32, an analysis unit 33, and an output unit 34. ); Photo-based construction defect detection system using deep learning, characterized in that it includes.
상기 하자 인식부(30)는,
상기 인터페이스부(20)에서 선택된 이미지로부터 각각의 스틸컷을 만들고, 하나의 스틸컷에 대해 영상 분할, 하자 검출이 이루어지도록 스틸컷을 상기 영상 분할부(32)로 전달하는 스틸컷부(31);
상기 스틸컷을 가로, 세로 일정 비율로 분할하고, 분할된 이미지에 대해 하자 검출이 이루어지도록 분할 이미지를 순서대로 상기 분석부(33)에 전달하는 영상 분할부(32);
상기 영상 분할부(32)에 의해 분할된 이미지에 대해 신경망을 이용한 하자 검출을 수행하고, 검출 결과를 상기 출력부(34)에 전달하는 분석부(33); 및
상기 분석부(33)의 검출 결과인 하자 확률 수치를 상기 인터페이스부(20)로 전달해서 상기 인터페이스부(20)의 수치 출력, 하자 확인 절차가 수행되도록 하는 출력부(34);를 포함하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
According to claim 1,
The defect recognition unit 30,
a still cut unit 31 that creates each still cut from the image selected in the interface unit 20 and transfers the still cut to the image segmentation unit 32 so that image segmentation and defect detection are performed on one still cut;
an image segmentation unit 32 that divides the still cut at a constant ratio horizontally and vertically, and sequentially transmits the divided images to the analysis unit 33 so that defects are detected on the divided images;
an analysis unit 33 which performs defect detection using a neural network on the image segmented by the image segmentation unit 32 and transmits a detection result to the output unit 34; and
An output unit 34 that transmits the defect probability value, which is the detection result of the analysis unit 33, to the interface unit 20 so that the interface unit 20 outputs a numerical value and performs a defect check procedure; Characterized by a photo-based construction defect detection system using deep learning.
자율 주행 로봇(40)이 건축 공사 실내 공간을 자율 주행하며, 실내 공간을 촬영하고, 촬영된 이미지를 상기 하자 인식부(30)로 전달하는 자율 주행부(50)를 더 포함하고,
상기 하자 인식부(30)는, 수신된 이미지에 대해 하자 검출을 수행하고, 검출 결과를 단말기(6)로 전송하고, 상기 단말기(6)는, 상기 자율 주행 로봇(40)의 하자 검출 결과를 화면에 표시하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
According to claim 1,
The self-driving robot 40 further includes an autonomous driving unit 50 that autonomously travels in an indoor space for construction work, photographs the indoor space, and transmits the captured image to the defect recognition unit 30,
The defect recognition unit 30 performs defect detection on the received image, transmits the detection result to the terminal 6, and the terminal 6 receives the defect detection result of the autonomous robot 40. A photo-based construction defect detection system using deep learning, characterized in that it is displayed on the screen.
상기 분석부(33)는,
하자 이미지를 입력하는 단계(S101);
영상 분할, 하자 검출의 초기 하자 검출 모델을 수립하는 단계(S102);
분할된 이미지에 대해 하자를 판단하는 단계(S103);
상기 단계 S103에서 하자 검출 정확도가 30~80%인 이미지를 2차 분류하는 단계(S104);
2차 분류된 이미지를 수작업으로 하자 판단하는 단계(S105);
상기 단계 S103에서 하자 검출 정확도가 90% 이상인 이미지, 상기 단계 S105에서 하자 판단된 이미지를 데이터 수집하는 단계(S106);
하자 검출 모델의 학습량을 모니터링하는 단계(S107); 및
딥러닝 학습 데이터를 확보하고, 하자 검출 모델을 구축하는 단계(S108);를 수행하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.
According to claim 1,
The analysis unit 33,
inputting a defect image (S101);
Establishing an initial defect detection model for image segmentation and defect detection (S102);
Determining defects in the divided images (S103);
Secondarily classifying the image having a defect detection accuracy of 30 to 80% in step S103 (S104);
Manually determining defects in the secondary classified images (S105);
Collecting data of the image having a defect detection accuracy of 90% or more in the step S103 and the image determined to be defective in the step S105 (S106);
monitoring the amount of learning of the defect detection model (S107); and
Securing deep learning learning data and building a defect detection model (S108); photo-based construction defect detection system using deep learning, characterized in that performing.
상기 분석부(33)는,
도배 찢김 하자 판독 테스트를 시작하는 단계(S201);
학습 데이터 종류를 분류하는 단계(S202);
하자 단독 이미지, 근경 이미지를 수집하는 단계(S203);
해상도를 분류하는 단계(S204);
128, 245, 1024, 4096 크기 이미지를 수집하는 단계(S205);
장애물 비율을 분류하는 단계(S206);
10%, 20%, 30%, 40% 장애물 비율의 이미지를 수집하는 단계(S207);
하자 종류를 분류하는 단계(S208); 및
A, B, C, D 하자 종류를 수집하는 단계(S209);를 수행하는 것을 특징으로 하는, 딥러닝을 활용한 사진 기반 건축공사 하자 검출 시스템.According to claim 1,
The analysis unit 33,
Starting a paper tear defect reading test (S201);
Classifying the type of learning data (S202);
Collecting defect-only images and foreground images (S203);
Classifying the resolution (S204);
Collecting 128, 245, 1024, 4096 size images (S205);
Classifying the obstacle ratio (S206);
Collecting images with obstacle ratios of 10%, 20%, 30%, and 40% (S207);
Classifying defect types (S208); and
A photo-based construction defect detection system using deep learning, characterized by performing the step (S209) of collecting defect types A, B, C, and D.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210064339 | 2021-05-18 | ||
KR1020210064339 | 2021-05-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220156432A true KR20220156432A (en) | 2022-11-25 |
Family
ID=84237194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220031784A KR20220156432A (en) | 2021-05-18 | 2022-03-15 | Photo-based building construction defect analysis apparatus using deep learning |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220156432A (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102162028B1 (en) | 2020-04-07 | 2020-10-06 | (재)한국건설품질연구원 | Degradation detection system using artificial intelligence |
KR102260056B1 (en) | 2020-02-12 | 2021-06-03 | 주식회사 씨엠엑스 | Method and server for differentiating space state information of structure based on machine learning |
KR102298260B1 (en) | 2020-11-25 | 2021-09-07 | 한국건설기술연구원 | the construction managing system based on augmented reality and the construction management method using the same |
-
2022
- 2022-03-15 KR KR1020220031784A patent/KR20220156432A/en active Search and Examination
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102260056B1 (en) | 2020-02-12 | 2021-06-03 | 주식회사 씨엠엑스 | Method and server for differentiating space state information of structure based on machine learning |
KR102162028B1 (en) | 2020-04-07 | 2020-10-06 | (재)한국건설품질연구원 | Degradation detection system using artificial intelligence |
KR102298260B1 (en) | 2020-11-25 | 2021-09-07 | 한국건설기술연구원 | the construction managing system based on augmented reality and the construction management method using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106960195B (en) | Crowd counting method and device based on deep learning | |
US9744671B2 (en) | Information technology asset type identification using a mobile vision-enabled robot | |
CN111814850A (en) | Defect detection model training method, defect detection method and related device | |
CN110796018B (en) | Hand motion recognition method based on depth image and color image | |
US20150262068A1 (en) | Event detection apparatus and event detection method | |
JP2021520530A (en) | Biological detection methods and devices, electronic devices and storage media | |
CN112364827B (en) | Face recognition method, device, computer equipment and storage medium | |
CN110705357A (en) | Face recognition method and face recognition device | |
CN111310826B (en) | Method and device for detecting labeling abnormality of sample set and electronic equipment | |
RU2713876C1 (en) | Method and system for detecting alarm events when interacting with self-service device | |
KR20210048272A (en) | Apparatus and method for automatically focusing the audio and the video | |
US20230060211A1 (en) | System and Method for Tracking Moving Objects by Video Data | |
CN112926522B (en) | Behavior recognition method based on skeleton gesture and space-time diagram convolution network | |
CN111368682A (en) | Method and system for detecting and identifying station caption based on faster RCNN | |
CN111460858A (en) | Method and device for determining pointed point in image, storage medium and electronic equipment | |
JP5137805B2 (en) | Inspection system, control method therefor, and computer program | |
CN117152094A (en) | Method, device and system for analyzing surface defects of steel plate based on computer vision | |
US20220309782A1 (en) | Using smartphone camera and application to capture, analyze, and evaluate latent fingerprints in real-time | |
KR20220156432A (en) | Photo-based building construction defect analysis apparatus using deep learning | |
CN113269190B (en) | Data classification method and device based on artificial intelligence, computer equipment and medium | |
CN115311723A (en) | Living body detection method, living body detection device and computer-readable storage medium | |
CN115690514A (en) | Image recognition method and related equipment | |
CN115116119A (en) | Face recognition system based on digital image processing technology | |
CN114038045A (en) | Cross-modal face recognition model construction method and device and electronic equipment | |
JP7337541B2 (en) | Information processing device, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A302 | Request for accelerated examination |