KR102208008B1

KR102208008B1 - Method for constructing using drone

Info

Publication number: KR102208008B1
Application number: KR1020200089133A
Authority: KR
Inventors: 박헌우; 최종수
Original assignee: 박헌우; 최종수
Priority date: 2020-07-17
Filing date: 2020-07-17
Publication date: 2021-01-28

Abstract

According to one embodiment of the present invention, provided is a method of performing construction using a drone, which is performed by a device. The method comprises the steps of: acquiring image information photographed by a camera mounted on each of a plurality of drones; controlling a first drone to move; controlling a second drone to move; controlling a third drone to move; controlling a fourth drone to move; controlling a fifth drone to move; and inspecting the safety of a construction target structure by analyzing a slope of the construction target structure through the image information generated by moving from each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone to a photographing location.

Description

Construction method using a drone {METHOD FOR CONSTRUCTING USING DRONE}

아래 실시예들은 드론을 이용하여 시공을 수행하는 기술에 관한 것이다.The following embodiments relate to a technology for performing construction using a drone.

특정 공간 내에서 구조물을 건축하는데 있어, 시공 공정의 진행 상황 점검은 일발적으로 시공을 수행하는 사람이 직접 현장을 방문하여, 설계도와 실제 공간에 있는 구조물을 비교함으로써 이뤄질 수 있다.In building a structure within a specific space, the progress of the construction process can be checked by a person who performs the construction directly visiting the site and comparing the design and the structure in the actual space.

시공 공정의 진행 상황은 사람의 눈으로 확인해야만 하기 때문에, 작업의 정확도나 효율성이 떨어지는 경우가 많으며, 계산과 예측의 오류도 다수 발생할 수 있다.Since the progress of the construction process must be checked with the human eye, the accuracy and efficiency of the work are often poor, and many errors in calculation and prediction can occur.

따라서, 시공 공정의 진행 상황을 점검하는데 있어, 구조물의 안전성 검사에 자동화 과정을 도입하고, 학습을 통해 최적화된 솔루션을 제시할 수 있는 딥러닝 기술에 대한 연구가 요구된다.Therefore, in checking the progress of the construction process, research on deep learning technology that can provide an optimized solution through learning and introducing an automated process to the safety inspection of the structure is required.

본 발명의 일실시예에 따르면, 제1 드론, 제2 드론, 제3 드론, 제4 드론 및 제5 드론 각각에서 촬영 위치로 이동하여 촬영으로 생성된 이미지 정보를 통해, 시공 대상 구조물의 기울기를 분석하여, 시공 대상 구조물에 대한 안전성을 검사하는 방법을 제공하기 위한 것을 그 목적으로 한다.According to an embodiment of the present invention, the inclination of the structure to be constructed is determined through image information generated by moving to the shooting location in each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone. Its purpose is to provide a method of analyzing and inspecting the safety of structures to be constructed.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood from the following description.

본 발명의 일실시예에 따르면, 장치에 의해 수행되는, 드론을 이용하여 시공을 수행하는 방법에 있어서, 복수의 드론 각각에 장착된 카메라에서 촬영된 이미지 정보를 획득하는 단계; 상기 복수의 드론 중 제1 드론에서 촬영된 이미지 정보에서 시공 대상 구조물이 확인되면, 상기 시공 대상 구조물의 전면 촬영 위치로 이동하는 위치 이동 제어 신호를 상기 제1 드론으로 전송하여, 상기 제1 드론이 이동하도록 제어하는 단계; 상기 시공 대상 구조물의 전면 촬영 위치로 이동한 상기 제1 드론에서 촬영된 이미지 정보에서 상기 복수의 드론 중 적어도 하나가 확인되면, 상기 시공 대상 구조물의 좌측면 촬영 위치와 거리가 가장 가까운 제2 드론을 선정하고, 상기 시공 대상 구조물의 좌측면 촬영 위치로 이동하는 위치 이동 제어 신호를 상기 제2 드론으로 전송하여, 상기 제2 드론이 이동하도록 제어하는 단계; 상기 시공 대상 구조물의 좌측면 촬영 위치로 이동한 상기 제2 드론에서 촬영된 이미지 정보에서 상기 복수의 드론 중 적어도 하나가 확인되면, 상기 시공 대상 구조물의 후면 촬영 위치와 거리가 가장 가까운 제3 드론을 선정하고, 상기 시공 대상 구조물의 후면 촬영 위치로 이동하는 위치 이동 제어 신호를 상기 제3 드론으로 전송하여, 상기 제3 드론이 이동하도록 제어하는 단계; 상기 시공 대상 구조물의 후면 촬영 위치로 이동한 상기 제3 드론에서 촬영된 이미지 정보에서 상기 복수의 드론 중 적어도 하나가 확인되면, 상기 시공 대상 구조물의 우측면 촬영 위치와 거리가 가장 가까운 제4 드론을 선정하고, 상기 시공 대상 구조물의 우측면 촬영 위치로 이동하는 위치 이동 제어 신호를 상기 제4 드론으로 전송하여, 상기 제4 드론이 이동하도록 제어하는 단계; 상기 시공 대상 구조물의 우측면 촬영 위치로 이동한 상기 제4 드론에서 촬영된 이미지 정보에서 상기 복수의 드론 중 적어도 하나가 확인되면, 상기 시공 대상 구조물의 평면 촬영 위치와 거리가 가장 가까운 제5 드론을 선정하고, 상기 시공 대상 구조물의 평면 촬영 위치로 이동하는 위치 이동 제어 신호를 상기 제5 드론으로 전송하여, 상기 제5 드론이 이동하도록 제어하는 단계; 및 상기 제1 드론, 상기 제2 드론, 상기 제3 드론, 상기 제4 드론 및 상기 제5 드론 각각에서 촬영 위치로 이동하여 촬영으로 생성된 이미지 정보를 통해, 상기 시공 대상 구조물의 기울기를 분석하여, 상기 시공 대상 구조물에 대한 안전성을 검사하는 단계를 포함하는, 드론을 이용한 시공 방법이 제공된다.According to an embodiment of the present invention, there is provided a method of performing construction using a drone, performed by an apparatus, comprising: acquiring image information photographed by a camera mounted on each of a plurality of drones; When the construction target structure is identified from the image information captured by the first drone among the plurality of drones, a position movement control signal moving to the front shooting position of the construction target structure is transmitted to the first drone, and the first drone Controlling to move; When at least one of the plurality of drones is identified in the image information taken by the first drone that has moved to the front shooting position of the construction target structure, a second drone having the closest distance to the left side of the construction target structure is selected. Selecting and transmitting a position movement control signal moving to a photographing position on the left side of the construction target structure to the second drone, and controlling the second drone to move; When at least one of the plurality of drones is identified in the image information captured by the second drone that has moved to the left side of the construction target structure, the third drone having the closest distance to the rear shooting position of the construction target structure is selected. Selecting and transmitting a position movement control signal moving to the rear photographing position of the construction target structure to the third drone, and controlling the third drone to move; When at least one of the plurality of drones is identified in the image information captured by the third drone moved to the rear photographing position of the construction target structure, a fourth drone having the closest distance to the right side of the construction target structure is selected. And transmitting a position movement control signal moving to a right-side photographing position of the construction target structure to the fourth drone to control the fourth drone to move; When at least one of the plurality of drones is identified in the image information taken by the fourth drone moved to the right side of the construction target structure, a fifth drone having the closest distance to the planar shooting position of the construction target structure is selected. And transmitting a position movement control signal moving to a plane photographing position of the construction target structure to the fifth drone, and controlling the fifth drone to move; And the first drone, the second drone, the third drone, the fourth drone, and the fifth drone, respectively, by moving to a shooting location and analyzing the slope of the construction target structure through image information generated by shooting. , A construction method using a drone is provided, comprising the step of inspecting the safety of the construction target structure.

상기 드론을 이용한 시공 방법은, 상기 제1 드론 및 상기 제3 드론 중 어느 하나에서 촬영된 이미지 정보를 통해, 상기 시공 대상 구조물이 기울어진 것으로 확인되면, 경고음을 발생하는 위험 경보 신호를 상기 제1 드론, 상기 제3 드론 및 상기 제5 드론으로 전송하여, 상기 제1 드론, 상기 제3 드론 및 상기 제5 드론에서 경보음이 발생하도록 제어하는 단계; 및 상기 제2 드론 및 상기 제4 드론 중 어느 하나에서 촬영된 이미지 정보를 통해, 상기 시공 대상 구조물이 기울어진 것으로 확인되면, 경고음을 발생하는 위험 경보 신호를 상기 제2 드론, 상기 제4 드론 및 상기 제5 드론으로 전송하여, 상기 제2 드론, 상기 제4 드론 및 상기 제5 드론에서 경보음이 발생하도록 제어하는 단계를 더 포함할 수 있다.In the construction method using the drone, when it is determined that the construction target structure is inclined through image information photographed by one of the first drone and the third drone, a danger warning signal that generates a warning sound is transmitted to the first Controlling the first drone, the third drone, and the fifth drone to generate an alarm sound by transmitting to a drone, the third drone, and the fifth drone; And when it is confirmed that the structure to be constructed is tilted through image information captured by any one of the second drone and the fourth drone, a danger warning signal for generating a warning sound is transmitted to the second drone, the fourth drone, and The method may further include controlling to generate an alarm sound from the second drone, the fourth drone, and the fifth drone by transmitting to the fifth drone.

상기 제1 드론, 상기 제2 드론, 상기 제3 드론, 상기 제4 드론 및 상기 제5 드론이 이동하도록 제어하는 단계는, 상기 제1 드론에서 촬영된 이미지 정보, 상기 제1 드론과 상기 시공 대상 구조물 간의 거리 값에 기초하여, 제1 입력 신호를 생성하는 단계; 상기 제1 입력 신호를 제1 컨볼루션 신경망에 입력하여 상기 시공 대상 구조물의 전면 촬영 위치, 좌측면 촬영 위치, 후면 촬영 위치, 우측면 촬영 위치, 평면 촬영 위치 및 촬영 위치별 안전 거리 데이터를 포함하는 제1 출력 신호를 획득하는 단계; 및 상기 제1 출력 신호에 기초하여, 상기 제1 드론이 상기 시공 대상 구조물의 전면 촬영 위치로 이동하도록 제어하고, 상기 제2 드론이 상기 시공 대상 구조물의 좌측면 촬영 위치로 이동하도록 제어하고, 상기 제3 드론이 상기 시공 대상 구조물의 후면 촬영 위치로 이동하도록 제어하고, 상기 제4 드론이 상기 시공 대상 구조물의 우측면 촬영 위치로 이동하도록 제어하고, 상기 제5 드론이 상기 시공 대상 구조물의 평면 촬영 위치로 이동하도록 제어하는 단계를 포함하며, 상기 시공 대상 구조물에 대한 안전성 검사 단계는, 상기 제1 드론, 상기 제2 드론, 상기 제3 드론, 상기 제4 드론 및 상기 제5 드론 각각에 촬영 신호를 전송하여, 상기 시공 대상 구조물을 중심으로 180도 회전 촬영하도록 제어하는 단계; 상기 180도 회전 촬영으로 생성된 이미지 정보, 상기 시공 대상 구조물의 전면 촬영 위치, 좌측면 촬영 위치, 후면 촬영 위치, 우측면 촬영 위치 및 평면 촬영 위치에 기초하여, 제2 입력 신호를 생성하는 단계; 상기 제2 입력 신호를 제2 컨볼루션 신경망에 입력하여 제2 출력 신호를 획득하는 단계; 상기 제2 출력 신호에 기초하여, 상기 시공 대상 구조물의 주변 공간 및 주변 사물의 3D 모델을 생성하고, 상기 시공 대상 구조물을 3D 모델 상에 위치시키는 단계; 상기 3D 모델에 기초하여, 제3 입력 신호를 생성하는 단계; 상기 제3 입력 신호를 뉴럴 네트워크에 입력하는 단계; 상기 뉴럴 네트워크의 제어 결과에 기초하여, 제3 출력 신호를 획득하는 단계; 및 상기 제3 출력 신호에 기초하여, 상기 시공 대상 구조물에 대한 안전성을 검사하는 단계를 포함할 수 있다.The controlling of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone to move may include image information photographed by the first drone, the first drone and the construction target Generating a first input signal based on a distance value between structures; The first input signal is input to the first convolutional neural network to include a front photographing position, a left photographing position, a rear photographing position, a right photographing position, a plane photographing position, and safety distance data for each photographing position. 1 obtaining an output signal; And based on the first output signal, controlling the first drone to move to the front photographing position of the construction target structure, and controlling the second drone to move to the left photographing position of the construction target structure, and the The third drone is controlled to move to the rear photographing position of the construction target structure, the fourth drone is controlled to move to the right side photographing position of the construction target structure, and the fifth drone is the planar photographing position of the construction target structure. And controlling to move to, and the safety inspection step for the structure to be constructed includes a photographing signal to each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone. Transmitting and controlling to rotate 180 degrees around the structure to be constructed; Generating a second input signal based on the image information generated by the 180 degree rotational photographing, a front photographing position, a left photographing position, a rear photographing position, a right photographing position, and a plane photographing position of the construction target structure; Inputting the second input signal to a second convolutional neural network to obtain a second output signal; Generating a 3D model of the surrounding space and surrounding objects of the construction target structure based on the second output signal, and positioning the construction target structure on the 3D model; Generating a third input signal based on the 3D model; Inputting the third input signal to a neural network; Obtaining a third output signal based on a control result of the neural network; And checking the safety of the construction target structure based on the third output signal.

상기 제1 컨볼루션 신경망은, 상기 제1 드론을 통해 촬영된 이미지 정보, 상기 제1 드론과 상기 시공 대상 구조물 간의 거리 값을 인코딩하여 생성된 제1 입력 신호를 입력으로 하고, 상기 제1 입력 신호에 기초하여, 설계도 상에서 상기 시공 대상 구조물의 위치, 크기 및 모양에 기초하여 상기 시공 대상 구조물의 중심을 나타내는 중심 위치; 상기 제1 드론, 상기 제2 드론, 상기 제3 드론, 상기 제4 드론 및 상기 제5 드론 각각이 촬영 위치로 이동하는데 있어 안전하게 비행하기 위한 상기 시공 대상 구조물 및 상기 주변 사물로부터의 최소 이격 거리를 나타내는 상기 촬영 위치별 안전 거리; 상기 전면 촬영 위치의 이동을 위해 안전 거리를 통해 설정된 상기 제1 드론의 이동 경로; 상기 우측면 촬영 위치의 이동을 위해 안전 거리를 통해 설정된 상기 제2 드론의 이동 경로; 상기 후면 촬영 위치의 이동을 위해 안전 거리를 통해 설정된 상기 제3 드론의 이동 경로; 상기 좌측면 촬영 위치의 이동을 위해 안전 거리를 통해 설정된 상기 제4 드론의 이동 경로; 및 상기 평면 촬영 위치의 이동을 위해 안전 거리를 통해 설정된 상기 제5 드론의 이동 경로를 특징 추출 신경망 및 분류 신경망을 통해 분류하고, 상기 분류에 기초한 제1 출력 신호를 출력으로 하고, 상기 제2 컨볼루션 신경망은, 상기 제1 드론, 상기 제2 드론, 상기 제3 드론, 상기 제4 드론 및 상기 제5 드론 각각이 180도 회전 촬영한 이미지 정보, 상기 시공 대상 구조물의 전면 촬영 위치, 좌측면 촬영 위치, 후면 촬영 위치, 우측면 촬영 위치 및 평면 촬영 위치에 기초하여 생성된 제2 입력 신호를 입력으로 하고, 상기 제2 입력 신호에 기초하여, 상기 시공 대상 구조물의 주변 공간 및 주변 사물의 특이사항들을 특징 추출 신경망 및 분류 신경망을 통해 분류하고, 상기 분류에 기초하여, 상기 시공 대상 구조물의 주변 공간 및 주변 사물에 대한 상기 3D 모델을 생성하기 위한 제2 출력 신호를 출력으로 할 수 있다.The first convolutional neural network receives image information captured by the first drone, a first input signal generated by encoding a distance value between the first drone and the structure to be constructed, as an input, and the first input signal Based on, a center position indicating the center of the construction target structure based on the location, size, and shape of the construction target structure on the design drawing; When the first drone, the second drone, the third drone, the fourth drone, and the fifth drone each move to the shooting location, the minimum distance from the construction target structure and the surrounding objects for safe flight A safety distance for each of the shooting locations; A movement path of the first drone set through a safety distance for movement of the front photographing position; A movement path of the second drone set through a safety distance for movement of the right-side photographing position; A movement path of the third drone set through a safety distance for movement of the rear photographing position; A movement path of the fourth drone set through a safety distance for movement of the left-side photographing position; And classifying a movement path of the fifth drone set through a safety distance for movement of the plane photographing position through a feature extraction neural network and a classification neural network, and outputting a first output signal based on the classification, and the second conball The lusion neural network includes image information taken by rotating each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone by 180 degrees, the front location of the construction target structure, and the left side shot A second input signal generated based on a location, a rear photographing position, a right-side photographing position, and a plane photographing position is input, and based on the second input signal, special matters of the surrounding space of the structure to be constructed and surrounding objects are A second output signal for generating the 3D model of the surrounding space of the construction target structure and surrounding objects may be output based on the classification through the feature extraction neural network and the classification neural network.

상기 뉴럴 네트워크는, 상기 3D 모델을 뉴럴 네트워크의 입력에 적합하도록 인코딩한 제3 입력 신호를 입력으로 하고, 상기 제3 입력 신호를 통해 상기 시공 대상 구조물의 기울기, 붕괴 가능성 및 최적화도를 판단하고, 상기 판단의 결과에 기초하여, 상기 시공 대상 구조물에 대한 안전성 검사 결과를 포함하는 제3 출력 신호를 출력으로 할 수 있다.The neural network receives as an input a third input signal, which is encoded to be suitable for the input of the neural network, the 3D model, and determines a slope, a collapse probability, and an optimization degree of the structure to be constructed through the third input signal, Based on the result of the determination, a third output signal including a safety test result for the structure to be constructed may be output.

본 발명의 일실시예에 따르면, 제1 드론, 제2 드론, 제3 드론, 제4 드론 및 제5 드론 각각에서 촬영 위치로 이동하여 촬영으로 생성된 이미지 정보를 통해, 시공 대상 구조물의 기울기를 분석하여, 시공 대상 구조물에 대한 안전성을 검사함으로써, 시공 대상 구조물에 대한 안전성을 용이하게 평가할 수 있다.According to an embodiment of the present invention, the inclination of the structure to be constructed is determined through image information generated by moving to the shooting location in each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone. By analyzing and inspecting the safety of the construction target structure, it is possible to easily evaluate the safety of the construction target structure.

한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.On the other hand, the effects according to the embodiments are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

도 1은 본 발명의 일실시예에 따른 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 드론을 이용하여 시공 대상 구조물에 대한 안전성을 검사하는 과정을 순서도로 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 드론 및 인공지능을 이용하여 시공 대상 구조물에 대한 안전성을 검사하는 과정을 순서도로 나타낸 도면이다.
도 4는 일실시예에 따른 블록체인 네트워크를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 드론의 이동을 제어하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 3D 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 제1 컨볼루션 신경망, 제2 컨볼루션 신경망 및 뉴럴 네트워크를 설명하기 위한 도면이다.1 is a diagram showing the configuration of an apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a process of inspecting the safety of a structure to be constructed using a drone according to an embodiment of the present invention.
3 is a flowchart illustrating a process of inspecting the safety of a structure to be constructed using a drone and artificial intelligence according to an embodiment of the present invention.
4 is a diagram illustrating a block chain network according to an embodiment.
5 is a diagram for explaining a method of controlling the movement of a drone according to an embodiment of the present invention.
6 is a diagram illustrating a method of generating a 3D model according to an embodiment of the present invention.
7 is a diagram illustrating a first convolutional neural network, a second convolutional neural network, and a neural network according to an embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the rights of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be changed in various forms and implemented. Accordingly, the embodiments are not limited to a specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, these terms should be interpreted only for the purpose of distinguishing one component from other components. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being "connected" to another component, it is to be understood that it may be directly connected or connected to the other component, but other components may exist in the middle.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be interpreted as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.

도 1은 본 발명의 일실시예에 따른 장치의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of an apparatus according to an embodiment of the present invention.

일실시예에 따른 장치(101)는 프로세서(102) 및 메모리(103)를 포함한다. 일실시예에 따른 장치(101)는 서버 또는 단말로 구현될 수 있으며, 프로세서(102)는 도 2 내지 도 7을 통하여 후술되는 적어도 하나의 방법을 수행할 수 있다. 메모리(103)는 후술되는 방법들과 관련된 정보를 저장하거나 후술되는 방법들이 구현된 프로그램을 저장할 수 있다. 메모리(103)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.The device 101 according to one embodiment includes a processor 102 and a memory 103. The apparatus 101 according to an embodiment may be implemented as a server or a terminal, and the processor 102 may perform at least one method described later through FIGS. 2 to 7. The memory 103 may store information related to methods described below or a program in which methods described below are implemented. The memory 103 may be a volatile memory or a nonvolatile memory.

일실시예에 따르면, 프로세서(102)는 프로그램을 실행하고, 장치(101)를 제어할 수 있다. 프로세서(102)에 의하여 실행되는 프로그램의 코드는 메모리(103)에 저장될 수 있다. 장치(101)는 입출력 장치(도면 미표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. According to an embodiment, the processor 102 may execute a program and control the device 101. The code of a program executed by the processor 102 may be stored in the memory 103. The device 101 is connected to an external device (for example, a personal computer or a network) through an input/output device (not shown) and can exchange data.

도 2는 본 발명의 일실시예에 따른 드론을 이용하여 시공 대상 구조물에 대한 안전성을 검사하는 과정을 순서도로 나타낸 도면이다.2 is a flowchart illustrating a process of inspecting the safety of a structure to be constructed using a drone according to an embodiment of the present invention.

먼저, S201 단계에서, 장치(101)는 복수의 드론 각각에 장착된 카메라에서 촬영된 이미지 정보를 획득할 수 있다.First, in step S201, the device 101 may acquire image information captured by a camera mounted on each of the plurality of drones.

일실시예에 따르면, 복수의 드론 각각에는 깊이 카메라가 장착될 수 있으며, 장치(101)는 깊이 카메라에서 촬영된 이미지 정보를 통해, 깊이 카메라가 장착된 드론과 이미지 정보에서 확인된 대상 물체 간의 거리를 산출할 수 있다.According to an embodiment, a depth camera may be mounted on each of the plurality of drones, and the device 101 is a distance between a drone equipped with a depth camera and a target object identified in the image information through image information captured by the depth camera. Can be calculated.

S202 단계에서, 장치(101)는 복수의 드론 중 제1 드론에서 촬영된 이미지 정보에서 시공 대상 구조물이 확인되면, 시공 대상 구조물의 전면 촬영 위치로 이동하는 위치 이동 제어 신호를 제1 드론으로 전송하여, 제1 드론이 전면 촬영 위치로 이동하도록 제어할 수 있다.In step S202, when the construction target structure is identified from the image information captured by the first drone among the plurality of drones, the device 101 transmits a position movement control signal moving to the front shooting position of the construction target structure to the first drone. , It is possible to control the first drone to move to the front shooting position.

즉, 장치(101)는 제1 드론에서 촬영된 이미지 정보에서 시공 대상 구조물이 확인되면, 시공 대상 구조물의 전면 부위를 촬영할 수 있는 위치로 제1 드론이 이동하도록 제어할 수 있다.That is, when the construction target structure is identified from the image information captured by the first drone, the device 101 may control the first drone to move to a position where the front portion of the construction target structure can be photographed.

S203 단계에서, 장치(101)는 시공 대상 구조물의 전면 촬영 위치로 이동한 제1 드론에서 촬영된 이미지 정보에서 복수의 드론 중 적어도 하나가 확인되면, 시공 대상 구조물의 좌측면 촬영 위치와 거리가 가장 가까운 제2 드론을 선정하고, 시공 대상 구조물의 좌측면 촬영 위치로 이동하는 위치 이동 제어 신호를 제2 드론으로 전송하여, 제2 드론이 좌측면 촬영 위치로 이동하도록 제어할 수 있다.In step S203, when at least one of the plurality of drones is identified in the image information captured by the first drone moved to the front shooting position of the construction target structure, the device 101 is the most It is possible to control the second drone to move to the left-side shooting position by selecting a nearby second drone and transmitting a position movement control signal moving to the left-side shooting position of the construction target structure to the second drone.

즉, 장치(101)는 제2 드론의 현재 위치가 시공 대상 구조물의 좌측면 부위를 촬영할 수 있는 위치와 가장 가까운 것으로 확인되면, 시공 대상 구조물의 좌측면 부위를 촬영할 수 있는 위치로 제2 드론이 이동하도록 제어할 수 있다.In other words, when the device 101 determines that the current position of the second drone is closest to the position at which the left side of the structure to be constructed can be photographed, the second drone is moved to a position at which the left side of the structure to be constructed can be photographed. You can control it to move.

S204 단계에서, 장치(101)는 시공 대상 구조물의 좌측면 촬영 위치로 이동한 제2 드론에서 촬영된 이미지 정보에서 복수의 드론 중 적어도 하나가 확인되면, 시공 대상 구조물의 후면 촬영 위치와 거리가 가장 가까운 제3 드론을 선정하고, 시공 대상 구조물의 후면 촬영 위치로 이동하는 위치 이동 제어 신호를 제3 드론으로 전송하여, 제3 드론이 우측면 촬영 위치로 이동하도록 제어할 수 있다.In step S204, when at least one of the plurality of drones is identified in the image information captured by the second drone that has moved to the left side shooting position of the construction target structure, the rear shooting position and the distance of the construction target structure are the most. By selecting a nearby third drone and transmitting a position movement control signal moving to the rear shooting position of the construction target structure to the third drone, it is possible to control the third drone to move to the right side shooting position.

즉, 장치(101)는 제3 드론의 현재 위치가 시공 대상 구조물의 우측면 부위를 촬영할 수 있는 위치와 가장 가까운 것으로 확인되면, 시공 대상 구조물의 우측면 부위를 촬영할 수 있는 위치로 제3 드론이 이동하도록 제어할 수 있다.That is, when it is confirmed that the current location of the third drone is closest to the location where the right side of the structure to be constructed can be photographed, the third drone moves to a location where the right side of the structure to be constructed can be photographed. Can be controlled.

S205 단계에서, 장치(101)는 시공 대상 구조물의 후면 촬영 위치로 이동한 제3 드론에서 촬영된 이미지 정보에서 복수의 드론 중 적어도 하나가 확인되면, 시공 대상 구조물의 우측면 촬영 위치와 거리가 가장 가까운 제4 드론을 선정하고, 시공 대상 구조물의 우측면 촬영 위치로 이동하는 위치 이동 제어 신호를 제4 드론으로 전송하여, 제4 드론이 후면 촬영 위치로 이동하도록 제어할 수 있다.In step S205, when at least one of the plurality of drones is identified in the image information captured by the third drone that has moved to the rear shooting position of the construction target structure, the device 101 is the closest to the shooting position on the right side of the construction target structure. The fourth drone may be selected and a position movement control signal moving to the right-side shooting position of the construction target structure is transmitted to the fourth drone, thereby controlling the fourth drone to move to the rear shooting position.

즉, 장치(101)는 제4 드론의 현재 위치가 시공 대상 구조물의 후면 부위를 촬영할 수 있는 위치와 가장 가까운 것으로 확인되면, 시공 대상 구조물의 후면 부위를 촬영할 수 있는 위치로 제4 드론이 이동하도록 제어할 수 있다.That is, when it is confirmed that the current location of the fourth drone is closest to the location where the rear portion of the structure to be constructed can be photographed, the fourth drone moves to a location where the rear portion of the structure to be constructed can be photographed. Can be controlled.

S206 단계에서, 장치(101)는 시공 대상 구조물의 우측면 촬영 위치로 이동한 제4 드론에서 촬영된 이미지 정보에서 복수의 드론 중 적어도 하나가 확인되면, 시공 대상 구조물의 평면 촬영 위치와 거리가 가장 가까운 제5 드론을 선정하고, 시공 대상 구조물의 평면 촬영 위치로 이동하는 위치 이동 제어 신호를 제5 드론으로 전송하여, 제5 드론이 평면 촬영 위치로 이동하도록 제어할 수 있다.In step S206, when at least one of the plurality of drones is identified from the image information captured by the fourth drone that has moved to the right-side shooting position of the construction target structure, the device 101 is the closest to the plane shooting position of the construction target structure. The fifth drone may be selected and a position movement control signal moving to a plane photographing position of a construction target structure may be transmitted to the fifth drone, thereby controlling the fifth drone to move to the plane photographing position.

즉, 장치(101)는 제5 드론의 현재 위치가 시공 대상 구조물의 평면 부위를 촬영할 수 있는 위치와 가장 가까운 것으로 확인되면, 시공 대상 구조물의 평면 부위를 촬영할 수 있는 위치로 제5 드론이 이동하도록 제어할 수 있다.That is, when the device 101 determines that the current position of the fifth drone is closest to the position where the planar portion of the structure to be constructed can be photographed, the device 101 moves the fifth drone to a position where the planar portion of the structure to be constructed can be photographed. Can be controlled.

S207 단계에서, 장치(101)는 제1 드론, 제2 드론, 제3 드론, 제4 드론 및 제5 드론 각각에서 촬영 위치로 이동하여 촬영으로 생성된 이미지 정보를 통해, 시공 대상 구조물의 기울기를 분석하여, 시공 대상 구조물에 대한 안전성을 검사할 수 있다.In step S207, the device 101 moves from each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone to the shooting location and adjusts the slope of the structure to be constructed through image information generated by shooting. By analyzing, it is possible to inspect the safety of the structure to be constructed.

즉, 장치(101)는 시공 대상 구조물의 전면 부위, 좌측면 부위, 우측면 부위, 후면 부위, 평면 부위를 각각 촬영한 이미지 정보를 분석하여, 다양한 각도에서 촬영한 이미지 정보를 통해 시공 대상 구조물의 기울기를 정확하게 분석할 수 있으며, 이를 통해, 시공 대상 구조물에 대한 안전성을 검사할 수 있다.That is, the device 101 analyzes the image information of each of the front, left, right, rear, and flat areas of the structure to be constructed, and the slope of the structure to be constructed through image information taken from various angles. Can be accurately analyzed, and through this, the safety of the structure to be constructed can be inspected.

S208 단계에서, 장치(101)는 안전성 검사 결과를 통해, 시공 대상 구조물에 이상이 있는 것으로 확인되면, 제1 드론, 제2 드론, 제3 드론, 제4 드론 및 제5 드론에서 경보음이 발생하도록 제어할 수 있다.In step S208, the device 101 generates an alarm sound from the first drone, the second drone, the third drone, the fourth drone, and the fifth drone when it is confirmed that there is an abnormality in the structure to be constructed through the safety inspection result. Can be controlled to do.

일실시예에 따르면, 장치(101)는 제1 드론 및 제3 드론 중 어느 하나에서 촬영된 이미지 정보를 통해, 시공 대상 구조물이 기울어진 것으로 확인되면, 경고음을 발생하는 위험 경보 신호를 제1 드론, 제3 드론 및 제5 드론으로 전송하여, 제1 드론, 제3 드론 및 제5 드론에서 경보음이 발생하도록 제어할 수 있다.According to an embodiment, the device 101 transmits a danger warning signal that generates a warning sound when it is determined that the structure to be constructed is tilted through image information captured by one of the first drone and the third drone. , It is possible to control to generate an alarm sound from the first drone, the third drone, and the fifth drone by transmitting to the third and fifth drones.

즉, 장치(101)는 전면 또는 후면 부위에서 촬영된 이미지 정보를 통해, 시공 대상 구조물이 기울어진 것이 확인되면, 시공 대상 구조물이 기울어진 것이 전면, 후면 및 평면 부위를 통해 확인될 수 있으므로, 전면, 후면 및 평면 부위을 촬영하는 제1 드론, 제3 드론 및 제5 드론에서만 경보음이 발생하도록 제어할 수 있다.That is, when the device 101 confirms that the construction target structure is inclined through image information photographed from the front or rear part, the construction target structure can be confirmed through the front, rear and flat parts. , It is possible to control to generate an alarm sound only in the first drone, the third drone, and the fifth drone that photographs the rear and plane areas.

일실시예에 따르면, 장치(101)는 제2 드론 및 제4 드론 중 어느 하나에서 촬영된 이미지 정보를 통해, 시공 대상 구조물이 기울어진 것으로 확인되면, 경고음을 발생하는 위험 경보 신호를 제2 드론, 제4 드론 및 제5 드론으로 전송하여, 제2 드론, 제4 드론 및 제5 드론에서 경보음이 발생하도록 제어할 수 있다.According to an embodiment, the device 101 transmits a danger warning signal that generates a warning sound when it is determined that the structure to be constructed is tilted through image information captured by one of the second drone and the fourth drone. , It is possible to control to generate an alarm sound from the second drone, the fourth drone, and the fifth drone by transmitting to the fourth and fifth drones.

즉, 장치(101)는 좌측면 또는 우측면 부위에서 촬영된 이미지 정보를 통해, 시공 대상 구조물이 기울어진 것이 확인되면, 시공 대상 구조물이 기울어진 것이 좌측면, 우측면 및 평면 부위를 통해 확인될 수 있으므로, 좌측면, 우측면 및 평면 부위을 촬영하는 제2 드론, 제4 드론 및 제5 드론에서만 경보음이 발생하도록 제어할 수 있다.That is, when the device 101 confirms that the construction target structure is inclined through image information taken from the left or right side, the construction target structure can be confirmed through the left, right and flat parts. , It is possible to control to generate an alarm sound only in the second drone, the fourth drone, and the fifth drone that photographs the left, right and flat areas.

도 3은 본 발명의 일실시예에 따른 드론 및 인공지능을 이용하여 시공 대상 구조물에 대한 안전성을 검사하는 과정을 순서도로 나타낸 도면이다.3 is a flowchart illustrating a process of inspecting the safety of a structure to be constructed using a drone and artificial intelligence according to an embodiment of the present invention.

먼저, S301 단계에서, 장치(101)는 제1 드론에서 촬영된 이미지 정보, 제1 드론과 시공 대상 구조물 간의 거리 값에 기초하여, 제1 입력 신호를 생성할 수 있다.First, in step S301, the device 101 may generate a first input signal based on image information captured by the first drone and a distance value between the first drone and the construction target structure.

일실시예에 따르면, 제1 드론에는 깊이 카메라가 장착될 수 있으며, 장치(101)는 깊이 카메라에서 촬영된 이미지 정보를 통해, 제1 드론과 시공 대상 구조물 간의 거리 값을 산출할 수 있다.According to an embodiment, a depth camera may be mounted on the first drone, and the device 101 may calculate a distance value between the first drone and a construction target structure through image information captured by the depth camera.

일실시예에 따르면, 장치(101)는 제1 드론에 의해 촬영된 이미지 정보 및 제1 드론과 시공 대상 구조물 간의 거리 값을 제1 컨볼루션 신경망의 입력에 적절한 형태로 인코딩할 수 있다. 장치(101)는 촬영된 이미지 정보로부터 픽셀들의 색 정보를 수치화된 값으로 변환한 데이터 시트로 인코딩할 수 있으나, 이에 국한하지 않는다. 색 정보는 픽셀이 보유한 RGB 색상, 명도, 채도 등의 정보를 포함할 수 있다. 거리 값은 cm, m 등의 단위를 사용할 수 있으며, 경우에 따라 주변 사물과의 상대적인 이격 거리를 의미할 수 있다.According to an embodiment, the device 101 may encode image information captured by the first drone and a distance value between the first drone and a structure to be constructed in a form suitable for input of the first convolutional neural network. The device 101 may encode a data sheet obtained by converting color information of pixels from the captured image information into numerical values, but is not limited thereto. The color information may include information such as RGB color, brightness, and saturation held by a pixel. The distance value may use units such as cm and m, and may mean a relative distance from surrounding objects in some cases.

S302 단계에서, 장치(101)는 제1 입력 신호를 제1 컨볼루션 신경망에 입력하여 시공 대상 구조물의 전면 촬영 위치, 좌측면 촬영 위치, 후면 촬영 위치, 우측면 촬영 위치, 평면 촬영 위치 및 촬영 위치별 안전 거리 데이터를 포함하는 제1 출력 신호를 획득할 수 있다.In step S302, the device 101 inputs the first input signal to the first convolutional neural network, and the front photographing position, the left photographing position, the rear photographing position, the right photographing position, the plane photographing position, and the photographing position A first output signal including safety distance data may be obtained.

일실시예에 따르면, 제1 컨볼루션 신경망은 특징 추출 신경망과 분류 신경망을 통해 제1 입력 신호를 분석 및 분류할 수 있으며, 이 분류에 따라 중심 위치, 촬영 위치별 안전 거리 및 드론별 이동 경로를 결정할 수 있다. 중심 위치는 시공 대상 구조물의 중심을 나타내는 위치를 의미하고, 촬영 위치별 안전 거리는 드론들이 촬영 위치로 이동하는 동안 주변 사물로부터 안전하게 이동하기 위한 공간을 의미할 수 있으며, 드론별 이동 경로는 드론별로 정해진 촬영 위치로 이동하기 위한 경로를 의미할 수 있다. 제1 컨볼루션 신경망에 대한 자세한 설명은 도 7을 참조하여 후술한다.According to an embodiment, the first convolutional neural network may analyze and classify the first input signal through a feature extraction neural network and a classification neural network, and according to this classification, a center position, a safe distance for each shooting location, and a movement path for each drone are determined. You can decide. The central location means a location that represents the center of the structure to be constructed, and the safety distance for each shooting location can mean a space for safely moving from surrounding objects while the drones move to the shooting location, and the movement path for each drone is determined for each drone. It may mean a path for moving to the photographing location. A detailed description of the first convolutional neural network will be described later with reference to FIG. 7.

S303 단계에서, 장치(101)는 제1 출력 신호에 기초하여, 제1 드론이 시공 대상 구조물의 전면 촬영 위치로 이동하도록 제어하고, 제2 드론이 시공 대상 구조물의 좌측면 촬영 위치로 이동하도록 제어하고, 제3 드론이 시공 대상 구조물의 후면 촬영 위치로 이동하도록 제어하고, 제4 드론이 시공 대상 구조물의 우측면 촬영 위치로 이동하도록 제어하고, 제5 드론이 시공 대상 구조물의 평면 촬영 위치로 이동하도록 제어할 수 있다.In step S303, the device 101 controls the first drone to move to the front shooting position of the construction target structure, and the second drone to move to the left side shooting position of the construction target structure based on the first output signal. And, the third drone is controlled to move to the rear shooting position of the construction target structure, the fourth drone is controlled to move to the right side shooting position of the construction target structure, and the fifth drone moves to the plane shooting position of the construction target structure. Can be controlled.

일실시예에 따르면, 장치(101)는 제1 출력 신호가 포함하는 정보들을 이용하여, 제1 드론, 제2 드론, 제3 드론, 제4 드론 및 제5 드론을 각각의 촬영 위치로 이동시킬 수 있으며, 촬영 위치로 이동하는 동안 안전 거리를 유지하며 이동하도록 제어하고, 중심 위치를 기준으로 전면, 좌측면, 후면, 우측면 및 평면 각각을 촬영하기 위해 드론의 이동을 제어할 수 있다.According to an embodiment, the device 101 uses information included in the first output signal to move the first drone, the second drone, the third drone, the fourth drone, and the fifth drone to each shooting location. It is possible to control the movement while maintaining a safe distance while moving to the shooting position, and control the movement of the drone to shoot each of the front, left, rear, right and plane based on the center position.

S304 단계에서, 장치(101)는 제1 드론, 제2 드론, 제3 드론, 제4 드론 및 제5 드론 각각에 촬영 신호를 전송하여, 시공 대상 구조물을 중심으로 180도 회전 촬영하도록 제어할 수 있다.In step S304, the device 101 transmits a photographing signal to each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone, so that it can be controlled to rotate 180 degrees around the structure to be constructed. have.

일실시예에 따르면, 제1 내지 제5 드론이 포함하는 카메라는 X축을 기준으로 180도 회전이 가능한 장비일 수 있다. 제1 내지 제5 드론이 포함하는 카메라는 X축을 따라 180도 회전하며 총 4회에 걸쳐 촬영을 진행할 수 있다. 촬영은 총 카메라가 180도를 회전하는 1.2초 동안 진행되며 0.1초 당 한 번씩 촬영이 진행될 수 있고, 최초 및 최종 0.1초 동안은 촬영이 진행되지 않을 수 있다. 최초 및 최종 0.1초 동안 촬영이 진행되지 않는 이유는 이 시간 동안 촬영되는 이미지는 시공 대상 구조물의 일부만 포함될 가능성이 크기 때문이다.According to an embodiment, a camera included in the first to fifth drones may be a device capable of rotating 180 degrees based on the X axis. The cameras included in the first to fifth drones rotate 180 degrees along the X axis and can shoot a total of four times. Shooting is performed for 1.2 seconds in which the total camera rotates 180 degrees, and shooting may be performed once per 0.1 seconds, and shooting may not be performed for the first and final 0.1 seconds. The reason why shooting is not performed for the first and last 0.1 seconds is that the image taken during this time is likely to contain only part of the structure to be constructed.

S305 단계에서, 장치(101)는 180도 회전 촬영으로 생성된 이미지 정보, 시공 대상 구조물의 전면 촬영 위치, 좌측면 촬영 위치, 후면 촬영 위치, 우측면 촬영 위치 및 평면 촬영 위치에 기초하여, 제2 입력 신호를 생성할 수 있다.In step S305, the device 101 is based on the image information generated by 180-degree rotation photography, the front photographing position of the construction target structure, the left photographing position, the rear photographing position, the right photographing position, and a plane photographing position, and Can generate signals.

일실시예에 따르면, 장치(101)는 180도 회전 촬영으로 생성된 이미지 정보 및 드론의 촬영 위치 값을 제2 컨볼루션 신경망에 적합한 형태로 인코딩하여 제2 입력 신호를 생성할 수 있다. 장치(101)는 촬영된 이미지 정보로부터 픽셀들의 색 정보를 수치화된 값으로 변환한 데이터 시트로 인코딩할 수 있으나, 이에 국한하지 않는다. 색 정보는 픽셀이 보유한 RGB 색상, 명도, 채도 등의 정보를 포함할 수 있다. 촬영 위치 값은 시공 대상 공간 내의 X축, Y축 및 Z축 값을 포함할 수 있다.According to an embodiment, the apparatus 101 may generate a second input signal by encoding image information generated by 180 degree rotational photographing and a photographing position value of the drone in a form suitable for the second convolutional neural network. The device 101 may encode a data sheet obtained by converting color information of pixels from the captured image information into numerical values, but is not limited thereto. The color information may include information such as RGB color, brightness, and saturation held by a pixel. The photographing position value may include values of the X-axis, Y-axis, and Z-axis in the construction target space.

S306 단계에서, 장치(101)는 제2 입력 신호를 제2 컨볼루션 신경망에 입력하여 제2 출력 신호를 획득할 수 있다.In step S306, the device 101 may obtain a second output signal by inputting the second input signal to the second convolutional neural network.

일실시예에 따르면, 제2 컨볼루션 신경망은 특징 추출 신경망 및 분류 신경망을 통해 시공 대상 구조물의 주변 공간 및 주변 사물에 대한 특이사항들을 분류할 수 있다. 제2 컨볼루션 신경망은 해당 분류에 기초하여, 시공 대상 구조물의 주변 공간 및 주변 사물에 대한 3D 모델을 생성할 수 있는 정보들을 포함한 제2 출력 신호를 출력할 수 있다. 제2 컨볼루션 신경망에 대한 자세한 설명은 도 7을 참조하여 후술한다.According to an embodiment, the second convolutional neural network may classify special items of a surrounding space of a structure to be constructed and surrounding objects through a feature extraction neural network and a classification neural network. The second convolutional neural network may output a second output signal including information capable of generating a 3D model for the surrounding space of the structure to be constructed and surrounding objects based on the classification. A detailed description of the second convolutional neural network will be described later with reference to FIG. 7.

S307 단계에서, 장치(101)는 제2 출력 신호에 기초하여, 시공 대상 구조물의 주변 공간 및 주변 사물의 3D 모델을 생성하고, 시공 대상 구조물을 3D 모델 상에 위치시킬 수 있다.In step S307, the device 101 may generate a 3D model of the surrounding space and surrounding objects of the construction target structure based on the second output signal, and place the construction target structure on the 3D model.

S308 단계에서, 장치(101)는 3D 모델에 기초하여, 제3 입력 신호를 생성할 수 있다.In step S308, the device 101 may generate a third input signal based on the 3D model.

일실시예에 따르면, 3D 모델은 시공 대상 구조물의 주변 공간 및 주변 사물로부터 점들을 이어 형성될 수 있으며, 각 점들은 시공 대상 구조물의 주변 공간 및 주변 사물에 있어 2~5m 범위마다 하나씩 지정될 수 있다. 시공 대상 구조물의 주변 공간 및 주변 사물에 대한 3D 모델은 모든 사면 및 전리 사면 균열 등의 정보를 포함할 수 있다.According to an embodiment, the 3D model may be formed by connecting points from the surrounding space and surrounding objects of the construction target structure, and each point may be designated one by one in the range of 2 to 5 m in the surrounding space and surrounding objects of the construction target structure. have. The 3D model of the surrounding space and surrounding objects of the construction target structure may include information such as all slopes and ionizing slope cracks.

일실시예에 따르면, 설계도는 설계도 프로그램에 의해 생성된 자료일 수 있으며, 3D로 형성된 설계도에서 시공 대상 구조물의 크기, 형태, 위치를 확인하여, 제2 출력 신호에 의해 생성된 시공 대상 구조물의 주변 공간 및 주변 사물에 적합한 형태로 인코딩 되어, 시공 대상 구조물이 3D 모델 상에 위치할 수 있다.According to an embodiment, the design drawing may be data generated by a design drawing program, and by checking the size, shape, and location of the structure to be constructed in the design drawing formed in 3D, the surroundings of the structure to be constructed generated by the second output signal It is encoded in a form suitable for space and surrounding objects, so that the structure to be constructed can be located on the 3D model.

장치(101)는 시공 대상 구조물이 3D 모델 상에 적합한 위치로 위치하면, 이로부터 3D 모델을 뉴럴 네트워크에 적절한 형태로 인코딩한 제3 입력 신호를 생성할 수 있다. 제3 입력 신호는 뉴럴 네트워크의 입력층 노드의 수와 동일한 120개의 값으로 이뤄진 매트릭스일 수 있다.When the structure to be constructed is located at an appropriate position on the 3D model, the device 101 may generate a third input signal by encoding the 3D model in a form suitable for the neural network from this. The third input signal may be a matrix composed of 120 values equal to the number of input layer nodes of the neural network.

S309 단계에서, 장치(101)는 제3 입력 신호를 뉴럴 네트워크에 입력할 수 있다.In step S309, the device 101 may input a third input signal to the neural network.

S310 단계에서, 장치(101)는 뉴럴 네트워크의 제어 결과에 기초하여, 제3 출력 신호를 획득할 수 있다.In step S310, the device 101 may obtain a third output signal based on the control result of the neural network.

일실시예에 따르면, 장치(101)는 제3 입력 신호를 장치(101)와 연결된 뉴럴 네트워크에 입력할 수 있는데, 뉴럴 네트워크는 120개의 입력층 노드를 가질 수 있다. 뉴럴 네트워크의 120개의 입력층 노드는 시공 대상 구조물의 주변 공간 및 주변 사물에 대한 3D 모델을 지시하는 95개의 입력층 노드와 시공 대상 구조물의 3D 모델을 지시하는 25개의 입력층 노드로 이뤄질 수 있다. 120개의 입력층 노드는 각각 속도 지연을 최소화하면서, 뉴럴 네트워크의 작동을 최적화 하고, 시공 대상 구조물의 이상 여부에 대한 판단을 위한 최대의 정보를 포함하기 위한 수일 수 있다. 뉴럴 네트워크의 출력층 노드는 총 30개일 수 있는데, 이는 속도 지연을 최소화하면서 시공 대상 구조물의 안전성 검사 결과를 최대로 포함하기 위한 최적화된 수일 수 있다. 뉴럴 네트워크에 대한 자세한 설명은 도 7을 참조하여 후술한다.According to an embodiment, the device 101 may input a third input signal to a neural network connected to the device 101, and the neural network may have 120 input layer nodes. The 120 input layer nodes of the neural network may consist of 95 input layer nodes indicating the 3D model of the surrounding space of the structure to be constructed and the surrounding objects, and 25 input layer nodes indicating the 3D model of the structure to be constructed. Each of the 120 input layer nodes may be a number for optimizing the operation of the neural network, minimizing the speed delay, and including the maximum information for determining whether or not the structure to be constructed is abnormal. The number of output layer nodes of the neural network may be a total of 30, which may be an optimized number to maximize the safety test result of the structure to be constructed while minimizing the speed delay. A detailed description of the neural network will be described later with reference to FIG. 7.

S311 단계에서, 장치(101)는 제3 출력 신호에 기초하여, 시공 대상 구조물에 대한 안전성을 검사할 수 있다.In step S311, the device 101 may check the safety of the construction target structure based on the third output signal.

일실시예에 따르면, 장치(101)는 제3 출력 신호가 포함하는 정보를 장치(101)와 연결된 데이터 베이스 및 블록체인 네트워크에 저장할 수 있다. 장치(101)가 이처럼 제3 출력 신호를 저장하는 이유는 시공 대상 구조물에 대한 안전성 검사 결과를 저장함으로써 향후 시공 진행 여부를 확인하고, 제1 내지 제2 컨볼루션 신경망 및 뉴럴 네트워크의 재학습을 위한 자료를 획득하기 위함일 수 있다. 특히 블록체인 네트워크에의 저장은 높은 보안성을 확보하고, 각각의 네트워크 저장장치들이 해당 내용을 공유함으로써 자동으로 이를 검토하기 위함일 수 있다. 장치(101)는 제3 출력 신호를 제1 네트워크 저장장치에 전송할 수 있는데, 이는 제1 네트워크 저장장치의 사용자가 시공 대상 구조물의 시공 공정을 설계한 설계자를 포함하기 때문일 수 있다. 설계자는 제1 네트워크 저장장치로 전송된 제3 출력 신호에 기초하여 시공 대상 구조물에 대한 보수 시공을 설계할 수 있다. 블록체인 네트워크에 대한 자세한 설명은 도 4를 참조하여 후술한다.According to an embodiment, the device 101 may store information included in the third output signal in a database and a blockchain network connected to the device 101. The reason why the device 101 stores the third output signal is to check whether the construction is going on in the future by storing the safety test result of the structure to be constructed, and to relearn the first to second convolutional neural networks and neural networks. It may be to obtain data. In particular, storage on the blockchain network may be to ensure high security, and to automatically review it by sharing the contents of each network storage device. The device 101 may transmit a third output signal to the first network storage device, which may be because the user of the first network storage device includes a designer who designed the construction process of the structure to be constructed. The designer may design repair and construction for the structure to be constructed based on the third output signal transmitted to the first network storage device. A detailed description of the blockchain network will be described later with reference to FIG. 4.

도 4는 일실시예에 따른 블록체인 네트워크를 설명하기 위한 도면이다.4 is a diagram illustrating a block chain network according to an embodiment.

도 4를 참조하면, 제3 출력 신호를 포함하는 블록(401)들; 각 블록(401)을 시간 순으로 연결하는 체인(402)들; 및 각 블록체인을 저장하는 제1 네트워크 저장장치(410), 제2 네트워크 저장장치(420), 제3 네트워크 저장장치(430)를 포함하는 프라이빗 블록체인 네트워크일 수 있다.4, blocks 401 including a third output signal; Chains 402 connecting each block 401 in chronological order; And a first network storage device 410, a second network storage device 420, and a third network storage device 430 for storing each block chain.

일실시예에 따르면, 블록체인 네트워크의 블록(401)은 제3 출력 신호를 포함하는 데이터 베이스를 포함할 수 있다. 각 블록(401)들은 일반적으로 시간 순으로 연결이 되며, 이에 따라 10분 간격으로 새로운 블록(401)들이 생산될 수 있다. 이미 생성된 블록(401)의 내용들은 모든 네트워크 저장장치들에 저장되며, 시간 내에 과반수의 내용이 변경되지 않는 한 변경될 수 없는 구조로 되어있다. 예를 들어, 총 3개의 네트워크 저장장치를 가진 블록체인 네트워크에서 각 네트워크 저장장치 당 1개씩의 블록(401)을 가지고 있다고 했을 때, 제한된 시간 내에 2개 이상의 블록(401)의 내용을 바꾸지 못하면, 각 블록(401)은 검증을 통해 과반수와 다른 내용의 블록(401)을 과반수와 같도록 값을 재변경 시킬 수 있다. 이에 따라 높은 보안을 유지할 수 있는데, 실제로 블록체인 네트워크에 참여하는 네트워크 저장장치의 수는 수십에서 수십만에 달할 수 있기 때문에 더욱 높은 보안성을 나타낼 수 있다.According to an embodiment, the block 401 of the blockchain network may include a database including a third output signal. Each block 401 is generally connected in chronological order, and accordingly, new blocks 401 may be produced every 10 minutes. The contents of the already generated block 401 are stored in all network storage devices, and have a structure that cannot be changed unless a majority of the contents are changed within time. For example, if a block chain network with a total of 3 network storage devices has one block 401 for each network storage device, if the contents of two or more blocks 401 cannot be changed within a limited time, Each block 401 may re-change the value of the block 401 having contents different from the majority through verification to be the same as the majority. Accordingly, high security can be maintained, and since the number of network storage devices actually participating in the blockchain network can reach tens to hundreds of thousands of devices, higher security can be exhibited.

일실시예에 따른 체인(402)들은 해시값으로 구성될 수 있다. 체인(402)들은 블록(401)을 시간 순으로 연속되도록 하는데, 이 때 해시값을 이용해 각 블록(401)들이 연결되게 할 수 있다. 블록(401)에는 제3 출력 신호 및 제3 출력 신호의 해시값, 이전 헤더 및 현 블록의 헤더를 보관할 수 있다. 여기서 현 블록의 헤더는 다음 블록에서 이전 헤더의 기능을 하게 되어 각 블록(401)들은 유기적으로 연결될 수 있다. 더불어 해시값은 블록의 내용이 조금이라도 바뀌면 완전히 다른 형태로 변형이 되는데, 이 때문에 블록(401)의 내용을 변경하려는 시도를 효과적으로 막을 수 있다. 현 블록의 헤더는 제3 출력 신호 및 제3 출력 신호의 해시값 및 이전 헤더를 포함한 총 합의 해시값이 되기 때문에, 블록(401)의 내용과 해시값을 효과적으로 수정해 보안을 해치려는 시도도 성공하기 어렵게 된다. 왜냐하면 블록(401)의 내용와 해시값을 수정하는 순간, 헤더의 내용도 바뀌게 되고 이에 따라 다음 블록에 들어가는 이전 헤더도 바뀌게 되며, 이에 따라 그 블록의 헤더도 바뀌어 다음 블록의 이전 헤더를 다시 바꾸게 될 수 있다. 즉, 이후의 모든 블록(401)을 해킹해야만 하게 된다. 따라서, 해시값을 통한 체인(402)으로 블록체인의 보안을 높일 수 있다.Chains 402 according to an embodiment may be configured with a hash value. The chains 402 allow the blocks 401 to be continuous in chronological order, and in this case, each block 401 may be connected using a hash value. The block 401 may store a third output signal, a hash value of the third output signal, a previous header, and a header of the current block. Here, since the header of the current block functions as the previous header in the next block, each block 401 can be organically connected. In addition, if the content of the block changes even a little, the hash value is transformed into a completely different form. For this reason, an attempt to change the content of the block 401 can be effectively prevented. Since the header of the current block becomes the hash value of the total sum including the hash value of the third output signal and the third output signal and the previous header, attempts to compromise security by effectively modifying the content and hash value of the block 401 were also successful. It becomes difficult to do. This is because the moment the content and the hash value of the block 401 are modified, the content of the header also changes, and accordingly, the previous header that enters the next block also changes. have. That is, all subsequent blocks 401 must be hacked. Therefore, it is possible to increase the security of the blockchain with the chain 402 through the hash value.

일실시예에 따르면, 네트워크 저장장치들은 시공 공정을 위한 설계도를 설계한 설계자를 포함하는 제1 네트워크 저장장치(410); 시공 공정을 위한 설계도 점검 방법을 사용하는 시공업체를 포함하는 제2 네트워크 저장장치(420); 시공 공정을 의뢰한 의뢰자를 포함하는 제3 네트워크 저장장치(430); 및 각 네트워크 저장장치들을 연결하는 초고속 인터넷 연결망(403)을 포함할 수 있다. 제1, 제2 및 제3으로 분류된 네트워크 저장장치들은 포함된 실무자의 수, 사용자의 수 및 그 저장 장치의 수에 따라 그 수가 결정될 수 있다.According to an embodiment, the network storage devices include a first network storage device 410 including a designer who designed a design diagram for a construction process; A second network storage device 420 including a construction company using a design check method for a construction process; A third network storage device 430 including a client requesting a construction process; And a high-speed Internet connection network 403 connecting each of the network storage devices. The number of network storage devices classified as first, second, and third may be determined according to the number of practitioners, the number of users, and the number of storage devices included.

일실시예에 따르면, 제1 네트워크 저장장치(410)는 시공 공정을 위한 설계도를 설계한 설계자를 포함할 수 있으며, 시공 공정을 위한 설계도 점검 방법의 설계자들은 1개 업체 혹은 그 이상일 수 있다. 제1 네트워크 저장장치(410)의 수는 각 업체가 사용하는 저장 장치의 수에 따라 그 수가 결정 될 수 있다. 제1 네트워크 저장장치(410)는 시공 공정을 위한 설계도의 점검 방법을 통해 보수 시공이 필요한 시공 대상 구조물에 대한 설계도를 수정 반영할 수 있으며, 제1 내지 제2 컨볼루션 신경망 및 뉴럴 네트워크를 위한 학습용 데이터를 제시할 수 있다.According to an embodiment, the first network storage device 410 may include a designer who designs a blueprint for a construction process, and designers of a blueprint check method for a construction process may be one company or more. The number of first network storage devices 410 may be determined according to the number of storage devices used by each company. The first network storage device 410 may modify and reflect the design drawings for structures to be constructed that require repair and construction through the inspection method of the design drawings for the construction process, and for learning for first to second convolutional neural networks and neural networks. Data can be presented.

일실시예에 따르면, 제2 네트워크 저장장치(420)는 시공 공정을 위한 설계도 점검 방법을 사용하는 시공업체를 포함할 수 있다. 제2 네트워크 저장장치(420)는 시공 공정을 위한 설계도 점검 방법을 사용하는 업체 및 그 사용자의 수에 따라 그 수가 결정될 수 있다. 제2 네트워크 저장장치(420)는 시공 공정을 위한 설계도 점검 방법을 사용하는 실 사용자로서, 실 사용 중에 발생하는 오류들에 대한 정보를 사용자가 수동으로 입력함으로써 제1 내지 제2 컨볼루션 신경망 및 뉴럴 네트워크의 학습을 용이하게 할 수 있다.According to an embodiment, the second network storage device 420 may include a construction company that uses a design check method for a construction process. The number of the second network storage devices 420 may be determined according to the number of companies and users who use the blueprint inspection method for the construction process. The second network storage device 420 is an actual user who uses a blueprint check method for a construction process, and by manually inputting information on errors occurring during actual use, the user can manually input first to second convolutional neural networks and neural networks. Network learning can be facilitated.

일실시예에 따르면, 제3 네트워크 저장장치(430)는 시공 공정을 의뢰한 의뢰자를 포함할 수 있다. 제3 네트워크 저장장치(430)는 시공 공정을 의뢰하는 시점에 제1 네트워크 저장장치(410)의 설계자의 허가에 따라 블록체인 네트워크의 열람 및 저장을 수행할 수 있으며, 의뢰한 시공이 완료되는 시점에 블록체인 네트워크의 제3 네트워크 저장장치(430)로서의 역할을 상실할 수 있다.According to an embodiment, the third network storage device 430 may include a client who requested a construction process. The third network storage device 430 can view and store the blockchain network according to the permission of the designer of the first network storage device 410 at the time of requesting the construction process, and the time when the requested construction is completed. In the blockchain network, the role of the third network storage device 430 may be lost.

일실시예에 따른 초고속 인터넷 연결망(403)은 통상적으로 10Mb/s 이상의 속도를 보이는 인터넷 연결망을 의미하는데, 유선, 무선, 광케이블 기술 등을 포함하는 연결망으로 LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등을 포함하나 이에 한정되지 않는다.The high-speed Internet connection network 403 according to an embodiment generally refers to an Internet connection network exhibiting a speed of 10 Mb/s or more, and is a connection network including wired, wireless, optical cable technology, etc., and is a local area network (LAN) or wireless Local Area Network), Wide Area Network (WAN), Personal Area Network (PAN), and the like, but are not limited thereto.

일실시예에 따른 시공 공정을 위한 설계도 점검 방법은 블록체인 네트워크를 통해 정보를 빅데이터화 하고, 강화된 보안을 사용할 수 있다The blueprint check method for the construction process according to an embodiment can convert information into big data through a blockchain network and use enhanced security.

도 5는 본 발명의 일실시예에 따른 드론의 이동을 제어하는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method of controlling the movement of a drone according to an embodiment of the present invention.

도 5를 참조하면, 시공 대상 구조물(501)이 제1 드론(502)에 의해 촬영되면, 장치(101)는 제1 드론(502)에서 촬영된 이미지 정보에서 시공 대상 구조물(501)을 확인하고, 시공 대상 구조물(501)의 전면 부위를 촬영하기 위한 위치로 제1 드론(502)이 이동하도록 제어할 수 있다.5, when the construction target structure 501 is photographed by the first drone 502, the device 101 checks the construction target structure 501 from image information captured by the first drone 502, and , It is possible to control the first drone 502 to move to a position for photographing the front portion of the construction target structure 501.

장치(101)는 제1 드론(502)과 시공 대상 구조물(501) 간의 거리 값, 시공 대상 구조물(501)의 중심 위치, 제1 드론(502)의 현재 위치, 시공 대상 구조물(501)의 전면 촬영 위치에 기초하여, 전면 촬영 위치의 이동을 위한 안전 거리를 통해 제1 드론(502)의 이동 경로를 설정하고, 제1 드론(502)은 시공 대상 구조물(501)의 전면 촬영 위치로 이동할 수 있다.The device 101 is a distance value between the first drone 502 and the structure to be constructed 501, the center position of the structure to be constructed 501, the current position of the first drone 502, and the front of the structure to be constructed 501 Based on the shooting position, the movement path of the first drone 502 is set through a safe distance for movement of the front shooting position, and the first drone 502 can move to the front shooting position of the construction target structure 501. have.

장치(101)는 시공 대상 구조물(501)의 전면 촬영 위치로 이동한 제1 드론(502)에서 촬영된 이미지 정보에서 시공 대상 구조물(501)의 좌측면 촬영 위치와 거리가 가장 가까운 제2 드론(503)을 확인하고, 시공 대상 구조물(501)의 좌측면 부위를 촬영하기 위한 위치로 제2 드론(503)이 이동하도록 제어할 수 있다.The device 101 is a second drone that has the closest distance to the location on the left side of the structure to be constructed 501 from the image information captured by the first drone 502 that has moved to the front location of the structure to be constructed 501 ( 503), and the second drone 503 may be controlled to move to a position for photographing the left side of the structure 501 to be constructed.

장치(101)는 제2 드론(503)과 시공 대상 구조물(501) 간의 거리 값, 시공 대상 구조물(501)의 중심 위치, 제2 드론(503)의 현재 위치, 시공 대상 구조물(501)의 좌측면 촬영 위치에 기초하여, 좌측면 촬영 위치의 이동을 위한 안전 거리를 통해 제2 드론(503)의 이동 경로를 설정하고, 제2 드론(503)은 시공 대상 구조물(501)의 좌측면 촬영 위치로 이동할 수 있다.The device 101 is the distance value between the second drone 503 and the structure to be constructed 501, the center position of the structure to be constructed 501, the current position of the second drone 503, and the left side of the structure to be constructed 501 Based on the surface shooting position, the movement path of the second drone 503 is set through a safe distance for moving the left side shooting position, and the second drone 503 is the left side shooting position of the construction target structure 501 You can go to

장치(101)는 시공 대상 구조물(501)의 좌측면 촬영 위치로 이동한 제2 드론(503)에서 촬영된 이미지 정보에서 시공 대상 구조물(501)의 후면 촬영 위치와 거리가 가장 가까운 제3 드론(504)을 확인하고, 시공 대상 구조물(501)의 후면 부위를 촬영하기 위한 위치로 제3 드론(504)이 이동하도록 제어할 수 있다.The device 101 is a third drone that has the closest distance to the rear photographing position of the construction target structure 501 in the image information photographed by the second drone 503 moved to the left side photographing position of the construction target structure 501 ( 504), and the third drone 504 may be controlled to move to a position for photographing the rear portion of the structure to be constructed 501.

장치(101)는 제3 드론(504)과 시공 대상 구조물(501) 간의 거리 값, 시공 대상 구조물(501)의 중심 위치, 제3 드론(504)의 현재 위치, 시공 대상 구조물(501)의 후면 촬영 위치에 기초하여, 후면 촬영 위치의 이동을 위한 안전 거리를 통해 제3 드론(504)의 이동 경로를 설정하고, 제3 드론(504)은 시공 대상 구조물(501)의 후면 촬영 위치로 이동할 수 있다.The device 101 is a distance value between the third drone 504 and the structure to be constructed 501, the center position of the structure to be constructed 501, the current position of the third drone 504, and the rear surface of the structure to be constructed 501 Based on the shooting position, the movement path of the third drone 504 is set through a safe distance for moving the rear shooting position, and the third drone 504 can move to the rear shooting position of the construction target structure 501. have.

장치(101)는 시공 대상 구조물(501)의 후면 촬영 위치로 이동한 제3 드론(504)에서 촬영된 이미지 정보에서 시공 대상 구조물(501)의 우측면 촬영 위치와 거리가 가장 가까운 제4 드론(505)을 확인하고, 시공 대상 구조물(501)의 우측면 부위를 촬영하기 위한 위치로 제4 드론(505)이 이동하도록 제어할 수 있다.The device 101 is the fourth drone 505 that is the closest to the location on the right side of the structure to be constructed 501 from the image information captured by the third drone 504 that has moved to the rear location of the structure to be constructed 501. ), and the fourth drone 505 can be controlled to move to a position for photographing the right side portion of the construction target structure 501.

장치(101)는 제4 드론(505)과 시공 대상 구조물(501) 간의 거리 값, 시공 대상 구조물(501)의 중심 위치, 제4 드론(505)의 현재 위치, 시공 대상 구조물(501)의 우측면 촬영 위치에 기초하여, 우측면 촬영 위치의 이동을 위한 안전 거리를 통해 제4 드론(505)의 이동 경로를 설정하고, 제4 드론(505)은 시공 대상 구조물(501)의 우측면 촬영 위치로 이동할 수 있다.The device 101 is a distance value between the fourth drone 505 and the construction target structure 501, the center position of the construction target structure 501, the current position of the fourth drone 505, and the right side of the construction target structure 501 Based on the shooting position, the movement path of the fourth drone 505 is set through a safe distance for movement of the right shooting position, and the fourth drone 505 can move to the shooting position on the right side of the construction target structure 501. have.

장치(101)는 시공 대상 구조물(501)의 우측면 촬영 위치로 이동한 제4 드론(505)에서 촬영된 이미지 정보에서 시공 대상 구조물(501)의 평면 촬영 위치와 거리가 가장 가까운 제5 드론(506)을 확인하고, 시공 대상 구조물(501)의 평면 부위를 촬영하기 위한 위치로 제5 드론(506)이 이동하도록 제어할 수 있다.The device 101 is the fifth drone 506 that is the closest to the plane photographing position of the construction target structure 501 in the image information photographed by the fourth drone 505 moved to the right-side photographing position of the construction target structure 501. ), and the fifth drone 506 can be controlled to move to a position for photographing a planar portion of the structure to be constructed 501.

장치(101)는 제5 드론(506)과 시공 대상 구조물(501) 간의 거리 값, 시공 대상 구조물(501)의 중심 위치, 제5 드론(506)의 현재 위치, 시공 대상 구조물(501)의 평면 촬영 위치에 기초하여, 평면 촬영 위치의 이동을 위한 안전 거리를 통해 제5 드론(506)의 이동 경로를 설정하고, 제5 드론(506)은 시공 대상 구조물(501)의 평면 촬영 위치로 이동할 수 있다.The device 101 is a distance value between the fifth drone 506 and the construction target structure 501, the center position of the construction target structure 501, the current position of the fifth drone 506, and the plane of the construction target structure 501 Based on the shooting position, the movement path of the fifth drone 506 is set through a safe distance for movement of the plane shooting position, and the fifth drone 506 can move to the plane shooting position of the construction target structure 501. have.

도 6은 본 발명의 일실시예에 따른 3D 모델을 생성하는 방법을 설명하기 위한 도면이다.6 is a diagram illustrating a method of generating a 3D model according to an embodiment of the present invention.

도 6을 참조하면, 장치(101)는 제1 드론(502), 제2 드론(503), 제3 드론(504), 제4 드론(505) 및 제5 드론(506) 각각에서 180도 회전 촬영한 이미지 정보를 통해, 시공 대상 구조물(501)의 전면, 좌측면, 후면, 우측면 및 평면 부위에 대한 이미지를 획득할 수 있으며, 이를 통해, 시공 대상 구조물(501)의 주변 공간 및 주변 사물에 대한 3D 모델(601)을 생성할 수 있다.6, the device 101 rotates 180 degrees in each of the first drone 502, the second drone 503, the third drone 504, the fourth drone 505, and the fifth drone 506 Through the photographed image information, images of the front, left, rear, right and flat parts of the structure to be constructed 501 can be obtained, and through this, the surrounding space and surrounding objects of the structure to be constructed 501 It is possible to create a 3D model 601 for.

도 7은 본 발명의 일 실시예에 따른 제1 컨볼루션 신경망, 제2 컨볼루션 신경망 및 뉴럴 네트워크를 설명하기 위한 도면이다.7 is a diagram illustrating a first convolutional neural network, a second convolutional neural network, and a neural network according to an embodiment of the present invention.

도 7을 참조하면, 제1 컨볼루션 신경망(710)은 제1 드론(502)을 통해 촬영된 이미지 정보, 제1 드론(502)과 시공 대상 구조물(501) 간의 거리 값을 인코딩하여 생성된 제1 입력 신호(701)를 입력으로 할 수 있다.Referring to FIG. 7, the first convolutional neural network 710 is generated by encoding image information photographed through the first drone 502 and a distance value between the first drone 502 and the structure to be constructed 501. 1 The input signal 701 can be used as an input.

장치(101)는 제1 드론(502)이 시공 대상 구조물(501) 및 주변 사물이 충분히 포함될 수 있는 고도에서 촬영한 이미지 정보 및 제1 드론(502)과 시공 대상 구조물(501) 간의 거리 값을 수치화된 데이터 시트로 인코딩하는 방식으로 제1 입력 신호(701)를 생성할 수 있다. 장치(101)는 이미지 정보를 인코딩하는 과정에서 이미지 속 각 픽셀의 색 정보를 수치화할 수 있다. 이미지의 색 정보는 RGB 색상, 명도, 채도를 포함할 수 있으나, 이에 국한하지 않는다.The device 101 stores image information captured by the first drone 502 at an altitude that can sufficiently include the construction target structure 501 and surrounding objects, and a distance value between the first drone 502 and the construction target structure 501. The first input signal 701 may be generated by encoding a numerical data sheet. The device 101 may quantify color information of each pixel in an image in a process of encoding image information. The color information of the image may include RGB hue, brightness, and saturation, but is not limited thereto.

일실시예에 따르면, 제1 컨볼루션 신경망(710)은 사람에 의해 수동으로 조정된 제1 드론(502), 제2 드론(503), 제3 드론(504), 제4 드론(505) 및 제5 드론(506) 각각의 최초 위치에 대해, 10000개를 통해 테스트 데이터 및 정답을 지정해 미리 학습될 수 있다. 제1 컨볼루션 신경망(710)의 학습은 정답과 출력값의 오차를 바탕으로 이뤄지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 제1 컨볼루션 신경망(710)은 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다.According to an embodiment, the first convolutional neural network 710 is a first drone 502, a second drone 503, a third drone 504, a fourth drone 505 and For the first location of each of the fifth drones 506, test data and correct answers may be designated through 10000 and learned in advance. The learning of the first convolutional neural network 710 is performed based on the error between the correct answer and the output value, and in some cases, an SGD using delta, a batch method, or a method following a backpropagation algorithm may be used. The first convolutional neural network 710 performs training by modifying an existing weight, and in some cases, may use momentum. The cost function can be used to calculate the error, and the cross entropy function can be used as the cost function.

제1 컨볼루션 신경망(710)은 제1 입력 신호(701)에 기초하여, 특징 추출 신경망과 분류 신경망을 통해 중심 위치, 촬영 위치별 안전 거리, 드론별 이동 경로를 분류할 수 있다.The first convolutional neural network 710 may classify a center location, a safe distance for each photographing location, and a moving path for each drone through a feature extraction neural network and a classification neural network based on the first input signal 701.

일실시예에 따르면, 중심 위치는 설계도 상에서 시공 대상 구조물(501)의 위치, 크기 및 모양에 기초하여 시공 대상 구조물(501)의 중심을 나타내는 위치 값일 수 있다.According to an embodiment, the center position may be a position value indicating the center of the construction target structure 501 based on the location, size, and shape of the construction target structure 501 on the design drawing.

일실시예에 따르면, 촬영 위치별 안전 거리는 제1 드론(502), 제2 드론(503), 제3 드론(504), 제4 드론(505) 및 제5 드론(506) 각각이 촬영 위치로 이동하는데 있어 안전하게 비행하기 위한 시공 대상 구조물 및 주변 사물로부터의 최소 이격 거리를 나타내는 거리 값일 수 있다.According to an embodiment, the safety distance for each shooting location is the first drone 502, the second drone 503, the third drone 504, the fourth drone 505, and the fifth drone 506 respectively to the shooting location. It may be a distance value indicating a minimum distance from a structure to be constructed and surrounding objects for safe flight in movement.

즉, 전면 촬영 위치의 안전 거리는 제1 드론(502)이 전면 촬영 위치로 이동하는데 있어 안전한 거리를 나타낼 수 있으며, 좌측면 촬영 위치의 안전 거리는 제2 드론(503)이 좌측면 촬영 위치로 이동하는데 있어 안전한 거리를 나타낼 수 있으며, 후면 촬영 위치의 안전 거리는 제3 드론(504)이 후면 촬영 위치로 이동하는데 있어 안전한 거리를 나타낼 수 있으며, 우측면 촬영 위치의 안전 거리는 제4 드론(505)이 우측면 촬영 위치로 이동하는데 있어 안전한 거리를 나타낼 수 있으며, 평면 촬영 위치의 안전 거리는 제5 드론(506)이 평면 촬영 위치로 이동하는데 있어 안전한 거리를 나타낼 수 있다.That is, the safety distance of the front shooting position may represent a safe distance for the first drone 502 to move to the front shooting position, and the safety distance of the left shooting position is the second drone 503 moving to the left shooting position. The safety distance of the rear shooting position can indicate a safe distance for the third drone 504 to move to the rear shooting position, and the safety distance of the right shooting position is the fourth drone 505 shooting the right side. It may represent a safe distance to move to the position, and the safe distance of the plane photographing position may represent a safe distance for the fifth drone 506 to move to the plane photographing position.

일실시예에 따르면, 드론별 이동 경로는 제1 드론(502), 제2 드론(503), 제3 드론(504), 제4 드론(505) 및 제5 드론(506) 각각이 촬영 위치로 이동하기 위해 설정된 이동 경로를 나타낼 수 있다.According to an embodiment, the movement path for each drone is the first drone 502, the second drone 503, the third drone 504, the fourth drone 505, and the fifth drone 506 respectively to the shooting location. It may indicate a moving path set to move.

즉, 제1 드론(502)의 이동 경로는 전면 촬영 위치의 이동을 위해 안전 거리를 통해 설정될 수 있으며, 제2 드론(503)의 이동 경로는 좌측면 촬영 위치의 이동을 위해 안전 거리를 통해 설정될 수 있으며, 제3 드론(504)의 이동 경로는 후면 촬영 위치의 이동을 위해 안전 거리를 통해 설정될 수 있으며, 제4 드론(505)의 이동 경로는 우측면 촬영 위치의 이동을 위해 안전 거리를 통해 설정될 수 있으며, 제5 드론(506)의 이동 경로는 평면 촬영 위치의 이동을 위해 안전 거리를 통해 설정될 수 있다.In other words, The movement path of the first drone 502 may be set through a safety distance for movement of the front shooting position, and the movement path of the second drone 503 may be set through a safety distance for movement of the left shooting position. The movement path of the third drone 504 may be set through a safe distance for movement of the rear shooting position, and the movement path of the fourth drone 505 may be set through a safe distance for movement of the right side shooting position. It may be set, and the movement path of the fifth drone 506 may be set through a safe distance for movement of the plane photographing position.

일실시예에 따른 제1 컨볼루션 신경망(710)의 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조정되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행될 수 있다. 분류 신경망은 은닉층과 출력층을 가지고 있다. 드론을 이용한 시공 방법을 위한 제1 컨볼루션 신경망(710)에서는 일반적으로 은닉층이 3개 이상 존재하며, 각 은닉층의 노드는 100개로 지정하나 경우에 따라 그 이상 또는 이하로 정할 수 있다. 은닉층 노드의 수는 학습을 최적화하고, 연산 오류를 최소화할 수 있는 수일 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 제1 컨볼루션 신경망(710)의 출력층 노드는 총 9개로 이뤄질 수 있으며, 1번째 노드는 중심 위치를 포함하고, 2번째 내지 4번째 노드는 촬영 위치별 안전 거리를 포함하고, 5번째 내지 9번째 노드는 드론별 이동 경로를 포함할 수 있다. 9개의 출력층 노드는 시간 지연을 최소화하면서, 필수 정보를 최대로 포함하기 위한 최적화된 출력층 노드의 수일 수 있다. 제1 컨볼루션 신경망(710)의 출력은 위 9개의 출력 노드의 값을 포함하는 제1 출력 신호(702)일 수 있다.The feature extraction neural network of the first convolutional neural network 710 according to an embodiment proceeds by sequentially stacking an input signal with a convolutional layer and a pooling layer. The convolutional layer contains convolution operations, convolution filters, and activation functions. The calculation of the convolution filter is adjusted according to the matrix size of the target input, but generally a 9X9 matrix is used. The activation function generally uses a ReLU function, a sigmoid function, and a tanh function, but is not limited thereto. The pooling layer is a layer that reduces the size of the input matrix, and uses a method of extracting a representative value by grouping pixels in a specific area. In general, an average value or a maximum value is often used for the operation of the pooling layer, but the present invention is not limited thereto. This operation is performed using a square matrix, typically a 9X9 matrix. The convolutional layer and the pooling layer may alternately repeat until the corresponding input is sufficiently small while maintaining the difference. The classification neural network has a hidden layer and an output layer. In the first convolutional neural network 710 for a construction method using a drone, there are generally three or more hidden layers, and 100 nodes of each hidden layer are designated, but in some cases, more or less may be determined. The number of hidden layer nodes may be a number capable of optimizing learning and minimizing operation errors. The activation function of the hidden layer uses a ReLU function, a sigmoid function, and a tanh function, but is not limited thereto. The output layer node of the first convolutional neural network 710 may be composed of a total of 9 nodes, the first node includes the center position, the 2nd to 4th nodes include the safety distance for each shooting position, and the 5th to 9th nodes The node may include a movement path for each drone. The nine output layer nodes may be the number of optimized output layer nodes for maximizing essential information while minimizing time delay. The output of the first convolutional neural network 710 may be a first output signal 702 including values of the nine output nodes.

제1 컨볼루션 신경망(710)은 제1 입력 신호(701)를 입력으로 하여, 특징 추출 신경망 및 분류 신경망의 분류에 기초한 제1 출력 신호(702)를 출력으로 할 수 있다.The first convolutional neural network 710 may receive the first input signal 701 as an input and output a first output signal 702 based on classification of the feature extraction neural network and the classification neural network.

제2 컨볼루션 신경망(720)은 제1 드론(502), 제2 드론(503), 제3 드론(504), 제4 드론(505) 및 제5 드론(506) 각각이 180도 회전 촬영한 이미지 정보, 시공 대상 구조물(501)의 전면 촬영 위치, 좌측면 촬영 위치, 후면 촬영 위치, 우측면 촬영 위치 및 평면 촬영 위치 값을 인코딩하여 생성된 제2 입력 신호(703)를 입력으로 할 수 있다.The second convolutional neural network 720 is the first drone 502, the second drone 503, the third drone 504, the fourth drone 505, and the fifth drone 506 respectively rotated 180 degrees. A second input signal 703 generated by encoding image information, a front photographing position of the structure to be constructed 501, a left photographing position, a rear photographing position, a right photographing position, and a planar photographing position may be input.

장치(101)는 제1 드론(502), 제2 드론(503), 제3 드론(504), 제4 드론(505) 및 제5 드론(506) 각각이 지정된 위치에서 촬영한 이미지 정보 및 시공 대상 구조물(501)의 전면 촬영 위치, 좌측면 촬영 위치, 후면 촬영 위치, 우측면 촬영 위치 및 평면 촬영 위치 값을 수치화된 데이터 시트로 인코딩하는 방식으로 제2 입력 신호(703)를 생성할 수 있다. 장치(101)는 이미지 정보를 인코딩하는 과정에서 이미지 속 각 픽셀의 색 정보를 수치화할 수 있다. 이미지의 색 정보는 RGB 색상, 명도, 채도를 포함할 수 있으나, 이에 국한하지 않는다.The device 101 includes image information and construction of each of the first drone 502, the second drone 503, the third drone 504, the fourth drone 505 and the fifth drone 506 at a designated location. The second input signal 703 may be generated by encoding values of a front photographing position, a left photographing position, a rear photographing position, a right photographing position, and a plane photographing position of the target structure 501 into a numerical data sheet. The device 101 may quantify color information of each pixel in an image in a process of encoding image information. The color information of the image may include RGB hue, brightness, and saturation, but is not limited thereto.

일실시예에 따르면, 제2 컨볼루션 신경망(720)은 시공 대상 구조물(501)의 주변 공간 및 주변 사물에 대한 촬영 이미지 분석 결과에 따라 생성된 3D 모델 5000개와 실제 주변 공간 및 주변 사물을 사람이 측정해 만들어 낸 3D 모델, 주변 공간 및 주변 사물에 대한 촬영 이미지 분석 결과에 따라 생성된 3D 모델 5000개를 통해 테스트 데이터 및 정답을 지정해 미리 학습될 수 있다. 제2 컨볼루션 신경망(720)의 학습은 정답과 출력값의 오차를 바탕으로 이뤄지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 제2 컨볼루션 신경망(720)은 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다.According to an embodiment, the second convolutional neural network 720 allows a person to analyze 5000 3D models generated according to the result of analyzing photographed images of the surrounding space and surrounding objects of the construction target structure 501, and the actual surrounding space and surrounding objects. It can be learned in advance by designating test data and correct answers through 5000 3D models created according to the results of analyzing 3D models created by measuring and shooting images of surrounding spaces and surrounding objects. The learning of the second convolutional neural network 720 is performed based on the error between the correct answer and the output value, and in some cases, an SGD using delta, a batch method, or a method following a backpropagation algorithm may be used. The second convolutional neural network 720 performs learning by modifying an existing weight, and may use momentum in some cases. The cost function can be used to calculate the error, and the cross entropy function can be used as the cost function.

제2 컨볼루션 신경망(720)은 제2 입력 신호(703)에 기초하여, 특징 추출 신경망 및 분류 신경망을 통해 시공 대상 구조물(501)의 주변 공간 및 주변 사물의 특이사항들을 분류할 수 있다. 분류된 주변 공간 및 주변 사물의 특이사항은 각 점을 연결하여 3D 모델을 생성하기 위한 정보들을 포함할 수 있으며, 사면 및 전리 사면의 균열 등을 포함할 수 있다.Based on the second input signal 703, the second convolutional neural network 720 may classify a space around the construction target structure 501 and specific matters of surrounding objects through a feature extraction neural network and a classification neural network. Classified surrounding spaces and peculiarities of surrounding objects may include information for generating a 3D model by connecting each point, and may include cracks of slopes and ionized slopes.

일실시예에 따른 제2 컨볼루션 신경망(720)의 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조정되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행될 수 있다. 분류 신경망은 은닉층과 출력층을 가지고 있다. 드론을 이용한 시공 방법을 위한 제2 컨볼루션 신경망(720)에서는 일반적으로 은닉층이 5개 이상 존재하며, 각 은닉층의 노드는 70개로 지정하나 경우에 따라 그 이상 또는 이하로 정할 수 있다. 은닉층 노드의 수는 학습을 최적화하고, 연산 오류를 최소화할 수 있는 수일 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 제2 컨볼루션 신경망(720)의 출력층 노드는 총 100개일 수 있는데, 먼저 앞의 95개는 주변 공간 및 주변 사물에 대한 특이사항들을 분류한 값일 수 있고, 최종 5개의 출력층 노드는 주변 사물의 위치 데이터일 수 있다. 주변 사물의 위치 데이터 값이 없는 경우 최종 5개의 출력층 노드는 0을 출력 값으로 가질 수 있으나, 이에 국한하지 않는다. 출력층 노드를 100개로 한 이유는 시간 지연을 최소화하는 범위에서 3D 모델을 생성하기 위한 최대한의 필수 정보를 포함해 작업을 최적화하기 위함일 수 있다.The feature extraction neural network of the second convolutional neural network 720 according to an embodiment proceeds by sequentially stacking an input signal with a convolutional layer and a pooling layer. The convolutional layer contains convolution operations, convolution filters, and activation functions. The calculation of the convolution filter is adjusted according to the matrix size of the target input, but generally a 9X9 matrix is used. The activation function generally uses a ReLU function, a sigmoid function, and a tanh function, but is not limited thereto. The pooling layer is a layer that reduces the size of the input matrix, and uses a method of extracting a representative value by grouping pixels in a specific area. In general, an average value or a maximum value is often used for the operation of the pooling layer, but the present invention is not limited thereto. This operation is performed using a square matrix, typically a 9X9 matrix. The convolutional layer and the pooling layer may alternately repeat until the corresponding input is sufficiently small while maintaining the difference. The classification neural network has a hidden layer and an output layer. In the second convolutional neural network 720 for a construction method using a drone, there are generally five or more hidden layers, and 70 nodes of each hidden layer are designated, but more or less may be determined in some cases. The number of hidden layer nodes may be a number capable of optimizing learning and minimizing operation errors. The activation function of the hidden layer uses a ReLU function, a sigmoid function, and a tanh function, but is not limited thereto. The number of output layer nodes of the second convolutional neural network 720 may be a total of 100. First, the first 95 nodes may be a value obtained by classifying specifics of the surrounding space and surrounding objects, and the final 5 output layer nodes are the locations of surrounding objects. It can be data. When there is no location data value of nearby objects, the last five output layer nodes may have 0 as an output value, but the present invention is not limited thereto. The reason for using 100 nodes in the output layer may be to optimize the work by including as much essential information as possible to create a 3D model in a range that minimizes time delay.

제2 컨볼루션 신경망(720)은 제2 입력 신호(703)를 입력으로 하여, 특징 추출 신경망 및 분류 신경망의 분류에 기초하여, 시공 대상 구조물(501)의 주변 공간 및 주변 사물에 대한 3D 모델(601)을 생성하기 위한 제2 출력 신호(704)를 출력으로 할 수 있다.The second convolutional neural network 720 receives the second input signal 703 as an input, and based on the classification of the feature extraction neural network and the classification neural network, a 3D model of the surrounding space of the structure to be constructed 501 and surrounding objects ( A second output signal 704 for generating 601 may be output.

뉴럴 네트워크(730)는 제2 컨볼루션 신경망(720)의 학습을 위해 사용된 5000개의 인공적인 3D 모델에 각각 2종류의 설계도를 위치시킴으로써, 2종류 중 하나만 올바른 설계도가 되도록 사용자가 지정한 값들을 바탕으로 테스트 데이터 및 정답을 수집해 학습을 수행할 수 있다. 뉴럴 네트워크(730)의 학습은 정답과 출력값의 오차를 바탕으로 이뤄지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 뉴럴 네트워크(730)는 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다.The neural network 730 places two types of blueprints in each of 5000 artificial 3D models used for learning of the second convolutional neural network 720, based on values specified by the user so that only one of the two types is correct. You can perform learning by collecting test data and correct answers. The learning of the neural network 730 is performed based on the error between the correct answer and the output value, and in some cases, an SGD using delta, a batch method, or a method following a backpropagation algorithm may be used. The neural network 730 performs training by modifying an existing weight, and in some cases, may use momentum. The cost function can be used to calculate the error, and the cross entropy function can be used as the cost function.

일실시예에 따르면, 드론을 이용한 시공 방법을 위한 뉴럴 네트워크(730)에서는 일반적으로 은닉층이 3개 이상 존재하며, 각 은닉층의 노드는 80개로 지정하나 경우에 따라 그 이상 또는 이하로 정할 수 있다. 은닉층 노드의 수는 학습을 최적화하고, 연산 오류를 최소화할 수 있는 수일 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 뉴럴 네트워크(730)는 은닉층을 통해 해당 3D 모델(601)에서 시공 대상 구조물(501)의 적합성, 안전성을 평가할 수 있으며, 시공 대상 구조물(501)의 기울기, 붕괴 가능성 및 및 최적화도를 판단할 수 있다. 뉴럴 네트워크(730)의 출력층 노드는 총 30개일 수 있는데, 각각의 노드는 시공 대상 구조물(501)에 대한 안전성 검사 결과를 포함할 수 있다. 출력층 노드가 30개인 이유는 뉴럴 네트워크(730)의 속도 지연을 최소화하면서 안전성 검사 결과를 최대로 포함하기 위한 최적화된 수일 수 있다. 뉴럴 네트워크(730)는 출력층 노드를 모두 포함하는 제3 출력 신호(706)를 출력으로 할 수 있다.According to an embodiment, in the neural network 730 for a construction method using a drone, there are generally three or more hidden layers, and 80 nodes of each hidden layer are designated, but more or less may be determined in some cases. The number of hidden layer nodes may be a number capable of optimizing learning and minimizing operation errors. The activation function of the hidden layer uses a ReLU function, a sigmoid function, and a tanh function, but is not limited thereto. The neural network 730 can evaluate the suitability and safety of the construction target structure 501 in the corresponding 3D model 601 through the hidden layer, and determine the slope, collapse possibility, and optimization degree of the construction target structure 501. have. The number of output layer nodes of the neural network 730 may be a total of 30, and each node may include a safety test result for the structure 501 to be constructed. The reason for the number of output layer nodes is 30 may be an optimized number to maximize the safety test result while minimizing the speed delay of the neural network 730. The neural network 730 may output a third output signal 706 including all of the output layer nodes.

뉴럴 네트워크(730)는 3D 모델(601)을 뉴럴 네트워크(730)의 입력에 적합하도록 인코딩한 제3 입력 신호(705)를 입력으로 하고, 제3 입력 신호(705)를 통해 시공 대상 구조물(501)의 기울기, 붕괴 가능성 및 최적화도를 판단하고, 판단의 결과에 기초하여, 시공 대상 구조물(501)에 대한 안전성 검사 결과를 포함하는 제3 출력 신호(706)를 출력으로 할 수 있다.The neural network 730 receives a third input signal 705, which is encoded to be suitable for the input of the neural network 730, the 3D model 601 as an input, and the structure to be constructed 501 through the third input signal 705. ), a third output signal 706 including a safety test result for the structure to be constructed 501 may be output based on the result of the determination, and the inclination, collapse possibility, and optimization degree of) may be determined.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, various technical modifications and variations can be applied based on those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and claims and equivalents fall within the scope of the following claims.

101 : 장치 102 : 프로세서
103 : 메모리 401 : 블록
402 : 체인 403 : 초고속 인터넷 연결망
410 : 제1 네트워크 저장장치 420 : 제2 네트워크 저장장치
430 : 제3 네트워크 저장장치 501 : 시공 대상 구조물
502 : 제1 드론 503: 제2 드론
504 : 제3 드론 505 : 제4 드론
506 : 제5 드론 601 : 3D 모델
701 : 제1 입력 신호 702 : 제1 출력 신호
703 : 제2 입력 신호 704 : 제2 출력 신호
705 : 제3 입력 신호 706 : 제3 출력 신호
710 : 제1 컨볼루션 신경망 720 : 제2 컨볼루션 신경망
730 : 뉴럴 네트워크101: device 102: processor
103: memory 401: block
402: Chain 403: High-speed Internet connection network
410: first network storage device 420: second network storage device
430: third network storage device 501: structure to be constructed
502: first drone 503: second drone
504: 3rd drone 505: 4th drone
506: 5th drone 601: 3D model
701: first input signal 702: first output signal
703: second input signal 704: second output signal
705: third input signal 706: third output signal
710: first convolutional neural network 720: second convolutional neural network
730: neural network

Claims

In the method of performing construction using a drone, performed by a device,
Obtaining image information captured by a camera mounted on each of the plurality of drones;
When the construction target structure is identified from the image information captured by the first drone among the plurality of drones, a position movement control signal moving to the front shooting position of the construction target structure is transmitted to the first drone, and the first drone Controlling to move;
When at least one of the plurality of drones is identified in the image information taken by the first drone that has moved to the front shooting position of the construction target structure, a second drone having the closest distance to the left side of the construction target structure is selected. Selecting and transmitting a position movement control signal moving to a photographing position on the left side of the construction target structure to the second drone, and controlling the second drone to move;
When at least one of the plurality of drones is identified in the image information captured by the second drone that has moved to the left side of the construction target structure, the third drone having the closest distance to the rear shooting position of the construction target structure is selected. Selecting and transmitting a position movement control signal moving to the rear photographing position of the construction target structure to the third drone, and controlling the third drone to move;
When at least one of the plurality of drones is identified in the image information captured by the third drone moved to the rear photographing position of the construction target structure, a fourth drone having the closest distance to the right side of the construction target structure is selected. And transmitting a position movement control signal moving to a right-side photographing position of the construction target structure to the fourth drone to control the fourth drone to move;
When at least one of the plurality of drones is identified in the image information taken by the fourth drone moved to the right side of the construction target structure, a fifth drone having the closest distance to the planar shooting position of the construction target structure is selected. And transmitting a position movement control signal moving to a plane photographing position of the construction target structure to the fifth drone, and controlling the fifth drone to move; And
The first drone, the second drone, the third drone, the fourth drone, and the fifth drone respectively move to a shooting location and analyze the slope of the construction target structure through image information generated by shooting, Including the step of inspecting the safety of the construction target structure,
Controlling the movement of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone,
Generating a first input signal based on image information captured by the first drone and a distance value between the first drone and the construction target structure;
The first input signal is input to the first convolutional neural network to include a front photographing position, a left photographing position, a rear photographing position, a right photographing position, a plane photographing position, and safety distance data for each photographing position. 1 obtaining an output signal; And
Based on the first output signal, the first drone is controlled to move to the front photographing position of the construction target structure, and the second drone is controlled to move to the left photographing position of the construction target structure, and the second drone 3 Control the drone to move to the rear shooting position of the construction target structure, control the fourth drone to move to the right side shooting position of the construction target structure, and the fifth drone to the plane shooting position of the construction target structure. Including the step of controlling to move,
The safety inspection step for the construction target structure,
Transmitting a photographing signal to each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone, and controlling to rotate 180 degrees around the structure to be constructed;
Generating a second input signal based on the image information generated by the 180 degree rotational photographing, a front photographing position, a left photographing position, a rear photographing position, a right photographing position, and a plane photographing position of the construction target structure;
Inputting the second input signal to a second convolutional neural network to obtain a second output signal;
Generating a 3D model of the surrounding space and surrounding objects of the construction target structure based on the second output signal, and positioning the construction target structure on the 3D model;
Generating a third input signal based on the 3D model;
Inputting the third input signal to a neural network;
Obtaining a third output signal based on a control result of the neural network; And
Including the step of checking the safety of the construction target structure, based on the third output signal,
The first convolutional neural network,
Image information captured by the first drone, and a first input signal generated by encoding a distance value between the first drone and the construction target structure as inputs,
Based on the first input signal,
A center position indicating the center of the construction target structure based on the location, size, and shape of the construction target structure on the design drawing;
When the first drone, the second drone, the third drone, the fourth drone, and the fifth drone respectively move to the shooting location, the minimum distance from the construction target structure and the surrounding objects for safe flight A safety distance for each of the shooting locations;
A movement path of the first drone set through a safety distance for movement of the front photographing position;
A movement path of the second drone set through a safety distance for movement of the right-side photographing position;
A movement path of the third drone set through a safety distance for movement of the rear photographing position;
A movement path of the fourth drone set through a safety distance for movement of the left-side photographing position; And
Classify the movement path of the fifth drone set through a safety distance for movement of the plane photographing position through a feature extraction neural network and a classification neural network,
Outputting the first output signal based on the classification,
The second convolutional neural network,
Image information taken by rotating each of the first drone, the second drone, the third drone, the fourth drone, and the fifth drone by 180 degrees, the front location of the construction target structure, the left side shot location, and the rear shot A second input signal generated based on the position, the right-side photographing position, and the plane photographing position as input,
Based on the second input signal, the special matters of the surrounding space and surrounding objects of the construction target structure are classified through a feature extraction neural network and a classification neural network,
Based on the classification, outputting a second output signal for generating the 3D model of the surrounding space and surrounding objects of the construction target structure,
Construction method using a drone.

The method of claim 1,
When it is confirmed that the construction target structure is inclined through image information captured by one of the first and third drones, a danger warning signal that generates a warning sound is transmitted to the first drone, the third drone, and the Transmitting to a fifth drone and controlling to generate an alarm sound from the first drone, the third drone, and the fifth drone; And
When it is confirmed that the construction target structure is inclined through image information captured by any one of the second drone and the fourth drone, a danger warning signal that generates a warning sound is transmitted to the second drone, the fourth drone, and the fourth drone. Transmitting to a fifth drone, further comprising controlling to generate an alarm sound in the second drone, the fourth drone, and the fifth drone,
Construction method using a drone.

delete