KR102167187B1 - 토목 시공 공정을 위한 설계도 점검 방법 - Google Patents

Abstract

토목 시공 공정을 위한 설계도 점검 방법이 개시된다. 일실시예에 따른 토목 시공 공정을 위한 설계도 점검 방법은 제어 장치가 제1 드론을 제어하여 대상 공간 상방의 공중에서 대상 공간을 촬영하고, 촬영된 사진 및 제1 드론의 고도 값에 기초하여, 제1 입력 신호를 생성하고, 제1 입력 신호를 제1 컨볼루션 신경망에 입력하여 제1 위치, 안전 거리 및 촬영용 위치 데이터를 포함하는 제1 출력 신호를 획득하고, 제1 출력 신호에 기초하여, 제1 내지 제5 드론을 촬영용 위치 데이터가 포함하는 대응 위치로 위치시키고, 제1 내지 제5 드론을 제어하여 대상 공간 및 주변 사물을 360도 회전 촬영하고, 촬영된 사진 및 제1 내지 제5 드론의 고도 값에 기초하여, 제2 입력 신호를 생성하고, 제2 입력 신호를 제2 컨볼루션 신경망에 입력하여 제2 출력 신호를 획득하고, 제2 출력 신호에 기초하여, 대상 공간 및 주변 사물의 3D 모델을 생성하고, 설계도를 3D 모델 상에 위치시키고, 3D 모델에 기초하여, 제3 입력 신호를 생성하고, 제3 입력 신호를 뉴럴 네트워크에 입력하고, 뉴럴 네트워크의 제어 결과에 기초하여, 제3 출력 신호를 획득하고, 제3 출력 신호를 저장 및 전송할 수 있다.

Description

토목 시공 공정을 위한 설계도 점검 방법{METHOD FOR CHECKING DESIGN OF CIVIL CONSTRUCTION PROCESS}

아래 실시예들은 토목 시공 공정을 위한 설계도 점검 방법에 관한 것이다.

토목 시공 공정을 위한 설계도의 점검은 일반적으로 관련된 사람이 직접 현장 탐방을 통해 설계도와 실제 대상 공간을 비교함으로써 이뤄질 수 있다. 이에 따라 작업의 정확도나 효율성이 떨어지는 경우가 현저하며, 계산과 예측의 오류도 다수 발생할 수 있다. 따라서 토목 시공 공정을 위한 설계도 점검에 자동화 과정을 도입하고, 학습을 통해 최적화된 솔루션을 제시할 수 있는 딥러닝 기술에 대한 연구가 요구된다.

KR101255028 KR101830121 KR1020170127801 KR1020170133033

실시예들은 토목 시공 공정을 위한 설계도 점검 방법에 드론을 활용한 3D 모델을 적용해 설계도의 시공 결과에 대한 예측 정확도를 높이고자 한다.

실시예들은 토목 시공 공정을 위한 설계도 점검 방법에 딥러닝 기술을 적용해 설계도 점검 과정을 자동화 및 최적화하고자 한다.

실시예들은 블록체인 네트워크를 통해 정보를 빅데이터화 하고, 강화된 보안을 사용하고자 한다.

일실시예에 따른 토목 시공 공정을 위한 설계도 점검 방법은 드론 영상 기반 인공지능을 이용하여 토목 시공 공정을 위한 설계도를 점검하는 방법에 있어서, 제어 장치가 제1 드론을 제어하여 대상 공간 상방의 공중에서 상기 대상 공간을 촬영하는 단계; 상기 촬영된 사진 및 상기 제1 드론의 고도 값에 기초하여, 상기 제어 장치가 제1 입력 신호를 생성하는 단계; 상기 제어 장치가 상기 제1 입력 신호를 제1 컨볼루션 신경망에 입력하여 제1 위치, 안전 거리 및 촬영용 위치 데이터를 포함하는 제1 출력 신호를 획득하는 단계; 상기 제1 출력 신호에 기초하여, 상기 제어 장치가 제1 내지 제5 드론을 상기 촬영용 위치 데이터가 포함하는 대응 위치로 위치시키는 단계; 상기 제어 장치가 상기 제1 내지 제5 드론을 제어하여 상기 대상 공간 및 주변 사물을 360도 회전 촬영하는 단계; 상기 촬영된 사진 및 상기 제1 내지 제5 드론의 고도 값에 기초하여, 상기 제어 장치가 제2 입력 신호를 생성하는 단계; 상기 제어 장치가 상기 제2 입력 신호를 제2 컨볼루션 신경망에 입력하여 제2 출력 신호를 획득하는 단계; 상기 제어 장치가 상기 제2 출력 신호에 기초하여, 상기 대상 공간 및 상기 주변 사물의 3D 모델을 생성하고, 설계도를 3D 모델 상에 위치시키는 단계; 상기 3D 모델에 기초하여, 상기 제어 장치가 제3 입력 신호를 생성하는 단계; 상기 제어 장치가 상기 제3 입력 신호를 뉴럴 네트워크에 입력하는 단계; 상기 뉴럴 네트워크의 제어 결과에 기초하여, 상기 제어 장치가 제3 출력 신호를 획득하는 단계; 및 상기 제어 장치가 제3 출력 신호를 저장 및 전송하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 제1 내지 제 5 드론은 3축으로 360도 회전 가능한 FHD(Full High Definition) 화질의 카메라; 수평을 감지하고 수평 조절 신호를 생성할 수 있는 수평 센서; 상기 주변 사물과의 거리를 측정해 상기 제1 내지 제5 드론을 충돌 없이 안전하게 이동시키기 위한 사물 감지 센서; 및 상기 제1 내지 제5 드론의 고도를 측정할 수 있는 레이저 고도 측정 센서를 포함하고, 상기 제1 드론을 제어하여 상기 대상 공간 상방의 공중에서 상기 대상 공간을 촬영하는 단계는 상기 제어 장치가 상기 제1 드론의 상기 사물 감지 센서를 통해 상기 제1 드론을 상기 대상 공간의 상기 주변 사물과의 거리를 3m 이상 유지하며 상기 대상 공간이 상기 제1 드론의 상기 카메라 전체 화각의 70%에 들어오는 고도까지 상승시키는 단계; 상기 제어 장치가 상기 제1 드론을 제어하여 상기 대상 공간이 상기 카메라의 화각 중심에 위치하도록 위치시키는 단계; 및 상기 제어 장치가 상기 제1 드론의 상기 카메라를 제어해 상기 대상 공간을 촬영하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 제어 장치가 상기 제3 출력 신호를 저장 및 전송하는 단계는 상기 제어 장치가 상기 제3 출력 신호를 블록체인 네트워크에 저장하는 단계; 및 상기 제어 장치가 상기 제3 출력 신호를 상기 설계도의 설계자를 포함하는 제1 네트워크 저장장치로 전송하는 단계를 포함하고, 상기 블록체인 네트워크는 상기 제3 출력 신호를 포함하는 블록들; 각 블록을 시간 순으로 연결하는 체인들; 및 상기 각 블록 및 체인을 저장하는 상기 네트워크 저장장치들을 포함하는 프라이빗 블록체인 네트워크이고, 상기 네트워크 저장장치들은 상기 토목 시공 공정을 위한 설계도를 설계한 설계자를 포함하는 상기 제1 네트워크 저장장치; 상기 토목 시공 공정을 위한 설계도 점검 방법을 사용하는 시공업체를 포함하는 제2 네트워크 저장장치; 상기 토목 시공 공정을 의뢰한 의뢰자를 포함하는 제3 네트워크 저장장치; 및 각 네트워크 저장장치들을 연결하는 초고속 인터넷 연결망을 포함할 수 있다.

일실시예에 따르면, 상기 제1 컨볼루션 신경망은 상기 제1 드론을 통해 촬영된 사진을 인코딩해 생성된 상기 제1 입력 신호를 입력으로 하고, 상기 제1 입력 신호에 기초하여, 상기 대상 공간의 토목 시공 대상 구조물의 예상 위치, 크기 및 구조에 기초하여 그 중심을 표현하는 상기 제1 위치; 상기 제1 내지 제5 드론이 안전하게 비행하기 위한 상기 주변 사물로부터의 최소 거리를 나타내는 상기 안전 거리; 및 상기 제1 내지 제5 드론이 최종적으로 위치할 위치를 지정하는 상기 위치 데이터를 특징 추출 신경망 및 분류 신경망을 통해 분류하고, 상기 분류에 기초한 제1 출력 신호를 출력으로 하고, 상기 제2 컨볼루션 신경망은 상기 제1 내지 제5 드론이 360도 촬영한 사진에 기초하여, 생성된 상기 제2 입력 신호를 입력으로 하고, 상기 제2 입력 신호에 기초하여, 상기 대상 공간 및 상기 주변 사물의 특이사항들을 특징 추출 신경망 및 분류 신경망을 통해 분류하고, 상기 분류에 기초하여, 상기 대상 공간 및 상기 주변 사물에 대한 상기 3D 모델을 생성하기 위한 제2 출력 신호를 출력으로 할 수 있다.

일실시예에 따르면, 상기 뉴럴 네트워크는 상기 3D 모델을 뉴럴 네트워크의 입력에 적합하도록 인코딩한 제3 입력 신호를 입력으로 하고, 상기 제3 입력 신호로부터 상기 토목 시공 대상 구조물 및 상기 주변 사물의 붕괴 가능성 및 최적화도를 판단하고, 상기 판단의 결과에 기초하여, 상기 설계도의 수정 사항을 포함하는 제3 출력 신호를 출력으로 할 수 있다.

실시예들은 토목 시공 공정을 위한 설계도 점검 방법에 드론을 활용한 3D 모델을 적용해 설계도의 시공 결과에 대한 예측 정확도를 높일 수 있다.

실시예들은 토목 시공 공정을 위한 설계도 점검 방법에 딥러닝 기술을 적용해 설계도 점검 과정을 자동화 및 최적화할 수 있다.

실시예들은 블록체인 네트워크를 통해 정보를 빅데이터화 하고, 강화된 보안을 사용할 수 있다.

도 1은 일실시예에 따른 토목 시공 공정을 위한 설계도 점검 방법을 설명하기 위한 순서도이다.
도 2는 일실시예에 따른 드론을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 제1 드론이 대상 공간을 촬영하는 과정을 설명하기 위한 순서도이다.
도 4는 일실시예에 따른 블록체인 네트워크를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 제1 컨볼루션 신경망을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 제2 컨볼루션 신경망을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 뉴럴 네트워크를 설명하기 위한 도면이다.
도 8은 일실시예에 따른 일실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일실시예에 따른 토목 시공 공정을 위한 설계도 점검 방법을 설명하기 위한 순서도이다.

일실시예에 따르면, 드론 영상 기반 인공지능을 이용하여 토목 시공 공정을 위한 설계도를 점검하는 방법에 있어서, 토목 시공 공정의 설계도를 점검하기 위한 제어 장치(이하, 제어 장치)는 제1 드론을 제어하여 대상 공간 상방의 공중에서 대상 공간을 촬영할 수 있다(101).

일실시예에 따르면, 제어 장치는 통신 기능이 포함된 전자 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트카(smart car) 또는 스마트 와치(smartwatch)중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.

일실시예에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 일실시예에에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 일실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 일실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다. 다양한 실시예에서 이용되는 유저라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.

일실시예에 따른 전자 장치는 프로세서, 메모리, 유저 인터페이스 및 통신 인터페이스를 포함하고, 다른 전자 장치와 네트워크를 통해 연결될 수 있다. 통신 인터페이스는 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 소정 거리 이내의 다른 전자 장치와 데이터를 송수신할 수 있다. 네트워크는 일실시예에 따른 전자 장치와 다양한 개체들(entities) 간의 유, 무선 통신을 가능하게 한다. 전자 장치는 네트워크를 통해 다양한 개체들과 통신할 수 있고, 네트워크는 표준 통신 기술 및/또는 프로토콜들을 사용할 수 있다. 이때, 네트워크(network)는 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등을 포함하나 이에 한정되지 않으며, 정보를 송, 수신할 수 있는 다른 종류의 네트워크가 될 수도 있음을 통신 기술 분야의 통상의 지식을 가진 자라면 알 수 있다.

일실시예에 따른 드론은 토목 시공 공정을 위한 촬영용 드론으로서, 4개의 프로펠러와 1개의 3축 카메라를 포함할 수 있다. 토목 시공 공정을 위한 드론은 자동으로 공중을 비행할 수 있으며, 경우에 따라 사람에 의해 수동 조작될 수 있다. 토목 시공 공정을 위한 드론은 제어 장치로부터 대상 공간에 대한 정보를 획득할 수 있으며, 이로부터 자동 비행을 통해 대상 공간의 항공 사진을 촬영할 수 있다. 대상 공간은 설계도에 따라 실제로 시공될 토목 시공 대상 구조물이 놓일 공간을 의미할 수 있으며, 대상 공간에 대한 정보는 대상 공간의 위치, 면적 및 고도 등을 포함할 수 있다. 드론 및 제1 드론의 대상 공간 촬영 과정에 대한 자세한 설명은 도 2 및 도 3을 참조하여 후술한다.

일실시예에 따르면, 제어 장치는 촬영된 사진 및 제1 드론의 고도 값에 기초하여, 제1 입력 신호를 생성할 수 있다(102).

일실시예에 따르면, 제어 장치는 제1 드론으로부터 드론이 사진을 촬영한 시점의 고도 정보를 획득할 수 있으며, 경우에 따라 해당 고도로 상승 비행하기까지의 모든 고도 정보를 획득할 수 있다. 제어 장치는 제1 드론을 제어하여 촬영한 사진을 획득할 수 있는데, 경우에 따라 제1 드론이 해당 고도로 상승 비행하기까지의 사진을 5초 간격으로 촬영 및 획득할 수 있다.

일실시예에 따르면, 제어 장치는 제1 드론에 의해 촬영된 사진 및 고도 값을 제1 컨볼루션 신경망의 입력에 적절한 형태로 인코딩할 수 있다. 제어 장치는 촬영된 사진으로부터 픽셀들의 색 정보를 수치화된 값으로 변환한 데이터 시트로 인코딩할 수 있으나, 이에 국한하지 않는다. 색 정보는 픽셀이 보유한 RGB 색상, 명도, 채도 등의 정보를 포함할 수 있다. 고도 값은 일반적으로 해발 고도를 기준으로 삼을 수 있으나, 경우에 따라 주변 사물로부터의 상대적인 높이를 의미할 수 있다. 고도 값은 m, ft, yd, mile 및 inch 단위를 사용할 수 있다.

일실시예에 따르면, 제어 장치는 제1 입력 신호를 제1 컨볼루션 신경망에 입력하여 제1 위치, 안전 거리 및 촬영용 위치 데이터를 포함하는 제1 출력 신호를 획득할 수 있다(103).

일실시예에 따르면, 제어 장치는 제1 입력 신호를 제1 컨볼루션 신경망에 입력할 수 있다. 제1 컨볼루션 신경망은 특징 추출 신경망과 분류 신경망을 통해 제1 입력 신호를 분석 및 분류할 수 있으며, 이 분류에 따라 제1 위치, 안전 거리 및 촬영용 위치 데이터를 결정할 수 있다. 제1 위치는 대상 공간에 시공될 토목 시공 대상 구조물의 예상되는 중심 위치를 의미할 수 있다. 안전 거리는 드론들이 공중으로 비행하는 동안 주변 사물로부터 안전하게 상승하기 위한 공간을 의미할 수 있으며, 주변 사물과의 최소한의 거리를 기준으로 결정될 수 있다. 촬영용 위치 데이터는 제1 내지 제5 드론이 촬영을 진행할 위치를 의미할 수 있다. 경우에 따라, 촬영용 위치 데이터는 수정이 될 수 있는데, 이는 제2 컨볼루션 신경망의 제어 결과에 따라 결정될 수 있다. 촬영용 위치 데이터가 수정되는 경우 제1 내지 제5 드론의 위치가 조정된 후 재 촬영을 진행할 수 있다. 제1 컨볼루션 신경망의 출력층 노드는 총 9개로 이뤄질 수 있으며, 1번째 노드는 제1 위치를 포함하고, 2번째 내지 4번째 노드는 안전 거리를 포함하고, 5번째 내지 9번째 노드는 각각 제1 내지 제5 드론의 위치 데이터를 포함할 수 있다. 9개의 출력층 노드는 시간 지연을 최소화하면서, 필수 정보를 최대로 포함하기 위한 최적화된 출력층 노드의 수일 수 있다. 제1 컨볼루션 신경망에 대한 자세한 설명은 도 5를 참조하여 후술한다.

일실시예에 따르면, 제어 장치는 제1 출력 신호에 기초하여, 제1 내지 제5 드론을 촬영용 위치 데이터가 포함하는 대응 위치로 위치시킬 수 있다(104).

일실시예에 따르면, 제어 장치는 제1 출력 신호가 포함하는 정보들에 따라, 제1 내지 제5 드론을 자동으로 촬영용 위치 데이터가 포함하는 대응 위치로 이동시킬 수 있다. 제1 내지 제5 드론은 촬영용 위치 데이터로 이동하는 동안 안전 거리를 유지하며 이동할 수 있으며, 제1 위치를 중심으로 동일한 거리만큼만 이동할 수 있다. 제1 내지 제5 드론이 제1 위치를 중심으로 동일한 거리만큼 이동하는 이유는 토목 시공 대상 구조물을 중심으로 주변 사물을 평가하기 위해서 일 수 있다. 제1 내지 제5 드론이 위치 데이터가 포함하는 대응 위치로 이동한 것이 제어 장치에 의해 확인되면, 제어 장치는 자동으로 다음 단계를 진행할 수 있다.

일실시예에 따르면, 제어 장치는 제1 내지 제5 드론을 제어하여 대상 공간 및 주변 사물을 360도 회전 촬영할 수 있다(105).

일실시예에 따르면, 제1 내지 제5 드론이 포함하는 카메라는 3축으로 각각 360도 회전이 가능한 장비일 수 있다. 제1 내지 제5 드론이 포함하는 카메라는 Z축을 기준으로 45도 간격으로 이동하며 X축, Y축 및 X-Y축에 각각 45˚ 각도를 이루며 X-Y 평면에 포함되는 축 중 어느 하나를 따라 360도 회전하며 총 4회에 걸쳐 촬영을 진행할 수 있다. 촬영은 총 카메라가 360도를 회전하는 1.2초 동안 진행되며 0.1초 당 한 번씩 촬영이 진행될 수 있고, 최초 및 최종 0.1초 동안은 촬영이 진행되지 않을 수 있다. 최초 및 최종 0.1초 동안 촬영이 진행되지 않는 이유는 이 시간 동안 촬영되는 사진은 드론의 하방부를 촬영하기 때문일 수 있다.

일실시예에 따르면, 제어 장치는 촬영된 사진 및 제1 내지 제5 드론의 고도 값에 기초하여, 제2 입력 신호를 생성할 수 있다(106).

일실시예에 따르면, 제어 장치는 촬영된 사진 및 제1 내지 제5 드론의 고도 값을 제2 컨볼루션 신경망에 적합한 형태로 인코딩하여 제2 입력 신호를 생성할 수 있다. 제어 장치는 촬영된 사진으로부터 픽셀들의 색 정보를 수치화된 값으로 변환한 데이터 시트로 인코딩할 수 있으나, 이에 국한하지 않는다. 색 정보는 픽셀이 보유한 RGB 색상, 명도, 채도 등의 정보를 포함할 수 있다. 고도 값은 일반적으로 해발 고도를 기준으로 삼을 수 있으나, 경우에 따라 주변 사물로부터의 상대적인 높이를 의미할 수 있다. 고도 값은 m, ft, yd, mile 및 inch 단위를 사용할 수 있다. 촬영된 사진은 각각의 카메라 별 40장씩 총 200장으로서, 각각의 사진은 각각의 드론들에 대한 정보 및 각 드론에서 촬영을 진행한 방향에 대한 정보를 포함할 수 있다.

일실시예에 따르면, 제어 장치가 제2 입력 신호를 제2 컨볼루션 신경망에 입력하여 제2 출력 신호를 획득할 수 있다(107).

일실시예에 따르면, 제어 장치는 제2 입력 신호를 제2 컨볼루션 신경망에 입력할 수 있는데, 제2 컨볼루션 신경망의 특징 추출 신경망 및 분류 신경망을 통해 대상 공간 및 주변 사물에 대한 특이사항들을 분류할 수 있다. 제2 컨볼루션 신경망은 해당 분류에 기초하여, 대상 공간 및 주변 사물에 대한 3D 모델을 생성할 수 있는 정보들을 포함한 제2 출력 신호를 출력할 수 있다.

제2 컨볼루션 신경망은 또한 제2 입력 신호에 포함된 드론들의 고도 값 및 사진으로부터 드론들의 위치를 수정하기 위한 수정 위치 데이터를 생성할 수 있다. 수정 위치 데이터는 기존의 위치 데이터와 동일한 형식을 가지나, 그 위치 값만 수정된 데이터일 수 있다. 수정 위치 데이터의 생성은 제2 컨볼루션 신경망의 연산 결과, 필요하다고 판단된 경우에만 생성될 수 있다. 제2 컨볼루션 신경망의 출력층 노드는 총 100개일 수 있는데, 먼저 앞의 95개는 대상 공간 및 주변 사물에 대한 특이사항들을 분류한 값일 수 있고, 최종 5개의 출력층 노드는 수정 위치 데이터일 수 있다. 수정될 위치 데이터 값이 없는 경우 최종 5개의 출력층 노드는 0을 출력 값으로 가질 수 있으나, 이에 국한하지 않는다. 출력층 노드를 100개로 한 이유는 시간 지연을 최소화하는 범위에서 3D 모델을 생성하기 위한 최대한의 필수 정보를 포함해 작업을 최적화하기 위함일 수 있다. 제2 컨볼루션 신경망에 대한 자세한 설명은 도 6을 참조하여 후술한다.

일실시예에 따르면, 제어 장치는 제2 출력 신호에 기초하여, 대상 공간 및 주변 사물의 3D 모델을 생성하고, 설계도를 3D 모델 상에 위치시킬 수 있다(108). 제어 장치는 3D 모델에 기초하여, 제3 입력 신호를 생성할 수 있다(109).

일실시예에 따른 3D 모델은 대상 공간 및 주변 사물로부터 점들을 이어 형성될 수 있으며, 각 점들은 대상 공간 및 주변 사물에 있어 2~5m 범위마다 하나씩 지정될 수 있다. 대상 공간 및 주변 사물의 3D 모델은 모든 사면 및 전리 사면 균열 등의 정보를 포함할 수 있다. 설계도는 설계도 프로그램에 의해 생성된 자료일 수 있으며, 3D로 형성된 설계도는 제2 출력 신호에 의해 생성된 대상 공간 및 주변 사물에 적합한 형태로 인코딩 되어 3D 모델 상에 위치할 수 있다. 제어 장치는 설계도가 3D 모델 상에 적합한 위치로 위치하면, 이로부터 3D 모델을 뉴럴 네트워크에 적절한 형태로 인코딩한 제3 입력 신호를 생성할 수 있다. 제3 입력 신호는 뉴럴 네트워크의 입력층 노드의 수와 동일한 120개의 값으로 이뤄진 매트릭스일 수 있다.

일실시예에 따르면, 제어 장치는 제3 입력 신호를 뉴럴 네트워크에 입력할 수 있다(110). 제어 장치는 뉴럴 네트워크의 제어 결과에 기초하여, 제3 출력 신호를 획득할 수 있다(111).

일실시예에 따르면, 제어 장치는 제3 입력 신호를 제어 장치 내의 뉴럴 네트워크에 입력할 수 있는데, 뉴럴 네트워크는 120개의 입력층 노드를 가질 수 있다. 뉴럴 네트워크의 120개의 입력층 노드는 대상 공간 및 주변 사물의 3D 모델을 지시하는 95개의 입력층 노드와 설계도의 3D 모델을 지시하는 25개의 입력층 노드로 이뤄질 수 있다. 120개의 입력층 노드는 각각 속도 지연을 최소화하면서, 뉴럴 네트워크의 작동을 최적화 하고, 설계도의 이상 여부에 대한 판단을 위한 최대의 정보를 포함하기 위한 수일 수 있다. 뉴럴 네트워크의 출력층 노드는 총 30개일 수 있는데, 이는 속도 지연을 최소화하면서 설계도의 수정 사항을 최대로 포함하기 위한 최적화된 수일 수 있다. 뉴럴 네트워크에 대한 자세한 설명은 도 7을 참조하여 후술한다.

일실시예에 따르면, 제어 장치는 토목 시공 공정을 위한 설계도 점검 방법에 드론을 활용한 3D 모델을 적용해 설계도의 시공 결과에 대한 예측 정확도를 높일 수 있다.

일실시예에 따르면, 제어 장치는 제3 출력 신호를 저장 및 전송할 수 있다(112). 일실시예에 따르면, 제어 장치는 제3 출력 신호가 포함하는 정보를 제어 장치 내의 데이터 베이스 및 블록체인 네트워크에 저장할 수 있다. 제어 장치가 이처럼 제3 출력 신호를 저장하는 이유는 설계도의 수정 사항을 저장함으로써 향후 반영 여부를 확인하고, 제1 내지 제2 컨볼루션 신경망 및 뉴럴 네트워크의 재학습을 위한 자료를 획득하기 위함일 수 있다. 특히 블록체인 네트워크에의 저장은 높은 보안성을 확보하고, 각각의 네트워크 저장장치들이 해당 내용을 공유함으로써 자동으로 이를 검토하기 위함일 수 있다. 제어 장치는 제3 출력 신호를 제1 네트워크 저장장치에 전송할 수 있는데, 이는 제1 네트워크 저장장치의 사용자가 설계도의 설계자를 포함하기 때문일 수 있다. 설계자는 제1 네트워크 저장장치로 전송된 제3 출력 신호에 기초하여 설계도를 수정할 수 있다. 블록체인 네트워크에 대한 자세한 설명은 도 4를 참조하여 후술한다.

도 2 및 도 3은 일실시예에 따른 드론 및 제1 드론이 대상 공간을 촬영하는 과정을 설명하기 위한 도면 및 순서도이다.

일실시예에 따른 제1 내지 제 5 드론은 3축으로 360도 회전 가능한 FHD(Full High Definition) 화질의 카메라(201); 수평을 감지하고 수평 조절 신호를 생성할 수 있는 수평 센서(202); 주변 사물과의 거리를 측정해 제1 내지 제5 드론을 충돌 없이 안전하게 이동시키기 위한 사물 감지 센서(203); 및 제1 내지 제5 드론의 고도를 측정할 수 있는 레이저 고도 측정 센서(204)를 포함할 수 있다.

일실시예에 따른 카메라(201)는 X축, Y축 및 Z축의 3축을 기준으로 360도 회전 가능한 장비일 수 있다. 카메라(201)는 FHD(Full High Definition) 화질의 촬영 장비로서, 사진 및 영상 촬영이 가능한 장비일 수 있다. 카메라(201)는 ISO(International Organization for Standardization) 값, 노출, 셔터 스피드 및 줌 등의 기능이 자동으로 조절되는 장비일 수 있으나, 이에 국한하지 않는다.

일실시예에 따르면, 제어 장치는 제1 내지 제5 드론의 카메라(201)를 3축 방향으로 360도 회전 시켜 대상 공간 및 주변 사물을 촬영해 이를 바탕으로 3D 모델을 생성할 수 있다. 360도 회전은 Z축을 기준으로 45도씩 4번 이동하는 동안 카메라(201)가 Y축을 기준으로 360도 회전하는 것을 기준으로 하나, 경우에 따라 X축 및 다른 축을 기준으로 삼을 수 있다.

일실시예에 따른 수평 센서(202)는 드론의 수평 여부를 결정하는 센서일 수 있다. 제1 내지 제5 드론은 기공을 포함한 액체형 수평계와 이를 통과하는 빛을 센서가 인지하는 방식으로 드론의 수평 여부를 측정할 수 있다. 제1 내지 제5 드론은 수평 센서(202)로부터 수평 여부에 대한 정보를 획득해, 각 드론이 포함하는 프로펠러의 회전수를 조절하여 수평을 조절할 수 있다.

일실시예에 따른 사물 감지 센서(203)는 제1 내지 제5 드론이 각각 서로 및 주변 사물로부터 충돌 없이 이동하기 위해 필요한 센서로서, 주로 수평면과 평행한 평면에서 거리를 감지할 수 있으나, 이에 국한하지 않는다. 사물 감지 센서(203)는 주변 사물이 각각의 드론 사방 3m 이내에 들어오면 드론을 이동 시켜 주변 사물과의 최소한의 거리를 유지하도록 할 수 있다.

일실시예에 따른 레이저 고도 측정 센서(204)는 드론 내의 레이저 발생기가 레이저를 대상 공간의 바닥면에 반사시켜 반사되어 오는 시간을 측정함으로써, 거리를 측정하는 방식일 수 있으나, 이에 국한하지 않는다. 드론은 기본적으로 공기질의 변화를 기준으로 고도를 측정할 수 있는데, 레이저 고도 측정 센서(204)는 이러한 고도 측정을 정교화할 수 있는 장치일 수 있다.

일실시예에 따르면, 제1 드론을 제어하여 대상 공간 상방의 공중에서 대상 공간을 촬영하는 과정에서, 제어 장치는 제1 드론의 사물 감지 센서(203)를 통해 제1 드론을 대상 공간의 주변 사물과의 거리를 3m 이상 유지하며 대상 공간이 제1 드론의 카메라(201) 전체 화각의 70%에 들어오는 고도까지 상승시킬 수 있다(301).

일실시예에 따르면, 제어 장치는 제1 드론을 제어해 대상 공간을 촬영할 수 있는데, 이 과정에서 제1 드론의 카메라(201)로부터 대상 공간의 위치 및 크기를 확인해 대상 공간 및 주변 사물이 충분히 포함될 때 촬영을 진행할 수 있다. 제어 장치는 제1 드론이 공중으로 상승하는 동안, 사물 감지 센서(203)를 통해 주변 사물과 최소 3m의 거리를 유지해 안전하게 비행하도록 할 수 있다. 제어 장치는 대상 공간을 제1 드론이 가진 카메라(201)의 전체 화각 넓이 중 70%에 모두 포함되는 것이 확인되면 제1 드론이 다음 단계를 진행하도록 신호를 보낼 수 있다.

일실시예에 따르면, 제어 장치는 제1 드론을 제어하여 대상 공간이 카메라(201)의 화각 중심에 위치하도록 위치시킬 수 있다(302). 제어 장치는 제1 드론을 제어해 방향을 조절할 수 있는데, 이 때 대상 공간의 중심이 카메라(201) 화각의 중심과 일치하도록 자동으로 이동시킬 수 있다. 대상 공간의 중심은 대상 공간의 전체 외각선을 이어 만들어지는 도형의 중심이 될 수 있으며, 이러한 계산은 제어 장치를 통해 이뤄질 수 있다.

일실시예에 따르면, 제어 장치는 제1 드론의 카메라(201)를 제어해 대상 공간을 촬영할 수 있다(303). 제어 장치는 제1 드론의 카메라(201) 화각 중심 및 대상 공간의 중심이 일치하는 것을 확인하면 제1 드론의 카메라(201)를 제어해 대상 공간을 촬영하도록 하는 신호를 보낼 수 있다. 제1 드론의 카메라(201)는 해당 사진의 흔들림을 보정하기 위해 최대 100장의 사진을 동시에 찍을 수 있으며, 이중 가장 흔들림이 적은 사진을 제어 장치로 전송할 수 있다.

도 4는 일실시예에 따른 블록체인 네트워크를 설명하기 위한 도면이다.

도 4를 참조하면, 제3 출력 신호를 포함하는 블록(401)들; 각 블록(401)을 시간 순으로 연결하는 체인(402)들; 및 각 블록체인을 저장하는 제1(410), 제2(420), 제3 네트워크 저장장치(430)를 포함하는 프라이빗 블록체인 네트워크일 수 있다.

일실시예에 따르면, 블록체인 네트워크의 블록(401)은 제3 출력 신호를 포함하는 데이터 베이스를 포함할 수 있다. 각 블록(401)들은 일반적으로 시간 순으로 연결이 되며, 이에 따라 10분 간격으로 새로운 블록(401)들이 생산될 수 있다. 이미 생성된 블록(401)의 내용들은 모든 네트워크 저장장치들에 저장되며, 시간 내에 과반수의 내용이 변경되지 않는 한 변경될 수 없는 구조로 되어있다. 예를 들어, 총 3개의 네트워크 저장장치를 가진 블록체인 네트워크에서 각 네트워크 저장장치 당 1개씩의 블록(401)을 가지고 있다고 했을 때, 제한된 시간 내에 2개 이상의 블록(401)의 내용을 바꾸지 못하면, 각 블록(401)은 검증을 통해 과반수와 다른 내용의 블록(401)을 과반수와 같도록 값을 재변경 시킬 수 있다. 이에 따라 높은 보안을 유지할 수 있는데, 실제로 블록체인 네트워크에 참여하는 네트워크 저장장치의 수는 수십에서 수십만에 달할 수 있기 때문에 더욱 높은 보안성을 나타낼 수 있다.

일실시예에 따른 체인(402)들은 해시값으로 구성될 수 있다. 체인(402)들은 블록(401)을 시간 순으로 연속되도록 하는데, 이 때 해시값을 이용해 각 블록(401)들이 연결되게 할 수 있다. 블록(401)에는 제3 출력 신호 및 제3 출력 신호의 해시값, 이전 헤더 및 현 블록의 헤더를 보관할 수 있다. 여기서 현 블록의 헤더는 다음 블록에서 이전 헤더의 기능을 하게 되어 각 블록(401)들은 유기적으로 연결될 수 있다. 더불어 해시값은 블록의 내용이 조금이라도 바뀌면 완전히 다른 형태로 변형이 되는데, 이 때문에 블록(401)의 내용을 변경하려는 시도를 효과적으로 막을 수 있다. 현 블록의 헤더는 제3 출력 신호 및 제3 출력 신호의 해시값 및 이전 헤더를 포함한 총 합의 해시값이 되기 때문에, 블록(401)의 내용과 해시값을 효과적으로 수정해 보안을 해치려는 시도도 성공하기 어렵게 된다. 왜냐하면 블록(401)의 내용와 해시값을 수정하는 순간, 헤더의 내용도 바뀌게 되고 이에 따라 다음 블록에 들어가는 이전 헤더도 바뀌게 되며, 이에 따라 그 블록의 헤더도 바뀌어 다음 블록의 이전 헤더를 다시 바꾸게 될 수 있다. 즉, 이후의 모든 블록(401)을 해킹해야만 하게 된다. 따라서, 해시값을 통한 체인(402)으로 블록체인의 보안을 높일 수 있다.

일실시예에 따르면, 네트워크 저장장치들은 토목 시공 공정을 위한 설계도를 설계한 설계자를 포함하는 제1 네트워크 저장장치(410); 토목 시공 공정을 위한 설계도 점검 방법을 사용하는 시공업체를 포함하는 제2 네트워크 저장장치(420); 토목 시공 공정을 의뢰한 의뢰자를 포함하는 제3 네트워크 저장장치(430); 및 각 네트워크 저장장치들을 연결하는 초고속 인터넷 연결망(403)을 포함할 수 있다. 제1, 제2 및 제3으로 분류된 네트워크 저장장치들은 포함된 실무자의 수, 사용자의 수 및 그 저장 장치의 수에 따라 그 수가 결정될 수 있다.

일실시예에 따르면, 제1 네트워크 저장장치(410)는 토목 시공 공정을 위한 설계도를 설계한 설계자를 포함할 수 있으며, 토목 시공 공정을 위한 설계도 점검 방법의 설계자들은 1개 업체 혹은 그 이상일 수 있다. 제1 네트워크 저장장치(410)의 수는 각 업체가 사용하는 저장 장치의 수에 따라 그 수가 결정 될 수 있다. 제1 네트워크 저장장치(410)는 토목 시공 공정을 위한 설계도의 점검 방법을 통해 수정이 필요한 설계도를 수정 반영할 수 있으며, 제1 내지 제2 컨볼루션 신경망 및 뉴럴 네트워크를 위한 학습용 데이터를 제시할 수 있다.

일실시예에 따르면, 제2 네트워크 저장장치(420)는 토목 시공 공정을 위한 설계도 점검 방법을 사용하는 시공업체를 포함할 수 있다. 제2 네트워크 저장장치(420)는 토목 시공 공정을 위한 설계도 점검 방법을 사용하는 업체 및 그 사용자의 수에 따라 그 수가 결정될 수 있다. 제2 네트워크 저장장치(420)는 토목 시공 공정을 위한 설계도 점검 방법을 사용하는 실 사용자로서, 실 사용 중에 발생하는 오류들에 대한 정보를 사용자가 수동으로 입력함으로써 제1 내지 제2 컨볼루션 신경망 및 뉴럴 네트워크의 학습을 용이하게 할 수 있다.

일실시예에 따르면, 제3 네트워크 저장장치(430)는 토목 시공 공정을 의뢰한 의뢰자를 포함할 수 있다. 제3 네트워크 저장장치(430)는 토목 시공 공정을 의뢰하는 시점에 제1 네트워크 저장장치(410)의 설계자의 허가에 따라 블록체인 네트워크의 열람 및 저장을 수행할 수 있으며, 의뢰한 시공이 완료되는 시점에 블록체인 네트워크의 제3 네트워크 저장장치(430)로서의 역할을 상실할 수 있다.

일실시예에 따른 초고속 인터넷 연결망(403)은 통상적으로 10Mb/s 이상의 속도를 보이는 인터넷 연결망을 의미하는데, 유선, 무선, 광케이블 기술 등을 포함하는 연결망으로 LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등을 포함하나 이에 한정되지 않는다.

일실시예에 따른 토목 시공 공정을 위한 설계도 점검 방법은 블록체인 네트워크를 통해 정보를 빅데이터화 하고, 강화된 보안을 사용할 수 있다

도 5, 도 6 및 도 7은 일실시예에 따른 제1 내지 제2 컨볼루션 신경망 및 뉴럴 네트워크를 설명하기 위한 도면이다.

도 5를 참조하면, 제1 컨볼루션 신경망(510)은 제1 드론(502)을 통해 촬영된 사진 및 고도값을 인코딩해 생성된 제1 입력 신호(511)를 입력으로 할 수 있다. 제어 장치는 제1 드론(502)이 대상 공간(501) 및 주변 사물이 충분히 포함될 수 있는 고도에서 촬영한 사진 및 고도 값을 수치화된 데이터 시트로 인코딩하는 방식으로 제1 입력 신호(511)를 생성할 수 있다. 제어 장치는 사진을 인코딩하는 과정에서 사진 속 각 픽셀의 색 정보를 수치화할 수 있다. 사진의 색 정보는 RGB 색상, 명도, 채도를 포함할 수 있으나, 이에 국한하지 않는다.

일실시예에 따르면, 제1 컨볼루션 신경망(510)은 사람에 의해 수동으로 조정된 제1 드론(502)의 최초 위치 및 제1 내지 제5 드론의 위치 데이터(506) 10000개를 통해 테스트 데이터 및 정답을 지정해 미리 학습될 수 있다. 제1 컨볼루션 신경망(510)의 학습은 정답과 출력값의 오차를 바탕으로 이뤄지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 제1 컨볼루션 신경망(510)은 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다.

일실시예에 따르면, 제1 컨볼루션 신경망(510)은 제1 입력 신호(511) 내의 인코딩된 사진 및 고도 값을 바탕으로 특징 추출 신경망과 분류 신경망을 통해 제1 위치(504), 안전 거리(505) 및 위치 데이터(506)를 분류할 수 있다. 제1 위치(504)는 대상 공간(501)의 토목 시공 대상 구조물(503)의 예상 위치, 크기 및 구조에 기초하여 그 예상되는 중심을 표현한 값일 수 있다. 안전 거리(505)는 제1 내지 제5 드론이 안전하게 비행하기 위한 주변 사물로부터의 최소 거리를 나타내는 값일 수 있다. 위치 데이터(506)는 제1 내지 제5 드론이 최종적으로 위치할 위치를 지정한 값의 조합일 수 있으며, 위치에는 수평면 상 위치 및 고도를 포함할 수 있다.

일실시예에 따른 제1 컨볼루션 신경망(510)의 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조정되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행될 수 있다. 분류 신경망은 은닉층과 출력층을 가지고 있다. 토목 시공 공정을 위한 설계도(701) 점검 방법을 위한 제1 컨볼루션 신경망(510)에서는 일반적으로 은닉층이 3개 이상 존재하며, 각 은닉층의 노드는 100개로 지정하나 경우에 따라 그 이상 또는 이하로 정할 수 있다. 은닉층 노드의 수는 학습을 최적화하고, 연산 오류를 최소화할 수 있는 수일 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 제1 컨볼루션 신경망(510)의 출력층 노드는 총 9개로 이뤄질 수 있으며, 1번째 노드는 제1 위치(504)를 포함하고, 2번째 내지 4번째 노드는 안전 거리(505)를 포함하고, 5번째 내지 9번째 노드는 각각 제1 내지 제5 드론의 위치 데이터(506)를 포함할 수 있다. 9개의 출력층 노드는 시간 지연을 최소화하면서, 필수 정보를 최대로 포함하기 위한 최적화된 출력층 노드의 수일 수 있다. 제1 컨볼루션 신경망(510)은 위 9개의 출력 노드의 값을 포함하는 제1 출력 신호(512)일 수 있다.

도 6을 참조하면, 제2 컨볼루션 신경망(610)은 제1 내지 제5 드론을 통해 촬영된 360도 사진 및 고도값을 인코딩해 생성된 제2 입력 신호(611)를 입력으로 할 수 있다. 제어 장치는 제1 내지 제5 드론이 위치 데이터(506)가 지정하는 대응 위치에서 촬영한 사진 및 고도 값을 수치화된 데이터 시트로 인코딩하는 방식으로 제2 입력 신호(611)를 생성할 수 있다. 제어 장치는 사진을 인코딩하는 과정에서 사진 속 각 픽셀의 색 정보를 수치화할 수 있다. 사진의 색 정보는 RGB 색상, 명도, 채도를 포함할 수 있으나, 이에 국한하지 않는다.

일실시예에 따르면, 제2 컨볼루션 신경망(610)은 3D 모델에 의해 생성된 인공 대상 공간(501) 및 주변 사물, 해당 인공 대상 공간(501) 및 주변 사물에 대한 제1 내지 제5 드론의 촬영 결과에 따라 생성된 3D 모델 5000개와 실제 외부 대상 공간(501) 및 주변 사물을 사람이 측정해 만들어 낸 3D 모델, 해당 외부 대상 공간(501) 및 주변 사물에 대한 제1 내지 제5 드론의 촬영 결과에 따라 생성된 3D 모델 5000개를 통해 테스트 데이터 및 정답을 지정해 미리 학습될 수 있다. 제2 컨볼루션 신경망(610)의 학습은 정답과 출력값의 오차를 바탕으로 이뤄지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 제2 컨볼루션 신경망(610)은 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다.

일실시예에 따르면, 제2 컨볼루션 신경망(610)은 제2 입력 신호(611) 내의 인코딩된 사진 및 고도 값을 바탕으로 특징 추출 신경망과 분류 신경망을 통해 대상 공간(501) 및 주변 사물의 특이사항을 분류할 수 있다. 분류된 대상 공간(501) 및 주변 사물의 특이사항은 각 점을 연결하여 3D 모델을 생성하기 위한 정보들을 포함할 수 있으며, 사면 및 전리 사면의 균열 등을 포함할 수 있다.

일실시예에 따른 제2 컨볼루션 신경망(610)의 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조정되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행될 수 있다. 분류 신경망은 은닉층과 출력층을 가지고 있다. 토목 시공 공정을 위한 설계도(701) 점검 방법을 위한 제2 컨볼루션 신경망(610)에서는 일반적으로 은닉층이 5개 이상 존재하며, 각 은닉층의 노드는 70개로 지정하나 경우에 따라 그 이상 또는 이하로 정할 수 있다. 은닉층 노드의 수는 학습을 최적화하고, 연산 오류를 최소화할 수 있는 수일 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 제2 컨볼루션 신경망(610)의 출력층 노드는 총 100개일 수 있는데, 먼저 앞의 95개는 대상 공간(501) 및 주변 사물에 대한 특이사항들을 분류한 값일 수 있고, 최종 5개의 출력층 노드는 수정 위치 데이터(506)일 수 있다. 수정될 위치 데이터(506) 값이 없는 경우 최종 5개의 출력층 노드는 0을 출력 값으로 가질 수 있으나, 이에 국한하지 않는다. 출력층 노드를 100개로 한 이유는 시간 지연을 최소화하는 범위에서 3D 모델을 생성하기 위한 최대한의 필수 정보를 포함해 작업을 최적화하기 위함일 수 있다.

도 7을 참조하면, 뉴럴 네트워크(710)는 제2 출력 신호(612)에 기초하여 생성된 3D 모델을 뉴럴 네트워크(710)의 입력에 적합하도록 인코딩한 제3 입력 신호(711)를 입력으로 할 수 있다. 뉴럴 네트워크(710)는 총 120개의 입력층 노드를 가질 수 있다. 뉴럴 네트워크(710)의 120개의 입력층 노드는 대상 공간(501) 및 주변 사물의 3D 모델(601)을 지시하는 95개의 입력층 노드와 설계도(701)의 3D 모델을 지시하는 25개의 입력층 노드로 이뤄질 수 있다. 120개의 입력층 노드는 각각 속도 지연을 최소화하면서, 뉴럴 네트워크(710)의 작동을 최적화 하고, 설계도(701)의 이상 여부에 대한 판단을 위한 최대의 정보를 포함하기 위한 수일 수 있다.

일실시예에 따르면, 뉴럴 네트워크(710)는 제2 컨볼루션 신경망(610)의 학습을 위해 사용된 5000개의 인공적인 3D 모델에 각각 2종류의 설계도(701)를 위치시킴으로써, 2종류 중 하나만 올바른 설계도(701)가 되도록 사용자가 지정한 값들을 바탕으로 테스트 데이터 및 정답을 수집해 학습을 수행할 수 있다. 뉴럴 네트워크(710)의 학습은 정답과 출력값의 오차를 바탕으로 이뤄지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 뉴럴 네트워크(710)는 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다.

일실시예에 따르면, 토목 시공 공정을 위한 설계도(701) 점검 방법을 위한 뉴럴 네트워크(710)에서는 일반적으로 은닉층이 3개 이상 존재하며, 각 은닉층의 노드는 80개로 지정하나 경우에 따라 그 이상 또는 이하로 정할 수 있다. 은닉층 노드의 수는 학습을 최적화하고, 연산 오류를 최소화할 수 있는 수일 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 뉴럴 네트워크(710)는 은닉층을 통해 해당 3D 모델에서 설계도(701)의 적합성, 안정성을 평가할 수 있으며, 토목 시공 대상 구조물(503) 및 주변 사물의 붕괴 가능성 및 최적화도를 판단할 수 있다. 뉴럴 네트워크(710)의 출력층 노드는 총 30개일 수 있는데, 각각의 노드는 설계도(701)의 수정 사항(702)을 포함할 수 있다. 출력층 노드가 30개인 이유는 뉴럴 네트워크(710)의 속도 지연을 최소화하면서 설계도(701)의 수정 사항(702)을 최대로 포함하기 위한 최적화된 수일 수 있다. 뉴럴 네트워크는 출력층 노드를 모두 포함하는 제3 출력 신호(712)를 출력으로 할 수 있다.

일실시예에 따른 토목 시공 공정을 위한 설계도(701) 점검 방법에 딥러닝 기술을 적용해 설계도(701) 점검 과정을 자동화 및 최적화할 수 있다.

도 8은 일실시예에 따른 장치의 구성의 예시도이다.

일실시예에 따른 장치(1201)는 프로세서(1202) 및 메모리(1203)를 포함한다. 일실시예에 따른 장치(1201)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 7을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 7을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(1203)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(1203)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

일실시예에 따르면, 프로세서(1202)는 프로그램을 실행하고, 장치(1201)를 제어할 수 있다. 프로세서(1202)에 의하여 실행되는 프로그램의 코드는 메모리(1203)에 저장될 수 있다. 장치(1201)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

1. 드론 영상 기반 인공지능을 이용하여 토목 시공 공정을 위한 설계도를 점검하는 방법에 있어서,
   제어 장치가 제1 드론을 제어하여 대상 공간의 상방의 공중에서 상기 대상 공간을 촬영하는 단계;
   상기 촬영에 의해 생성된 사진 및 상기 제1 드론의 고도 값에 기초하여, 상기 제어 장치가 제1 입력 신호를 생성하는 단계;
   상기 제어 장치가 상기 제1 입력 신호를 제1 컨볼루션 신경망에 입력하여 제1 위치, 안전 거리 및 촬영용 위치 데이터를 포함하는 제1 출력 신호를 획득하는 단계;
   상기 제1 출력 신호에 기초하여, 상기 제어 장치가 제1 내지 제5 드론을 상기 촬영용 위치 데이터가 포함하는 대응 위치로 위치시키는 단계;
   상기 제어 장치가 상기 제1 내지 제5 드론을 제어하여 상기 대상 공간 및 주변 사물을 360도 회전 촬영하는 단계;
   상기 360도 회전 촬영에 의해 생성된 사진 및 상기 제1 내지 제5 드론의 고도 값에 기초하여, 상기 제어 장치가 제2 입력 신호를 생성하는 단계;
   상기 제어 장치가 상기 제2 입력 신호를 제2 컨볼루션 신경망에 입력하여 제2 출력 신호를 획득하는 단계;
   상기 제어 장치가 상기 제2 출력 신호에 기초하여, 상기 대상 공간 및 상기 주변 사물의 3D 모델을 생성하고, 설계도를 3D 모델 상에 위치시키는 단계;
   상기 3D 모델에 기초하여, 상기 제어 장치가 제3 입력 신호를 생성하는 단계;
   상기 제어 장치가 상기 제3 입력 신호를 뉴럴 네트워크에 입력하는 단계;
   상기 뉴럴 네트워크의 제어 결과에 기초하여, 상기 제어 장치가 제3 출력 신호를 획득하는 단계;
   상기 제어 장치가 상기 제3 출력 신호에 기초하여, 상기 설계도를 수정하는 단계; 및
   상기 제어 장치가 제3 출력 신호를 저장 및 전송하는 단계
   를 포함하고,
   상기 제1 컨볼루션 신경망은
   상기 제1 드론을 통해 촬영된 사진 및 고도 값을 인코딩해 생성된 상기 제1 입력 신호를 입력으로 하고,
   상기 제1 입력 신호에 기초하여,
   상기 대상 공간의 토목 시공 대상 구조물의 예상 위치, 크기 및 구조에 기초하여 그 중심을 표현하는 상기 제1 위치;
   상기 제1 내지 제5 드론이 안전하게 비행하기 위한 상기 주변 사물로부터의 최소 거리를 나타내는 상기 안전 거리; 및
   상기 제1 내지 제5 드론이 최종적으로 위치할 위치를 지정하는 상기 위치 데이터
   를 특징 추출 신경망 및 분류 신경망을 통해 분류하고,
   상기 분류에 기초한 제1 출력 신호를 출력으로 하고,
   상기 제2 컨볼루션 신경망은
   상기 제1 내지 제5 드론이 360도 촬영한 사진 및 고도 값에 기초하여, 생성된 상기 제2 입력 신호를 입력으로 하고,
   상기 제2 입력 신호에 기초하여, 상기 대상 공간 및 상기 주변 사물의 특이사항들을 특징 추출 신경망 및 분류 신경망을 통해 분류하고,
   상기 분류에 기초하여, 상기 대상 공간 및 상기 주변 사물에 대한 상기 3D 모델을 생성하기 위한 제2 출력 신호를 출력으로 하고,
   상기 제2 컨볼루션 신경망의 제어 결과에 기초하여, 상기 대상 공간 및 상기 주변 사물에 대한 3D 모델 획득이 어려울 경우 상기 위치 데이터를 조정하도록 수정 위치 데이터를 제2 출력 신호에 포함하고,
   상기 뉴럴 네트워크는
   상기 3D 모델을 뉴럴 네트워크의 입력에 적합하도록 인코딩한 상기 제3 입력 신호를 입력으로 하고,
   상기 제3 입력 신호로부터 상기 토목 시공 대상 구조물 및 상기 주변 사물의 붕괴 가능성 및 최적화도를 판단하고,
   상기 판단의 결과에 기초하여, 상기 설계도의 수정 사항을 포함하는 제3 출력 신호를 출력으로 하고,
   상기 제1 내지 제 5 드론은
   3축으로 360도 회전 가능한 FHD(Full High Definition) 화질의 카메라;
   수평을 감지하고 수평 조절 신호를 생성할 수 있는 수평 센서;
   상기 주변 사물과의 거리를 측정해 상기 제1 내지 제5 드론의 충돌 가능 범위를 감지하여 이동시키기 위한 사물 감지 센서; 및
   상기 제1 내지 제5 드론의 고도를 측정할 수 있는 레이저 고도 측정 센서
   를 포함하고,
   상기 제1 드론을 제어하여 상기 대상 공간의 상방의 공중에서 상기 대상 공간을 촬영하는 단계는
   상기 제어 장치가 상기 제1 드론의 상기 사물 감지 센서를 통해 상기 제1 드론을 상기 대상 공간의 상기 주변 사물과의 거리를 3m 이상 유지하며 상기 대상 공간이 상기 제1 드론의 상기 카메라 전체 화각의 70%에 들어오는 고도까지 상승시키는 단계;
   상기 제어 장치가 상기 제1 드론을 제어하여 상기 대상 공간이 상기 카메라의 화각 중심에 위치하도록 위치시키는 단계; 및
   상기 제어 장치가 상기 제1 드론의 상기 카메라를 제어해 상기 대상 공간을 촬영하는 단계
   를 포함하고,상기 제1 내지 제5 드론의 360도 촬영은
   z축을 기준으로 45도씩 4회 회전하며 촬영이 진행되고,
   드론 하방부 촬영을 피하기 위해 최초 및 최종의 0.1초를 제외한 1초 동안 카메라가 360도를 회전하며 촬영하는
   토목 시공 공정을 위한 설계도 점검 방법.
   
2. 삭제
3. 제1 항에 있어서,
   상기 제어 장치가 상기 제3 출력 신호를 저장 및 전송하는 단계는
   상기 제어 장치가 상기 제3 출력 신호를 블록체인 네트워크에 저장하는 단계; 및
   상기 제어 장치가 상기 제3 출력 신호를 상기 설계도의 설계자를 포함하는 제1 네트워크 저장장치로 전송하는 단계
   를 포함하고,
   상기 블록체인 네트워크는
   상기 제3 출력 신호를 포함하는 블록들;
   각 블록을 시간 순으로 연결하는 체인들; 및
   상기 각 블록 및 체인을 저장하는 상기 네트워크 저장장치들
   을 포함하는 프라이빗 블록체인 네트워크이고,
   상기 네트워크 저장장치들은
   상기 토목 시공 공정을 위한 설계도를 설계한 설계자를 포함하는 상기 제1 네트워크 저장장치;
   상기 토목 시공 공정을 위한 설계도 점검 방법을 사용하는 시공업체를 포함하는 제2 네트워크 저장장치;
   상기 토목 시공 공정을 의뢰한 의뢰자를 포함하는 제3 네트워크 저장장치; 및
   각 네트워크 저장장치들을 연결하는 인터넷 연결망
   을 포함하는
   토목 시공 공정을 위한 설계도 점검 방법.
   
   

Images