KR102451336B1 - building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering - Google Patents

building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering Download PDF

Info

Publication number
KR102451336B1
KR102451336B1 KR1020200095614A KR20200095614A KR102451336B1 KR 102451336 B1 KR102451336 B1 KR 102451336B1 KR 1020200095614 A KR1020200095614 A KR 1020200095614A KR 20200095614 A KR20200095614 A KR 20200095614A KR 102451336 B1 KR102451336 B1 KR 102451336B1
Authority
KR
South Korea
Prior art keywords
image
images
building
exterior
piping
Prior art date
Application number
KR1020200095614A
Other languages
Korean (ko)
Other versions
KR20220015520A (en
Inventor
강민구
Original Assignee
한신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한신대학교 산학협력단 filed Critical 한신대학교 산학협력단
Priority to KR1020200095614A priority Critical patent/KR102451336B1/en
Publication of KR20220015520A publication Critical patent/KR20220015520A/en
Application granted granted Critical
Publication of KR102451336B1 publication Critical patent/KR102451336B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/02CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/18Details relating to CAD techniques using virtual or augmented reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2220/00Business processing using cryptography
    • G06Q2220/10Usage protection of distributed data files

Abstract

본 발명은 일반적으로 건축물 품질을 영상 기반으로 평가할 수 있도록 해주는 기술에 관한 것이다. 특히, 본 발명은 스마트 시티에서 건축물 별로 외관 영상, 배관 영상, 비파괴검사 영상을 데이터베이스 보관하고 이들 영상을 건축물 건축도면(CAD) 영상과 마커, NFC 태그, 영상 특징점 기반으로 멀티레이어 정합 및 표출시킴으로써 디지털 트윈 방식의 건축물 품질 평가가 가능하도록 기술적으로 뒷받침하고 블록체인을 통해 건축물 관련 정보를 신뢰도 높게 분산원장 관리하는 건축물 디지털 트윈 블록체인 기술에 관한 것이다. 본 발명에 따르면 건축물에 대해 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상을 멀티레이어로 정합 및 표출하여 사람들이 그 건축물의 품질을 증강현실(AR)이나 가상현실(VR)로 살펴볼 수 있게 제공함으로써 스마트 시티의 건축물 디지털 트윈을 구현할 수 있는 장점이 있다. 또한, 본 발명에 따르면 스마트 시티의 건축물 디지털 트윈을 구현하기 위한 각종 데이터를 블록체인의 분산원장으로 관리함으로써 건축물 품질평가 결과에 대한 신뢰를 확보할 수 있는 장점이 있다.BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates generally to a technology that enables image-based evaluation of building quality. In particular, the present invention stores a database of exterior images, plumbing images, and non-destructive inspection images for each building in a smart city, and digitally matches and displays these images in multi-layers based on building architectural drawing (CAD) images, markers, NFC tags, and image feature points. It is about building digital twin block chain technology that technically supports to enable twin-style building quality evaluation and manages building-related information with high reliability on a distributed ledger through block chain. According to the present invention, by matching and displaying architectural drawing images, exterior images, piping images, and non-destructive inspection images in multi-layers for a building, people can see the quality of the building in augmented reality (AR) or virtual reality (VR). It has the advantage of being able to implement a digital twin of a building in a smart city by providing it. In addition, according to the present invention, there is an advantage in that it is possible to secure trust in the building quality evaluation result by managing various data for realizing the building digital twin of the smart city with the distributed ledger of the block chain.

Description

스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템 {building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering}Building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering}

본 발명은 일반적으로 건축물 품질을 영상 기반으로 평가할 수 있도록 해주는 기술에 관한 것이다.BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates generally to a technology that enables image-based evaluation of building quality.

특히, 본 발명은 스마트 시티에서 건축물 별로 외관 영상, 배관 영상, 비파괴검사 영상을 데이터베이스 보관하고 이들 영상을 건축물 건축도면(CAD) 영상과 마커, NFC 태그, 영상 특징점 기반으로 멀티레이어 정합 및 표출시킴으로써 디지털 트윈 방식의 건축물 품질 평가가 가능하도록 기술적으로 뒷받침하고 블록체인을 통해 건축물 관련 정보를 신뢰도 높게 분산원장 관리하는 건축물 디지털 트윈 블록체인 기술에 관한 것이다.In particular, the present invention stores a database of exterior images, plumbing images, and non-destructive inspection images for each building in a smart city, and digitally matches and displays these images in multi-layers based on building architectural drawing (CAD) images, markers, NFC tags, and image feature points. It is about building digital twin block chain technology that technically supports to enable twin-style building quality evaluation and manages building-related information with high reliability on a distributed ledger through block chain.

최근들어 스마트 시티(smart city)에 대한 논의가 활발하다. 스마트 시티는 정보통신기술(ICT)에 의해 다양한 유형의 전자적 데이터 수집 센서를 사용해서 정보를 취득하고, 이러한 정보에 의해 리소스를 효율적으로 관리 및 활용하는 도시를 말한다. 정보통신기술을 이용하여 도시 생활 속에서 유발되는 교통 문제, 환경 문제, 주거 문제, 시설 비효율 등을 해결하고 시민들이 편리하고 쾌적한 삶을 누릴 수 있도록 하는 것이 스마트 시티의 목적이다. Recently, there has been a lot of discussion about smart cities. A smart city refers to a city that acquires information using various types of electronic data collection sensors by information and communication technology (ICT), and manages and utilizes resources efficiently by this information. The purpose of a smart city is to solve traffic problems, environmental problems, housing problems, and facility inefficiencies caused in city life by using information and communication technology, and to enable citizens to enjoy a convenient and pleasant life.

스마트 시티가 기존의 도시가 가지고 있는 여러가지 문제들을 해결할 수 있을 뿐만 아니라 4차 산업혁명에 선제적으로 대응하고 새로운 성장 동력을 창출할 수 있을 것으로 예상되면서 세계 각국에서 스마트 시티 구축에 적극적으로 나서고 있다. 스마트 시티가 구축되면 실시간으로 교통정보를 얻을 수 있어 이동 거리를 감소시킬 수 있고 원격 근무 등 거주자들의 생활이 편리해질 뿐만 아니라 궁극적으로는 이산화탄소 배출량을 줄일 수 있다. As smart cities are expected to not only solve various problems of existing cities, but also to preemptively respond to the 4th industrial revolution and create new growth engines, countries around the world are actively building smart cities. When a smart city is built, traffic information can be obtained in real time, reducing the travel distance, making life easier for residents, such as remote work, and ultimately reducing carbon dioxide emissions.

이러한 스마트 시티에서는 건축물의 관리 역시 정보통신기술에 의해 효율적으로 이루어질 필요가 있다. 일반적으로는 건축물을 세밀하게 살펴볼 수 있는 방법이 없으며, 심각한 문제가 발생하거나 특별한 필요성이 인정될 때마다 전문업체에 의뢰하여 건축물의 내외부를 조사하고 건축설계와 일일히 대조해가면서 점검하는 방식이 이루어지고 있다. 정보통신기술을 이용하여 이러한 비효율성을 제거하고 건축물 평가를 편리하게 수행할 필요가 있다.In such a smart city, the management of buildings also needs to be done efficiently by information and communication technology. In general, there is no way to examine a building in detail, and whenever a serious problem occurs or a special necessity is recognized, a specialized company is commissioned to inspect the inside and outside of the building, and the method is checked while comparing it with the architectural design one by one. have. It is necessary to remove this inefficiency and conveniently perform building evaluation using information and communication technology.

본 발명의 목적은 일반적으로 건축물 품질을 영상 기반으로 평가할 수 있도록 해주는 기술을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a technology capable of evaluating the quality of a building in general based on an image.

특히, 본 발명의 목적은 스마트 시티에서 건축물 별로 외관 영상, 배관 영상, 비파괴검사 영상을 데이터베이스 보관하고 이들 영상을 건축물 건축도면(CAD) 영상과 마커, NFC 태그, 영상 특징점 기반으로 멀티레이어 정합 및 표출시킴으로써 디지털 트윈 방식의 건축물 품질 평가가 가능하도록 기술적으로 뒷받침하고 블록체인을 통해 건축물 관련 정보를 신뢰도 높게 분산원장 관리하는 건축물 디지털 트윈 블록체인 기술을 제공하는 것이다.In particular, an object of the present invention is to store a database of exterior images, piping images, and non-destructive inspection images for each building in a smart city, and match and display these images in multi-layers based on building architectural drawing (CAD) images, markers, NFC tags, and image feature points. The goal is to provide a building digital twin block chain technology that provides technical support to enable digital twin-style building quality evaluation and reliable distributed ledger management of building-related information through block chain.

한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.On the other hand, the problem to be solved of the present invention is not limited to these matters, and other problems to be solved can be understood from the description of the present specification.

상기의 목적을 달성하기 위하여 본 발명에 따른 건축물 디지털 트윈 블록체인 시스템은, 건축물에 대한 디지털 트윈을 구성하기 위하여 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 복수 개를 생성하는 영상정보 생성 장치(100); 영상정보 생성 장치(100)로부터 건축물의 디지털 트윈 구성을 위한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받아 데이터베이스 관리하는 클라우드 영상 서버(200); 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받고 이들 영상을 마커와 특징점을 기준으로 CAD 매핑번호와 멀티레이어 정합하여 해당 건축물에 대한 정합영상(301)을 생성하는 영상 정합표출 서버(300); 영상 정합표출 서버(300)로부터 정합영상(301)을 제공받아 가상현실(VR) 또는 증강현실(AR)로 건축물의 물리적 공간에 대응하여 입체적으로 사용자에게 표출하는 입체 표시 장치(400); 개별 건축물에 대한 영상 평가를 사용자에게 제공하는 장치로서, 영상 정합표출 서버(300)를 액세스하여 특정의 건축물에 대해 영상 평가를 요청하고 그에 따라 해당 건축물에 대한 정합영상(301)을 제공받고 블록체인을 통해 건축정보 분산원장(510)을 액세스하여 정합영상(301)에 대한 신뢰성을 직접 확인하도록 구성되는 영상평가 검증 장치(500);를 포함하여 구성될 수 있다.In order to achieve the above object, the building digital twin block chain system according to the present invention is an architectural drawing image, an outdoor or indoor exterior image, a piping image of a pipe endoscopy, and a non-destructive inspection image in order to configure a digital twin for a building. Image information generating apparatus 100 for generating a plurality; a cloud image server 200 for database management by receiving a plurality of architectural drawing images, exterior images, piping images, and non-destructive inspection images from the image information generating device 100 for constructing a digital twin of a building; A plurality of architectural drawing images, exterior images, piping images, and non-destructive inspection images for a specific building are provided from the cloud image server 200, and these images are multi-layered with a CAD mapping number based on markers and feature points to match the corresponding building. Image registration display server 300 for generating a matched image 301 for; A stereoscopic display device 400 that receives the matched image 301 from the image matching expression server 300 and displays it three-dimensionally to the user in response to the physical space of the building in virtual reality (VR) or augmented reality (AR); As a device that provides image evaluation for individual buildings to the user, accesses the image matching expression server 300 to request image evaluation for a specific building, and accordingly provides a matched image 301 for the building and block chain An image evaluation verification device 500 configured to directly check the reliability of the matched image 301 by accessing the architecture information distributed ledger 510 through; may be configured to include.

이때, 클라우드 영상 서버(200)와 영상 정합표출 서버(300)는 블록체인에 참여하여 각각의 건축물 영상이 생성 및 변경될 때에 영상 히스토리 정보와 매핑 히스토리 정보와 타임스탬프를 거래 데이터로서 건축정보 분산원장(510)에 반영되도록 블록체인 처리하도록 구성된다.At this time, the cloud image server 200 and the image matching expression server 300 participate in the block chain and use the image history information, mapping history information, and timestamp as transaction data when each building image is created and changed. It is configured to process the blockchain to be reflected in 510 .

본 발명에서 클라우드 영상 서버(200)는, 개별 건축물에 대한 설계도면 정보를 파일 데이터 또는 영상 데이터의 형태로 저장하는 건축도면 저장부(210); 해당 건축물에 대한 실외 또는 실내 외관에 대한 영상인 외관 영상을 저장하는 외관 영상 저장부(220); 해당 건축물에 설치된 배관에 대한 내시경 검사에서 카메라 유닛(C)으로 촬영된 배관 영상 및 배관 영상에서 나타내는 복수의 마커에 대한 식별코드를 저장하는 배관 영상 저장부(230); 해당 건축물에 대한 비파괴 검사에서 촬영된 비파괴검사 영상을 저장하는 비파괴검사 영상 저장부(240);를 포함하여 구성될 수 있다.In the present invention, the cloud image server 200 includes: an architectural drawing storage unit 210 for storing design drawing information for individual buildings in the form of file data or image data; an exterior image storage unit 220 for storing an exterior image that is an image of an exterior or interior exterior of the corresponding building; A piping image storage unit 230 for storing identification codes for a plurality of markers shown in the piping image and the piping image taken with the camera unit (C) in the endoscopy inspection of the piping installed in the building; The non-destructive inspection image storage unit 240 for storing the non-destructive inspection images taken in the non-destructive inspection of the building; may be configured to include.

또한, 영상 정합표출 서버(300)는, 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받는 다중영상 수신부(310); 건축도면 영상에 포함된 CAD 매핑번호와 외관 영상 및 비파괴검사 영상에서 식별되는 영상 특징점을 상호 매핑하여 외관 영상 및 비파괴검사 영상의 각 재생 지점에 대하여 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 특징점 매핑부(320); 건축도면 영상에 포함된 CAD 매핑번호와 배관 영상 또는 외관 영상에서 식별되는 마커 식별코드를 상호 매핑하여 배관 영상 또는 외관 영상의 각 재생 위치가 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 코드 매핑부(330); 마커 식별코드와 영상 특징점을 기준으로 개별 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상을 정합 정렬하고 멀티레이어 영상으로 합성 렌더링하여 해당 건축물의 물리적 공간을 기준으로 이들 영상들을 맞춘 정합영상(301)을 생성하는 멀티레이어 정합부(340); 멀티레이어 정합부(340)가 생성한 정합영상(301)을 입체 표시 장치(400)로 출력하는 정합영상 표출부(350);를 포함하여 구성될 수 있다.In addition, the image matching expression server 300, a multi-image receiving unit 310 that receives a plurality of architectural drawing images, indoor and outdoor exterior images, piping images, and non-destructive inspection images for a specific building from the cloud image server 200; The CAD mapping number included in the architectural drawing image and the image feature point identified in the exterior image and non-destructive inspection image are mutually mapped to map which point in the architectural drawing image corresponds to each playback point of the exterior image and non-destructive inspection image. a mapping unit 320; A code mapping unit that maps the CAD mapping number included in the architectural drawing image and the marker identification code identified in the piping image or exterior image to which point in the architectural drawing image corresponds to each playback position of the piping image or exterior image (330); Based on the marker identification code and image feature points, the architectural drawing images, indoor and outdoor exterior images, piping images, and non-destructive inspection images of individual buildings are matched and arranged, and these images are combined based on the physical space of the building by synthesizing and rendering them as multi-layer images. a multi-layer matching unit 340 that generates a registered image 301; The multi-layer matching unit 340 may include a registered image display unit 350 for outputting the generated registered image 301 to the stereoscopic display device 400 .

본 발명에서 클라우드 영상 서버(200)는, 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 클라우드 영상 서버(200)가 실시간 공유하도록 처리하는 블록체인 영상서버부(250);를 더 포함할 수 있다. 또한, 영상 정합표출 서버(300)는, 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 영상 정합표출 서버(300)가 실시간 공유하도록 처리하는 블록체인 정합서버부(360);를 더 포함할 수 있다.In the present invention, the cloud image server 200 is an architectural drawing image of an individual building, an exterior or indoor exterior image, a piping image of a pipe endoscopy, and a non-destructive inspection image through block chain processing that shares the architectural information distributed ledger 510. It may further include a; blockchain image server unit 250 that processes the image history and mapping history corresponding to the creation and change of one or more of the cloud image server 200 to share in real time. In addition, the image matching expression server 300 is an architectural drawing image of an individual building, an outdoor or indoor exterior image, a piping image of a pipe endoscopy, a non-destructive inspection image through block chain processing that shares the architectural information distributed ledger 510 It may further include; a block chain matching server unit 360 that processes the image history and mapping history corresponding to the creation and change of one or more of the image matching expression server 300 to share in real time.

또한, 블록체인 거래 데이터의 영상 히스토리는 해당 생성 또는 변경된 영상에 관련된 영상 식별정보, 촬영 메타정보, 영상 무결성 정보 중 하나이상을 포함하여 구성되고, 블록체인 거래 데이터의 매핑 히스토리는 해당 시점에서 마커 및 특징점들의 상호 매핑 상태에 관련된 매핑내역 정보, 매핑 메타정보, 매핑 변경정보 중 하나이상을 포함하여 구성되고, 블록체인 거래 데이터의 타임스탬프는 각각의 블록체인 거래 데이터에 대한 생성 시점 또는 블록체인 삽입 시점을 나타내는 정보를 포함하여 구성될 수 있다.In addition, the image history of the blockchain transaction data includes one or more of image identification information, shooting meta information, and image integrity information related to the generated or changed image, and the mapping history of the blockchain transaction data includes markers and It consists of at least one of mapping history information, mapping meta-information, and mapping change information related to the mutual mapping state of feature points, and the timestamp of the blockchain transaction data is the creation time or block chain insertion time for each blockchain transaction data. It may be configured to include information indicating

한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템을 운용하기 위하여 매체에 저장된 것이다.On the other hand, the computer program according to the present invention is stored in the medium to operate the building digital twin block chain system based on the multi-layer image matching expression for the smart city as described above in combination with hardware.

본 발명에 따르면 건축물에 대해 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상을 멀티레이어로 정합 및 표출하여 사람들이 그 건축물의 품질을 증강현실(AR)이나 가상현실(VR)로 살펴볼 수 있게 제공함으로써 스마트 시티의 건축물 디지털 트윈을 구현할 수 있는 장점이 있다.According to the present invention, by matching and displaying architectural drawing images, exterior images, piping images, and non-destructive inspection images in multi-layers for a building, people can see the quality of the building in augmented reality (AR) or virtual reality (VR). It has the advantage of being able to implement a digital twin of a building in a smart city by providing it.

또한, 본 발명에 따르면 스마트 시티의 건축물 디지털 트윈을 구현하기 위한 각종 데이터를 블록체인의 분산원장으로 관리함으로써 건축물 품질평가 결과에 대한 신뢰를 확보할 수 있는 장점이 있다.In addition, according to the present invention, there is an advantage in that it is possible to secure trust in the building quality evaluation result by managing various data for realizing the building digital twin of the smart city with the distributed ledger of the block chain.

[도 1]은 본 발명에 따른 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템의 전체 구성을 나타내는 도면.
[도 2]는 본 발명에서 건축물 영상검사용 영상 데이터베이스를 개념적으로 나타내는 도면.
[도 3]은 본 발명에서 배관 내시경 검사를 통해 건축물 내부의 배관 영상을 획득하는 개념을 나타내는 도면.
[도 4]는 본 발명에서 배관 내시경 검사를 통해 획득된 건축물 내부의 배관 영상의 일 예를 나타내는 도면.
[도 5]는 본 발명에서 멀티레이어 영상정합 및 표출을 개념적으로 나타내는 도면.
[도 6]은 본 발명에서 멀티레이어 영상정합을 위해 마커와 특징점을 사용하는 개념을 나타내는 도면.
[도 7]은 본 발명에 의한 건축물 디지털 트윈에서 블록체인을 통해 변경기록 관리를 수행하는 일 예를 나타내는 도면.
[도 8]은 본 발명에 의한 건축물 디지털 트윈에서 건축물 품질 영상 검사를 수행한 결과의 일 예를 나타내는 도면.
[FIG. 1] is a diagram showing the overall configuration of a digital twin block chain system for buildings based on multi-layer image matching expression according to the present invention.
2 is a diagram conceptually showing an image database for building image inspection in the present invention.
3 is a view showing the concept of acquiring an image of a pipe inside a building through a pipe endoscopy in the present invention.
[FIG. 4] is a view showing an example of an image of a pipe inside a building obtained through a pipe endoscopy in the present invention.
5 is a diagram conceptually illustrating multi-layer image registration and display in the present invention.
6 is a diagram illustrating the concept of using markers and feature points for multi-layer image registration in the present invention.
[Fig. 7] is a diagram showing an example of performing change record management through a block chain in a building digital twin according to the present invention.
[Fig. 8] is a view showing an example of a result of performing a building quality image inspection in a building digital twin according to the present invention.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

[도 1]은 본 발명에 따른 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템의 전체 구성을 나타내는 도면이다.[Fig. 1] is a diagram showing the overall configuration of a building digital twin block chain system based on multi-layer image matching expression according to the present invention.

본 발명은 건축물에 대한 평가를 디지털 트윈 방식으로 수행할 수 있도록 하는 기술로서 이를 위한 각종 데이터를 블록체인으로 관리하여 건축물 평가의 신뢰성을 보장하는 방법론에 관한 것이다. 일반적으로 디지털 트윈(digital twin)은 가상공간에 실물과 똑같은 물체(쌍둥이)를 만들어 다양한 시뮬레이션을 통해 검증하는 기술을 말한다. 본 발명은 개별 건축물에 대한 평가를 디지털 트윈으로 달성하며 이는 스마트 시티에 적합하다. 즉, 개별 건축물에 대해 건축도면(CAD) 기반으로 외관 영상, 배관 영상, 비파괴검사 영상을 매칭시키고 이들을 멀티레이어로 적층시켜 가상현실(VR) 또는 증강현실(AR)로 표출하며, 이를 통해 사람들은 건축물 실물을 탐사하지 않고 영상으로 평가할 수 있다.The present invention relates to a method for ensuring the reliability of building evaluation by managing various data for this in a block chain as a technology that enables the evaluation of buildings to be performed in a digital twin method. In general, digital twin refers to a technology that creates an object (twin) identical to the real thing in a virtual space and verifies it through various simulations. The present invention achieves the evaluation of individual buildings as a digital twin, which is suitable for smart cities. In other words, for individual buildings, exterior images, piping images, and non-destructive inspection images are matched based on architectural drawings (CAD), and these are laminated in multi-layers to express them in virtual reality (VR) or augmented reality (AR). It is possible to evaluate the building through images without exploring the real thing.

이러한 목적을 달성하기 위한 본 발명에 따른 건축물 디지털 트윈 블록체인 시스템은 영상정보 생성 장치(100), 클라우드 영상 서버(200), 영상 정합표출 서버(300), 입체 표시 장치(400), 영상평가 검증 장치(500)의 협조동작에 의해 동작하게 된다. 이중에서 클라우드 영상 서버(200), 영상 정합표출 서버(300), 영상평가 검증 장치(500)가 블록체인에 참여하며, 다른 장치는 블록체임에 참여하도록 구성할 수도 있고 참여하지 않도록 구성할 수도 있다. 한편, [도 1]에서 둘 이상의 장치를 합쳐서 하나의 장치로 구성할 수도 있고 이들 장치의 기능을 일부 떼어내어 별도의 장치를 구성할 수도 있다.The building digital twin block chain system according to the present invention for achieving this purpose is an image information generating device 100, a cloud image server 200, an image matching expression server 300, a stereoscopic display device 400, and image evaluation verification. It is operated by the cooperative operation of the device 500 . Among them, the cloud image server 200, the image matching expression server 300, and the image evaluation verification device 500 participate in the block chain, and other devices may or may not be configured to participate in the block chain. . Meanwhile, in FIG. 1 , two or more devices may be combined to form one device, or a separate device may be configured by removing some of the functions of these devices.

본 발명에서는 블록체인를 통해 건축물 영상에 대한 생성 및 변경 히스토리 및 그 매핑 히스토리를 관리한다. 이들 영상이 어떻게 생성 또는 변경(업데이트)되었으며 이들 간의 상호 매핑은 어떻게 생성 및 변경되었는지에 대한 정보가 블록체인으로 관리되며, 이는 멀티레이어 영상에 대한 조작 가능성을 제거하여 건축물 평가의 전반적인 신뢰도를 보장하기 위한 것이다. 블록체인 처리의 복잡성을 감안하여 영상 파일 자체는 클라우드 영상 서버(200)에 저장하고 영상 관련 정보를 블록체인으로 관리하는 것이 바람직하다. In the present invention, the history of creation and change of the building image and its mapping history are managed through the block chain. Information on how these images were created or changed (updated) and how the mutual mapping between them was created and changed is managed by a blockchain, which eliminates the possibility of manipulating multi-layer images to ensure the overall reliability of building evaluation. it is for In consideration of the complexity of blockchain processing, it is desirable to store the image file itself in the cloud image server 200 and manage image-related information with a blockchain.

[도 1]을 참조하면, 블록체인 거래정보는 건축물 다중 영상에 관련된 영상 히스토리와 매핑 히스토리를 포함한다. 타임스탬프도 블록체인에 포함되는 것이 바람직한데, 타임스탬프는 각각의 거래 데이터가 생성된 시점을 나타내거나 블록체인에 삽입된 시점을 나타내는 정보이다. Referring to [FIG. 1], the block chain transaction information includes an image history and a mapping history related to multiple images of a building. It is preferable that a timestamp is also included in the blockchain, and the timestamp is information indicating when each transaction data was created or inserted into the blockchain.

블록체인 거래 데이터에서 영상 히스토리는 그 시점에서 생성 혹은 변경된 영상에 관련된 영상 식별정보와 촬영 메타정보(시간, 장소, 촬영업체 등)를 포함하며 영상 무결성 정보를 포함할 수 있다. 영상 식별정보는 클라우드 영상 서버(200)에 저장된 다수의 영상 중에서 어느 영상에 관련된 것인지 식별하는 정보이고, 촬영 메타정보는 영상 그 자체를 설명하기 위한 정보이다. 영상 무결성 정보는 해당 영상이 조작되지 않은 원본 그대로임을 보장하는 정보로서 해시넘버(hash number)나 체크섬(checksum)으로 구현될 수 있다. In the blockchain transaction data, the image history includes image identification information and shooting meta information (time, place, filming company, etc.) related to the image created or changed at that time, and may include image integrity information. The image identification information is information for identifying which image is related to among a plurality of images stored in the cloud image server 200 , and the shooting meta information is information for describing the image itself. The image integrity information is information that guarantees that the corresponding image is original, unmanipulated, and may be implemented as a hash number or checksum.

블록체인 거래 데이터에서 매핑 히스토리는 해당 시점에서 여러 영상들 간에 마커 및 특징점들이 상호 어떻게 매핑되어 있는지에 관련된 정보를 나타낸다. 매핑 히스토리는 매핑내역 정보, 매핑 메타정보(시간, 이벤트 등), 매핑 변경정보(마커, 특징점의 변경정보) 등을 포함할 수 있다. 건축물에 대해 설계를 변경하거나 실외 혹은 실내를 촬영하거나 배관 내시경 검사를 하거나 비파괴 검사를 시행함에 따라 여러 영상 중 어느 하나가 업데이트되면 이들 상호 간에 매핑 관계를 분석하여 그 내용을 매핑 히스토리에 반영한다.In blockchain transaction data, the mapping history represents information related to how markers and feature points are mapped to each other between multiple images at a given point in time. The mapping history may include mapping history information, mapping meta information (time, event, etc.), mapping change information (change information of markers and feature points), and the like. When any one of several images is updated as a design change for a building is changed, outdoor or indoor shooting, pipe endoscopy, or non-destructive inspection is performed, the mapping relationship between them is analyzed and the content is reflected in the mapping history.

일반적으로 블록체인(block chain)은 네트워크 상에서 발생된 거래 정보가 네트워크 참여자들 간에 공유되는 노드 수만큼 복제되어 분산 저장되는 공개 디지털 거래 장부라는 개념을 갖는다. 블록체인 기술은 현재는 암호화폐를 중심으로 활발하게 적용되고 있는데, 본 발명에서는 건축물의 디지털 트윈을 형성하는 각종 데이터를 관리하는 데에 블록체인 기술을 활용하려고 한다.In general, a block chain has the concept of an open digital transaction ledger in which transaction information generated on a network is replicated and distributed as many as the number of nodes shared among network participants. Blockchain technology is currently being actively applied centering on cryptocurrency, but in the present invention, it is intended to utilize blockchain technology to manage various data forming a digital twin of a building.

[도 1]에서 영상정보 생성 장치(100)는 건축물의 디지털 트윈을 구성하기 위한 각종의 영상을 생성하는 장치로서, 예컨대 드론(drone), 360도 카메라, 배관 내시경 검사장치, 건축물 비파괴 검사 장치(예: 열화상 카메라, X-RAY 영상 촬영장치) 등으로 구현될 수 있다. 또한, 그 건축물의 건설 CAD사의 컴퓨터 장치로부터 건축도면(CAD 데이터)를 입수하여 건축도면 영상을 제공하는 장치도 영상정보 생성 장치(100)에 포함될 수 있다.In [Fig. 1], the image information generating device 100 is a device for generating various types of images for constituting a digital twin of a building, for example, a drone, a 360-degree camera, a pipe endoscope inspection device, and a building non-destructive inspection device ( For example: thermal imaging camera, X-RAY imaging device), etc. can be implemented. In addition, an apparatus for providing an architectural drawing image by obtaining an architectural drawing (CAD data) from a computer device of a construction CAD company of the building may also be included in the image information generating apparatus 100 .

클라우드 영상 서버(200)는 건축물 디지털 트윈의 멀티레이어 영상 표시를 위한 데이터(영상)을 영상정보 생성 장치(100)로부터 제공받아 영상 데이터베이스로 저장 관리하는 장치이다.The cloud image server 200 is a device for storing and managing data (images) for displaying multi-layer images of a building digital twin from the image information generating device 100 as an image database.

영상 정합표출 서버(300)는 클라우드 영상 서버(200)로부터 건축물에 대한 건축도면 영상, 외관 영상, 배관 영상(배관 내시경 검사 영상), 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 제공받고 이들 영상을 멀티레이어 정합하는 장치이다. 영상 정합표출 서버(300)가 여러 영상을 멀티레이어 정합하여 생성한 영상을 정합영상(301)이라고 부른다.The image matching expression server 300 is an architectural drawing image, an exterior image, a piping image (piping endoscopy image), a non-destructive inspection image (eg, a thermal image inspection image, an X-RAY inspection image) for a building from the cloud image server 200 ) and multi-layer matching of these images. An image generated by the image registration display server 300 by multi-layer registration of several images is called a registered image 301 .

입체 표시 장치(400)는 영상 정합표출 서버(300)로부터 정합영상(301)을 제공받아 예컨대 가상현실(VR)이나 증강현실(AR) 등의 형태로 사용자에게 입체 디스플레이 표시하는 장치이다.The stereoscopic display device 400 is a device that receives the matched image 301 from the image matching expression server 300 and displays the stereoscopic display to the user in the form of, for example, virtual reality (VR) or augmented reality (AR).

영상평가 검증 장치(500)는 건축물에 대해 영상 평가를 수행하려는 사람이 조작하는 장치이다. 영상평가 검증 장치(500)는 예컨대 영상 정합표출 서버(300)를 액세스하여 특정의 건축물에 대해 영상 평가를 요청하고 그에 따라 해당 건축물에 대한 정합영상(301)을 제공받을 수 있다. 영상평가 검증 장치(500)는 입체 표시 장치(400)와 협조 동작하는데, 동작 효율을 감안하여 하드웨어적으로 입체 표시 장치(400)와 일체로 구현될 수도 있다. 영상평가 검증 장치(500)는 블록체인을 통해 건축정보 분산원장(510)을 액세스하여 정합영상(301)에 대한 신뢰성을 직접 확인할 수 있도록 구성되는 것이 바람직하다.The image evaluation verification apparatus 500 is a device operated by a person who intends to perform image evaluation on a building. The image evaluation verification apparatus 500 may access, for example, the image registration expression server 300 to request image evaluation for a specific building, and may receive a matched image 301 for the corresponding building accordingly. The image evaluation verification apparatus 500 operates cooperatively with the stereoscopic display device 400 , and may be implemented in hardware with the stereoscopic display device 400 in consideration of operational efficiency. It is preferable that the image evaluation verification device 500 is configured to directly check the reliability of the matched image 301 by accessing the distributed ledger 510 of the building information through the block chain.

[도 2]는 본 발명에서 건축물 영상검사용 영상 데이터베이스를 개념적으로 나타내는 도면이다.[Fig. 2] is a diagram conceptually showing an image database for building image inspection in the present invention.

본 발명에서는 개별 건축물에 대하여 외관 영상, 배관 영상, 비파괴검사 영상을 입체 영상으로 멀티레이어 적층하고 건축도면 영상과 매칭시켜 VR 또는 AR 형식으로 렌더링 디스플레이하는데, 클라우드 영상 서버(200)는 건축물 멀티레이어 영상 표시를 위한 데이터를 영상정보 생성 장치(100)로부터 제공받아 영상 데이터베이스로 저장 관리한다. In the present invention, the exterior image, the pipe image, and the non-destructive inspection image are multi-layered as a three-dimensional image for individual buildings and rendered and displayed in VR or AR format by matching the architectural drawing image. Data for display is provided from the image information generating apparatus 100 and stored and managed as an image database.

[도 2]를 참조하면, 클라우드 영상 서버(200)는 건축도면 저장부(210), 외관 영상 저장부(220), 배관 영상 저장부(230), 비파괴검사 영상 저장부(240), 블록체인 영상서버부(250)를 포함하여 구성된다.Referring to FIG. 2 , the cloud image server 200 includes an architectural drawing storage unit 210 , an exterior image storage unit 220 , a piping image storage unit 230 , a non-destructive inspection image storage unit 240 , and a block chain. It is configured to include an image server unit (250).

먼저, 건축도면 저장부(210)는 개별 건축물에 대한 설계도면(CAD 도면)을 저장하는 구성요소이다. 건축도면 저장부(210)가 설계도면을 저장하는 방식은 다양하게 구현될 수 있는데, 예컨대 CAD 파일로 저장할 수도 있고 CAD 도면의 이미지 혹은 PDF 파일로 저장할 수도 있으며, 바람직하게는 렌더링 효율을 위해 건축도면 영상의 형태로 변환 저장할 수도 있다. First, the architectural drawing storage unit 210 is a component for storing design drawings (CAD drawings) for individual buildings. The architecture drawing storage unit 210 may be implemented in various ways to store the design drawings, for example, it may be stored as a CAD file or it may be saved as an image of a CAD drawing or a PDF file, and preferably an architectural drawing for rendering efficiency. It can also be converted and stored in the form of an image.

외관 영상 저장부(220)는 건축물의 외부 모습 혹은 실내 모습에 대한 영상, 즉 외관 영상을 저장하는 구성요소이다. 건축물 외부는 예컨대 드론으로 촬영할 수 있고 실내 모습은 360도 카메라로 촬영할 수 있다. 건축물의 실내외 외관에는 특별한 체크포인트에 [도 6]을 참조하여 설명하는 것과 같은 마커(영상 마커, 무선태그 마커)를 설치할 수 있으며, 이러한 마커 설치 사항은 드론 혹은 360도 카메라로 촬영한 외관 영상에 그대로 반영된다. 따라서, 외관 영상을 분석하거나 드론 혹은 카메라의 판독 기능에 의해 건축물의 체크포인트에 대한 마커 식별정보를 획득하여 후술하는 바와 같이 영상 매칭에 활용할 수 있다.The exterior image storage unit 220 is a component that stores an image of the exterior or interior of a building, that is, an exterior image. The exterior of the building can be photographed with a drone, for example, and the interior can be photographed with a 360-degree camera. Markers (video markers, wireless tag markers) like those described with reference to [Fig. 6] can be installed at special checkpoints on the indoor and outdoor exteriors of buildings, and these markers are installed on the exterior image taken with a drone or 360-degree camera. reflected as it is. Therefore, it is possible to analyze the exterior image or obtain the marker identification information for the checkpoint of the building by the reading function of a drone or a camera, and use it for image matching, as will be described later.

배관 영상 저장부(230)는 건축물에 설치된 배관에 대한 내시경 검사에서 카메라로 촬영하는 영상, 즉 배관 영상을 저장하는 구성요소이다. 건축물에 대해 배관 시공이 제대로 되었는지 그리고 배관에 이상이 발생한 것은 아닌지 알아보기 위해 [도 3]에서와 같은 배관 내시경 장치를 이용하여 배관 내부를 검사할 수 있는데, 배관 영상은 이 과정에 대한 촬영 영상이다. The pipe image storage unit 230 is a component for storing an image captured by a camera in an endoscopy of a pipe installed in a building, that is, a pipe image. The inside of the pipe can be inspected using the pipe endoscope device as in [FIG. 3] to check whether the pipe construction is done properly for the building and whether an abnormality has occurred in the pipe, and the pipe image is a shot image of this process .

이때, 배관 영상 저장부(230)는 영상 뿐만 아니라 그에 관련된 각종 데이터를 함께 저장하는 것이 바람직하다. 예를 들어, [도 6]을 참조하여 후술하는 바와 같이, 배관 파이프(10)에 설치된 영상 마커(M1, M2)와 무선태그 마커(A)의 식별코드 값의 전부 혹은 일부가 배관 영상 저장부(230)에 저장될 수 있다. 배관 내시경 장치가 배관 내부를 촬영하면서 영상 마커(M1, M2)를 실시간으로 분석하여 배관 영상 내에 메타데이터로 삽입하는 구성도 가능하다. At this time, it is preferable that the pipe image storage unit 230 stores not only the image but also various data related thereto. For example, as will be described later with reference to [Fig. 6], all or part of the identification code values of the image markers M1 and M2 and the radio tag marker A installed in the piping pipe 10 are stored in the piping image storage unit. 230 may be stored. It is also possible to configure the pipe endoscope device to analyze the image markers M1 and M2 in real time while photographing the inside of the pipe and insert it as metadata in the pipe image.

또한, 배관 내시경 검사 중에 작업자가 태그 리더기(미도시)를 이용하여 무선태그 마커(A)를 식별코드 값을 판독할 수 있는데, 이들 판독값이 배관 영상 내에 메타데이터로 삽입하는 구성도 가능하다. 건축물의 배관 시공 과정에서 배관 시공자가 배관 여러 지점, 예컨대 배관 연결 지점에 무선태그 마커(A)를 부착하고 그 정보를 건축물 완공 데이터파일에 포함시키는데, 배관 내시경 검사를 수행하면서 배관 영상에 태그 리더기로 판독한 무선태그 마커(A)의 식별코드 값을 삽입하면 그 촬영지점을 판단하는 데에 도움이 될 수 있다.In addition, the operator can read the identification code value of the radio tag marker A using a tag reader (not shown) during the pipe endoscopy, and it is also possible to insert these read values as metadata in the pipe image. During the plumbing construction process of a building, a plumber attaches a wireless tag marker (A) to multiple points of the pipe, for example, at a pipe connection point, and includes the information in the building completion data file. Inserting the read identification code value of the radio tag marker (A) may help to determine the shooting point.

또한, 배관 내시경 장치의 카메라 유닛(C)에는 가속도 센서(예: 자이로센서)가 구비될 수 있는데, 배관 내시경 검사를 수행하는 중에 카메라 유닛(C)이 생성하는 가속도 데이터를 배관 영상 내에 메타데이터로 삽입하는 구성도 가능하다. 가속도 데이터는 배관 영상을 재생 및 분석할 때에 카메라 유닛(C)의 위치 및 동작(예: 굴절)을 판단하는 데에 도움이 된다.In addition, the camera unit (C) of the pipe endoscope device may be provided with an acceleration sensor (eg, a gyro sensor), the acceleration data generated by the camera unit (C) during pipe endoscopy is performed as metadata in the pipe image. Insertion is also possible. The acceleration data is helpful in determining the position and operation (eg, refraction) of the camera unit C when reproducing and analyzing the pipe image.

비파괴검사 영상 저장부(240)는 건축물에 대한 각종 비파괴 검사를 수행하면서 촬영한 영상을 저장하는 구성요소이다. 예를 들어, 비파괴검사 영상 저장부(240)는 해당 건축물에 대해 수행된 열화상 검사 영상이나 X-RAY 검사 영상을 저장할 수 있다.The non-destructive inspection image storage unit 240 is a component for storing images taken while performing various non-destructive inspections on a building. For example, the non-destructive inspection image storage unit 240 may store a thermal image inspection image or an X-RAY inspection image performed on the corresponding building.

블록체인 영상서버부(250)는 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 건축물의 영상 히스토리와 매핑 히스토리를 클라우드 영상 서버(200)와 실시간 공유하는 구성요소이다.The block chain image server unit 250 is a component that shares the image history and mapping history of the building with the cloud image server 200 in real time through block chain processing that shares the building information distributed ledger 510 .

[도 3]은 본 발명에서 배관 내시경 검사를 통해 건축물 내부의 배관 영상을 획득하는 개념을 나타내는 도면이고, [도 4]는 본 발명에서 배관 내시경 검사를 통해 획득된 건축물 내부의 배관 영상의 일 예를 나타내는 도면이다.[Fig. 3] is a view showing the concept of acquiring an image of a pipe inside a building through a pipe endoscopy in the present invention, and [Fig. 4] is an example of an image of a pipe inside a building obtained through a pipe endoscopy in the present invention It is a drawing showing

건축물 내부에는 일반적으로 다굴절 파이프 라인으로 배관이 이루어져 있는데, [도 3]에 도시된 바와 같은 내시경 장치를 이용하여 배관 내시경 검사를 수행하고 이를 통해 배관 영상을 얻는다. 카메라 유닛(C)은 배관 파이프(10)의 내부에 투입되어 배관 내부 영상을 촬영하고 영상신호 케이블을 통해 배관 외부의 DVR 장비로 촬영 영상을 제공한다. 여기서, 내시경 장치가 동작하는 환경은 다굴절 파이프 라인의 내측으로 어둡기 때문에 카메라 유닛(C)의 주변에 별도의 LED 조명 유닛(미도시)을 구비함이 바람직하다.In general, a pipe is composed of a multi-refraction pipeline inside a building, and the pipe endoscopy is performed using an endoscope device as shown in [FIG. 3], and a pipe image is obtained through this. The camera unit (C) is put into the inside of the piping pipe (10) to take an image inside the pipe, and provides the captured image to the DVR equipment outside the pipe through an image signal cable. Here, it is preferable to provide a separate LED lighting unit (not shown) around the camera unit (C) because the environment in which the endoscope device operates is dark inside the multi-refractive pipeline.

영상신호 케이블은 카메라 유닛(C)의 후단부에 연결되어 카메라 유닛(C)과 LED 조명 유닛에 동작 전원을 공급하는 한편, 카메라 유닛(C)과 DVR 장비를 상호 연결하여 카메라 유닛(C)이 촬영한 배관 내부 영상을 DVR 장비로 전달하고 외부로부터 배관 내부에서 전진, 후퇴, 회전 제어신호를 카메라 유닛(C)으로 전달한다. 스테인레스 스프링은 일종의 푸시로드(push-rod)를 구성하는데, 카메라 유닛(C)이 전방으로 전진할 때에는 스테인레스 스프링이 길이 방향으로 밀어주는 기능을 수행하고, 후방으로 당겨질 때에는 다굴절 파이프 라인의 내측 굴절된 부분과 맞닿는 부분의 마찰력을 낮추어 파손을 방지한다.The video signal cable is connected to the rear end of the camera unit (C) to supply operating power to the camera unit (C) and the LED lighting unit, while the camera unit (C) is connected to the camera unit (C) and the DVR equipment to each other. The captured video inside the pipe is transmitted to the DVR equipment, and forward, backward, and rotation control signals are transmitted from the outside to the camera unit (C) from the inside of the pipe. The stainless spring constitutes a kind of push-rod, and when the camera unit (C) advances forward, the stainless spring performs a function of pushing it in the longitudinal direction, and when it is pulled back, the inner deflection of the multi-refractive pipeline It prevents damage by lowering the frictional force of the part that is in contact with the part that has been made.

이처럼 내시경 장치는 스테인레스 스프링의 가이드 작용에 의해 다굴절 파이프 라인을 부드럽게 이동하게 되고 그 과정에서 카메라 유닛(C)이 배관 내부를 촬영하여 DVR 장비로 배관 영상을 전달한다. [도 3]의 하단에는 이러한 배관 영상의 몇가지 예가 제시되어 있다. DVR 장비는 이 배관 영상을 네트워크를 통해 클라우드 영상 서버(200)로 업로드하며, 이러한 배관 영상은 스마트폰이나 컴퓨터를 통한 조회 및 분석에 제공된다.As such, the endoscope device smoothly moves the multi-refractive pipeline by the guide action of the stainless spring, and in the process, the camera unit (C) captures the inside of the pipe and transmits the pipe image to the DVR device. At the bottom of [Fig. 3], several examples of such a piping image are presented. The DVR device uploads the piping image to the cloud image server 200 through the network, and the piping image is provided for inquiry and analysis through a smartphone or computer.

[도 4]는 본 발명에서 이와 같은 배관 내시경 검사를 통해 획득된 건축물 내부의 배관 영상의 일 예를 나타낸다. [도 4]를 참조하면, 배관 영상은 특정 건축물(예: 경기도 용인시 소재의 특정 아파트)에 대해 건축물 전체에 연관된 사항 뿐만 아니라 특정 호수(예: 2001호)에 연관된 사항이 정리되어 있다. 또한, 각종의 배관 관련 사항(예: 입상관, 오배수관, 비트내부, 수평횡관)에 대한 배관 영상이 사항별로 정리되어 있다. 또한, 배관 영상은 전체 영상 뿐만 아니라 특이사항(예: 옥외 인출관 파손, 지하층 배관 막힘, 협상관내 이물질, 세대 역류)이 발생한 부분에 대한 영상이 특정되어 있다. 또한, 특이사항 발생 지점에 대한 마커 번호와 CAD 매핑번호가 식별되어 있는데, 마커 번호와 CAD 매핑번호에 대해서는 [도 5]와 [도 6]을 참조하여 후술한다. [Fig. 4] shows an example of an image of a pipe inside a building obtained through such a pipe endoscopy in the present invention. Referring to [FIG. 4], for the piping image, for a specific building (eg, a specific apartment located in Yongin-si, Gyeonggi-do), not only matters related to the entire building but also related to a specific lake (eg, No. 2001) are arranged. In addition, the piping images for various piping related matters (eg, upright pipe, sewage pipe, bit inside, horizontal transverse pipe) are organized by item. In addition, in the piping image, not only the overall image but also the image of the part where unusual matters (eg, breakage of outdoor outlet pipe, blockage of underground pipe, foreign matter in the negotiating pipe, backflow of household) occurs are specified. In addition, the marker number and the CAD mapping number for the point of occurrence of the singularity are identified. The marker number and the CAD mapping number will be described later with reference to [Fig. 5] and [Fig. 6].

[도 5]는 본 발명에서 멀티레이어 영상정합 및 표출을 개념적으로 나타내는 도면이고, [도 6]은 본 발명에서 멀티레이어 영상정합을 위해 마커와 특징점을 사용하는 개념을 나타내는 도면이다.[Fig. 5] is a diagram conceptually illustrating multi-layer image registration and display in the present invention, and [Fig. 6] is a diagram illustrating the concept of using markers and feature points for multi-layer image registration in the present invention.

[도 5]를 참조하면, 영상 정합표출 서버(300)는 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상(배관 내시경 검사 영상), 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 제공받고 이들 영상을 멀티레이어 정합하여 정합영상(301)을 생성한다. 이를 통해, 여러 영상에서 건축물의 물리적으로 동일 지점에 해당하는 이미지들이 서로 매칭되어 중첩되어 합성되는 것이다. 이 정합영상(301)은 건축물의 물리적 공간에 대응하여 예컨대 네비게이션하듯이 입체적으로 렌더링 표시되는데, 이를 위해서는 가상현실(VR)이나 증강현실(AR)이 바람직하다.5, the image matching expression server 300 is an architectural drawing image, indoor/outdoor exterior image, piping image (pipe endoscopy image), non-destructive inspection image (eg: A thermal image inspection image, an X-RAY inspection image) are provided, and the images are multi-layered to generate a registered image 301 . Through this, images corresponding to the physically same point of the building in multiple images are matched and overlapped and synthesized. The matched image 301 is rendered and displayed in three dimensions in response to the physical space of the building, for example, navigation. For this, virtual reality (VR) or augmented reality (AR) is preferable.

본 발명에서 여러 개의 영상들을 정합시키기 위한 기준점(매칭 포인트)으로는 마커(markers)와 특징점(feature points)이 채택될 수 있다. 마커와 특징점은 다양하게 채택될 수 있는데, 마커로는 영상 마커(image markers)(예: 바코드, QR 코드)와 무선태그 마커(wireless tag markers)(예: NFC 태그, RFID 태그)가 가능하고, 특징점으로는 아파트의 정형화된 기둥이나 모서리 등이 사용 가능하다. 마커와 특징점에 대해서는 [도 6]을 참조하여 기술한다.In the present invention, markers and feature points may be adopted as reference points (matching points) for matching multiple images. Markers and feature points can be adopted in various ways, and as the markers, image markers (eg barcodes, QR codes) and wireless tag markers (eg NFC tags, RFID tags) are possible, A standardized pillar or corner of an apartment can be used as a characteristic point. Markers and feature points will be described with reference to FIG. 6 .

[도 6]을 참조하여 본 발명에서 멀티레이어 영상정합을 위해 사용하는 마커와 특징점에 대해 살펴본다. [도 6]의 (a)는 배관 파이프에 영상 마커와 NFC 태그가 설치된 모습을 나타내고, [도 6]의 (b)는 배관 파이프 설계도면에 CAD 매핑번호를 설정한 예시도이고, [도 6]의 (c)는 영상 분석을 통해 영상 특징점을 도출할 수 있음을 개념적으로 나타내는 도면이다.With reference to [Fig. 6], the markers and feature points used for multi-layer image registration in the present invention will be described. (a) of [Fig. 6] shows the image marker and NFC tag installed on the piping pipe, (b) of [Fig. 6] is an example of setting the CAD mapping number on the piping pipe design drawing, [Fig. ] (c) is a diagram conceptually showing that image feature points can be derived through image analysis.

건축물에는 다수의 배관 파이프(10)가 상호 연결되어 배관 시공을 담당하게 되는데, [도 6]의 (a)를 참조하면 본 발명에서는 배관 파이프(10)의 각 포인트를 구분 식별하기 위해 마커가 설치된다. 마커는 영상 마커(M1, M2)와 무선태그 마커(A)로 구성될 수 있다. 영상 마커(M1, M2)는 이미지 처리를 통해 식별하는 마커로서 예컨대 바코드나 QR 코드를 들 수 있다. 이들 영상 마커(M1, M2)는 배관 파이프(10)의 제조 과정에서 인쇄될 수도 있고, 배관 시공 과정에서 스티커로 부착될 수도 있다. 무선태그 마커(A)는 근거리 무선통신 기술에 의해 식별하는 마커로서 예컨대 NFC 태그나 RFID 태그를 들 수 있다. A plurality of piping pipes 10 are interconnected in a building to be in charge of piping construction. Referring to (a) of [Fig. 6], in the present invention, a marker is installed to distinguish and identify each point of the piping pipe 10. do. The marker may be composed of an image marker (M1, M2) and a radio tag marker (A). The image markers M1 and M2 are markers for identification through image processing, for example, barcodes or QR codes. These image markers M1 and M2 may be printed during the manufacturing process of the piping pipe 10 or may be attached as stickers during the piping construction process. The radio tag marker (A) is a marker for identification by short-range wireless communication technology, and may include, for example, an NFC tag or an RFID tag.

[도 6]의 (b)를 참조하면, 건축물의 설계도면 데이터(CAD 데이터)에는 CAD 매핑번호(예: B11-1 ~ E11-2)가 할당되어 있다. 이들 CAD 매핑번호는 해당 건축물을 설계할 당시에 설계도면의 각 지점을 구분 식별하기 위해 할당된 것이다. 배관 시공을 하는 과정에서 배관 파이프(10)의 각 내측 또는 연결 지점에 탑재되는 마커(M1, M2, A)는 시공자에 의해 CAD 매핑번호에 매칭 저장된다. 마커(M1, M2, A)에는 고유의 식별코드가 할당되어 있으므로 그 식별코드를 설계도면에 매핑하면 각 영상에서 각 지점이 설계도면 상의 어디에 위치하는지 식별할 수 있다. 배관 내시경 검사에서 카메라 유닛(C)을 통해 촬영된 배관 영상을 이미지 처리하여 영상 마커(M1, M2)를 식별함으로써 배관 영상의 현재 재생 지점이 설계도면 상의 어느 부분에 해당하는지도 식별할 수 있다.Referring to (b) of [Fig. 6], CAD mapping numbers (eg, B11-1 to E11-2) are assigned to design drawing data (CAD data) of a building. These CAD mapping numbers are assigned to distinguish and identify each point on the design drawing at the time of designing the building. The markers M1, M2, and A mounted on each inner side or connection point of the piping pipe 10 in the process of piping construction are matched and stored in the CAD mapping number by the constructor. Since unique identification codes are assigned to the markers M1, M2, and A, it is possible to identify where each point in each image is located on the design drawing by mapping the identification code to the design drawing. In the pipe endoscopy, by image processing the pipe image taken through the camera unit (C) to identify the image markers (M1, M2), it is also possible to identify which part on the design drawing the current playback point of the pipe image corresponds to.

[도 6]의 (c)에는 배관 부분과 관련하여 외관 영상과 비파괴검사 영상(열화상 영상, X-RAY 검사 영상)이 도시되어 있다. 이들 외관 영상과 비파괴 검사 영상의 촬영자가 그 촬영 지점이 건축물에서 어디인지 저장해두고 이 정보가 설계도면의 CAD 매핑번호와 매칭 저장될 수 있다. 또한, 외관 영상과 비파괴 검사 영상을 분석하여 특징 부분, 예컨대 아파트의 정형화된 기둥이나 모서리 부분을 인식하고 이를 설계도면과 대비하여 CAD 매핑번호와 매칭 저장할 수도 있다. 아파트의 각 영역은 고유의 기능을 담당하고 있으며 그러한 특징이 설계와 시공에 반영되어 있으므로 특징 부분을 인식하여 설계도면과 매칭시킬 수 있다. 본 명세서에서 이러한 특징 부분을 영상 특징점이라 부른다.In (c) of FIG. 6, an external image and a non-destructive inspection image (thermal image, X-RAY inspection image) are shown in relation to the pipe part. The photographer of these exterior images and non-destructive inspection images stores where the shooting point is in the building, and this information can be stored matching the CAD mapping number of the design drawing. In addition, by analyzing the exterior image and the non-destructive inspection image, it is possible to recognize a feature part, for example, a standardized column or corner part of an apartment, compare it with a design drawing, and match it with a CAD mapping number and store it. Each area of the apartment is in charge of its own function, and since those characteristics are reflected in the design and construction, the characteristic parts can be recognized and matched with the design drawings. In this specification, such a feature part is called an image feature point.

[도 5]를 참조하면, 영상 정합표출 서버(300)는 다중영상 수신부(310), 특징점 매핑부(320), 코드 매핑부(330), 멀티레이어 정합부(340), 정합영상 표출부(350), 블록체인 정합서버부(360)를 포함하여 구성된다.5, the image registration display server 300 includes a multi-image receiving unit 310, a feature point mapping unit 320, a code mapping unit 330, a multi-layer matching unit 340, a registered image display unit ( 350), and a block chain matching server unit 360 is configured.

다중영상 수신부(310)는 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 제공받는 구성요소이다.The multi-image receiver 310 is configured to receive an architectural drawing image, an indoor/outdoor exterior image, a piping image, and a non-destructive inspection image (eg, thermal image inspection image, X-RAY inspection image) for a specific building from the cloud image server 200 . is an element

특징점 매핑부(320)는 건축도면 영상의 CAD 매핑번호와 외관 영상 및 비파괴검사 영상의 영상 특징점(예: 아파트의 정형화된 기둥, 모서리 인식 등)을 상호 매핑하는 구성요소이다. 특징점 매핑부(320)는 외관 영상과 비파괴 검사 영상을 분석하여 특징 부분, 예컨대 아파트의 정형화된 기둥이나 모서리 부분을 인식하고 이를 설계도면과 대비하여 CAD 매핑번호와 매칭시킨다. 건축물의 각 영역은 고유의 기능을 담당하고 그 특징이 설계와 시공에 반영되어 있으므로 특징 부분을 인식하여 설계도면과 매칭시킬 수 있는 지점이 존재한다.The feature point mapping unit 320 is a component that maps CAD mapping numbers of architectural drawing images and image feature points of exterior images and non-destructive inspection images (eg, standardized pillars of an apartment, corner recognition, etc.). The feature point mapping unit 320 analyzes the exterior image and the non-destructive inspection image to recognize a feature part, for example, a standardized column or corner part of an apartment, and match it with a CAD mapping number in comparison with the design drawing. Since each area of the building is responsible for its own function and its characteristics are reflected in the design and construction, there is a point where the characteristic parts can be recognized and matched with the design drawings.

그 결과, 외관 영상 및 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)의 각 재생 지점에 대하여 건축 설계도면(건축도면 영상)에서 어느 지점에 관한 것인지를 매핑할 수 있게 된다.As a result, with respect to each reproduction point of the exterior image and non-destructive inspection image (eg, thermal image inspection image, X-RAY inspection image), it is possible to map which point in the architectural drawing (architecture image) it relates to.

코드 매핑부(330)는 건축도면 영상의 CAD 매핑번호와 배관 영상의 마커 식별코드를 상호 매핑하는 구성요소이다. 배관 시공 과정에서 어떠한 배관 파이프(10)가 건축물의 어느 지점에 설치되었는지에 관한 정보가 시공자에 의해 입력되어 건축물 완공 데이터파일에 포함되어 있는데, 코드 매핑부(330)는 배관 영상에서 얻어지는 영상 마커(M1, M2)의 식별코드에 기초하여 배관 영상의 현재 재생 위치가 건축물의 건축도면 영상에서 어디에 대응되는지 매핑한다. 마찬가지로, 코드 매핑부(330)는 배관 영상에 삽입되어 있는 무선태그 마커(A)의 식별코드를 건축물 완공 데이터파일과 대조함으로써 배관 영상의 현재 재생 위치가 건축물의 건축도면 영상에서 어디에 대응되는지 매핑한다.The code mapping unit 330 is a component that maps the CAD mapping number of the architectural drawing image and the marker identification code of the piping image to each other. In the piping construction process, information about which piping pipe 10 is installed at which point of the building is input by the constructor and included in the building completion data file, and the code mapping unit 330 is an image marker ( Based on the identification codes of M1 and M2), the current playback position of the piping image is mapped where it corresponds in the architectural drawing image of the building. Similarly, the code mapping unit 330 matches the identification code of the radio tag marker (A) inserted in the piping image with the building completion data file to map where the current playback position of the piping image corresponds to the architectural drawing image of the building. .

이때, 코드 매핑부(330)는 건축도면 저장부(210)에 저장된 배관 파이프(10)의 사양(예: 길이, 절곡위치)과 마커(M1, M2, A)의 위치, 그리고 이들 마커 사이를 이동하는 데에 걸린 시간으로부터 카메라 유닛(C)의 마커 간의 이동속도를 연산해낼 수 있다. 그리고, 그 이동속도에 기초하여 현재 재생 지점에 대한 배관 파이프(10)의 위치를 판단하도록 구성될 수 있다. 이때, 마커와 마커 사이에서는 카메라 유닛(C)이 등속 운동한다고 가정할 수 있다.At this time, the code mapping unit 330 is the specification (eg, length, bending position) of the piping pipe 10 stored in the architectural drawing storage unit 210 and the positions of the markers M1, M2, A, and between these markers. From the time taken to move, the moving speed between the markers of the camera unit C can be calculated. And, it may be configured to determine the position of the piping pipe 10 with respect to the current regeneration point based on the moving speed. In this case, it may be assumed that the camera unit C moves at a constant velocity between the marker and the marker.

한편, 코드 매핑부(330)는 카메라 유닛(C)의 가속도 센서가 생성하여 배관 영상에 삽입되어 있는 가속도 데이터에 기초하여 배관 영상의 재생 지점에 대응하는 배관 파이프(10)의 위치를 판단할 수도 있다. 마커와 마커 사이에서 이동할 때에 가속도 데이터를 시간축으로 적분하면 속도가 산출되고, 다시 시간축으로 적분하면 마커 간에 이동한 거리를 알 수 있기 때문이다.On the other hand, the code mapping unit 330 may determine the position of the piping pipe 10 corresponding to the reproduction point of the piping image based on the acceleration data generated by the acceleration sensor of the camera unit (C) and inserted into the piping image. have. This is because, when moving between markers, if acceleration data is integrated on the time axis, the velocity is calculated, and if integrated again on the time axis, the distance moved between the markers can be known.

그 결과, 배관 영상의 각 재생 지점에 대하여 배관 내시경 장치의 카메라 유닛(C)이 건축 설계도면(건축도면 영상)에서 어느 지점을 촬영한 것인지를 비교적 정확하게 매핑할 수 있게 된다.As a result, with respect to each reproduction point of the pipe image, it is possible to relatively accurately map which point the camera unit C of the pipe endoscope device captures in the architectural design drawing (architecture drawing image).

한편, 코드 매핑부(330)는 외관 영상에서 획득한 마커 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑할 수도 있다. 앞서 건축물의 실내외 외관에 체크포인트마다 마커를 설치하는 구성에 대해 기술하였는데, 이 경우에 코드 매핑부(330)는 외관 영상으로부터 획득되는 마커 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑한 결과를 사용할 수 있다.Meanwhile, the code mapping unit 330 may map the marker identification information obtained from the exterior image to the CAD mapping number of the architectural drawing image. The configuration of installing markers at checkpoints for each checkpoint on the indoor and outdoor exterior of a building was previously described. In this case, the code mapping unit 330 maps the marker identification information obtained from the exterior image to the CAD mapping number of the architectural drawing image. Can be used.

또한, 코드 매핑부(330)는 비파괴검사 영상의 검사지점 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑할 수도 있다. 앞서 특징점 매핑부(320)가 비파괴검사 영상의 영상 특징점을 건축도면 영상의 CAD 매핑번호에 매핑하는 구성에 대해 기술하였는데, 코드 매핑부(330)가 검사지점 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑한 결과도 보완적으로 함께 사용될 수 있다.In addition, the code mapping unit 330 may map the inspection point identification information of the non-destructive inspection image to the CAD mapping number of the architectural drawing image. Previously, the feature point mapping unit 320 described a configuration in which the image feature point of the non-destructive inspection image is mapped to the CAD mapping number of the architectural drawing image, and the code mapping unit 330 converts the inspection point identification information into the CAD mapping number of the architectural drawing image. The result of mapping to can also be used as a complement.

멀티레이어 정합부(340)는 마커(영상 마커, 무선태그 마커)와 특징점을 기준으로 개별 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 정합 정렬하고 멀티레이어 영상으로 합성하는 구성요소이다.The multi-layer matching unit 340 includes an architectural drawing image, an indoor/outdoor exterior image, a piping image, and a non-destructive inspection image (eg, thermal image inspection image, X- It is a component that registers and aligns RAY inspection images) and synthesizes them into a multi-layer image.

건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)은 모두 동일한 건축물(예: 경기도 용인시 소재의 한마음 아파트 2001호)을 대상으로 생성된 영상이다. 따라서, 해당 건축물에 대해 무리적으로 하나의 지점을 설정하면 그에 대응하는 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상의 부분이 존재한다. 본 명세서에서 매칭 또는 정합시킨다는 것은 물리적인 공간을 기준으로 이들 영상을 맞춘다는 것을 의미하는데, 이를 마커와 특징점을 통해 달성한다.Architectural drawing images, indoor/outdoor exterior images, piping images, and non-destructive inspection images (eg thermal imaging inspection images, X-RAY inspection images) are all images created for the same building (eg, Hanmaeum Apartment No. 2001 in Yongin-si, Gyeonggi-do). to be. Accordingly, if one point is unreasonably set for the building, there are parts of the architectural drawing image, the indoor/outdoor exterior image, the piping image, and the non-destructive inspection image corresponding thereto. In the present specification, matching or matching means matching these images based on a physical space, which is achieved through markers and feature points.

또한, 본 발명에서 정합영상(301)을 멀티레이어로 구성한다는 것은 이들 복수의 영상들이 각각의 아이덴티티를 유지하면서 합쳐진다는 것을 의미한다. 본 발명에서는 가상현실(VR)이나 증강현실(AR) 등과 같은 입체 표시 장치(400)를 통해 정합영상(301)이 표시되는데, 이는 각각의 영상들이 독자성을 유지하면서 함께 보여지는 것을 의미한다.In addition, in the present invention, configuring the registered image 301 as a multi-layer means that these plurality of images are combined while maintaining their respective identities. In the present invention, the matched image 301 is displayed through a stereoscopic display device 400 such as virtual reality (VR) or augmented reality (AR), which means that the images are displayed together while maintaining their originality.

이를 위해, 멀티미디어 정합부(340)는 마커와 특징점을 기준으로 외관 영상, 배관 영상, 비파괴검사 영상을 건축도면 영상(즉, CAD 영상)에 매핑시켜서 멀티레이어 렌더링하는 것이 바람직하다. 이러한 매핑 정보는 특징점 매핑부(320)와 코드 매핑부(330)가 생성하며, 멀티미디어 정합부(340)는 이러한 매핑 정보를 활용하여 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상를 정합 정렬하고 멀티레이어 영상으로 합성한다.To this end, it is preferable that the multimedia matching unit 340 maps the exterior image, the piping image, and the non-destructive inspection image to the architectural drawing image (ie, the CAD image) based on the markers and the feature points to perform multi-layer rendering. This mapping information is generated by the feature point mapping unit 320 and the code mapping unit 330, and the multimedia matching unit 340 uses this mapping information to align and align an architectural drawing image, an indoor/outdoor exterior image, a piping image, and a non-destructive inspection image. and synthesized into a multi-layer image.

정합영상 표출부(350)는 멀티레이어 정합부(340)가 생성한 정합영상(301)을 외부의 입체 표시 장치(400)를 통해 디스플레이 제공한다. 이때, 정합영상 표출부(350)는 설계도면, 외관 영상, 배관 영상, 열화상 검사 영상, X-RAY 검사 영상을정확하게 매핑시킨 상태에서 증강현실(AR) 또는 가상현실(VR)의 방식으로 사용자에게 제공하도록 구성되는 것이 바람직하다.The registered image display unit 350 displays the registered image 301 generated by the multi-layer matching unit 340 through the external stereoscopic display device 400 . At this time, the matched image display unit 350 is an augmented reality (AR) or virtual reality (VR) method in a state in which the design drawing, the exterior image, the pipe image, the thermal image inspection image, and the X-RAY inspection image are accurately mapped. It is preferably configured to provide

블록체인 정합서버부(360)는 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 건축물의 영상 히스토리와 매핑 히스토리를 영상 정합표출 서버(300)와 실시간 공유하는 구성요소이다.The block chain matching server unit 360 is a component that shares the image history and mapping history of the building with the image matching expression server 300 in real time through block chain processing that shares the building information distributed ledger 510 .

[도 7]은 본 발명에 의한 건축물 디지털 트윈에서 블록체인을 통해 변경기록 관리를 수행하는 일 예를 나타내는 도면이다.[Fig. 7] is a diagram showing an example of performing change record management through a block chain in a building digital twin according to the present invention.

[도 7]을 참조하면 신규 주택(예: 아파트 101동 102호)에 대해 디지털 트윈을 구축하고 이들 정보의 신뢰성을 보장하기 위해 블록체인에 관리하는 개념을 나타내고 있다. 이때, 블록체인에 의해 영상 매핑의 멀티레이어 적측기록 내용과 정합영상의 표출 내용이 관리될 수 있다.Referring to [Fig. 7], the concept of building a digital twin for a new house (eg, apartment 101, No. 102) and managing it in a block chain to ensure the reliability of these information is shown. In this case, the content of multi-layer stacked records of image mapping and the display of matched images can be managed by the block chain.

본 발명에서는 건축물 멀티레이어 영상(예: 외관 영상, 배관 영상, 비파괴검사 영상)을 촬영할 ‹š에 마커와 특징점 기반으로 해당 촬영 지점의 위치와 배관, 철골, 에너지 상태를 매칭하여 저장한다. 바람직하게는 각각의 건축물 영상이 생성될 때마다 영상 히스토리 정보와 매핑 히스토리 정보와 타임스탬프를 블록체인에 투입하여 건축정보 분산원장(510)에 반영되도록 처리한다. In the present invention, the location of the corresponding shooting point, the pipe, the steel frame, and the energy state are matched and stored based on the marker and the feature point at the time of shooting the building multi-layer image (eg, exterior image, pipe image, non-destructive inspection image). Preferably, whenever each building image is generated, image history information, mapping history information, and timestamps are put into the block chain to be reflected in the building information distributed ledger 510 .

각각의 건축물에 대하여 각 시공 단계마다 시공업체 혹은 감리업체에 의해 촬영된 영상 및 각종 검사 과정에서 촬영된 영상은 그 건축물에 대해 디지털 트윈을 구성하며 이에 기반하여 해당 건축물에 대한 영상 평가를 수행할 수 있다. 본 발명에서는 이들 영상에 대한 히스토리와 상호 매핑 정보를 블록체인에 투입하여 관리함으로써 개별 영상을 제거하거나 대체하는 것이 불가능하도록 하며, 이를 통해 디지털 트윈에 대한 신뢰도를 보장할 수 있다. For each building, the images taken by the construction company or supervisory company at each construction stage and the images taken during various inspection processes constitute a digital twin for the building, and based on this, image evaluation of the building can be performed. have. In the present invention, it is impossible to remove or replace individual images by inputting and managing the history and mutual mapping information for these images in the block chain, thereby ensuring the reliability of the digital twin.

[도 8]은 본 발명에 의한 건축물 디지털 트윈에서 건축물 품질 영상 검사를 수행한 결과의 일 예를 나타내는 도면이다.[Fig. 8] is a diagram showing an example of a result of a building quality image inspection in a building digital twin according to the present invention.

[도 8]을 참조하면, 특정 아파트의 101동 2001호와 2002호에 대한 건축물 품질 검사를 영상 기반으로 수행한 결과를 나타낸다. 먼저, 2001호에 대한 검사 결과를 살펴보면 외관 영상, 배관 영상, 열화상 카메라 영상, X-RAY 영상이 검사 결과로 저장되어 있다. 매핑 데이터를 기반으로 이들 영상에 대한 멀티레이어 적층 영상을 생성하여 분석하면 2001호에 대한 시공 및 관리 품질을 구체적으로 판단할 수 있으며, 관리자 혹은 2001호 거주자는 입체 표시 장치(400)를 통해 그 멀티레이어 정합영상을 직접 확인할 수 있다. 이러한 품질 검사 결과가 신뢰할만한 것이라는 점은 블록체인에 의해 보장된다.Referring to [Fig. 8], the image-based results of the building quality inspection for 101-dong 2001 and 2002 of a specific apartment are shown. First, looking at the inspection results for No. 2001, exterior images, piping images, thermal imaging camera images, and X-ray images are stored as inspection results. By creating and analyzing the multi-layer stacked images for these images based on the mapping data, the construction and management quality for the 2001 can be specifically determined, and the manager or the 2001 resident can use the three-dimensional display device 400 to You can check the layer matching image directly. It is guaranteed by the blockchain that these quality inspection results are reliable.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.Meanwhile, the present invention can be implemented in the form of computer-readable codes on a computer-readable non-volatile recording medium. Various types of storage devices exist as such non-volatile recording media. For example, hard disks, SSDs, CD-ROMs, NAS, magnetic tapes, web disks, cloud disks, etc. A form in which it can be implemented and executed can also be implemented. In addition, the present invention may be implemented in the form of a computer program stored in a medium to execute a specific procedure in combination with hardware.

100 : 영상정보 생성 장치
200 : 클라우드 영상 서버
210 : 건축도면 저장부 220 : 외관 영상 저장부
230 : 배관 영상 저장부 240 : 비파괴검사 영상 저장부
250 : 블록체인 영상서버부
300 : 영상 정합표출 서버
301 : 정합영상 310 : 다중영상 수신부
320 : 특징점 매핑부 330 : 코드 매핑부
340 : 멀티레이어 정합부 350 : 정합영상 표출부
360 : 블록체인 정합서버부
400 : 입체 표시 장치
500 : 영상평가 검증 장치
510 : 건축정보 분산원장
100: image information generating device
200: cloud video server
210: architectural drawing storage unit 220: exterior image storage unit
230: piping image storage unit 240: non-destructive inspection image storage unit
250: block chain video server unit
300: image matching expression server
301: registered image 310: multi-image receiver
320: feature point mapping unit 330: code mapping unit
340: multi-layer matching unit 350: registered image display unit
360: block chain matching server unit
400: stereoscopic display device
500: image evaluation verification device
510: distributed ledger of architectural information

Claims (6)

건축물에 대한 디지털 트윈을 구성하기 위하여 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 복수 개를 생성하는 영상정보 생성 장치(100);
상기 영상정보 생성 장치(100)로부터 건축물의 디지털 트윈 구성을 위한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받아 데이터베이스 관리하는 클라우드 영상 서버(200);
상기 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받고 이들 영상을 마커와 특징점을 기준으로 CAD 매핑번호와 멀티레이어 정합하여 해당 건축물에 대한 정합영상(301)을 생성하는 영상 정합표출 서버(300);
상기 영상 정합표출 서버(300)로부터 상기 정합영상(301)을 제공받아 가상현실(VR) 또는 증강현실(AR)로 건축물의 물리적 공간에 대응하여 입체적으로 사용자에게 표출하는 입체 표시 장치(400);
를 포함하여 구성되고,
상기 클라우드 영상 서버(200)와 영상 정합표출 서버(300)는 블록체인에 참여하여 각각의 건축물 영상이 생성 및 변경될 때에 영상 히스토리 정보와 매핑 히스토리 정보와 타임스탬프를 거래 데이터로서 건축정보 분산원장(510)에 반영되도록 블록체인 처리하도록 구성되고,
상기 클라우드 영상 서버(200)는,
개별 건축물에 대한 설계도면 정보를 파일 데이터 또는 영상 데이터의 형태로 저장하는 건축도면 저장부(210);
해당 건축물에 대한 실외 또는 실내 외관에 대한 영상인 외관 영상을 저장하는 외관 영상 저장부(220);
해당 건축물에 설치된 배관에 대한 내시경 검사에서 카메라 유닛(C)으로 촬영된 배관 영상 및 상기 배관 영상에서 나타내는 복수의 마커에 대한 식별코드를 저장하는 배관 영상 저장부(230);
해당 건축물에 대한 비파괴 검사에서 촬영된 비파괴검사 영상을 저장하는 비파괴검사 영상 저장부(240);
를 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
an image information generating apparatus 100 for generating a plurality of architectural drawing images, outdoor or indoor exterior images, piping images of a piping endoscopy, and non-destructive inspection images to construct a digital twin for a building;
a cloud image server 200 for receiving a plurality of architectural drawing images, exterior images, plumbing images, and non-destructive inspection images for constructing a digital twin of a building from the image information generating device 100 and managing the database;
A plurality of architectural drawing images, exterior images, piping images, and non-destructive inspection images for a specific building are provided from the cloud image server 200, and these images are multi-layered with a CAD mapping number based on markers and feature points to match the corresponding building Image registration display server 300 for generating a matched image 301 for;
A stereoscopic display device 400 that receives the matched image 301 from the image matching expression server 300 and displays it three-dimensionally to the user in response to the physical space of the building in virtual reality (VR) or augmented reality (AR);
consists of,
The cloud image server 200 and the image matching expression server 300 participate in the block chain and use the image history information, mapping history information, and timestamp as transaction data when each building image is created and changed. 510) is configured to process the blockchain to be reflected,
The cloud image server 200,
an architectural drawing storage unit 210 for storing design drawing information for individual buildings in the form of file data or image data;
an exterior image storage unit 220 for storing an exterior image that is an image of an exterior or interior exterior of the corresponding building;
A piping image storage unit 230 for storing identification codes for a plurality of markers indicated in the piping image and the piping image taken by the camera unit (C) in the endoscopy of the piping installed in the building;
Non-destructive inspection image storage unit 240 for storing the non-destructive inspection image taken in the non-destructive inspection of the building;
A building digital twin block chain system based on multi-layer image matching expression for a smart city, characterized in that it comprises a.
삭제delete 청구항 1에 있어서,
상기 영상 정합표출 서버(300)는,
상기 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받는 다중영상 수신부(310);
상기 건축도면 영상에 포함된 CAD 매핑번호와 상기 외관 영상 및 비파괴검사 영상에서 식별되는 영상 특징점을 상호 매핑하여 상기 외관 영상 및 비파괴검사 영상의 각 재생 지점에 대하여 상기 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 특징점 매핑부(320);
상기 건축도면 영상에 포함된 CAD 매핑번호와 상기 배관 영상 또는 상기 외관 영상에서 식별되는 마커 식별코드를 상호 매핑하여 상기 배관 영상 또는 상기 외관 영상의 각 재생 위치가 상기 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 코드 매핑부(330);
상기 마커 식별코드와 영상 특징점을 기준으로 개별 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상을 정합 정렬하고 멀티레이어 영상으로 합성 렌더링하여 해당 건축물의 물리적 공간을 기준으로 이들 영상들을 맞춘 정합영상(301)을 생성하는 멀티레이어 정합부(340);
상기 멀티레이어 정합부(340)가 생성한 정합영상(301)을 상기 입체 표시 장치(400)로 출력하는 정합영상 표출부(350);
를 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
The method according to claim 1,
The image matching expression server 300,
a multi-image receiving unit 310 that receives a plurality of architectural drawing images, indoor/outdoor exterior images, piping images, and non-destructive inspection images for a specific building from the cloud image server 200;
The CAD mapping number included in the architectural drawing image and the image feature points identified in the exterior image and non-destructive inspection image are mapped to which point in the architectural drawing image corresponds to each reproduction point of the exterior image and non-destructive inspection image a feature point mapping unit 320 that maps
By mapping the CAD mapping number included in the architectural drawing image and the marker identification code identified in the piping image or the exterior image to each other, each reproduction position of the piping image or the exterior image corresponds to which point in the architectural drawing image a code mapping unit 330 for mapping
Based on the marker identification code and image feature points, the architectural drawing images, indoor and outdoor exterior images, piping images, and non-destructive inspection images of individual buildings are aligned and synthesized and rendered as a multi-layer image. a multi-layer matching unit 340 that generates a matched matched image 301;
a registered image display unit 350 for outputting the registered image 301 generated by the multi-layer matching unit 340 to the stereoscopic display device 400;
A building digital twin block chain system based on multi-layer image matching expression for a smart city, characterized in that it comprises a.
청구항 3에 있어서,
상기 클라우드 영상 서버(200)는,
건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 상기 클라우드 영상 서버(200)가 실시간 공유하도록 처리하는 블록체인 영상서버부(250);
를 더 포함하여 구성되고,
상기 영상 정합표출 서버(300)는,
건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 상기 영상 정합표출 서버(300)가 실시간 공유하도록 처리하는 블록체인 정합서버부(360);
를 더 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
4. The method of claim 3,
The cloud image server 200,
Through blockchain processing that shares the architectural information distributed ledger 510, it responds to the creation and change of one or more of architectural drawing images of individual buildings, exterior or indoor exterior images, piping images of pipe endoscopy, and non-destructive inspection images. a block chain image server unit 250 for processing image history and mapping history to be shared by the cloud image server 200 in real time;
Consists of further comprising,
The image matching expression server 300,
Through blockchain processing that shares the architectural information distributed ledger 510, it responds to the creation and change of one or more of architectural drawing images of individual buildings, exterior or indoor exterior images, piping images of pipe endoscopy, and non-destructive inspection images. a block chain matching server unit 360 that processes the image history and mapping history so that the image matching expression server 300 shares in real time;
A building digital twin block chain system based on multi-layer image matching expression for a smart city, characterized in that it further comprises a.
청구항 4에 있어서,
블록체인 거래 데이터의 상기 영상 히스토리는 해당 생성 또는 변경된 영상에 관련된 영상 식별정보, 촬영 메타정보, 영상 무결성 정보 중 하나이상을 포함하여 구성되고,
블록체인 거래 데이터의 상기 매핑 히스토리는 해당 시점에서 마커 및 특징점들의 상호 매핑 상태에 관련된 매핑내역 정보, 매핑 메타정보, 매핑 변경정보 중 하나이상을 포함하여 구성되고,
블록체인 거래 데이터의 상기 타임스탬프는 각각의 블록체인 거래 데이터에 대한 생성 시점 또는 블록체인 삽입 시점을 나타내는 정보를 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
5. The method according to claim 4,
The image history of the blockchain transaction data is configured to include one or more of image identification information, shooting meta information, and image integrity information related to the generated or changed image,
The mapping history of the block chain transaction data is composed of at least one of mapping history information, mapping meta information, and mapping change information related to the mutual mapping state of markers and feature points at the time point,
The timestamp of the block chain transaction data is a multi-layer image matching expression-based building digital twin for a smart city, characterized in that it includes information indicating the creation time or block chain insertion time for each block chain transaction data blockchain system.
청구항 5에 있어서,
개별 건축물에 대한 영상 평가를 사용자에게 제공하는 장치로서, 상기 영상 정합표출 서버(300)를 액세스하여 특정의 건축물에 대해 영상 평가를 요청하고 그에 따라 해당 건축물에 대한 정합영상(301)을 제공받고 블록체인을 통해 상기 건축정보 분산원장(510)을 액세스하여 상기 정합영상(301)에 대한 신뢰성을 직접 확인하도록 구성되는 영상평가 검증 장치(500);
를 더 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
6. The method of claim 5,
As a device for providing image evaluation for individual buildings to the user, accessing the image matching expression server 300 to request image evaluation for a specific building and receiving a matched image 301 for the corresponding building according to the block an image evaluation verification device 500 configured to directly check the reliability of the matched image 301 by accessing the building information distributed ledger 510 through a chain;
A building digital twin block chain system based on multi-layer image matching expression for a smart city, characterized in that it further comprises a.
KR1020200095614A 2020-07-31 2020-07-31 building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering KR102451336B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200095614A KR102451336B1 (en) 2020-07-31 2020-07-31 building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200095614A KR102451336B1 (en) 2020-07-31 2020-07-31 building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering

Publications (2)

Publication Number Publication Date
KR20220015520A KR20220015520A (en) 2022-02-08
KR102451336B1 true KR102451336B1 (en) 2022-10-06

Family

ID=80251724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200095614A KR102451336B1 (en) 2020-07-31 2020-07-31 building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering

Country Status (1)

Country Link
KR (1) KR102451336B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492849B1 (en) * 2022-04-08 2023-01-26 방재웅 Smart Building Maintenance System
KR102484280B1 (en) * 2022-05-23 2023-01-04 주식회사 한목 System for providing adjacent building pre-survey service usign drone
KR20240029309A (en) 2022-08-26 2024-03-05 인하대학교 산학협력단 Predicting System of Hazardous Substance Spreading using Digital Twins

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101992662B1 (en) * 2017-11-23 2019-06-25 (주) 피플소프트 Gis 3 cctv 3 cctv
KR102027856B1 (en) * 2017-12-28 2019-11-04 (주)연우피씨엔지니어링 Virtual·augmented reality system which generate 3d-drawings·3d-shapes of frame and operate construction information based on 2d-drawing and building information modeling, and mobile application implementing thereof
KR102182314B1 (en) * 2018-09-21 2020-11-24 김승진 Management server for integrated space information management platform using virtual reality video and operation method thereof

Also Published As

Publication number Publication date
KR20220015520A (en) 2022-02-08

Similar Documents

Publication Publication Date Title
KR102451336B1 (en) building digital-twin blockchain system for smart city by use of multi-layer video matching and rendering
EP3586327B1 (en) Improved building model with capture of as built features and experiential data
Lenjani et al. Automated building image extraction from 360 panoramas for postdisaster evaluation
US20090021514A1 (en) Handling raster image 3d objects
KR101965878B1 (en) Automatic connection of images using visual features
Bae et al. Image-based localization and content authoring in structure-from-motion point cloud models for real-time field reporting applications
CN110738895A (en) Criminal scene investigation real-scene VR comprehensive training system
US20200050712A1 (en) Building model with capture of as built features and experiential data
CN103279904A (en) Mobile terminal and building information processing method thereof
WO2022048534A1 (en) Digital twin multi-dimensional model record using photogrammetry
CN116108673A (en) Underground coal mine digital twin reality simulation method and equipment
Chen et al. Classification of soft-story buildings using deep learning with density features extracted from 3D point clouds
De Fino et al. Remote diagnosis and control of the heritage Architecture by photorealistic digital environments and models
Wilson et al. Object tracking and geo-localization from street images
US20180089896A1 (en) Virtual reality display of pipe inspection data
KR20140091866A (en) Method for managing construction using argumented reality and computer readable recording medium on which program for executing
Hong et al. The use of CCTV in the emergency response: A 3D GIS perspective
Claridades et al. Using omnidirectional images for semi-automatically generating IndoorGML data
Nguyen et al. Application of building information modelling, extended tracking technique and augmented reality in building operating management
JP2019105876A (en) Information processing apparatus, information processing method and information processing program
Wei Detecting as-built information model errors using unstructured images
CN108062786B (en) Comprehensive perception positioning technology application system based on three-dimensional information model
CN111475465A (en) Intelligent home evidence obtaining method based on body
JP2020119368A (en) Video information management system and video information management method
WO2023053481A1 (en) Assessment assistance device and assessment assistance method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right