KR20220015520A - 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템 - Google Patents
스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템 Download PDFInfo
- Publication number
- KR20220015520A KR20220015520A KR1020200095614A KR20200095614A KR20220015520A KR 20220015520 A KR20220015520 A KR 20220015520A KR 1020200095614 A KR1020200095614 A KR 1020200095614A KR 20200095614 A KR20200095614 A KR 20200095614A KR 20220015520 A KR20220015520 A KR 20220015520A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- building
- exterior
- piping
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title abstract description 5
- 238000007689 inspection Methods 0.000 claims abstract description 83
- 230000001066 destructive effect Effects 0.000 claims abstract description 53
- 230000003190 augmentative effect Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims description 82
- 239000003550 marker Substances 0.000 claims description 27
- 238000013461 design Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 22
- 238000001839 endoscopy Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 238000009428 plumbing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000013441 quality evaluation Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000001931 thermography Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q2220/00—Business processing using cryptography
- G06Q2220/10—Usage protection of distributed data files
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명은 일반적으로 건축물 품질을 영상 기반으로 평가할 수 있도록 해주는 기술에 관한 것이다. 특히, 본 발명은 스마트 시티에서 건축물 별로 외관 영상, 배관 영상, 비파괴검사 영상을 데이터베이스 보관하고 이들 영상을 건축물 건축도면(CAD) 영상과 마커, NFC 태그, 영상 특징점 기반으로 멀티레이어 정합 및 표출시킴으로써 디지털 트윈 방식의 건축물 품질 평가가 가능하도록 기술적으로 뒷받침하고 블록체인을 통해 건축물 관련 정보를 신뢰도 높게 분산원장 관리하는 건축물 디지털 트윈 블록체인 기술에 관한 것이다. 본 발명에 따르면 건축물에 대해 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상을 멀티레이어로 정합 및 표출하여 사람들이 그 건축물의 품질을 증강현실(AR)이나 가상현실(VR)로 살펴볼 수 있게 제공함으로써 스마트 시티의 건축물 디지털 트윈을 구현할 수 있는 장점이 있다. 또한, 본 발명에 따르면 스마트 시티의 건축물 디지털 트윈을 구현하기 위한 각종 데이터를 블록체인의 분산원장으로 관리함으로써 건축물 품질평가 결과에 대한 신뢰를 확보할 수 있는 장점이 있다.
Description
본 발명은 일반적으로 건축물 품질을 영상 기반으로 평가할 수 있도록 해주는 기술에 관한 것이다.
특히, 본 발명은 스마트 시티에서 건축물 별로 외관 영상, 배관 영상, 비파괴검사 영상을 데이터베이스 보관하고 이들 영상을 건축물 건축도면(CAD) 영상과 마커, NFC 태그, 영상 특징점 기반으로 멀티레이어 정합 및 표출시킴으로써 디지털 트윈 방식의 건축물 품질 평가가 가능하도록 기술적으로 뒷받침하고 블록체인을 통해 건축물 관련 정보를 신뢰도 높게 분산원장 관리하는 건축물 디지털 트윈 블록체인 기술에 관한 것이다.
최근들어 스마트 시티(smart city)에 대한 논의가 활발하다. 스마트 시티는 정보통신기술(ICT)에 의해 다양한 유형의 전자적 데이터 수집 센서를 사용해서 정보를 취득하고, 이러한 정보에 의해 리소스를 효율적으로 관리 및 활용하는 도시를 말한다. 정보통신기술을 이용하여 도시 생활 속에서 유발되는 교통 문제, 환경 문제, 주거 문제, 시설 비효율 등을 해결하고 시민들이 편리하고 쾌적한 삶을 누릴 수 있도록 하는 것이 스마트 시티의 목적이다.
스마트 시티가 기존의 도시가 가지고 있는 여러가지 문제들을 해결할 수 있을 뿐만 아니라 4차 산업혁명에 선제적으로 대응하고 새로운 성장 동력을 창출할 수 있을 것으로 예상되면서 세계 각국에서 스마트 시티 구축에 적극적으로 나서고 있다. 스마트 시티가 구축되면 실시간으로 교통정보를 얻을 수 있어 이동 거리를 감소시킬 수 있고 원격 근무 등 거주자들의 생활이 편리해질 뿐만 아니라 궁극적으로는 이산화탄소 배출량을 줄일 수 있다.
이러한 스마트 시티에서는 건축물의 관리 역시 정보통신기술에 의해 효율적으로 이루어질 필요가 있다. 일반적으로는 건축물을 세밀하게 살펴볼 수 있는 방법이 없으며, 심각한 문제가 발생하거나 특별한 필요성이 인정될 때마다 전문업체에 의뢰하여 건축물의 내외부를 조사하고 건축설계와 일일히 대조해가면서 점검하는 방식이 이루어지고 있다. 정보통신기술을 이용하여 이러한 비효율성을 제거하고 건축물 평가를 편리하게 수행할 필요가 있다.
본 발명의 목적은 일반적으로 건축물 품질을 영상 기반으로 평가할 수 있도록 해주는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 스마트 시티에서 건축물 별로 외관 영상, 배관 영상, 비파괴검사 영상을 데이터베이스 보관하고 이들 영상을 건축물 건축도면(CAD) 영상과 마커, NFC 태그, 영상 특징점 기반으로 멀티레이어 정합 및 표출시킴으로써 디지털 트윈 방식의 건축물 품질 평가가 가능하도록 기술적으로 뒷받침하고 블록체인을 통해 건축물 관련 정보를 신뢰도 높게 분산원장 관리하는 건축물 디지털 트윈 블록체인 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 건축물 디지털 트윈 블록체인 시스템은, 건축물에 대한 디지털 트윈을 구성하기 위하여 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 복수 개를 생성하는 영상정보 생성 장치(100); 영상정보 생성 장치(100)로부터 건축물의 디지털 트윈 구성을 위한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받아 데이터베이스 관리하는 클라우드 영상 서버(200); 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받고 이들 영상을 마커와 특징점을 기준으로 CAD 매핑번호와 멀티레이어 정합하여 해당 건축물에 대한 정합영상(301)을 생성하는 영상 정합표출 서버(300); 영상 정합표출 서버(300)로부터 정합영상(301)을 제공받아 가상현실(VR) 또는 증강현실(AR)로 건축물의 물리적 공간에 대응하여 입체적으로 사용자에게 표출하는 입체 표시 장치(400); 개별 건축물에 대한 영상 평가를 사용자에게 제공하는 장치로서, 영상 정합표출 서버(300)를 액세스하여 특정의 건축물에 대해 영상 평가를 요청하고 그에 따라 해당 건축물에 대한 정합영상(301)을 제공받고 블록체인을 통해 건축정보 분산원장(510)을 액세스하여 정합영상(301)에 대한 신뢰성을 직접 확인하도록 구성되는 영상평가 검증 장치(500);를 포함하여 구성될 수 있다.
이때, 클라우드 영상 서버(200)와 영상 정합표출 서버(300)는 블록체인에 참여하여 각각의 건축물 영상이 생성 및 변경될 때에 영상 히스토리 정보와 매핑 히스토리 정보와 타임스탬프를 거래 데이터로서 건축정보 분산원장(510)에 반영되도록 블록체인 처리하도록 구성된다.
본 발명에서 클라우드 영상 서버(200)는, 개별 건축물에 대한 설계도면 정보를 파일 데이터 또는 영상 데이터의 형태로 저장하는 건축도면 저장부(210); 해당 건축물에 대한 실외 또는 실내 외관에 대한 영상인 외관 영상을 저장하는 외관 영상 저장부(220); 해당 건축물에 설치된 배관에 대한 내시경 검사에서 카메라 유닛(C)으로 촬영된 배관 영상 및 배관 영상에서 나타내는 복수의 마커에 대한 식별코드를 저장하는 배관 영상 저장부(230); 해당 건축물에 대한 비파괴 검사에서 촬영된 비파괴검사 영상을 저장하는 비파괴검사 영상 저장부(240);를 포함하여 구성될 수 있다.
또한, 영상 정합표출 서버(300)는, 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받는 다중영상 수신부(310); 건축도면 영상에 포함된 CAD 매핑번호와 외관 영상 및 비파괴검사 영상에서 식별되는 영상 특징점을 상호 매핑하여 외관 영상 및 비파괴검사 영상의 각 재생 지점에 대하여 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 특징점 매핑부(320); 건축도면 영상에 포함된 CAD 매핑번호와 배관 영상 또는 외관 영상에서 식별되는 마커 식별코드를 상호 매핑하여 배관 영상 또는 외관 영상의 각 재생 위치가 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 코드 매핑부(330); 마커 식별코드와 영상 특징점을 기준으로 개별 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상을 정합 정렬하고 멀티레이어 영상으로 합성 렌더링하여 해당 건축물의 물리적 공간을 기준으로 이들 영상들을 맞춘 정합영상(301)을 생성하는 멀티레이어 정합부(340); 멀티레이어 정합부(340)가 생성한 정합영상(301)을 입체 표시 장치(400)로 출력하는 정합영상 표출부(350);를 포함하여 구성될 수 있다.
본 발명에서 클라우드 영상 서버(200)는, 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 클라우드 영상 서버(200)가 실시간 공유하도록 처리하는 블록체인 영상서버부(250);를 더 포함할 수 있다. 또한, 영상 정합표출 서버(300)는, 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 영상 정합표출 서버(300)가 실시간 공유하도록 처리하는 블록체인 정합서버부(360);를 더 포함할 수 있다.
또한, 블록체인 거래 데이터의 영상 히스토리는 해당 생성 또는 변경된 영상에 관련된 영상 식별정보, 촬영 메타정보, 영상 무결성 정보 중 하나이상을 포함하여 구성되고, 블록체인 거래 데이터의 매핑 히스토리는 해당 시점에서 마커 및 특징점들의 상호 매핑 상태에 관련된 매핑내역 정보, 매핑 메타정보, 매핑 변경정보 중 하나이상을 포함하여 구성되고, 블록체인 거래 데이터의 타임스탬프는 각각의 블록체인 거래 데이터에 대한 생성 시점 또는 블록체인 삽입 시점을 나타내는 정보를 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템을 운용하기 위하여 매체에 저장된 것이다.
본 발명에 따르면 건축물에 대해 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상을 멀티레이어로 정합 및 표출하여 사람들이 그 건축물의 품질을 증강현실(AR)이나 가상현실(VR)로 살펴볼 수 있게 제공함으로써 스마트 시티의 건축물 디지털 트윈을 구현할 수 있는 장점이 있다.
또한, 본 발명에 따르면 스마트 시티의 건축물 디지털 트윈을 구현하기 위한 각종 데이터를 블록체인의 분산원장으로 관리함으로써 건축물 품질평가 결과에 대한 신뢰를 확보할 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템의 전체 구성을 나타내는 도면.
[도 2]는 본 발명에서 건축물 영상검사용 영상 데이터베이스를 개념적으로 나타내는 도면.
[도 3]은 본 발명에서 배관 내시경 검사를 통해 건축물 내부의 배관 영상을 획득하는 개념을 나타내는 도면.
[도 4]는 본 발명에서 배관 내시경 검사를 통해 획득된 건축물 내부의 배관 영상의 일 예를 나타내는 도면.
[도 5]는 본 발명에서 멀티레이어 영상정합 및 표출을 개념적으로 나타내는 도면.
[도 6]은 본 발명에서 멀티레이어 영상정합을 위해 마커와 특징점을 사용하는 개념을 나타내는 도면.
[도 7]은 본 발명에 의한 건축물 디지털 트윈에서 블록체인을 통해 변경기록 관리를 수행하는 일 예를 나타내는 도면.
[도 8]은 본 발명에 의한 건축물 디지털 트윈에서 건축물 품질 영상 검사를 수행한 결과의 일 예를 나타내는 도면.
[도 2]는 본 발명에서 건축물 영상검사용 영상 데이터베이스를 개념적으로 나타내는 도면.
[도 3]은 본 발명에서 배관 내시경 검사를 통해 건축물 내부의 배관 영상을 획득하는 개념을 나타내는 도면.
[도 4]는 본 발명에서 배관 내시경 검사를 통해 획득된 건축물 내부의 배관 영상의 일 예를 나타내는 도면.
[도 5]는 본 발명에서 멀티레이어 영상정합 및 표출을 개념적으로 나타내는 도면.
[도 6]은 본 발명에서 멀티레이어 영상정합을 위해 마커와 특징점을 사용하는 개념을 나타내는 도면.
[도 7]은 본 발명에 의한 건축물 디지털 트윈에서 블록체인을 통해 변경기록 관리를 수행하는 일 예를 나타내는 도면.
[도 8]은 본 발명에 의한 건축물 디지털 트윈에서 건축물 품질 영상 검사를 수행한 결과의 일 예를 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템의 전체 구성을 나타내는 도면이다.
본 발명은 건축물에 대한 평가를 디지털 트윈 방식으로 수행할 수 있도록 하는 기술로서 이를 위한 각종 데이터를 블록체인으로 관리하여 건축물 평가의 신뢰성을 보장하는 방법론에 관한 것이다. 일반적으로 디지털 트윈(digital twin)은 가상공간에 실물과 똑같은 물체(쌍둥이)를 만들어 다양한 시뮬레이션을 통해 검증하는 기술을 말한다. 본 발명은 개별 건축물에 대한 평가를 디지털 트윈으로 달성하며 이는 스마트 시티에 적합하다. 즉, 개별 건축물에 대해 건축도면(CAD) 기반으로 외관 영상, 배관 영상, 비파괴검사 영상을 매칭시키고 이들을 멀티레이어로 적층시켜 가상현실(VR) 또는 증강현실(AR)로 표출하며, 이를 통해 사람들은 건축물 실물을 탐사하지 않고 영상으로 평가할 수 있다.
이러한 목적을 달성하기 위한 본 발명에 따른 건축물 디지털 트윈 블록체인 시스템은 영상정보 생성 장치(100), 클라우드 영상 서버(200), 영상 정합표출 서버(300), 입체 표시 장치(400), 영상평가 검증 장치(500)의 협조동작에 의해 동작하게 된다. 이중에서 클라우드 영상 서버(200), 영상 정합표출 서버(300), 영상평가 검증 장치(500)가 블록체인에 참여하며, 다른 장치는 블록체임에 참여하도록 구성할 수도 있고 참여하지 않도록 구성할 수도 있다. 한편, [도 1]에서 둘 이상의 장치를 합쳐서 하나의 장치로 구성할 수도 있고 이들 장치의 기능을 일부 떼어내어 별도의 장치를 구성할 수도 있다.
본 발명에서는 블록체인를 통해 건축물 영상에 대한 생성 및 변경 히스토리 및 그 매핑 히스토리를 관리한다. 이들 영상이 어떻게 생성 또는 변경(업데이트)되었으며 이들 간의 상호 매핑은 어떻게 생성 및 변경되었는지에 대한 정보가 블록체인으로 관리되며, 이는 멀티레이어 영상에 대한 조작 가능성을 제거하여 건축물 평가의 전반적인 신뢰도를 보장하기 위한 것이다. 블록체인 처리의 복잡성을 감안하여 영상 파일 자체는 클라우드 영상 서버(200)에 저장하고 영상 관련 정보를 블록체인으로 관리하는 것이 바람직하다.
[도 1]을 참조하면, 블록체인 거래정보는 건축물 다중 영상에 관련된 영상 히스토리와 매핑 히스토리를 포함한다. 타임스탬프도 블록체인에 포함되는 것이 바람직한데, 타임스탬프는 각각의 거래 데이터가 생성된 시점을 나타내거나 블록체인에 삽입된 시점을 나타내는 정보이다.
블록체인 거래 데이터에서 영상 히스토리는 그 시점에서 생성 혹은 변경된 영상에 관련된 영상 식별정보와 촬영 메타정보(시간, 장소, 촬영업체 등)를 포함하며 영상 무결성 정보를 포함할 수 있다. 영상 식별정보는 클라우드 영상 서버(200)에 저장된 다수의 영상 중에서 어느 영상에 관련된 것인지 식별하는 정보이고, 촬영 메타정보는 영상 그 자체를 설명하기 위한 정보이다. 영상 무결성 정보는 해당 영상이 조작되지 않은 원본 그대로임을 보장하는 정보로서 해시넘버(hash number)나 체크섬(checksum)으로 구현될 수 있다.
블록체인 거래 데이터에서 매핑 히스토리는 해당 시점에서 여러 영상들 간에 마커 및 특징점들이 상호 어떻게 매핑되어 있는지에 관련된 정보를 나타낸다. 매핑 히스토리는 매핑내역 정보, 매핑 메타정보(시간, 이벤트 등), 매핑 변경정보(마커, 특징점의 변경정보) 등을 포함할 수 있다. 건축물에 대해 설계를 변경하거나 실외 혹은 실내를 촬영하거나 배관 내시경 검사를 하거나 비파괴 검사를 시행함에 따라 여러 영상 중 어느 하나가 업데이트되면 이들 상호 간에 매핑 관계를 분석하여 그 내용을 매핑 히스토리에 반영한다.
일반적으로 블록체인(block chain)은 네트워크 상에서 발생된 거래 정보가 네트워크 참여자들 간에 공유되는 노드 수만큼 복제되어 분산 저장되는 공개 디지털 거래 장부라는 개념을 갖는다. 블록체인 기술은 현재는 암호화폐를 중심으로 활발하게 적용되고 있는데, 본 발명에서는 건축물의 디지털 트윈을 형성하는 각종 데이터를 관리하는 데에 블록체인 기술을 활용하려고 한다.
[도 1]에서 영상정보 생성 장치(100)는 건축물의 디지털 트윈을 구성하기 위한 각종의 영상을 생성하는 장치로서, 예컨대 드론(drone), 360도 카메라, 배관 내시경 검사장치, 건축물 비파괴 검사 장치(예: 열화상 카메라, X-RAY 영상 촬영장치) 등으로 구현될 수 있다. 또한, 그 건축물의 건설 CAD사의 컴퓨터 장치로부터 건축도면(CAD 데이터)를 입수하여 건축도면 영상을 제공하는 장치도 영상정보 생성 장치(100)에 포함될 수 있다.
클라우드 영상 서버(200)는 건축물 디지털 트윈의 멀티레이어 영상 표시를 위한 데이터(영상)을 영상정보 생성 장치(100)로부터 제공받아 영상 데이터베이스로 저장 관리하는 장치이다.
영상 정합표출 서버(300)는 클라우드 영상 서버(200)로부터 건축물에 대한 건축도면 영상, 외관 영상, 배관 영상(배관 내시경 검사 영상), 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 제공받고 이들 영상을 멀티레이어 정합하는 장치이다. 영상 정합표출 서버(300)가 여러 영상을 멀티레이어 정합하여 생성한 영상을 정합영상(301)이라고 부른다.
입체 표시 장치(400)는 영상 정합표출 서버(300)로부터 정합영상(301)을 제공받아 예컨대 가상현실(VR)이나 증강현실(AR) 등의 형태로 사용자에게 입체 디스플레이 표시하는 장치이다.
영상평가 검증 장치(500)는 건축물에 대해 영상 평가를 수행하려는 사람이 조작하는 장치이다. 영상평가 검증 장치(500)는 예컨대 영상 정합표출 서버(300)를 액세스하여 특정의 건축물에 대해 영상 평가를 요청하고 그에 따라 해당 건축물에 대한 정합영상(301)을 제공받을 수 있다. 영상평가 검증 장치(500)는 입체 표시 장치(400)와 협조 동작하는데, 동작 효율을 감안하여 하드웨어적으로 입체 표시 장치(400)와 일체로 구현될 수도 있다. 영상평가 검증 장치(500)는 블록체인을 통해 건축정보 분산원장(510)을 액세스하여 정합영상(301)에 대한 신뢰성을 직접 확인할 수 있도록 구성되는 것이 바람직하다.
[도 2]는 본 발명에서 건축물 영상검사용 영상 데이터베이스를 개념적으로 나타내는 도면이다.
본 발명에서는 개별 건축물에 대하여 외관 영상, 배관 영상, 비파괴검사 영상을 입체 영상으로 멀티레이어 적층하고 건축도면 영상과 매칭시켜 VR 또는 AR 형식으로 렌더링 디스플레이하는데, 클라우드 영상 서버(200)는 건축물 멀티레이어 영상 표시를 위한 데이터를 영상정보 생성 장치(100)로부터 제공받아 영상 데이터베이스로 저장 관리한다.
[도 2]를 참조하면, 클라우드 영상 서버(200)는 건축도면 저장부(210), 외관 영상 저장부(220), 배관 영상 저장부(230), 비파괴검사 영상 저장부(240), 블록체인 영상서버부(250)를 포함하여 구성된다.
먼저, 건축도면 저장부(210)는 개별 건축물에 대한 설계도면(CAD 도면)을 저장하는 구성요소이다. 건축도면 저장부(210)가 설계도면을 저장하는 방식은 다양하게 구현될 수 있는데, 예컨대 CAD 파일로 저장할 수도 있고 CAD 도면의 이미지 혹은 PDF 파일로 저장할 수도 있으며, 바람직하게는 렌더링 효율을 위해 건축도면 영상의 형태로 변환 저장할 수도 있다.
외관 영상 저장부(220)는 건축물의 외부 모습 혹은 실내 모습에 대한 영상, 즉 외관 영상을 저장하는 구성요소이다. 건축물 외부는 예컨대 드론으로 촬영할 수 있고 실내 모습은 360도 카메라로 촬영할 수 있다. 건축물의 실내외 외관에는 특별한 체크포인트에 [도 6]을 참조하여 설명하는 것과 같은 마커(영상 마커, 무선태그 마커)를 설치할 수 있으며, 이러한 마커 설치 사항은 드론 혹은 360도 카메라로 촬영한 외관 영상에 그대로 반영된다. 따라서, 외관 영상을 분석하거나 드론 혹은 카메라의 판독 기능에 의해 건축물의 체크포인트에 대한 마커 식별정보를 획득하여 후술하는 바와 같이 영상 매칭에 활용할 수 있다.
배관 영상 저장부(230)는 건축물에 설치된 배관에 대한 내시경 검사에서 카메라로 촬영하는 영상, 즉 배관 영상을 저장하는 구성요소이다. 건축물에 대해 배관 시공이 제대로 되었는지 그리고 배관에 이상이 발생한 것은 아닌지 알아보기 위해 [도 3]에서와 같은 배관 내시경 장치를 이용하여 배관 내부를 검사할 수 있는데, 배관 영상은 이 과정에 대한 촬영 영상이다.
이때, 배관 영상 저장부(230)는 영상 뿐만 아니라 그에 관련된 각종 데이터를 함께 저장하는 것이 바람직하다. 예를 들어, [도 6]을 참조하여 후술하는 바와 같이, 배관 파이프(10)에 설치된 영상 마커(M1, M2)와 무선태그 마커(A)의 식별코드 값의 전부 혹은 일부가 배관 영상 저장부(230)에 저장될 수 있다. 배관 내시경 장치가 배관 내부를 촬영하면서 영상 마커(M1, M2)를 실시간으로 분석하여 배관 영상 내에 메타데이터로 삽입하는 구성도 가능하다.
또한, 배관 내시경 검사 중에 작업자가 태그 리더기(미도시)를 이용하여 무선태그 마커(A)를 식별코드 값을 판독할 수 있는데, 이들 판독값이 배관 영상 내에 메타데이터로 삽입하는 구성도 가능하다. 건축물의 배관 시공 과정에서 배관 시공자가 배관 여러 지점, 예컨대 배관 연결 지점에 무선태그 마커(A)를 부착하고 그 정보를 건축물 완공 데이터파일에 포함시키는데, 배관 내시경 검사를 수행하면서 배관 영상에 태그 리더기로 판독한 무선태그 마커(A)의 식별코드 값을 삽입하면 그 촬영지점을 판단하는 데에 도움이 될 수 있다.
또한, 배관 내시경 장치의 카메라 유닛(C)에는 가속도 센서(예: 자이로센서)가 구비될 수 있는데, 배관 내시경 검사를 수행하는 중에 카메라 유닛(C)이 생성하는 가속도 데이터를 배관 영상 내에 메타데이터로 삽입하는 구성도 가능하다. 가속도 데이터는 배관 영상을 재생 및 분석할 때에 카메라 유닛(C)의 위치 및 동작(예: 굴절)을 판단하는 데에 도움이 된다.
비파괴검사 영상 저장부(240)는 건축물에 대한 각종 비파괴 검사를 수행하면서 촬영한 영상을 저장하는 구성요소이다. 예를 들어, 비파괴검사 영상 저장부(240)는 해당 건축물에 대해 수행된 열화상 검사 영상이나 X-RAY 검사 영상을 저장할 수 있다.
블록체인 영상서버부(250)는 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 건축물의 영상 히스토리와 매핑 히스토리를 클라우드 영상 서버(200)와 실시간 공유하는 구성요소이다.
[도 3]은 본 발명에서 배관 내시경 검사를 통해 건축물 내부의 배관 영상을 획득하는 개념을 나타내는 도면이고, [도 4]는 본 발명에서 배관 내시경 검사를 통해 획득된 건축물 내부의 배관 영상의 일 예를 나타내는 도면이다.
건축물 내부에는 일반적으로 다굴절 파이프 라인으로 배관이 이루어져 있는데, [도 3]에 도시된 바와 같은 내시경 장치를 이용하여 배관 내시경 검사를 수행하고 이를 통해 배관 영상을 얻는다. 카메라 유닛(C)은 배관 파이프(10)의 내부에 투입되어 배관 내부 영상을 촬영하고 영상신호 케이블을 통해 배관 외부의 DVR 장비로 촬영 영상을 제공한다. 여기서, 내시경 장치가 동작하는 환경은 다굴절 파이프 라인의 내측으로 어둡기 때문에 카메라 유닛(C)의 주변에 별도의 LED 조명 유닛(미도시)을 구비함이 바람직하다.
영상신호 케이블은 카메라 유닛(C)의 후단부에 연결되어 카메라 유닛(C)과 LED 조명 유닛에 동작 전원을 공급하는 한편, 카메라 유닛(C)과 DVR 장비를 상호 연결하여 카메라 유닛(C)이 촬영한 배관 내부 영상을 DVR 장비로 전달하고 외부로부터 배관 내부에서 전진, 후퇴, 회전 제어신호를 카메라 유닛(C)으로 전달한다. 스테인레스 스프링은 일종의 푸시로드(push-rod)를 구성하는데, 카메라 유닛(C)이 전방으로 전진할 때에는 스테인레스 스프링이 길이 방향으로 밀어주는 기능을 수행하고, 후방으로 당겨질 때에는 다굴절 파이프 라인의 내측 굴절된 부분과 맞닿는 부분의 마찰력을 낮추어 파손을 방지한다.
이처럼 내시경 장치는 스테인레스 스프링의 가이드 작용에 의해 다굴절 파이프 라인을 부드럽게 이동하게 되고 그 과정에서 카메라 유닛(C)이 배관 내부를 촬영하여 DVR 장비로 배관 영상을 전달한다. [도 3]의 하단에는 이러한 배관 영상의 몇가지 예가 제시되어 있다. DVR 장비는 이 배관 영상을 네트워크를 통해 클라우드 영상 서버(200)로 업로드하며, 이러한 배관 영상은 스마트폰이나 컴퓨터를 통한 조회 및 분석에 제공된다.
[도 4]는 본 발명에서 이와 같은 배관 내시경 검사를 통해 획득된 건축물 내부의 배관 영상의 일 예를 나타낸다. [도 4]를 참조하면, 배관 영상은 특정 건축물(예: 경기도 용인시 소재의 특정 아파트)에 대해 건축물 전체에 연관된 사항 뿐만 아니라 특정 호수(예: 2001호)에 연관된 사항이 정리되어 있다. 또한, 각종의 배관 관련 사항(예: 입상관, 오배수관, 비트내부, 수평횡관)에 대한 배관 영상이 사항별로 정리되어 있다. 또한, 배관 영상은 전체 영상 뿐만 아니라 특이사항(예: 옥외 인출관 파손, 지하층 배관 막힘, 협상관내 이물질, 세대 역류)이 발생한 부분에 대한 영상이 특정되어 있다. 또한, 특이사항 발생 지점에 대한 마커 번호와 CAD 매핑번호가 식별되어 있는데, 마커 번호와 CAD 매핑번호에 대해서는 [도 5]와 [도 6]을 참조하여 후술한다.
[도 5]는 본 발명에서 멀티레이어 영상정합 및 표출을 개념적으로 나타내는 도면이고, [도 6]은 본 발명에서 멀티레이어 영상정합을 위해 마커와 특징점을 사용하는 개념을 나타내는 도면이다.
[도 5]를 참조하면, 영상 정합표출 서버(300)는 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상(배관 내시경 검사 영상), 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 제공받고 이들 영상을 멀티레이어 정합하여 정합영상(301)을 생성한다. 이를 통해, 여러 영상에서 건축물의 물리적으로 동일 지점에 해당하는 이미지들이 서로 매칭되어 중첩되어 합성되는 것이다. 이 정합영상(301)은 건축물의 물리적 공간에 대응하여 예컨대 네비게이션하듯이 입체적으로 렌더링 표시되는데, 이를 위해서는 가상현실(VR)이나 증강현실(AR)이 바람직하다.
본 발명에서 여러 개의 영상들을 정합시키기 위한 기준점(매칭 포인트)으로는 마커(markers)와 특징점(feature points)이 채택될 수 있다. 마커와 특징점은 다양하게 채택될 수 있는데, 마커로는 영상 마커(image markers)(예: 바코드, QR 코드)와 무선태그 마커(wireless tag markers)(예: NFC 태그, RFID 태그)가 가능하고, 특징점으로는 아파트의 정형화된 기둥이나 모서리 등이 사용 가능하다. 마커와 특징점에 대해서는 [도 6]을 참조하여 기술한다.
[도 6]을 참조하여 본 발명에서 멀티레이어 영상정합을 위해 사용하는 마커와 특징점에 대해 살펴본다. [도 6]의 (a)는 배관 파이프에 영상 마커와 NFC 태그가 설치된 모습을 나타내고, [도 6]의 (b)는 배관 파이프 설계도면에 CAD 매핑번호를 설정한 예시도이고, [도 6]의 (c)는 영상 분석을 통해 영상 특징점을 도출할 수 있음을 개념적으로 나타내는 도면이다.
건축물에는 다수의 배관 파이프(10)가 상호 연결되어 배관 시공을 담당하게 되는데, [도 6]의 (a)를 참조하면 본 발명에서는 배관 파이프(10)의 각 포인트를 구분 식별하기 위해 마커가 설치된다. 마커는 영상 마커(M1, M2)와 무선태그 마커(A)로 구성될 수 있다. 영상 마커(M1, M2)는 이미지 처리를 통해 식별하는 마커로서 예컨대 바코드나 QR 코드를 들 수 있다. 이들 영상 마커(M1, M2)는 배관 파이프(10)의 제조 과정에서 인쇄될 수도 있고, 배관 시공 과정에서 스티커로 부착될 수도 있다. 무선태그 마커(A)는 근거리 무선통신 기술에 의해 식별하는 마커로서 예컨대 NFC 태그나 RFID 태그를 들 수 있다.
[도 6]의 (b)를 참조하면, 건축물의 설계도면 데이터(CAD 데이터)에는 CAD 매핑번호(예: B11-1 ~ E11-2)가 할당되어 있다. 이들 CAD 매핑번호는 해당 건축물을 설계할 당시에 설계도면의 각 지점을 구분 식별하기 위해 할당된 것이다. 배관 시공을 하는 과정에서 배관 파이프(10)의 각 내측 또는 연결 지점에 탑재되는 마커(M1, M2, A)는 시공자에 의해 CAD 매핑번호에 매칭 저장된다. 마커(M1, M2, A)에는 고유의 식별코드가 할당되어 있으므로 그 식별코드를 설계도면에 매핑하면 각 영상에서 각 지점이 설계도면 상의 어디에 위치하는지 식별할 수 있다. 배관 내시경 검사에서 카메라 유닛(C)을 통해 촬영된 배관 영상을 이미지 처리하여 영상 마커(M1, M2)를 식별함으로써 배관 영상의 현재 재생 지점이 설계도면 상의 어느 부분에 해당하는지도 식별할 수 있다.
[도 6]의 (c)에는 배관 부분과 관련하여 외관 영상과 비파괴검사 영상(열화상 영상, X-RAY 검사 영상)이 도시되어 있다. 이들 외관 영상과 비파괴 검사 영상의 촬영자가 그 촬영 지점이 건축물에서 어디인지 저장해두고 이 정보가 설계도면의 CAD 매핑번호와 매칭 저장될 수 있다. 또한, 외관 영상과 비파괴 검사 영상을 분석하여 특징 부분, 예컨대 아파트의 정형화된 기둥이나 모서리 부분을 인식하고 이를 설계도면과 대비하여 CAD 매핑번호와 매칭 저장할 수도 있다. 아파트의 각 영역은 고유의 기능을 담당하고 있으며 그러한 특징이 설계와 시공에 반영되어 있으므로 특징 부분을 인식하여 설계도면과 매칭시킬 수 있다. 본 명세서에서 이러한 특징 부분을 영상 특징점이라 부른다.
[도 5]를 참조하면, 영상 정합표출 서버(300)는 다중영상 수신부(310), 특징점 매핑부(320), 코드 매핑부(330), 멀티레이어 정합부(340), 정합영상 표출부(350), 블록체인 정합서버부(360)를 포함하여 구성된다.
다중영상 수신부(310)는 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 제공받는 구성요소이다.
특징점 매핑부(320)는 건축도면 영상의 CAD 매핑번호와 외관 영상 및 비파괴검사 영상의 영상 특징점(예: 아파트의 정형화된 기둥, 모서리 인식 등)을 상호 매핑하는 구성요소이다. 특징점 매핑부(320)는 외관 영상과 비파괴 검사 영상을 분석하여 특징 부분, 예컨대 아파트의 정형화된 기둥이나 모서리 부분을 인식하고 이를 설계도면과 대비하여 CAD 매핑번호와 매칭시킨다. 건축물의 각 영역은 고유의 기능을 담당하고 그 특징이 설계와 시공에 반영되어 있으므로 특징 부분을 인식하여 설계도면과 매칭시킬 수 있는 지점이 존재한다.
그 결과, 외관 영상 및 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)의 각 재생 지점에 대하여 건축 설계도면(건축도면 영상)에서 어느 지점에 관한 것인지를 매핑할 수 있게 된다.
코드 매핑부(330)는 건축도면 영상의 CAD 매핑번호와 배관 영상의 마커 식별코드를 상호 매핑하는 구성요소이다. 배관 시공 과정에서 어떠한 배관 파이프(10)가 건축물의 어느 지점에 설치되었는지에 관한 정보가 시공자에 의해 입력되어 건축물 완공 데이터파일에 포함되어 있는데, 코드 매핑부(330)는 배관 영상에서 얻어지는 영상 마커(M1, M2)의 식별코드에 기초하여 배관 영상의 현재 재생 위치가 건축물의 건축도면 영상에서 어디에 대응되는지 매핑한다. 마찬가지로, 코드 매핑부(330)는 배관 영상에 삽입되어 있는 무선태그 마커(A)의 식별코드를 건축물 완공 데이터파일과 대조함으로써 배관 영상의 현재 재생 위치가 건축물의 건축도면 영상에서 어디에 대응되는지 매핑한다.
이때, 코드 매핑부(330)는 건축도면 저장부(210)에 저장된 배관 파이프(10)의 사양(예: 길이, 절곡위치)과 마커(M1, M2, A)의 위치, 그리고 이들 마커 사이를 이동하는 데에 걸린 시간으로부터 카메라 유닛(C)의 마커 간의 이동속도를 연산해낼 수 있다. 그리고, 그 이동속도에 기초하여 현재 재생 지점에 대한 배관 파이프(10)의 위치를 판단하도록 구성될 수 있다. 이때, 마커와 마커 사이에서는 카메라 유닛(C)이 등속 운동한다고 가정할 수 있다.
한편, 코드 매핑부(330)는 카메라 유닛(C)의 가속도 센서가 생성하여 배관 영상에 삽입되어 있는 가속도 데이터에 기초하여 배관 영상의 재생 지점에 대응하는 배관 파이프(10)의 위치를 판단할 수도 있다. 마커와 마커 사이에서 이동할 때에 가속도 데이터를 시간축으로 적분하면 속도가 산출되고, 다시 시간축으로 적분하면 마커 간에 이동한 거리를 알 수 있기 때문이다.
그 결과, 배관 영상의 각 재생 지점에 대하여 배관 내시경 장치의 카메라 유닛(C)이 건축 설계도면(건축도면 영상)에서 어느 지점을 촬영한 것인지를 비교적 정확하게 매핑할 수 있게 된다.
한편, 코드 매핑부(330)는 외관 영상에서 획득한 마커 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑할 수도 있다. 앞서 건축물의 실내외 외관에 체크포인트마다 마커를 설치하는 구성에 대해 기술하였는데, 이 경우에 코드 매핑부(330)는 외관 영상으로부터 획득되는 마커 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑한 결과를 사용할 수 있다.
또한, 코드 매핑부(330)는 비파괴검사 영상의 검사지점 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑할 수도 있다. 앞서 특징점 매핑부(320)가 비파괴검사 영상의 영상 특징점을 건축도면 영상의 CAD 매핑번호에 매핑하는 구성에 대해 기술하였는데, 코드 매핑부(330)가 검사지점 식별정보를 건축도면 영상의 CAD 매핑번호에 매핑한 결과도 보완적으로 함께 사용될 수 있다.
멀티레이어 정합부(340)는 마커(영상 마커, 무선태그 마커)와 특징점을 기준으로 개별 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)을 정합 정렬하고 멀티레이어 영상으로 합성하는 구성요소이다.
건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상(예: 열화상 검사 영상, X-RAY 검사 영상)은 모두 동일한 건축물(예: 경기도 용인시 소재의 한마음 아파트 2001호)을 대상으로 생성된 영상이다. 따라서, 해당 건축물에 대해 무리적으로 하나의 지점을 설정하면 그에 대응하는 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상의 부분이 존재한다. 본 명세서에서 매칭 또는 정합시킨다는 것은 물리적인 공간을 기준으로 이들 영상을 맞춘다는 것을 의미하는데, 이를 마커와 특징점을 통해 달성한다.
또한, 본 발명에서 정합영상(301)을 멀티레이어로 구성한다는 것은 이들 복수의 영상들이 각각의 아이덴티티를 유지하면서 합쳐진다는 것을 의미한다. 본 발명에서는 가상현실(VR)이나 증강현실(AR) 등과 같은 입체 표시 장치(400)를 통해 정합영상(301)이 표시되는데, 이는 각각의 영상들이 독자성을 유지하면서 함께 보여지는 것을 의미한다.
이를 위해, 멀티미디어 정합부(340)는 마커와 특징점을 기준으로 외관 영상, 배관 영상, 비파괴검사 영상을 건축도면 영상(즉, CAD 영상)에 매핑시켜서 멀티레이어 렌더링하는 것이 바람직하다. 이러한 매핑 정보는 특징점 매핑부(320)와 코드 매핑부(330)가 생성하며, 멀티미디어 정합부(340)는 이러한 매핑 정보를 활용하여 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상를 정합 정렬하고 멀티레이어 영상으로 합성한다.
정합영상 표출부(350)는 멀티레이어 정합부(340)가 생성한 정합영상(301)을 외부의 입체 표시 장치(400)를 통해 디스플레이 제공한다. 이때, 정합영상 표출부(350)는 설계도면, 외관 영상, 배관 영상, 열화상 검사 영상, X-RAY 검사 영상을정확하게 매핑시킨 상태에서 증강현실(AR) 또는 가상현실(VR)의 방식으로 사용자에게 제공하도록 구성되는 것이 바람직하다.
블록체인 정합서버부(360)는 건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 건축물의 영상 히스토리와 매핑 히스토리를 영상 정합표출 서버(300)와 실시간 공유하는 구성요소이다.
[도 7]은 본 발명에 의한 건축물 디지털 트윈에서 블록체인을 통해 변경기록 관리를 수행하는 일 예를 나타내는 도면이다.
[도 7]을 참조하면 신규 주택(예: 아파트 101동 102호)에 대해 디지털 트윈을 구축하고 이들 정보의 신뢰성을 보장하기 위해 블록체인에 관리하는 개념을 나타내고 있다. 이때, 블록체인에 의해 영상 매핑의 멀티레이어 적측기록 내용과 정합영상의 표출 내용이 관리될 수 있다.
본 발명에서는 건축물 멀티레이어 영상(예: 외관 영상, 배관 영상, 비파괴검사 영상)을 촬영할 ?에 마커와 특징점 기반으로 해당 촬영 지점의 위치와 배관, 철골, 에너지 상태를 매칭하여 저장한다. 바람직하게는 각각의 건축물 영상이 생성될 때마다 영상 히스토리 정보와 매핑 히스토리 정보와 타임스탬프를 블록체인에 투입하여 건축정보 분산원장(510)에 반영되도록 처리한다.
각각의 건축물에 대하여 각 시공 단계마다 시공업체 혹은 감리업체에 의해 촬영된 영상 및 각종 검사 과정에서 촬영된 영상은 그 건축물에 대해 디지털 트윈을 구성하며 이에 기반하여 해당 건축물에 대한 영상 평가를 수행할 수 있다. 본 발명에서는 이들 영상에 대한 히스토리와 상호 매핑 정보를 블록체인에 투입하여 관리함으로써 개별 영상을 제거하거나 대체하는 것이 불가능하도록 하며, 이를 통해 디지털 트윈에 대한 신뢰도를 보장할 수 있다.
[도 8]은 본 발명에 의한 건축물 디지털 트윈에서 건축물 품질 영상 검사를 수행한 결과의 일 예를 나타내는 도면이다.
[도 8]을 참조하면, 특정 아파트의 101동 2001호와 2002호에 대한 건축물 품질 검사를 영상 기반으로 수행한 결과를 나타낸다. 먼저, 2001호에 대한 검사 결과를 살펴보면 외관 영상, 배관 영상, 열화상 카메라 영상, X-RAY 영상이 검사 결과로 저장되어 있다. 매핑 데이터를 기반으로 이들 영상에 대한 멀티레이어 적층 영상을 생성하여 분석하면 2001호에 대한 시공 및 관리 품질을 구체적으로 판단할 수 있으며, 관리자 혹은 2001호 거주자는 입체 표시 장치(400)를 통해 그 멀티레이어 정합영상을 직접 확인할 수 있다. 이러한 품질 검사 결과가 신뢰할만한 것이라는 점은 블록체인에 의해 보장된다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
100 : 영상정보 생성 장치
200 : 클라우드 영상 서버
210 : 건축도면 저장부 220 : 외관 영상 저장부
230 : 배관 영상 저장부 240 : 비파괴검사 영상 저장부
250 : 블록체인 영상서버부
300 : 영상 정합표출 서버
301 : 정합영상 310 : 다중영상 수신부
320 : 특징점 매핑부 330 : 코드 매핑부
340 : 멀티레이어 정합부 350 : 정합영상 표출부
360 : 블록체인 정합서버부
400 : 입체 표시 장치
500 : 영상평가 검증 장치
510 : 건축정보 분산원장
200 : 클라우드 영상 서버
210 : 건축도면 저장부 220 : 외관 영상 저장부
230 : 배관 영상 저장부 240 : 비파괴검사 영상 저장부
250 : 블록체인 영상서버부
300 : 영상 정합표출 서버
301 : 정합영상 310 : 다중영상 수신부
320 : 특징점 매핑부 330 : 코드 매핑부
340 : 멀티레이어 정합부 350 : 정합영상 표출부
360 : 블록체인 정합서버부
400 : 입체 표시 장치
500 : 영상평가 검증 장치
510 : 건축정보 분산원장
Claims (6)
- 건축물에 대한 디지털 트윈을 구성하기 위하여 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 복수 개를 생성하는 영상정보 생성 장치(100);
상기 영상정보 생성 장치(100)로부터 건축물의 디지털 트윈 구성을 위한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받아 데이터베이스 관리하는 클라우드 영상 서버(200);
상기 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받고 이들 영상을 마커와 특징점을 기준으로 CAD 매핑번호와 멀티레이어 정합하여 해당 건축물에 대한 정합영상(301)을 생성하는 영상 정합표출 서버(300);
상기 영상 정합표출 서버(300)로부터 상기 정합영상(301)을 제공받아 가상현실(VR) 또는 증강현실(AR)로 건축물의 물리적 공간에 대응하여 입체적으로 사용자에게 표출하는 입체 표시 장치(400);
를 포함하여 구성되고,
상기 클라우드 영상 서버(200)와 영상 정합표출 서버(300)는 블록체인에 참여하여 각각의 건축물 영상이 생성 및 변경될 때에 영상 히스토리 정보와 매핑 히스토리 정보와 타임스탬프를 거래 데이터로서 건축정보 분산원장(510)에 반영되도록 블록체인 처리하도록 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
- 청구항 1에 있어서,
상기 클라우드 영상 서버(200)는,
개별 건축물에 대한 설계도면 정보를 파일 데이터 또는 영상 데이터의 형태로 저장하는 건축도면 저장부(210);
해당 건축물에 대한 실외 또는 실내 외관에 대한 영상인 외관 영상을 저장하는 외관 영상 저장부(220);
해당 건축물에 설치된 배관에 대한 내시경 검사에서 카메라 유닛(C)으로 촬영된 배관 영상 및 상기 배관 영상에서 나타내는 복수의 마커에 대한 식별코드를 저장하는 배관 영상 저장부(230);
해당 건축물에 대한 비파괴 검사에서 촬영된 비파괴검사 영상을 저장하는 비파괴검사 영상 저장부(240);
를 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
- 청구항 2에 있어서,
상기 영상 정합표출 서버(300)는,
상기 클라우드 영상 서버(200)로부터 특정 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상 중 복수 개를 제공받는 다중영상 수신부(310);
상기 건축도면 영상에 포함된 CAD 매핑번호와 상기 외관 영상 및 비파괴검사 영상에서 식별되는 영상 특징점을 상호 매핑하여 상기 외관 영상 및 비파괴검사 영상의 각 재생 지점에 대하여 상기 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 특징점 매핑부(320);
상기 건축도면 영상에 포함된 CAD 매핑번호와 상기 배관 영상 또는 상기 외관 영상에서 식별되는 마커 식별코드를 상호 매핑하여 상기 배관 영상 또는 상기 외관 영상의 각 재생 위치가 상기 건축도면 영상의 어느 지점에 해당되는지를 매핑하는 코드 매핑부(330);
상기 마커 식별코드와 영상 특징점을 기준으로 개별 건축물에 대한 건축도면 영상, 실내외 외관 영상, 배관 영상, 비파괴검사 영상을 정합 정렬하고 멀티레이어 영상으로 합성 렌더링하여 해당 건축물의 물리적 공간을 기준으로 이들 영상들을 맞춘 정합영상(301)을 생성하는 멀티레이어 정합부(340);
상기 멀티레이어 정합부(340)가 생성한 정합영상(301)을 상기 입체 표시 장치(400)로 출력하는 정합영상 표출부(350);
를 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
- 청구항 3에 있어서,
상기 클라우드 영상 서버(200)는,
건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 상기 클라우드 영상 서버(200)가 실시간 공유하도록 처리하는 블록체인 영상서버부(250);
를 더 포함하여 구성되고,
상기 영상 정합표출 서버(300)는,
건축정보 분산원장(510)을 공유하는 블록체인 처리를 통해 개별 건축물의 건축도면 영상, 실외 또는 실내의 외관 영상, 배관 내시경 검사의 배관 영상, 비파괴검사 영상 중 하나 이상에 대한 생성 및 변경에 대응하는 영상 히스토리와 매핑 히스토리를 상기 영상 정합표출 서버(300)가 실시간 공유하도록 처리하는 블록체인 정합서버부(360);
를 더 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
- 청구항 4에 있어서,
블록체인 거래 데이터의 상기 영상 히스토리는 해당 생성 또는 변경된 영상에 관련된 영상 식별정보, 촬영 메타정보, 영상 무결성 정보 중 하나이상을 포함하여 구성되고,
블록체인 거래 데이터의 상기 매핑 히스토리는 해당 시점에서 마커 및 특징점들의 상호 매핑 상태에 관련된 매핑내역 정보, 매핑 메타정보, 매핑 변경정보 중 하나이상을 포함하여 구성되고,
블록체인 거래 데이터의 상기 타임스탬프는 각각의 블록체인 거래 데이터에 대한 생성 시점 또는 블록체인 삽입 시점을 나타내는 정보를 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
- 청구항 5에 있어서,
개별 건축물에 대한 영상 평가를 사용자에게 제공하는 장치로서, 상기 영상 정합표출 서버(300)를 액세스하여 특정의 건축물에 대해 영상 평가를 요청하고 그에 따라 해당 건축물에 대한 정합영상(301)을 제공받고 블록체인을 통해 상기 건축정보 분산원장(510)을 액세스하여 상기 정합영상(301)에 대한 신뢰성을 직접 확인하도록 구성되는 영상평가 검증 장치(500);
를 더 포함하여 구성되는 것을 특징으로 하는 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200095614A KR102451336B1 (ko) | 2020-07-31 | 2020-07-31 | 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200095614A KR102451336B1 (ko) | 2020-07-31 | 2020-07-31 | 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220015520A true KR20220015520A (ko) | 2022-02-08 |
| KR102451336B1 KR102451336B1 (ko) | 2022-10-06 |
Family
ID=80251724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200095614A KR102451336B1 (ko) | 2020-07-31 | 2020-07-31 | 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102451336B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102484280B1 (ko) * | 2022-05-23 | 2023-01-04 | 주식회사 한목 | 드론을 이용한 연도변 조사 서비스 제공 시스템 |
| KR102492849B1 (ko) * | 2022-04-08 | 2023-01-26 | 방재웅 | 스마트 건축물 유지 관리 시스템 |
| KR20240029309A (ko) | 2022-08-26 | 2024-03-05 | 인하대학교 산학협력단 | 디지털 트윈을 활용한 유해물질 확산 예측 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190059395A (ko) * | 2017-11-23 | 2019-05-31 | (주) 피플소프트 | Gis 정보를 이용한 3차원 지형과 cctv 영상의 정합을 통한 3차원 기반 cctv 관제 시스템 |
| KR20190080692A (ko) * | 2017-12-28 | 2019-07-08 | (주)연우피씨엔지니어링 | 2d 도면과 bim모델을 기반으로, 건설용 골조 3d도면·3d형상을 생성하고 건설정보를 운용하는 가상·증강현실 시스템 및 모바일 어플리케이션 |
| KR20200034468A (ko) * | 2018-09-21 | 2020-03-31 | 김승진 | 가상현실 영상을 이용한 기록 대상 공간 정보 통합 관리 플랫폼을 운영하는 관리 서버 및 이의 플랫폼 운영 방법 |
-
2020
- 2020-07-31 KR KR1020200095614A patent/KR102451336B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190059395A (ko) * | 2017-11-23 | 2019-05-31 | (주) 피플소프트 | Gis 정보를 이용한 3차원 지형과 cctv 영상의 정합을 통한 3차원 기반 cctv 관제 시스템 |
| KR20190080692A (ko) * | 2017-12-28 | 2019-07-08 | (주)연우피씨엔지니어링 | 2d 도면과 bim모델을 기반으로, 건설용 골조 3d도면·3d형상을 생성하고 건설정보를 운용하는 가상·증강현실 시스템 및 모바일 어플리케이션 |
| KR20200034468A (ko) * | 2018-09-21 | 2020-03-31 | 김승진 | 가상현실 영상을 이용한 기록 대상 공간 정보 통합 관리 플랫폼을 운영하는 관리 서버 및 이의 플랫폼 운영 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102492849B1 (ko) * | 2022-04-08 | 2023-01-26 | 방재웅 | 스마트 건축물 유지 관리 시스템 |
| KR102484280B1 (ko) * | 2022-05-23 | 2023-01-04 | 주식회사 한목 | 드론을 이용한 연도변 조사 서비스 제공 시스템 |
| KR20240029309A (ko) | 2022-08-26 | 2024-03-05 | 인하대학교 산학협력단 | 디지털 트윈을 활용한 유해물질 확산 예측 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102451336B1 (ko) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102451336B1 (ko) | 스마트 시티를 위한 멀티레이어 영상정합 표출 기반의 건축물 디지털 트윈 블록체인 시스템 | |
| Lenjani et al. | Automated building image extraction from 360 panoramas for postdisaster evaluation | |
| CN109084746A (zh) | 用于具有辅助传感器的自主平台引导系统的单目模式 | |
| US20090021514A1 (en) | Handling raster image 3d objects | |
| KR101965878B1 (ko) | 시각적 피처들을 이용한 이미지들의 자동 연결 | |
| CN101553862A (zh) | 使用三维虚拟模型提供建筑物情境意识的以计算机为基础的系统和方法 | |
| KR20150113246A (ko) | 가상 전시공간 제공 시스템 및 방법 | |
| WO2022048534A1 (en) | Digital twin multi-dimensional model record using photogrammetry | |
| CN104798128A (zh) | 注解方法和装置 | |
| EP4358009A1 (en) | 3d object management data, computer program, and distributed management method for 3d object | |
| JP2009080514A (ja) | センサ配置設計支援システム | |
| CN116108673A (zh) | 一种煤矿井下数字孪生现实仿真方法及设备 | |
| Martinez-Rubi et al. | Using modular 3D digital earth applications based on point clouds for the study of complex sites | |
| Counsell et al. | What are the goals of HBIM? | |
| KR20200094897A (ko) | 건물의 하자 진단 보고서를 제공하는 장치 및 방법 | |
| Ahn et al. | Integrating Image and Network‐Based Topological Data through Spatial Data Fusion for Indoor Location‐Based Services | |
| Hong et al. | The use of CCTV in the emergency response: A 3D GIS perspective | |
| JP2019105876A (ja) | 情報処理装置、情報処理方法、及び情報処理用プログラム | |
| JP7496226B2 (ja) | 点検支援システム、点検支援装置及び点検支援方法 | |
| Claridades et al. | Using omnidirectional images for semi-automatically generating IndoorGML data | |
| JP7313941B2 (ja) | 情報管理システムおよび情報管理方法 | |
| Haddad | 3D and 2D Visual Digital Technologies and Cultural Heritage Documentation for Conservation and Monitoring: A Critical Review and Assessment | |
| JP7132860B2 (ja) | 映像情報管理システムおよび映像情報管理方法 | |
| Wei | Detecting as-built information model errors using unstructured images | |
| JP6064266B2 (ja) | データファイルを長期保存するためのファイル処理方法、及びファイル処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |