KR102597860B1

KR102597860B1 - 인공지능 기술을 이용한 문화재 점검 장치 및 방법

Info

Publication number: KR102597860B1
Application number: KR1020230018947A
Authority: KR
Inventors: 반상우; 오재호; 유유빈; 조한결
Original assignee: 동국대학교 와이즈캠퍼스 산학협력단
Priority date: 2023-02-13
Filing date: 2023-02-13
Publication date: 2023-11-02

Abstract

인공지능 기술을 이용한 문화재 점검 장치 및 방법이 개시된다. 문화재 점검 장치는 무인 항공기로부터 촬영된 문화재 관련 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 문화재의 훼손 상태를 점검하는 문화재 점검부 및 정보수집장치로부터 수집된 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 기 학습된 안전점검모델에 적용하여 문화재 주변에서의 안전사고 발생 가능성을 점검하는 안전 점검부를 포함한다.

Description

인공지능 기술을 이용한 문화재 점검 장치 및 방법{Cultural heritage inspection apparatus and method using artificial intelligence technology}

본 발명은 문화재 점검 기술에 관한 것으로, 더욱 상세하게는 인공지능 기술을 기반으로 문화재의 훼손 및 문화재 주변에서의 안전사고를 점검하는 인공지능 기술을 이용한 문화재 점검 장치 및 방법에 관한 것이다.

우리민족은 반만년 이상의 유구한 역사와 전통을 자랑할 수 있으며, 이러한 역사와 전통에 의해 제작된 다양한 문화재들이 아직 잔존되고 있다.

하지만 이러한 문화재들 중 야외에 건축되거나 노출된 경우, 눈, 비, 바람, 태양빛, 지진 등에 의한 자연적인 파손과, 사람, 동물, 식물 등에 의한 인위적인 파손으로 문화재의 일부가 훼손되는 현상이 발생되고 있다.

따라서 이러한 훼손되는 현상을 빠르게 감지할 수 있는 문화재 점검 서비스가 필요한 실정이다.

한국공개특허공보 제10-2021-0052378호(2021.05.10.)

본 발명이 해결하고자 하는 과제는, 인공지능 기술을 이용하여 문화재의 훼손 및 문화재 주변에서의 안전사고를 빠르면서도 정확하게 검출하는 인공지능 기술을 이용한 문화재 점검 장치 및 방법을 제공하는 것이다.

상기 과제를 해결하기 위해 본 발명에 따른 문화재 점검 장치는 무인 항공기로부터 촬영된 문화재 관련 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 상기 문화재의 훼손 상태를 점검하는 문화재 점검부 및 정보수집장치로부터 수집된 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 기 학습된 안전점검모델에 적용하여 상기 문화재 주변에서의 안전사고 발생 가능성을 점검하는 안전 점검부를 포함한다.

또한 상기 훼손진단모델 및 상기 안전점검모델을 각각 학습시키는 학습부를 더 포함하고, 상기 학습부는, 상기 학습을 위한 학습 데이터를 상기 훼손진단모델 및 상기 안전점검모델에 각각 입력하여 학습결과 예측값이 출력되면 상기 학습결과 예측값과 상기 학습 데이터에 대응하는 학습결과 정답값을 비교하여 상기 학습결과 예측값이 상기 학습결과 정답값에 가까워지도록 가중치를 조정하며 학습시키고, 상기 학습이 기 설정된 횟수만큼 반복 수행되도록 제어하는 것을 특징으로 한다.

또한 상기 문화재 점검부는, 상기 항공 영상 데이터가 하나의 영상 프레임 이미지 형태인 경우, 상기 항공 영상 데이터로부터 훼손 상태를 점검할 문화재 이미지를 검출하는 제1 훼손진단모델 및 상기 제1 훼손진단모델로부터 검출된 문화재 이미지를 기반으로 문화재의 훼손 위치 및 훼손 유형을 검출하는 제2 훼손진단모델을 포함하는 것을 특징으로 한다.

또한 상기 제1 훼손진단모델은, 상기 항공 영상 데이터를 리사이징(resizing)하여 상기 검출된 문화재 이미지만을 출력하는 것을 특징으로 한다.

또한 상기 문화재 점검부는, 상기 항공 영상 데이터가 연속적인 복수의 영상 프레임 이미지인 동영상인 경우, 상기 항공 영상 데이터를 3차원 합성곱 신경망(3D Convolutional Nerual Network) 구조를 가지는 제3 훼손진단모델에 적용하여 복수의 영상 프레임 이미지를 동시에 분석하는 것을 특징으로 한다.

또한 상기 학습부는, 상기 제3 훼손진단모델에 대해 종단간(End to End) 학습을 수행하는 것을 특징으로 한다.

또한 상기 안전 점검부는, 불법 주차, 방문자 낙상, 출입 금지 구역 침입, 문화재 화재 및 방화 중 적어도 하나가 포함되는 안전사고의 발생 가능성을 점검하는 것을 특징으로 한다.

본 발명에 따른 문화재 점검 방법은 문화재 점검 장치가 무인 항공기로부터 촬영된 문화재 관련 항공 영상 데이터 및 상기 정보수집장치로부터 수집된 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 수신하는 단계, 상기 문화재 점검 장치가 상기 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 상기 문화재의 훼손 상태를 점검하는 단계 및 상기 문화재 점검 장치가 상기 문화재 구역 영상 데이터 및 상기 측정 데이터를 기 학습된 안전점검모델에 적용하여 상기 문화재 주변에서의 안전사고 발생 가능성을 점검하는 단계를 포함한다.

본 발명의 실시예에 따르면, 무인 항공기로부터 촬영된 문화재 관련 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 문화재의 훼손 상태를 점검하고, 정보수집장치로부터 수집된 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 기 학습된 안전점검모델에 적용하여 문화재 주변에서의 안전사고 발생 가능성을 점검할 수 있다.

이를 통해 본 발명은 문화재가 훼손되거나, 안전사고가 발생될 여지가 있는 위치, 종류 등을 객관적인 기준에 따라 빠르게 판단하여 사용자로 하여금 신속한 대응조치를 할 수 있도록 도와준다.

도 1은 본 발명의 실시예에 따른 문화재 관리 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 무인 항공기를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 정보수집장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 데이터 통합 장치를 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 데이터 통합 장치의 데이터베이스를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 문화재 점검 장치를 설명하기 위한 블록도이다.
도 7은 본 발명의 제1 실시예에 따른 인공지능 기술이 적용된 점검모델을 설명하기 위한 도면이다.
도 8은 본 발명의 제2 실시예에 따른 인공지능 기술이 적용된 점검모델을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 모니터링 장치를 설명하기 위한 블록도이다.
도 10는 본 발명의 실시예에 따른 모니터링 기능을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 문화재 관리 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 컴퓨팅 장치를 설명하기 위한 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서 및 도면(이하 '본 명세서')에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

도 1은 본 발명의 실시예에 따른 문화재 관리 시스템을 설명하기 위한 구성도이다.

도 1을 참조하면, 문화재 관리 시스템(700)은 문화재의 훼손 또는 문화재 주변에서 발생되는 안전사고를 점검한다. 여기서 문화재는 야외 또는 실내에 건축되거나 노출된 문화재로써, 방문자의 접근이 일정부분 허용되는 문화재일 수 있다. 문화재 관리 시스템(700)은 무인 항공기(100), 정보수집장치(200), 데이터 통합 장치(300), 문화재 점검 장치(400), 모니터링 장치(500) 및 사용자 단말(600)을 포함한다.

무인 항공기(100)는 무인으로 비행하는 항공기로써, 적어도 하나를 포함한다. 바람직하게는 무인 항공기(100)는 드론(dron)일 수 있으나, 이에 한정하지 않는다. 무인 항공기(100)는 다양한 문화재의 주변을 비행하면서 해당 문화재를 촬영하여 항공 영상 데이터를 생성한다. 무인 항공기(100)는 문화재를 순간적으로 촬상하거나, 연속적으로 촬영할 수 있다. 여기서 무인 항공기(100)는 외부의 사용자에 의해 원격조작되어 비행할 수 있으나, 이에 한정하지 않고 기 설정된 패턴에 따라 자동으로 비행할 수 있다. 무인 항공기(100)는 현재 위치를 측정하고, 바람직하게는 문화재를 촬영한 위치를 측정하여 위치 데이터를 생성한다. 무인 항공기(100)는 항공 영상 데이터 및 위치 데이터를 데이터 통합 장치(300)로 전송할 수 있다.

정보수집장치(200)는 각 문화재의 주변(예: 보호구역 등)에 설치되어 해당 문화재의 주변 환경 관련 정보를 수집하는 장치로써, 복수개를 포함한다. 바람직하게는 정보수집장치(200)는 CCTV(Closed-circuit Television)와, 온도 센서, 습도 센서, 화재 감지 센서(열 연기 복합감지기, 불꽃감지기) 등이 포함된 IoT(Internet of Thing) 센서를 포함할 수 있다. 정보수집장치(200)는 문화재의 주변에 대한 영상을 촬영하여 문화재 구역 영상 데이터를 생성한다. 이때 CCTV는 열화상 영상을 촬영하는 기능을 포함하여 야간에도 문화재의 주변에 대한 영상을 확인할 수 있도록 지원할 수 있다. 정보수집장치(200)는 온도, 습도, 화재 감지 등을 측정하여 측정 데이터를 생성한다. 이를 통해 정보수집장치(200)는 각 문화재의 주변 환경 변화를 초단위로 수집하여 측정 데이터를 생성할 수 있다. 또한 정보수집장치(200)는 각 문화재의 방문자 수를 실시간으로 수집하여 방문자 관련 출입데이터를 생성할 수 있다. 정보수집장치(200)는 측정 데이터를 데이터 통합 장치(300)로 전송하고, 출입데이터를 모니터링 장치(500)로 전송할 수 있다.

데이터 통합 장치(300)는 적어도 하나의 무인 항공기(100) 및 복수의 정보수집장치(200)로부터 수신된 데이터를 통합 관리한다. 데이터 통합 장치(300)는 무인 항공기(100)로부터 촬영된 항공 영상 데이터 및 무인 항공기(100)의 위치 데이터를 수신하면 수신된 데이터를 각 문화재별로 분류하고 분류된 데이터를 시계열에 따라 정렬하여 데이터베이스를 구축한다. 또한 데이터 통합 장치(300)는 정보수집장치(200)로부터 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 수신하면 수신된 데이터를 각 문화재별로 분류하고 분류된 데이터를 시계열에 따라 정렬하여 데이터베이스를 구축한다. 또한 데이터 통합 장치(300)는 문화재 상태를 분석하는 문화재 점검 장치(400)로부터 분석 데이터를 수신하고, 수신된 분석 데이터를 각 문화재별로 분류하고, 분류된 데이터를 시계열에 따라 정렬하여 데이터베이스화할 수 있다. 데이터 통합 장치(300)는 데이터베이스화된 데이터를 문화재 점검 장치(400)로 전송한다. 이와 같이 데이터 통합 장치(300)는 다양한 데이터를 하나로 통합하는 스토리지 역할을 수행할 수 있으며, 이로 인해 고용량 데이터에 대해 높은 데이터 처리속도를 보장하고, 전체 데이터에 대해 우수한 신뢰성, 가시성 및 용이한 접근성을 지원할 수 있다. 또한 데이터 통합 장치(300)는 데이터를 통합하여 유지보수, 보안 등의 관리에 용이성을 얻을 수 있다.

문화재 점검 장치(400)는 데이터 통합 장치(300)로부터 수신된 데이터를 이용하여 문화재의 상태를 점검한다. 문화재 점검 장치(400)는 무인 항공기(100)로부터 촬영된 문화재 관련 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 문화재의 훼손 상태를 점검한다. 여기서 훼손진단모델은 인공지능 기술이 적용된 모델로써, 문화재의 훼손 위치 및 훼손 유형을 검출할 수 있다. 이때 훼손진단모델은 항공 영상 데이터가 하나의 이미지일 경우와, 연속적인 영상 프레임 이미지인 동영상일 경우에 따라 구조가 상이할 수 있다. 문화재 점검 장치(400)는 정보수집장치(200)로부터 수집된 문화재 구역 영상 데이터 및 측정 데이터를 기 학습된 안전점검모델에 적용하여 문화재 주변에서의 안전사고 발생 가능성을 점검한다. 여기서 안전점검모델은 인공지능 기술이 적용된 모델로써, 안전사고 발생 가능성이 높은 위치 및 종류를 검출할 수 있다. 문화재 점검 장치(400)는 점검된 결과를 모니터링 장치(500)로 전송한다.

모니터링 장치(500)는 문화재 점검 장치(400)로부터 문화재의 훼손 상태 및 문화재 주변에서의 안전사고 발생 가능성에 대한 점검 데이터를 수신하고, 정보수집장치(200)로부터 실시간 문화재의 방문자 수에 대한 출입데이터를 수신한다. 모니터링 장치(500)는 수신된 데이터를 이용하여 문화재에 대한 모니터링을 수행한다. 모니터링 장치(500)는 모니터링된 결과를 사용자 단말(600)에 전송하되, 문화재에 훼손이 발생되거나, 안전사고가 발생될 위험이 발생된다고 판단하면 해당 결과에 대한 경보 메시지를 더 전송할 수 있다.

사용자 단말(600)은 사용자(관리자)가 사용하는 단말로써, 적어도 하나를 포함한다. 사용자 단말(600)은 모니터링 장치(500)로부터 모니터링된 결과를 수신하고, 수신된 결과를 출력한다. 이때 사용자 단말(600)은 한번에 복수의 문화재에 대한 모니터링된 결과를 출력할 수 있으며, 임의의 사용자 입력에 의해 하나의 문화재가 선택되면 선택된 문화재에 대한 상세한 결과를 출력할 수 있다. 바람직하게는 사용자 단말(600)은 일반적인 모니터링된 결과보다 경보 메시지를 우선적으로 출력할 수 있다.

한편 문화재 관리 시스템(700)은 무인 항공기(100), 정보수집장치(200), 데이터 통합 장치(300), 문화재 점검 장치(400), 모니터링 장치(500) 및 사용자 단말(600) 사이에 통신망(710, 720)을 구축하여 서로 간에 통신이 이루어지도록 지원할 수 있다. 통신망(710, 720)는 백본망과 가입자망으로 구성될 수 있다. 백본망은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi-Protocol Label Switching) 망 및 GMPLS(Generalized Multi-Protocol Label Switching) 망 등 중에 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, 지그비(zigbee), 블루투스(bluetooth), Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n), Wireless Hart(ISO/IEC62591-1), ISA100.11a(ISO/IEC 62734), CoAP(Constrained Application Protocol), MQTT(Message Queuing Telemetry Transport), WIBro(Wireless Broadband), Wimax, 3G, HSDPA(High Speed Downlink Packet Access), 4G, 5G 및 6G 등일 수 있다. 일부 실시예로, 통신망(710, 720)은 인터넷망일 수 있고, 이동 통신망일 수 있다. 또한 통신망(710, 720)은 기타 널리 공지되었거나 향후 개발될 모든 무선통신 또는 유선통신 방식을 포함할 수 있다.

또한 도면에서는 데이터 통합 장치(300), 문화재 점검 장치(400) 및 모니터링 장치(500)가 각각 별도의 장치로 도시되고 있으나, 이에 한정하지 않고 시스템이 적용되는 상황에 따라 서로 통합되어 한 개 또는 두 개의 장치로 구현될 수 있다.

도 2는 본 발명의 실시예에 따른 무인 항공기를 설명하기 위한 블록도이다.

도 1 및 도 2를 참조하면, 무인 항공기(100)는 본체(110), 제1 통신부(120), 제1 카메라부(130), 제1 센서부(140), 제1 제어부(150), GSP부(160) 및 제1 저장부(170)를 포함한다.

본체(110)는 무인 항공기(100)의 외부 프레임에 해당한다. 이때 본체(110)는 비행을 하기 위한 프로펠러, 모터, 배터리 등을 더 포함할 수 있다. 바람직하게는 본체(110)는 복수의 프로펠러를 포함하여 균형을 유지하면서 비행을 할 수 있도록 지원할 수 있다.

제1 통신부(120)는 본체(110)에 구비되고, 데이터 통합 장치(300)와의 통신을 수행한다. 제1 통신부(120)는 비행 중 촬영된 항공 영상 데이터 및 비행 위치를 나타내는 위치 데이터를 데이터 통합 장치(300)로 전송한다. 또한 제1 통신부(120)는 외부의 조정기(미도시)와의 통신을 더 수행할 수 있다. 제1 통신부(120)는 조정기로부터 비행과 관련된 사용자 입력을 수신할 수 있다.

제1 카메라부(130)는 본체(110)에 구비되고, 영상을 촬영하기 위한 적어도 하나의 RGB 카메라를 포함한다. 바람직하게는 제1 카메라부(130)는 RGB 카메라를 본체(110)의 하부에 구비하여 비행하면서 지상을 촬영할 수 있도록 할 수 있다. 제1 카메라부(130)는 문화재 주변을 비행 시, 구동되어 문화재 주변에 대한 영상을 촬영한다. 바람직하게는 제1 카메라부(130)는 열화상 카메라를 더 포함하여 야간 비행 시, 문화재 주변에 대한 열화상 영상을 촬영할 수 있다. 즉 제1 카메라부(130)는 문화재가 포함된 항공 영상 데이터를 생성한다.

제1 센서부(140)는 본체(110)에 구비되고, 본체(110)의 비행과 관련된 데이터를 측정하여 비행 측정 데이터를 생성한다. 제1 센서부(140)는 비행 상태(균형 유지), 비행 속도, 비행 방향 등을 측정할 수 있다. 이를 위해 제1 센서부(140)는 자이로 센서, 가속도 센서, 지자기 센서 등을 포함할 수 있다.

제1 제어부(150)는 본체(110)에 구비되고, 무인 항공기(100)의 전반적인 제어를 수행한다. 제1 제어부(150)는 제1 카메라부(130), 제1 센서부(140) 및 GPS부(160)를 제어한다. 제1 제어부(150)는 제1 센서부(140)로부터 측정된 비행 측정 데이터를 이용하여 본체(110)의 비행이 안정적으로 비행할 수 있도록 제어하고, GPS부(160)로부터 측정된 현재 위치 데이터를 이용하여 원하는 위치로 비행한다. 또한 제1 제어부(150)는 현재 위치가 문화재 주변인 경우, 제1 카메라부(130)를 구동시켜 문화재 주변에 대한 영상을 촬영하도록 제어한다. 이때 제1 제어부(150)는 기 설정된 패턴에 따라 자동으로 비행을 제어하거나, 사용자 입력에 따라 수동으로 비행을 제어할 수 있다. 여기서 기 설정된 패턴은 적어도 하나의 문화재 주변을 선회하면서 비행하는 것을 의미할 수 있다. 또한 제1 제어부(150)는 제1 카메라부(130)로부터 생성된 항공 영상 데이터 및 GPS부(160)로부터 측정된 위치 데이터를 데이터 통합 장치(300)로 전송할 수 있다. 여기서 제1 제어부(150)는 데이터 통합 장치(300)로 전송하는 데이터에 대해 암호화할 수 있으나, 이에 한정하지 않는다.

GPS부(160)는 본체(110)에 구비되고, 본체(110)의 현재 위치를 측정한다. GPS부(160)는 본체(110)가 비행되는 위치를 실시간으로 측정하여 위치 데이터를 측정한다.

제1 저장부(170)는 무인 항공기(100)가 구동되기 위한 프로그램 또는 알고리즘이 저장된다. 제1 저장부(170)는 항공 영상 데이터, 비행 측정 데이터, 위치 데이터 등이 저장된다. 또한 제1 저장부(170)는 비행과 관련된 패턴 데이터 및 사용자 입력이 저장된다. 제1 저장부(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.

도 3은 본 발명의 실시예에 따른 정보수집장치를 설명하기 위한 블록도이다.

도 1 및 도 3을 참조하면, 정보수집장치(200)는 제2 통신부(210), 제2 카메라부(220), 제2 센서부(230), 제2 제어부(240) 및 제2 저장부(250)를 포함한다.

제2 통신부(210)는 데이터 통합 장치(300) 및 모니터링 장치(500)와의 통신을 수행한다. 제2 통신부(210)는 특정 문화재 구역을 촬영한 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 데이터 통합 장치(300)로 전송한다. 또한 제2 통신부(210)는 특정 문화재에 대한 출입상태를 나타내는 출입데이터를 모니터링 장치(500)로 전송한다.

제2 카메라부(220)는 문화재 구역에 설치되고, 해당 문화재 구역에 대한 영상을 촬영한다. 제2 카메라부(220)는 적어도 하나의 RGB 카메라 또는 열화상 카메라르 포함할 수 있으며, CCTV일 수 있으나 이에 한정하지 않는다. 즉 제2 카메라부(220)는 고정된 위치에 설치되고, 해당 위치를 지속적으로 촬영할 수 있다. 바람직하게는 제2 카메라부(220)는 방문자가 문화재를 입출입하는 입구 또는 출구에 적어도 하나의 카메라를 설치할 수 있다.

제2 센서부(230)는 문화재 주변 환경 관련 측정 데이터를 수집한다. 즉 제2 센서부(230)는 문화재 주변의 온도, 습도, 화재 감지 등에 대한 측정 데이터를 수집한다. 이를 위해 제2 센서부(230)는 온도 센서, 습도 센서, 화재 감지 센서(열 연기 복합감지기, 불꽃감지기)등이 포함된 IoT 센서를 포함할 수 있다. 바람직하게는 제2 센서부(230)는 제2 카메라부(220)에 설치되거나, 인접한 위치에 설치될 수 있다.

제2 제어부(240)는 정보수집장치(200)의 전반적인 제어를 수행한다. 제2 제어부(240)는 제2 카메라부(220)로부터 촬영된 문화재 구역 영상 데이터 및 제2 센서부(230)로부터 수집된 측정 데이터를 데이터 통합 장치(300)로 전송시킨다. 또한 제2 제어부(240)는 제2 카메라부(220)로부터 촬영된 문화재 구역 영상 데이터 중 문화재의 입구 또는 출구에 위치한 데이터를 분석하여 방문자의 출입상태를 산출한다. 즉 제2 제어부(240)는 현재 문화재를 관람하는 방문자가 몇 명인지를 산출한 출입데이터를 산출한다. 제2 제어부(240)는 산출된 출입데이터를 모니터링 장치(500)로 전송시킨다. 여기서 제2 제어부(240)는 데이터 통합 장치(300) 및 모니터링 장치(500)로 전송하는 데이터에 대해 암호화할 수 있으나, 이에 한정하지 않는다.

제2 저장부(250)는 정보수집장치(200)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 제2 저장부(250)는 문화재 구역 영상 데이터, 측정 데이터, 출입데이터 등이 저장된다. 제2 저장부(250)는 플래시 메모리 타입, 하드디스크 타입, 미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.

도 4는 본 발명의 실시예에 따른 데이터 통합 장치를 설명하기 위한 블록도이고, 도 5는 본 발명의 실시예에 따른 데이터 통합 장치의 데이터베이스를 설명하기 위한 도면이다. 여기서 도 5의 (a)는 항공 영상 데이터를 데이터베이스화한 도면이고, (b)는 위치 데이터를 데이터베이스화한 도면이며, (c)는 문화재 구역 영상 데이터를 데이터베이스화한 도면이고, (d)는 측정 데이터를 데이터베이스화한 도면이다.

도 1, 도 4 및 도 5를 참조하면, 데이터 통합 장치(300)는 제3 통신부(310) 및 제3 제어부(320)를 포함하고, 제3 저장부(330)를 더 포함할 수 있다.

제3 통신부(310)는 적어도 하나의 무인 항공기(100), 복수의 정보수집장치(200) 및 문화재 점검 장치(400)와의 통신을 수행한다. 제3 통신부(310)는 적어도 하나의 무인 항공기(100)로부터 항공 영상 데이터 및 위치 데이터를 수신하고, 복수의 정보수집장치(200)로부터 문화재 구역 영상 데이터 및 측정 데이터를 수신한다. 제3 통신부(310)는 항공 영상 데이터, 위치 데이터, 문화재 구역 영상 데이터 문화재 점검 장치(400) 및 측정 데이터를 문화재 점검 장치(400)로 전송하고, 문화재 점검 장치(400)로부터 문화재를 점검한 분석 데이터를 수신한다.

제3 제어부(320)는 데이터 통합 장치(300)의 전반적인 제어를 수행한다. 제3 제어부(320)는 항공 영상 데이터, 위치 데이터, 문화재 구역 영상 데이터 및 측정 데이터를 수신하면 수신된 데이터를 각 문화재별로 분류한다. 이때 제3 제어부(320)는 항공 영상 데이터, 위치 데이터, 문화재 구역 영상 데이터 및 측정 데이터 중 적어도 하나의 데이터가 암호화된 상태로 수신되면 암호화된 데이터를 복호화하고, 복호화된 데이터를 기반으로 데이터베이스(335)를 구축할 수 있다. 제3 제어부(320)는 OTP(One-time Password), 대칭키, 비대칭키 중 어느 하나를 이용하여 암호화된 데이터에 대한 복호화를 수행할 수 있다.

제3 제어부(320)는 분류된 데이터를 시계열에 따라 정렬하여 데이터베이스(335)를 구축한다. 여기서 제3 제어부(320)는 시계열에 따라 정렬된 데이터에 대한 메타 데이터를 생성하고, 생성된 메타 데이터와 정렬된 데이터를 결합한 다음, 데이터베이스(335)를 구축함으로써, 추후 데이터 검색 및 검출을 빠르게 수행할 수 있도록 지원한다. 메타 데이터는 인덱스 정보, 문화재 정보, 연계 문화재 정보 및 데이터 생성시간 중 적어도 하나를 포함할 수 있다(도 5의 (a) 내지 (d)). 문화재 정보는 현재 수집된 데이터에 대한 특정 문화재의 정보를 의미하고, 연계 문화재 정보는 현재 수집된 데이터에 대한 문화재가 아니지만 특정 문화재와 유사하거나 관련이 있는 문화재의 정보를 의미한다.

또한 제3 제어부(320)는 시계열에 따라 정렬된 데이터를 압축한 다음, 데이터베이스(335)를 구축하여 제3 저장부(330)의 저장 공간에 대한 활용도를 극대화할 수 있다. 제3 제어부(320)는 기 설정된 기간이 지난 데이터를 자동으로 삭제하여 제3 저장부(330)의 저장 공간이 모자라는 현상을 미연에 방지할 수 있다.

한편 제3 제어부(320)는 문화재 점검 장치(400)로부터 문화재 상태를 분석한 분석 데이터를 수신하면 수신된 분석 데이터를 항공 영상 데이터, 위치 데이터, 문화재 구역 영상 데이터 및 측정 데이터와 같이 각 문화재별로 분류하고, 분류된 데이터를 시계열에 따라 정렬한 후, 데이터베이스화할 수 있다.

제3 제어부(320)는 데이터베이스(335)된 다양한 데이터를 각 상황에 맞게 문화재 점검 장치(400)로 전송시킬 수 있다. 즉 제3 제어부(320)는 문화재 점검 장치(400)에서 점검할 대상인 문화재에 대한 데이터를 검색 및 검출하여 전달되도록 제어할 수 있다.

제3 저장부(330)는 데이터 통합 장치(300)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 제3 저장부(330)는 항공 영상 데이터, 위치 데이터, 문화재 구역 영상 데이터, 측정 데이터, 분석 데이터 등이 포함된 데이터베이스(335)가 저장된다. 이때 데이터베이스(335)는 메타 데이터를 기반으로 데이터베이스화될 수 있다. 제3 저장부(330)는 플래시 메모리 타입, 하드디스크 타입, 미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.

도 6은 본 발명의 실시예에 따른 문화재 점검 장치를 설명하기 위한 블록도이고, 도 7은 본 발명의 제1 실시예에 따른 인공지능 기술이 적용된 점검모델을 설명하기 위한 도면이며, 도 8은 본 발명의 제2 실시예에 따른 인공지능 기술이 적용된 점검모델을 설명하기 위한 도면이다.

도 1, 도 6 내지 도 8을 참조하면, 문화재 점검 장치(400)는 제4 통신부(410), 제4 제어부(420) 및 제4 저장부(430)를 포함한다.

제4 통신부(410)는 데이터 통합 장치(300) 및 모니터링 장치(500)와의 통신을 수행한다. 제4 통신부(410)는 데이터 통합 장치(300)로부터 항공 영상 데이터, 문화재 구역 영상 데이터 및 측정 데이터가 수신되고, 분석 데이터를 데이터 통합 장치(300)로 전송한다. 제4 통신부(410)는 분석 데이터를 모니터링 장치(500)로 전송한다.

제4 제어부(420)는 문화재 점검 장치(400)의 전반적인 제어를 수행한다. 제4 제어부(420)는 문화재의 훼손 상태 및 문화재 주변에서의 안전사고 발생 가능성을 점검한다. 이를 위해 제4 제어부(420)는 문화재 점검부(423) 및 안전 점검부(425)를 포함하고, 학습부(421)를 더 포함할 수 있다.

학습부(421)는 문화재의 훼손 상태를 점검하는 훼손진단모델 및 문화재 주변에서의 안전사고를 점검하는 안전점검모델을 학습시킨다. 학습부(421)는 학습을 위한 학습 데이터를 미학습된 훼손진단모델 및 안전점검모델에 각각 입력하여 학습결과 예측값을 출력한다. 학습부(421)는 출력된 학습결과 예측값과 학습 데이터에 대응하는 학습결과 정답값(미리 알고 있음)을 비교하여 학습결과 예측값이 학습결과 정답값에 가까워지도록 가중치를 조정하며 학습시킨다. 학습부(421)는 학습이 기 설정된 횟수만큼 반복 수행되도록 제어한다. 기 설정된 횟수는 사용자가 원하는 평가 지표의 정확도에 도달할 때까지의 횟수를 의미한다.

문화재 점검부(423)는 항공 영상 데이터를 학습부(421)로부터 학습된 훼손진단모델에 적용하여 문화재의 훼손 상태를 점검한다. 여기서 문화재 점검부(423)는 항공 영상 데이터의 상태에 따라 복수의 훼손진단모델 중 적어도 하나를 선정하고, 선정된 훼손진단모델을 이용하여 문화재의 훼손 상태를 점검할 수 있다. 문화재 점검부(423)는 점검된 결과인 분석 데이터를 데이터 통합 장치(300) 및 모니터링 장치(500)로 전송시킬 수 있다.

예를 들어 항공 영상 데이터가 하나의 영상 프레임 이미지(도 7의 (a))인 경우, 문화재 점검부(423)는 제1 훼손진단모델(도 7의 (b)) 및 제2 훼손진단모델(도 7의 (d))을 이용하여 문화재의 훼손 상태를 점검할 수 있다. 문화재 점검부(423)는 항공 영상 데이터를 제1 훼손진단모델에 적용하여 훼손 상태를 점검할 문화재 이미지를 검출한다. 즉 제1 훼손진단모델은 항공 영상 데이터 중 문화재 이미지만을 검출할 수 있다. 이때 제1 훼손진단모델은 문화재 이미지를 검출하면서 항공 영상 데이터를 리사이징(resizing)하여 검출된 문화재 이미지만을 출력함(도 7의 (c))으로써, 항공 영상 데이터의 데이터 용량을 낮춰 해당 문화재 이미지를 제2 훼손진단모델에 용이하게 적용할 수 있도록 도와준다. 문화재 점검부(423)는 제1 훼손진단모델로부터 검출된 문화재 이미지를 제2 훼손진단모델에 적용하여 문화재의 훼손 위치 및 훼손 유형을 검출한다(도 7의 (e)). 여기서 제1 훼손 진단모델 및 제2 훼손 진단모델은 합성곱 신경망(Convolutional Neural Network, CNN) 구조로 이루어진 모델일 수 있다.

항공 영상 데이터가 연속적인 복수의 영상 프레임 이미지인 동영상(도 8의 (a))인 경우, 문화재 점검부(423)는 제3 훼손진단모델(도 8의 (b))를 이용하여 문화재의 훼손 상태를 점검할 수 있다. 문화재 점검부(423)는 항공 영상 데이터를 제3 훼손진단모델에 적용하여 문화재의 훼손 위치 및 훼손 유형을 검출한다(도 8의 (c)). 이때 제3 훼손진단모델은 3차원 합성곱 신경망(3D Convolutional Neural Network) 구조로 이루어진 모델로써, 복수의 영상 프레임 이미지를 동시에 분석할 수 있다. 또한 제3 훼손진단모델은 학습부(421)에서 종단간(End to End) 학습을 통해 학습될 수 있다.

안전 점검부(425)는 문화재 구역 영상 데이터 및 측정 데이터를 학습부(421)로부터 학습된 안전점검모델에 적용하여 문화재 주변에서의 안전사고 발생 가능성을 점검한다. 예를 들면 안전 점검부(425)는 문화재 주변에서 발생될 수 있는 불법 주차, 방문자 낙상, 출입 금지 구역 침입, 문화재 화재 및 방화 등과 같은 안전사고에 대해 점검할 수 있다. 여기서 안전 점검부(425)는 안전사고 발생 가능성을 발생 위험이 있는 위치 및 발생 가능 수치로 나타낼 수 있다. 안전 점검부(423)는 점검된 결과인 분석 데이터를 데이터 통합 장치(300) 및 모니터링 장치(500)로 전송시킬 수 있다.

문화재 구역 영상 데이터는 각 문화재 주변에 설치된 고정형 카메라의 영상 데이터로써, 바람직하게는 CCTV 영상 데이터일 수 있고, 측정 데이터는 각 문화재의 주변 환경 상태를 수집한 데이터로써, 온도, 바람직하게는 습도, 화재 감지 등의 정보를 포함할 수 있다. 안전점검모델은 인공지능 기술을 기반으로 형성된 모델로써, 바람직하게는 인공 신경망(Artificial Neural Network, ANN), 합성곱 신경망, 심층 신경망(Deep Neural Network) 중 어느 하나의 신경망 구조로 이루어질 수 있다.

제4 저장부(430)는 문화재 점검 장치(400)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 제4 저장부(430)는 항공 영상 데이터, 문화재 구역 영상 데이터, 측정 데이터, 분석 데이터가 저장된다. 제4 저장부(430)는 플래시 메모리 타입, 하드디스크 타입, 미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.

도 9는 본 발명의 실시예에 따른 모니터링 장치를 설명하기 위한 블록도이고, 도 10는 본 발명의 실시예에 따른 모니터링 기능을 설명하기 위한 도면이다.

도 1, 도 9 및 도 10을 참조하면, 모니터링 장치(500)는 제5 통신부(510), 제5 제어부(520) 및 제5 저장부(530)를 포함한다.

제5 통신부(510)는 정보수집장치(200), 문화재 점검 장치(400) 및 사용자 단말(600)와의 통신을 수행한다. 제5 통신부(510)는 정보수집장치(200)로부터 문화재의 방문자 수에 대한 출입데이터를 수신한다. 제5 통신부(510)는 문화재 점검 장치(400)로부터 문화재의 훼손 상태 및 문화재 주변에서의 안전사고 발생 가능성에 대한 점검 데이터를 수신한다. 제5 통신부(510)는 문화재에 대한 모니터링된 결과를 사용자 단말(600)로 전송한다.

제5 제어부(520)는 모니터링 장치(500)의 전반적인 제어를 수행한다. 제5 제어부(520)는 출입데이터 및 점검 데이터를 수신하면 수신된 데이터를 이용하여 문화재에 대한 모니터링을 수행한다. 즉 제5 제어부(520)는 문화재 주변인 문화재보호구역에 대한 안전 관리, 문화재의 훼손에 대한 관리 및 방문자의 출입관리를 실시간으로 모니터링하고, 모니터링된 결과를 사용자 단말(600)로 전송시킨다. 이때 제5 제어부(520)는 문화재와 관련된 영상 데이터를 모니터링된 결과와 함께 사용자 단말(600)로 전송시킬 수 있다.

상세하게는 제5 제어부(520)는 점검 데이터를 통한 모니터링 과정에서 문화재 중 기 설정된 기준 이상으로 훼손된 부분이 있는 것으로 확인되면 해당 부분에 대한 위치 및 훼손 정도에 대한 데이터를 사용자 단말(600)로 전송시킨다. 또한 제5 제어부(520)는 점검 데이터 및 출입 데이터를 이용하여 문화재 주변 중 안전사고 발생 가능성이 있는 구역을 등급별로 구분한다. 등급은 위험 등급이 가장 낮은 1 단계에서 위험 등급이 가장 높은 N 단계로 나눌 수 있다. 이때 제5 제어부(520)는 방문자 수가 많을수록 출입 데이터에 가중치를 부여하고, 가중치가 부여된 출입 데이터를 기반으로 등급을 구분할 수 있다. 제5 제어부(520)는 문화재 주변 중 특정 구역의 방문자 밀집도가 기 설정된 기준보다 높으면(일반적으로 문화재 주변에 해당됨) 해당 구역에 가중치를 더 부여한 후, 등급을 구분할 수 있다. 제5 제어부(520)는 구분된 등급에 대한 데이터를 사용자 단말(600)로 전송시킬 수 있다.

또한 제5 제어부(520)는 모니터링된 결과를 제5 저장부(530)에 기록하고, 기록된 결과 중 기 설정된 기준 이상으로 반복하여 감지되는 경고 항목에 대한 데이터를 검출한다. 제5 제어부(520)는 검출된 데이터를 사용자 단말(600)로 전송시킨다. 이로 인해 사용자는 반복적으로 발생되는 경고 항목에 대해 직관적으로 인식함으로써, 후속 대응을 빠르게 수행할 수 있다.

제5 저장부(530)는 모니터링 장치(500)를 구동하기 위한 프로그램 또는 알고리즘이 저장된다. 제5 저장부(530)는 점검 데이터, 출입 데이터, 모니터링된 결과가 저장된다. 제5 저장부(530)는 플래시 메모리 타입, 하드디스크 타입, 미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.

도 11은 본 발명의 실시예에 따른 문화재 관리 방법을 설명하기 위한 도면이다.

도 11을 참조하면, 문화재 관리 방법은 문화재 관련된 영상 데이터, 측정 데이터, 출입 데이터를 기반으로 문화재의 훼손 또는 문화재 주변에서 발생되는 안전사고를 점검할 수 있다. 이를 통해 문화재 관리 방법은 문화재에 이상이 발생되는 현상을 사용자가 실시간으로 인지하여 후속 조치를 빠르게 수행할 수 있도록 도와준다.

S101 단계에서, 무인 항공기(100)는 문화재 관련 영상을 촬영하고, 촬영된 위치를 측정한다. 무인 항공기(100)는 기 설정된 패턴으로 자동 비행 또는 원격조작에 의한 수동 비행을 하면서 문화재가 포함된 항공 영상을 촬영하여 항공 영상 데이터를 생성한다. 이때 무인 항공기(100)는 항공 영상 데이터가 생성되는 위치를 측정하여 위치 데이터를 생성한다.

S103 단계에서, 무인 항공기(100)는 생성된 항공 영상 데이터 및 위치 데이터를 데이터 통합 장치(300)로 전송한다.

S105 단계에서, 정보수집장치(200)는 문화재 주변에 대한 문화재 구역 영상을 촬영하고, 주변 환경에 대한 정보를 측정한다. 정보수집장치(200)는 문화재 주변에 고정된 카메라(예: CCTV 등)을 이용하여 문화재 구역 영상 데이터를 생성하고, 문화재 주변 환경(온도, 습도, 화재 감지 등)을 측정하는 복수의 센서들을 이용하여 측정 데이터를 생성한다. 또한 정보수집장치(200)는 문화재를 관람하는 방문자에 대한 입출입 데이터를 더 생성할 수 있다.

S107 단계에서, 정보수집장치(200)는 생성된 문화재 구역 영상 데이터 및 측정 데이터를 문화재 점검 장치(400)로 전송한다. 또한 정보수집장치(200)는 도면에 도시되지 않았으나, 생성된 입출입 데이터를 모니터링 장치(500)로 전송한다.

S109 단계에서, 데이터 통합 장치(300)는 문화재 관련 데이터를 저장하여 데이터베이스를 구축한다. 데이터 통합 장치(300)는 문화재 관련 데이터인 항공 영상 데이터, 위치 데이터, 문화재 구역 영상 데이터, 측정 데이터를 각 문화재별로 분류하고, 분류된 데이터를 시계열에 따라 정렬하여 데이터베이스를 구축한다.

S111 단계에서, 데이터 통합 장치(300)는 데이터베이스화된 문화재 관련 데이터를 선별하여 문화재 점검 장치(400)로 전송한다.

S113 단계에서, 문화재 점검 장치(400)는 문화재의 훼손 및 문화재 주변에서의 안전사고에 대한 문화재 관련 점검을 수행한다. 문화재 점검 장치(400)는 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 문화재의 훼손 상태를 점검한다. 문화재 점검 장치(400)는 구역 영상 데이터 및 측정 데이터를 기 학습된 안전점검모델에 적용하여 문화재 주변에서의 안전사고 발생 가능성을 점검한다. 문화재 점검 장치(400)는 점검된 결과에 대한 분석 데이터를 생성한다.

S115 단계에서, 문화재 점검 장치(400)는 문화재의 훼손과 안전사고에 대한 분석 데이터를 데이터 통합 장치(300) 및 모니터링 장치(500)로 각각 전송한다.

S117 단계에서, 데이터 통합 장치(300)는 분석 데이터를 저장하여 데이터베이스를 구축한다. 데이터 통합 장치(300)는 분석 데이터를 각 문화재별로 분류하고, 분류된 데이터를 시계열에 따라 정렬하여 데이터베이스를 구축한다.

S119 단계에서, 모니터링 장치(500)는 문화재 관련 모니터링을 수행한다. 모니터링 장치(500)는 문화재의 훼손 상태 및 문화재 주변에서의 안전사고 발생 가능성에 대한 점검 데이터 및 문화재의 방문자 수에 대한 출입 데이터를 이용하여 문화재에 대한 모니터링을 수행한다.

S121 단계에서, 모니터링 장치(500)는 모니터링된 결과를 사용자 단말로 전송한다.

S123 단계에서, 사용자 단말(600)은 모니터링된 결과를 출력한다. 사용자 단말(600)은 문화재 중 기 설정된 기준 이상으로 훼손된 부분에 대한 위치 및 훼손 정도 관련 정보를 출력할 수 있다. 사용자 단말(600)은 문화재 주변 중 안전사고 발생 가능성이 있는 구역을 등급별로 구분한 정보를 출력할 수 있다. 이를 통해 사용자는 실시간으로 문화재 관련 정보를 확인할 수 있다.

도 12는 본 발명의 실시예에 따른 컴퓨팅 장치를 설명하기 위한 블록도이다.

도 12를 참조하면, 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예를 들면 무인 항공기, 정보수집장치, 데이터 통합 장치, 문화재 점검 장치, 모니터링 장치, 사용자 단말 등) 일 수 있다.

컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 무인 항공기
200: 정보수집장치
300: 데이터 통합 장치
400: 문화재 점검 장치
500: 모니터링 장치
600: 사용자 단말
700: 문화재 관리 시스템
710, 720: 통신망

Claims

문화재의 훼손을 진단하는 훼손진단모델 및 안전사고 발생 가능성을 점검하는 안전점검모델을 각각 학습시키는 학습부;
무인 항공기로부터 촬영된 문화재 관련 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 상기 문화재의 훼손 상태를 점검하는 문화재 점검부; 및
정보수집장치로부터 수집된 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 기 학습된 안전점검모델에 적용하여 상기 문화재 주변에서의 안전사고 발생 가능성을 점검하는 안전 점검부;를 포함하고,
상기 문화재 점검부는,
상기 항공 영상 데이터가 하나의 영상 프레임 이미지인 경우와, 연속적인 복수의 영상 프레임 이미지로 구성된 동영상인 경우에 따라 상기 훼손진단모델의 구조를 선택하여 상기 훼손 상태를 점검하되,
상기 항공 영상 데이터가 하나의 영상 프레임 이미지인 경우, 상기 항공 영상 데이터로부터 훼손 상태를 점검할 문화재 이미지만을 검출하는 제1 훼손진단모델 및 상기 제1 훼손진단모델로부터 검출된 문화재 이미지를 기반으로 문화재의 훼손 위치 및 훼손 유형을 검출하는 제2 훼손진단모델이 포함된 훼손진단모델을 이용하여 상기 훼손 상태를 점검하고,
상기 항공 영상 데이터가 연속적인 복수의 영상 프레임 이미지로 구성된 동영상인 경우, 3차원 합성곱 신경망(3D Convolutional Neural Network) 구조를 가지는 제3 훼손진단모델이 포함된 훼손진단모델을 이용하여 상기 복수의 영상 프레임 이미지에 포함된 훼손 상태를 동시에 점검하며,
상기 안전 점검부는,
불법주차, 방문자 낙상, 출입 금지 구역 침입, 문화재 화재 및 방화 중 적어도 하나의 안전사고에 대한 점검 결과를 이용하여 상기 안전사고 발생 가능성을 발생 위험이 있는 위치 및 발생 가능 수치로 나타내는 것을 특징으로 하는 문화재 점검 장치.
제 1항에 있어서,
상기 학습부는,
상기 학습을 위한 학습 데이터를 상기 훼손진단모델 및 상기 안전점검모델에 각각 입력하여 학습결과 예측값이 출력되면 상기 학습결과 예측값과 상기 학습 데이터에 대응하는 학습결과 정답값을 비교하여 상기 학습결과 예측값이 상기 학습결과 정답값에 가까워지도록 가중치를 조정하며 학습시키고, 상기 학습이 기 설정된 횟수만큼 반복 수행되도록 제어하는 것을 특징으로 하는 문화재 점검 장치.
삭제
제 1항에 있어서,
상기 제1 훼손진단모델은,
상기 항공 영상 데이터를 리사이징(resizing)하여 상기 검출된 문화재 이미지만을 출력하는 것을 특징으로 하는 문화재 점검 장치.
삭제
제 1항에 있어서,
상기 학습부는,
상기 제3 훼손진단모델에 대해 종단간(End to End) 학습을 수행하는 것을 특징으로 하는 문화재 점검 장치.
제 1항에 있어서,
상기 안전 점검부는,
불법 주차, 방문자 낙상, 출입 금지 구역 침입, 문화재 화재 및 방화 중 적어도 하나가 포함되는 안전사고의 발생 가능성을 점검하는 것을 특징으로 하는 문화재 점검 장치.
문화재 점검 장치에 의해 수행되는 문화재 점검 방법에 있어서,
문화재의 훼손을 진단하는 훼손진단모델 및 안전사고 발생 가능성을 점검하는 안전점검모델을 각각 학습하는 단계;
무인 항공기로부터 촬영된 문화재 관련 항공 영상 데이터 및 정보수집장치로부터 수집된 문화재 구역 영상 데이터 및 문화재 주변 환경 관련 측정 데이터를 수신하는 단계;
상기 항공 영상 데이터를 기 학습된 훼손진단모델에 적용하여 상기 문화재의 훼손 상태를 점검하는 단계; 및
상기 문화재 구역 영상 데이터 및 상기 측정 데이터를 기 학습된 안전점검모델에 적용하여 상기 문화재 주변에서의 안전사고 발생 가능성을 점검하는 단계;를 포함하고,
상기 훼손 상태를 점검하는 단계는,
상기 항공 영상 데이터가 하나의 영상 프레임 이미지인 경우와, 연속적인 복수의 영상 프레임 이미지로 구성된 동영상인 경우에 따라 상기 훼손진단모델의 구조를 선택하여 상기 훼손 상태를 점검하되,
상기 항공 영상 데이터가 하나의 영상 프레임 이미지인 경우, 상기 항공 영상 데이터로부터 훼손 상태를 점검할 문화재 이미지만을 검출하는 제1 훼손진단모델 및 상기 제1 훼손진단모델로부터 검출된 문화재 이미지를 기반으로 문화재의 훼손 위치 및 훼손 유형을 검출하는 제2 훼손진단모델이 포함된 훼손진단모델을 이용하여 상기 훼손 상태를 점검하고,
상기 항공 영상 데이터가 연속적인 복수의 영상 프레임 이미지로 구성된 동영상인 경우, 3차원 합성곱 신경망 구조를 가지는 제3 훼손진단모델이 포함된 훼손진단모델을 이용하여 상기 복수의 영상 프레임 이미지에 포함된 훼손 상태를 동시에 점검하며,
상기 안전사고 발생 가능성을 점검하는 단계는,
불법주차, 방문자 낙상, 출입 금지 구역 침입, 문화재 화재 및 방화 중 적어도 하나의 안전사고에 대한 점검 결과를 이용하여 상기 안전사고 발생 가능성을 발생 위험이 있는 위치 및 발생 가능 수치로 나타내는 것을 특징으로 하는 문화재 점검 방법.