KR102388777B1 - ３６０도 ｖｒ 카메라를 이용한 연도변 조사 서비스 제공 시스템 - Google Patents

Abstract

360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템이 제공되며, 수평 및 상하의 360도를 촬영하여 구면 사진 또는 영상을 생성하는 360도 VR 카메라, 360도 VR 카메라로부터 수신된 사진 또는 영상 내에서 추출 및 라벨링된 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를, 사진 또는 영상에 오버레이(Overlay)하는 사용자 단말 및 360도 VR 카메라로부터 수신된 구면 사진 또는 영상을 스티칭(Stitching)하여 평면화(Complanation)를 수행하는 평면화부, 구면 사진 또는 영상으로부터 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를 추출하는 추출부, 사용자 단말로 손상 데이터를 전송하는 전송부를 포함하는 조사 서비스 제공 서버를 포함한다.

Description

３６０도 ＶＲ 카메라를 이용한 연도변 조사 서비스 제공 시스템{SYSTEM FOR PROVIDING ADJACENT BUILDING PRE-SURVEY SERVICE USIGN 360 DEGREE VIRTUAL REALITY CAMERA}

본 발명은 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템에 관한 것으로, 공사 착공 사전에 고유 손상률을 휴면 에러 없이 조사하여 공사피해에 대한 절대조사기준을 마련할 수 있는 시스템을 제공한다.

최근 도심지 사회기간시설 확장의 필요성으로 인해 철도, 지하철 등을 터널로 건설하는 경향이 점차 증가하는 추세에 있다. 도심지 터널은 비교적 천층에 건설되는 경우가 많기 때문에 지반변위가 터널설계를 지배하는 주요 인자로 대두되고 있다. 특히, 도심지 터널 건설에 필수적인 요건중의 하나가 지중 및 지상에 존재하는 각종 인접구조물에 대한 안전성을 확보하는 것인데, 터널설계, 시공단계에서 예측하지 못한 지반조건 등의 문제로 터널굴착에 따른 인접구조물들의 피해사례가 종 발생하고 있다. 이러한 도심지 천층에 건설되는 터널설계에서 고려되어야 할 필수조건은 중 하나는 인접구조물들에 과도한 손상을 주지 말아야 하는 것이다. 이때, 연도(沿道)변 사전(Pre) 또는 사후(Post) 조사(Survey)를 시행하는데, 공사 현장 인근에 대하여 영향이 미칠 것으로 판단되는 인접건축물을 대상으로 공종에 따라 영향범위를 설정하여 손상수치 및 손상진행성을 조사하게 된다.

이때, 연접도 사전 조사를 할 때 레이저 스캐닝을 이용하거나, 사후에 진동 수치를 비교하는 방법으로 이루어지는데, 선행기술인 한국공개특허 제2011-0127517호(2011년11월25일 공개) 및 한국공개특허 제2007-0077218호(2007년07월25일 공개)에는, 건축물 건설을 위해 지하를 파내는 터파기 공사단계에서 기 설정된 깊이만큼 파낼 때마다 지반의 단면에 대한 레이저 스캐닝을 행하여 정확한 지질상태를 조사하고 그 결과를 피드백을 행하여 설계를 보완 및 변경하도록, 지질조사 현장에 기준점을 배치하여 설치하고, 지반 및 기준점에 대한 레이저 스캐닝을 수행하며, 레이저 스캐닝한 지반에 대하여 디지털 카메라로 촬영하고, 터파기 공사를 진행함에 따라 레이저 스캐닝과 디지털 카메라 촬영을 반복한 후, 지반에 대한 3차원 영상자료를 생성하며, 생성된 영상자료를 분석하여 건축물 설계에 필요한 데이터를 생성하는 구성과, 지하철 주행에 따른 인접건물의 안전도를 측정하기 위하여, 지하철 가속도신호를 측정하고, 가속도 신호를 속도나 변위 신호로 변환하며, 표준 지하철 진동 수치와 비교 및 분석함으로써 인접건물의 안전도를 측정하고 모니터링하는 구성이 각각 개시되어 있다.

다만, 전자의 경우 건축물을 지을 때 건축물 자체에 영향을 미치는 것을 피드백받고 반영할 뿐, 인접건물에 대한 환경영향평가를 하는 것이 아니며, 후자의 경우에도 지속적으로 운행되는 지하철을 대상으로 진동만을 측정하는 것이지 건물 자체의 균열을 측정하는 구성이 아니다. 공사현장 인접된 시설물에 대하여 공사착공 사전에 고유손상을 조사하고, 공사 피해에 대한 기준을 제시해야 하는 연도변 조사는 현재 건설 엔지니어가 현장에 방문하여 육안으로 본 결과를 도면에 수기로 작성한 후 캐드 프로그램으로 도면 작업을 수행하는데, 엔지니어의 개인적 역량이 서로 다르고 오판에 의해 손상이 누락되거나 형상이 왜곡되는 현상이 발생하는 개인차에 따른 손상조사 오류가 존재하고, 2차 분쟁으로 인한 사회적 비용발생 및 조사 신뢰도가 하락하는 문제가 있다. 이에, 360도 VR 카메라를 이용하여 3D 입체영상으로 연도변을 조사하고 도면화함으로써 분쟁을 방지하고 사회적 비용을 제로화할 수 있는 시스템의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 360도 VR 카메라로 촬영된 영상을 스티칭(Stitching)하여 평면화(Complanation)를 수행한 후, 손상의 위치 및 형상을 실물과 동일하게 보존하고, 손상의 길이나 면적과 같은 수치 데이터를 영상으로부터 추출한 후, 영상에 바로 라벨링함으로써 손상 데이터를 용이하게 분류함과 동시에 현장 조사자의 개인적 역량에 영향을 받지 않고 인간 개입에 따른 오류를 최소화할 수 있으며, 이해당사자가 일반인이라도 전문지식 없이도 열람할 수 있도록 하고, 결과물을 휴대용 단말에서 바로 확인할 수 있으므로 실시간 피드백이 가능한, 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 수평 및 상하의 360도를 촬영하여 구면 사진 또는 영상을 생성하는 360도 VR 카메라, 360도 VR 카메라로부터 수신된 사진 또는 영상 내에서 추출 및 라벨링된 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를, 사진 또는 영상에 오버레이(Overlay)하는 사용자 단말 및 360도 VR 카메라로부터 수신된 구면 사진 또는 영상을 스티칭(Stitching)하여 평면화(Complanation)를 수행하는 평면화부, 구면 사진 또는 영상으로부터 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를 추출하는 추출부, 사용자 단말로 손상 데이터를 전송하는 전송부를 포함하는 조사 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 360도 VR 카메라로 촬영된 영상을 스티칭(Stitching)하여 평면화(Complanation)를 수행한 후, 손상의 위치 및 형상을 실물과 동일하게 보존하고, 손상의 길이나 면적과 같은 수치 데이터를 영상으로부터 추출한 후, 영상에 바로 라벨링함으로써 손상 데이터를 용이하게 분류함과 동시에 현장 조사자의 개인적 역량에 영향을 받지 않고 인간 개입에 따른 오류를 최소화할 수 있으며, 이해당사자가 일반인이라도 전문지식 없이도 열람할 수 있도록 하고, 결과물을 휴대용 단말에서 바로 확인할 수 있으므로 실시간 피드백이 가능하다.

도 1은 본 발명의 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 조사 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 종래기술에 따른 연도변 조사 서비스의 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 조사 서비스 제공 서버(300), 적어도 하나의 360도 VR 카메라(400)를 포함할 수 있다. 다만, 이러한 도 1의 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 조사 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 조사 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 360도 VR 카메라(400)와 연결될 수 있다. 또한, 적어도 하나의 360도 VR 카메라(400)는, 네트워크(200)를 통하여 조사 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 360도 VR 카메라를 이용한 연도변 조사 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 연도변 시설물, 건축물 등을 촬영한 사진 또는 영상을 손상 데이터가 오버레이된 상태로 3D 또는 2D 도면으로 출력하는 사용자의 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

조사 서비스 제공 서버(300)는, 360도 VR 카메라를 이용한 연도변 조사 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 조사 서비스 제공 서버(300)는, 적어도 하나의 손상의 종류를 구분할 수 있도록 적어도 하나의 인공지능 알고리즘을 학습 및 테스트하여 모델링하는 서버일 수 있다. 이때, 조사 서비스 제공 서버(300)는 360도 VR 카메라(400)로부터 구면 사진 또는 영상이 수신된 경우 스티칭 및 평면화 작업을 거친 후 2D 또는 3D 도면으로 생성하고, 손상 데이터를 영상 프레임 또는 이미지 상에서 추출한 후 분류하여 라벨링한 후 사용자 단말(100)로 전송하는 서버일 수 있다.

여기서, 조사 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 360도 VR 카메라(400)는, 360도 VR 카메라를 이용한 연도변 조사 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하거나 이용하지 않고 사용자 단말(100)과 연결되어 조사 서비스 제공 서버(300)로 구면 영상 또는 사진을 전송하도록 하는 장치일 수 있다.

도 2는 도 1의 시스템에 포함된 조사 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스가 구현된 일 실시예를 설명하기 위한 도면이고, 도 4는 종래기술에 따른 연도변 조사 서비스의 과정을 설명하기 위한 도면이다.

도 2를 참조하면, 조사 서비스 제공 서버(300)는, 평면화부(310), 추출부(320), 전송부(330), 인공지능부(340), 도면생성부(350), VR생성부(360) 및 도면출력부(370)를 포함할 수 있다.

본 발명의 일 실시예에 따른 조사 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100)로 360도 VR 카메라를 이용한 연도변 조사 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100)은, 360도 VR 카메라를 이용한 연도변 조사 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 평면화부(310)는, 360도 VR 카메라(400)로부터 수신된 구면 사진 또는 영상을 스티칭(Stitching)하여 평면화(Complanation)를 수행할 수 있다. 360도 VR 카메라(400)는, 수평 및 상하의 360도를 촬영하여 구면 사진 또는 영상을 생성할 수 있다. 이때, 360도 VR 영상을 제작하는 데 있어 이미지 스티칭 기술이 이용될 수 있는데, 스티칭 기술은 일반적으로 특징점 추출 -> 매칭 -> 와핑 -> 블랜딩 순서로 구성되어 있으며, 고품질의 파노라마 영상을 얻기 위해서는 모든 단계에서 좋은 성능을 가져야 한다. 이 중 블랜딩(Blending)은 와핑된 영상의 부자연스러운 경계선을 제거하는 기능을 한다. 블랜딩에는 일반적으로 알파 블랜딩(Feathering 혹은 Alpha blending), 피라미드 블랜딩(Pyramid Blending), 포아송 블랜딩(Poisson blending) 등이 있으며 대부분의 블랜딩이 배경의 영상과 객체 영상을 구분해주는 마스크(가중치)를 사용하여, 블랜딩을 한다. 영상 간의 오버랩되는 영역에서 고스팅(Ghosting) 이 없고, 이미지간의 경계선이 불분명하게 보여야 고품질의 스티칭 영상을 얻을 수 있다. 이러한 기능은 마스크가 하고, 마스크를 어떻게 설정하는가에 따라, 이미지 간의 어긋남이 선명해질 수도 있고, 밝기 차이로 인한 얼룩이 생길수도 있다. 반대로, 오차가 심한 부분은 가려 와핑의 결점을 보완하고, 자연스러운 스티칭 영상을 만들 수도 있다.

따라서, 평면화부(310)는, 이미지 자체를 변환하여 밝기 정보만으로 마스크를 만드는 방법을 이용할 수 있고, 이음새 부분의 부자연스러움을 줄이고 영상간의 밝기 오차를 줄일 수 있도록 한다. 우선, 블랜딩의 기본 원리는 이하 수학식 1과 같다.

왼쪽 이미지(Ileft) 와 오른쪽 이미지(Iright)의 가중치 α와 1-α을 곱하여 최종 블랜딩 영상을 얻는다. 이때 원본 이미지에 곱해지는 가중치가 마스크이다. 일반적으로 사용되는 마스크 추출(Seam finding) 방법으로 보로노이 경계선 추출 방법과, 다이나믹 프로그래밍(dynamic programming) 방법이 있는데, 보로노이 경계선 추출 방법은 블랜딩하려는 두 이미지의 와핑된 모양의 정보만 담긴 마스크를 이용하여, 가장 가까운 검은색 픽셀까지의 거리를 계산하는 거리변환을 통해 오버랩된 영역을 이진화하며 분할하는 기법이고 고속으로 마스크를 찾을 수 있다. 다이나믹 프로그래밍 방법은 이미지의 각 픽셀마다, 에너지 함수를 계산하여, 에너지 함수가 최소인 픽셀을 찾아 그 위치에서 수직방향의 아래의 세 개의 픽셀의 비교하여, 가장 작은 에너지 함수를 갖는 픽셀을 탐색하여, 경계선을 추출하고, 경계선을 기준으로 이진화 하는 방법이며 영상의 저주파 성분을 따라가기 때문에 정교한 경계선을 추출할 수 있다. 그 외에서 그래프 컷(Graph cut) 방법과 두 영상간의 최소 오차 경계선(Minimal error boundary)을 추출하는 방법이 있다.

이때, 본 발명의 일 실시예에서는 밝기 대비를 이용한 마스크 추출 방법을 이용할 수 있다. 즉, 한 이미지의 밝기 값의 차이를 이용하여 물체를 검출하고, 물체의 형상을 따라 마스크를 만드는 방식이다. 블랜딩 하려는 두 영상의 오버랩 영역에서 히스토그램 평활화를 이용하여, 밝기 대비를 비슷하게 만들고, 고주파 성분과 노이즈를 제거한다. 그리고 밝기값이 낮은 영역은 검은색으로, 밝기값이 높은 영역을 하얀색으로 이진화 하며, 이진화된 영상을 이용하여 마스크를 만들게 되면, 만들어진 마스크에 의해 검은색 영역의 이미지는 차단시키고, 하얀색 영역의 이미지는 통과시킨다. 상술한 수학식 1과 같이 왼쪽 이미지에 마스크를 곱하고, 오른쪽 이미지에 반전된 마스크를 곱하여 최종 블랜딩된 이미지를 얻을 수 있게 되고, 이를 통하여 이음새가 없는 블랜딩 및 360도 콘텐츠가 완성될 수 있다.

<다각도 영상 합성>

일반적인 카메라를 이용하여 촬영할 때에는 카메라의 시야 각에 의해 촬영에 제한을 받게 된다. 인간의 시야각과 비교하여 비교적 좁은 각도의 시야 각을 갖기 때문에 사용자는 실제보다 현실감이 떨어지는 느낌을 갖기 쉽다. 이러한 문제점을 극복하기 위해 파노라마 영상 합성 프로그램 등이 있지만 이를 사용하기 위해서는 여러 제한 조건이 요구된다. 따라서 본 발명의 일 실시예에서는 촬영된 위치를 GPS로 하여 콘텐츠를 합성 및 재현할 수 있다. 영상 내의 데이터를 이용하여 시야 각을 확장시키기 위해서는 우선 영상들 간의 연관성을 찾고 합성해야 한다. 영상들의 연관성을 찾을 때 사용되는 대표적인 알고리즘이 특징점 검출 알고리즘이다. 특징점 추출 알고리즘으로는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등의 알고리즘이 있다. SIFT 나 SURF 등의 알고리즘은 영상 스티칭(Stitching)에 널리 사용되는 알고리즘으로 뛰어난 정확도를 가질 수 있지만, 처리시간이 비교적 길기 때문에 실시간 처리는 불가능할 수 있다.

이러한 과정을 거쳐 처리된 특징점을 각각 비교하여 매칭 후 출력하는 것이 기존의 영상 합성 알고리즘의 과정인데, 상술한 바와 같이 이러한 과정을 처리하는데 있어 특징점 추출에서 처리시간이 요구되며, 추출된 특징점을 매칭하는 과정에서도 처리시간이 요구되게 된다. 이에 따라, 실시간성 또는 처리시간을 빠르게 하기 위해 영상 분류, 맵(Map) 생성, 랜더링(Rendering)의 세 단계를 거칠 수 있다. 우선 각 영상들의 경로를 저장한 후 처리시간의 가장 큰 부분을 차지하는 매칭 횟수를 줄이기 위해 GPS 기반의 그룹화 과정을 거치게 된다. 다음으로 특징점을 추출하는 처리시간을 줄이기 위해 영상을 리사이징(Resize) 하고 처리시간 측면에서 다른 특징점 추출 알고리즘보다 비교적 성능이 우수한 FAST를 이용할 수 있다. 또한 매칭 후에 다수의 특징점이 아닌, 하나의 특징점만으로 간단하게 영상 맵을 만들 수 있도록 한다. 마지막으로 생성된 영상 맵을 랜더링하는 것으로 360도 영상을 만들 수 있다.

영상 분류의 가장 첫 번째 단계는 영상을 입력 받아오는 것이다. 입력 받아온 영상을 구조체에 저장하며 이때 경로를 우선적으로 저장하고 영상의 EXIF(Exchangeable Image File Format)를 추출하여 GPS Latitude, GPS Longitude 값을 저장한다. 이후 영상들 간의 매칭 횟수를 줄이기 위해 같은 GPS를 갖고 있는 영상들을 묶어 그룹화한다. GPS를 그룹화하기 위해 정렬(Sorting) 및 묶는(Merging) 알고리즘을 이용하는데, 우선 이전에 얻은 GPS 정보를 이용해 거리의 표준편차를 구한다. 거리의 표준편차가 큰 방향을 기준으로 영상 List들의 Sorting을 진행한다. 즉, 영상들이 콘텐츠를 바라보는 방향으로 나열되도록 정렬시킨다. Sorting 후에 GPS List 내부의 영상 개수가 7 개 이상이 아닐 경우 거리가 가장 가까운 List와 Merging 한다. 또한 인접 List와의 거리를 계산하여 실제 거리가 기 설정된 거리 이내인 List들을 Merging 한다. 이러한 List들을 최대한 Merging 하여 List 내부 영상 간에 연관성을 높여 이들을 매칭할 때의 정확도를 높인다.

리사이징한 영상을 이용하여 특징점 및 기술자를 각각 FAST, FREAK(Fast Retina Keypoint) 알고리즘을 이용하여 추출해 내고 저장한다. 이때 처리시간이 비교적 많이 소요되는 SIFT 와 SURF 를 사용하지 않고, 처리시간이 비교적 적게 걸리는 FAST 를 사용하여 처리시간을 단축한다. 또한 추출되는 특징점의 개수를 300 개로 제한하여 특징점 추출 처리시간을 감소시킨다. 이후 생성한 특징점과 기술자를 모두 저장하여 매칭에 사용한다. 그 다음은 List 내부 맵 생성인데, 특징점과 기술자를 이용하여 List 내부 영상들을 Brute-force 알고리즘을 이용하여 매칭할 수 있다. 매칭 알고리즘은 매칭하는 영상과 매칭되는 영상으로 나누어 처리된다. 매칭하는 영상은 매칭되는 영상들 중 HAMMING 거리의 기준을 넘는 영상이 있을 경우 매칭 된 특징점들 중 하나를 HAMMING 거리의 기준에 따라 선정한다. 이후 그 특징점과 매칭된 자신의 특징점, 총 두 가지를 저장한다. 이때 매칭된 영상을 타겟 영상이라고 부른다. 특징점을 저장하는 것은 각 영상 별 1 회만 실시하여 각각의 영상이 하나의 타겟 영상을 갖도록 한다. 하지만 특징점을 저장한 이후에도 매칭 알고리즘은 계속 시행되며 매칭되는 영상과의 매칭 알고리즘의 성공 횟수가 가장 많은 영상이 영상 맵의 기준 영상이 된다. 이때 맵은 Tree 구조로 표현이 된다. 앞서 말한 기준 영상의 타겟 영상은 무시한 상태에서 기준 영상을 타겟 영상으로 가지고 있는 영상들을 하위 노드로 배치한 뒤, 배치된 영상들을 타겟 영상으로 가지고 있는 영상들을 배치, 이 과정을 매칭이 성공한 모든 영상들에 적용하면 Tree 구조가 생성되게 된다.

각각 List의 Tree가 기준 영상을 이용하여 만들어진 후 이 기준 영상을 이용하여 다른 List와 매칭 알고리즘을 실시한다. 이는 앞서 만들었던 Tree 구조를 여러 List들을 대상으로 다시금 생성하기 위함이다. 이는 촬영자가 한 가지 콘텐츠를 기반으로 촬영을 실시 했기 때문에, 기준 영상들이 모두 한 가지 콘텐츠를 포함하고 있기 때문에 가능하다. 이때 전체 맵의 기준은 GPS 값의 무게중심 즉, 경도, 위도 분포의 무게 중심을 잡아서 기준을 설정한다. 우선 무게 중심을 구한 뒤 무게 중심과 가장 가까운 List를 기준 List로 설정하여 기준 List부터 차례대로 파노라마를 출력하여 전체 합성 영상을 얻는다.

분류, 맵 생성, 랜더링 의 과정으로 영상 합성 시 요구되는 제한 조건들을 만족시키며 합성 속도를 높일 수 있다. 첫 번째로 영상 합성 시 받아오는 영상의 제한 조건을 줄이기 위해 영상 내부에 존재하는 GPS 정보를 이용해 분류를 실시하고, 두 번째로 특정 콘텐츠를 기준으로 영상들의 위치관계를 구하기 위해 특징점 매칭 알고리즘을 이용하여 Tree 구조를 생성할 수 있다. 마지막으로 랜더링을 통해 맵 특징점 추출 알고리즘보다 비교적 적은 처리시간을 소요하면서도 현실감 있는 영상을 출력할 수 있다.

추출부(320)는, 구면 사진 또는 영상으로부터 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를 추출할 수 있다. 이를 추출하는 방법은 인공지능부(340)에서 후술한다.

전송부(330)는, 사용자 단말(100)로 손상 데이터를 전송할 수 있다. 사용자 단말(100)은, 360도 VR 카메라(400)로부터 수신된 사진 또는 영상 내에서 추출 및 라벨링된 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를, 사진 또는 영상에 오버레이(Overlay)할 수 있다.

인공지능부(340)는, 손상의 위치, 종류, 크기, 길이 및 형상을 포함하는 손상 데이터를 사진 또는 영상으로부터 추출하도록 적어도 하나의 인공지능 알고리즘을 이용할 수 있다. 시설물이나 건축물은 많은 부재들로 이루어져 있고, 같은 형식의 건축물이더라도 시공환경에 따라 부재가 불규칙하여 분류과정이 복잡하다. 따라서, 인공지능부(340)는 360도 VR 사진 또는 영상이 입력되는 경우 이를 분석할 수 있도록 딥러닝을 이용할 수 있다. 딥러닝은 특히 이미지 분류에서 뛰어난 성과를 보여주는데, 이를 활용해서 비디오 데이터에서 실시간으로 객체 데이터를 분류하는 딥러닝 네트워크를 만들 수 있다. 예를 들어, 딥러닝 네트워크 AlexNet을 기반으로 이용할 수 있다. AlexNet은 8개의 레이어로 구성되어 있는데, 5개의 Convolution 계층과 3개의 Full-Connected 계층으로 구성되어 있다. 이 중 세 계층을 완전 연결 계층, 소프트맥스 계층, 분류 출력 계층으로 바꾸어 새로운 분류 작업으로 전이학습을 진행할 수 있다. 이때, 상술한 바와 같이 [이미지-라벨]을 연결하는 라벨링 작업이 시간과 인력이 많이 소요되는데 이를 해결하기 위하여 어노테이션 및 라벨링을 이용할 수 있다.

딥러닝 모델에서 객체 인식의 결과가 정상 또는 비정상으로 출력되는 이미지를 사용자 단말(미도시)가 식별하고 선별하는 대신, 사용자 단말(100)의 키프레임으로 추출된 이미지 내 어노테이션 및 라벨링(Annotation and Labelling)을 받아 데이터셋을 확보할 수 있다. 이미지 분류를 위한 딥러닝 기술은 미리 정의된 분류 정보를 가지고 있는 대량의 학습 데이터 집합을 사용하여 분류 모델을 학습한다. 학습 데이터 집합은 원본 이미지가 아닌 특징을 추출한 서브 이미지와 그리고 그 특징을 분류하는 태그(Tag) 정보로 구성된다. 이미지 어노테이션 시스템은 학습 데이터 집합을 생성하는 단계에서 사용할 수 있는, 이미지의 특징을 추출한 서브 이미지를 생성하고 이미지 어노테이션을 수행하기 위한 도구이다. 이때, 어노테이션 및 라벨링을 위해서는 다양한 오픈소스(Open source) 도구를 이용할 수도 있는데 이러한 도구들은 웹 기반으로 구성되어 사용자가 직접 ① 이미지를 업로드하고, ② 이미지로부터 특징을 추출하며, ③ 분류를 위한 태그 정보를 입력함으로써, 이미지 어노테이션을 수행할 수 있다.

이때, 클라우드 플랫폼을 이용한 것과 같이 연도변을 조사하는 A 조사자가 어노테이션 및 라벨링을 한 결과물이 있다면 이를 오픈소스 플랫폼으로 공유하거나 클라우드 플랫폼으로 공유하도록 할 수 있다. 예를 들어, Annotorious라는 어노테이션 시스템을 이용한다고 가정하면, ① addPlugin 함수를 이용하여 이미지의 특징 영역을 선택하는 플러그인 모듈을 변경하여, rectDragSelector 플러그인 모듈을 autoSelector 플러그인 모듈로 변경할 수 있다. ② addUIModule을 이용하여 특징을 나타내는 태그 이름을 입력하는 UI를 변경할 수 있고, changeLabelBoxUI 모듈을 적용할 수 있다. autoSelector 플러그인 모듈은 마우스 클릭 지점을 중심으로 하여 미리 지정한 사각형 크기(e.g. 64 x 64 etc.)로 이미지의 특징 영역을 선택하는 모듈이다. 단순히 클릭만으로 균일한 크기의 서브 이미지 추출을 보장할 수 있다. changeLabelBoxUI 모듈은 특징을 나타내는 태그 이름을 미리 입력한 태그 리스트에서 선택하여 입력하도록 한다. 매번 타이핑하는 과정 없이 단순히 클릭만으로 태그 이름을 입력할 수 있다.

만약 서버 없이 AWS(Amazon Web Service) 기반 서버리스(Serverless) 웹 애플리케이션으로 구축한다면, 별도로 서버를 구매하거나 관리할 필요가 없어 오직 시스템 구축에만 집중할 수 있다. 그리고 AWS CloudWatch 서비스를 통해 시스템 전반의 사용량과 상태를 모니터링 할 수 있다. ⓛ AWS 코그니토(Cognito) 서비스를 활용하여 임의의 사용자들에게 허용된 범위 내에서 AWS 서비스를 사용할 수 있도록 임시 자격 권한을 제공한다. ② AWS Lambda는 서버 없이 코드를 실행할 수 있게 해주는 컴퓨팅 서비스이며, AWS DynamoDB는 클라우드 NoSQL 데이터베이스 서비스이다. 그리고 AWS S3(Simple Storage Service)는 클라우드 저장소 서비스이다. DynamoDB에는 전체 이미지 정보가 저장되어 있다. 이미지 정보는 S3 Browser 저장소에 저장되어 있는 실제 이미지 경로와 이미지 어노테이션 작업 완료 여부 정보이다. 웹 브라우저는 사용자의 임시 자격 권한으로 Lambda에게 DynamoDB에 저장되어 있는 전체 이미지 정보를 요청한다. ③ WebBrowser는 이미지 정보를 가지고 S3 Browser 저장소로부터 이미지들을 로드(Load)한 후 이를 썸네일로 보여준다. 작업 완료된 이미지는 썸네일에서 흐릿하게 보여진다.

④ 사용자는 이미지 어노테이션을 수행할 이미지를 썸네일로부터 선택한 후 어노테이션을 수행한다. 작업이 완료되면 DynamoDB에 결과를 반영한다. 그리고 어노테이션 정보는 JSON 포맷으로 S3 Browser 저장소에 저장한다. ⑤ 람다는 주기적으로 ④ 번에서 생성한 JSON 파일을 참조하여 원본 이미지들로부터 특징을 추출한 서브 이미지를 생성한 후 S3 Crop 저장소에 저장한다. 그리고 사용된 JSON 파일은 모두 압축되어 S3 Backup 저장소에 저장될 수 있다.

한편, 사진이나 이미지는 사진이나 동영상과 같이 형태가 불규칙하여 정의하기 어려운 항목에 대응하는 비정형 데이터이다. 이와 같은 비정형 데이터도, 키워드, 태그 또는 메타 데이터로 학습되어 분류 및 패턴화될 수 있고, 이후 새로운 비정형 데이터의 분류가 요구되었을 때, 데이터를 레코드 형식으로 가공하고 연관 데이터와 함께 제공될 수 있기 때문에 충분한 데이터가 누적되는 경우, 학습 및 트레이닝으로 모델링이 되는 경우, 이후 사진이 쿼리로 입력되더라도 자동분류가 가능하다. 이때, CNN (Convolutional Neural Network)을 이용할 수 있는데, CNN은 기계학습의 한 종류로써, 합성곱을 통하여 주어진 데이터 집합에 대한 모델을 학습하는 신경망이다. 합성곱은 특정 데이터에 대한 필터 응답을 계산하는 것으로 일종의 특징 추출 방법인데, 합성곱 기반의 CNN은 2차원 데이터의 지역 특징 추출에 특화되어 있다.

따라서, 본 발명의 일 실시예에 따른 서비스에서 CNN을 이용하는 경우, 입력 이미지, 이미지 채널 분리, CNN 기반의 분류, 조사객체 종류 태깅 및 출력의 단계로 구현될 수 있다. 먼저, 입력된 사진이나 동영상은 각 R, G, B 컬러 채널 이미지로 분리되고, CNN 분류기는 분리된 각 컬러 채널 이미지를 입력으로 받는다. CNN 분류기는 합성곱층(Convolution Layer)을 통하여 결함 이미지의 특징을 추출하고, CNN 분류기의 완전연결층(Fully Connected Layer)에서 앞서 추출된 특징의 연관도를 분석한다. 이때, 완전연결층의 분석결과를 토대로 각 개체의 확률값이 출력된다. 마지막으로 출력된 확률값이 최대인 객체 종류가 입력된 객체의 종류로 결정된다.

여기서, 이미지 채널 분리를 할 때에는, 각 손상이 존재하는 경우에 손상의 종류까지 출력이 가능한데 이는 조사객체의 종류를 구분하는 것과 동일할 수 있다. 이때, 각 컬러 채널 이미지는 결함에 대한 정보를 의미하므로, 결함 이미지의 각 컬러 채널 이미지는 분류기에서 개별적으로 구분한 뒤 학습될 수 있다. 이때, 모든 영역을 사용하여 결함을 판단하므로 별도의 특징 추출 영역 지정이 필요 없다. 분류기는 합성곱층을 통하여 입력된 R, G, B 컬러 채널 이미지의 특징을 추출하고, 추출된 특징은 완전연결층을 거쳐 최종 레이어에서 각 결함에 대한 확률값으로 변환될 수 있다. 마지막으로, CNN에서 출력된 확률값을 이용하여 부재의 결함 종류를 판정할 수 있다.

도면생성부(350)는, 구면 사진 또는 영상으로부터 시설물 또는 건축물의 형상을 2D 또는 3D 도면으로 생성할 수 있다. 외관의 경우에는, 각 건축물대장을 조회하면 각 지역의 주소, 번지수, 대지의 크기, 각 층의 평수, 건축물이 지어진 형태 등을 추출할 수 있기 때문에 절대값을 추출할 수 있다. 또, 최근 항공사진이나 위성사진을 이용하여 평면도를 확보할 수 있고, 스트리트 뷰를 이용하여 건축물의 정면 또는 측면 사진을 확보하는 것이 가능하다. 이때, 절대값을 알고 있고, 평면도는 이미 확보되었고, 정면도 및 측면도만 수집한다면, 대지의 크기나 건물의 크기 및 형태 등을 파악할 수 있으므로, 아웃라인을 에지디텍션으로 추출하여 절대값에 기준하여 도면을 그려낼 수 있다. 또는 라이다(Lidar)를 이용하여 스캔하는 것도 가능하다.

VR생성부(360)는, 구면 사진 또는 영상으로부터 시설물 또는 건축물의 형상을 3D VR 콘텐츠로 생성할 수 있다. 상술한 스티칭 과정을 거치면 HMD로 볼 수 있는 VR 콘텐츠가 생성될 수 있다.

도면출력부(370)는, 구면 사진 또는 영상으로부터 시설물 또는 건축물의 형상을 사용자 단말(100)로 전송하여 출력되도록 할 수 있다.

이하, 상술한 도 2의 조사 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, (a) 조사 서비스 제공 서버(300)는 360도 VR 카메라(400)를 이용하여 좌측벽체, 우측벽체, 정면벽체, 후면벽체, 천정 및 바닥까지 한 번에 촬영할 수 있다. 이에 반해 현재 실시되고 종래기술에 따른 방법은 조사자(사용자)가 각각을 육안으로 조사하면서 각 6 면을 모두 조사해야 하는 방법이었는데, 본 발명의 일 실시예는 한 번의 촬영으로 6 면을 모두 촬영 및 조사할 수 있다. (b)와 같이 사용자 단말(100)과 360도 VR 카메라(400)를 연동시킬 수 있고, (c)와 같이 사용자 단말(100)에서 영상 또는 사진을 조사 서비스 제공 서버(300)로 보내면, 조사 서비스 제공 서버(300)는 스티칭 및 평면화를 통하여 손상 자료를 남길 수 있다. (d)와 같이 도면을 에지디텍션으로 그려낸 후 손상 부위를 오버레이할 수도 있다.

이에 반해, 종래기술에서는 도 4a와 같이 수기로 도면을 그리고 손상된 부분을 표시한 후, 도 4b와 같이 도면작업을 한 후 도 4c와 같은 사진을 첨부하게 된다. 하지만, 본 발명의 일 실시예에 따른 서비스를 이용하는 경우, 한 번의 촬영으로 360도 VR 콘텐츠가 생성되므로 이후 분쟁의 소지를 막을 수 있다.

이와 같은 도 2 및 도 3의 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, 조사 서비스 제공 서버는, 360도 VR 카메라로부터 수신된 구면 사진 또는 영상을 스티칭(Stitching)하여 평면화(Complanation)를 수행하고(S5100), 구면 사진 또는 영상으로부터 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를 추출한다(S5200). 조사 서비스 제공 서버는, 사용자 단말로 손상 데이터를 전송한다(S5300).

상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (5)

1. 수평 및 상하의 360도를 촬영하여 구면 사진 또는 영상을 생성하는 360도 VR 카메라;
   상기 360도 VR 카메라로부터 수신된 사진 또는 영상 내에서 추출 및 라벨링된 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를, 상기 사진 또는 영상에 오버레이(Overlay)하는 사용자 단말; 및
   상기 360도 VR 카메라로부터 수신된 구면 사진 또는 영상을 스티칭(Stitching)하여 평면화(Complanation)를 수행하는 평면화부, 상기 구면 사진 또는 영상으로부터 손상의 위치, 종류, 크기, 길이 및 형상을 포함한 손상 데이터를 추출하는 추출부, 상기 사용자 단말로 상기 손상 데이터를 전송하는 전송부를 포함하는 조사 서비스 제공 서버;를 포함하되,
   상기 조사 서비스 제공 서버는,
   상기 구면 사진 또는 영상으로부터 시설물 또는 건축물의 형상을 2D 또는 3D 도면으로 생성하되, 아웃라인을 에지디텍션으로 추출하여 절대값에 기준하여 도면을 생성하거나, 라이다(Lidar)를 이용하여 도면을 생성하고, 상기 구면 사진 또는 영상으로부터 시설물 또는 건축물의 형상을 상기 사용자 단말로 전송하여 출력되도록 하는 도면생성부; 및
   상기 구면 사진 또는 영상으로부터 시설물 또는 건축물의 형상을 3D VR 콘텐츠로 생성하되, 스티칭(Stitching) 과정을 거치면 HMD로 볼 수 있는 VR 콘텐츠를 생성하는 VR생성부;
   상기 손상의 위치, 종류, 크기, 길이 및 형상을 포함하는 손상 데이터를 사진 또는 영상으로부터 추출하도록 적어도 하나의 인공지능 알고리즘을 이용하는 인공지능부;
   를 더 포함하는 360도 VR 카메라를 이용한 연도변 조사 서비스 제공 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images