KR20170143439A - 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법 - Google Patents

Abstract

3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치는 복수의 CCTV 별 CCTV 영상을 제공하는 CCTV 영상 제공부, 멀티소스에 의해 획득된 멀티소스 영상을 빅데이터 서버로부터 수집하여 제공하는 클라우드부 및 상기 CCTV 영상 및 상기 멀티소스 영상으로부터 각각의 기준 영상을 생성하되, 상기 CCTV 영상의 기준 영상에 기초하여 기준 3차원 클라우드 포인트를 생성하고, 상기 멀티소스 영상의 기준 영상에 기초하여 멀티소스 3차원 클라우드 포인트를 생성하는 데이터 구축부를 포함할 수 있다.

Description

3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법{BIG DATA SYSTEM CONNECTING APPARATUS AND METHOD FOR CONSTRUCTING 3D SPATIAL INFORMATION}

본원은 영상기반 3차원 실시간 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법(이하, '3차원 공간 정보 구축 장치 및 방법')에 관한 것이다.

최근 공간정보기술은 현실에 가까운 3차원 공간정보서비스와 정보통신기술의 발달로 공간정보 서비스 기술에 대한 요구가 증대되고 있다. 모발일 등 웹 기반의 다양한 콘텐츠를 통해 공간정보 서비스를 제공하고 실시간으로 공간정보서비스 제공을 위한 연구가 진행되고 있다. 최근 연구가 진행되는 HLM(HyperLiveMap)은 실시간 지도서비스 제공과 공간검색, 각종 생활 이벤트 등을 다차원적인 공간정보를 기반으로 하여 사람들의 다양한 생태정보와 이벤트 정보들을 연계시켜 실시간으로 제공하는 개념이다.

또한, CCTV, IP 카메라와 같이 영상데이터를 통한 모니터링이 가능해지면서 공간정보를 실시간으로 제공하는 서비스에 대한 요구가 증가하고 있다. 이러한 요구를 충족시키기 위해서는 CCTV 뿐만 아니라 다양한 멀티소스로부터 수집된 영상을 공간 데이터 구축에 활용할 필요가 있다. 또한, CCTV 또는 멀티소스로부터 수집되는 대용량의 데이터를 효율적으로 이용하기 위해서는 클라우드 컴퓨팅과 같이 유연하고 확장 가능한 빅데이터 서비스 아키텍처를 활용할 필요가 있다.

본원의 배경이 되는 기술은 한국등록특허공보 제10-0586815호(등록일: 2006년 5월 29일)에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, CCTV 및 멀티소스로부터 수집한 영상을 이용하여 3차원 공간 정보를 구축할 수 있는 3차원 공간 정보 구축 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, 본원은 빅데이터 서버와 연동하여 실시간으로 멀티소스 영상을 수집하고, 수집된 영상에 기초하여 3차원 공간 정보를 업데이트할 수 있는 3차원 공간 정보 구축 장치 및 방법을 제공하는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치는, 복수의 CCTV 별 CCTV 영상을 제공하는 CCTV 영상 제공부, 멀티소스에 의해 획득된 멀티소스 영상을 빅데이터 서버로부터 수집하여 제공하는 클라우드부 및 상기 CCTV 영상 및 상기 멀티소스 영상으로부터 각각의 기준 영상을 생성하되, 상기 CCTV 영상의 기준 영상에 기초하여 기준 3차원 클라우드 포인트를 생성하고, 상기 멀티소스 영상의 기준 영상에 기초하여 멀티소스 3차원 클라우드 포인트를 생성하는 데이터 구축부를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 멀티소스는 디지털 카메라, 스마트폰, 블랙박스 중 적어도 하나를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 데이터 구축부는, 상기 CCTV로 촬영된 우 영상 및 좌 영상을 포함하는 스테레오 영상과 상기 스테레오 영상의 촬영 위치 및 좌표 정보를 상기 CCTV 영상 제공부로부터 수신하고, 상기 멀티소스 영상을 촬영하는 기기의 기종, 해상도, 촬영 위치 및 상기 멀티소스 영상의 텍스처 파일, 텍스처 종류, 텍스처 소스 경로 중 적어도 하나를 상기 클라우드부로부터 수신할 수 있다.

본원의 일 실시예에 따르면, 상기 클라우드부는, 상기 데이터 구축부에 제공되는 상기 CCTV 영상을 상기 CCTV영상 제공부로부터 수신하고, 수신된 상기 CCTV 영상과 상기 멀티소스 영상의 유사도를 연산하되, 상기 데이터 구축부는, 미리 설정된 유사도 이상의 멀티소스 영상에 대한 기준 영상을 생성하여 상기 멀티소스 3차원 클라우드 포인트를 구축할 수 있다.

본원의 일 실시예에 따르면, 상기 데이터 구축부는, 상기 기준 영상과 연계된 촬영 영상의 촬영 위치, 특징점의 개수 및 촬영 영상의 종류 중 적어로 하나를 포함하는 클라우드 포인트 정보를 생성할 수 있다.

본원의 일 실시예에 따르면, 상기 클라우드부는, 상기 구축된 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 저장하고, 지도 서비스 서버에 의해 3차원 공간 정보의 위치가 표시되도록, 상기 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 제공할 수 있다.

본원의 일 실시예에 따르면, 상기 데이터 구축부는, 상기 CCTV 영상과 상기 멀티소스 영상의 유사도를 연산하고, 미리 설정된 유사도 이상의 상기 멀티소스 영상을 선별하는 유사도 연산부, 상기 CCTV 또는 상기 선별된 멀티소스 영상과 연계된 상기 멀티소스 각각에 의해 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 영상 전처리부, 상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 상기 기준 영상을 각각 생성하는 기준 영상 생성부, 상기 각각의 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 좌표 매칭부, 상기 각각의 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 실제 지상좌표 변환부 및 상기 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 생성하고, 상기 기준 3차원 클라우드 포인트에 기초하여 3차원 지도를 구축하는 지도 구축부를 포함하되, 상기 지도 구축부는 상기 멀티소스 3차원 클라우드 포인트를 이용하여 상기 3차원 지도를 업데이트 할 수 있다.

본원의 일 실시예에 따르면, 상기 영상 전처리부는, 상기 촬영 영상으로부터 특징점을 추출하는 특징점 추출부, 사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 영상 보정부 및 상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 내부표정요소 추출부를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 기준 영상을 생성부는, 전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 상기 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출할 수 있다.

본원의 일 실시예에 따르면, 상기 좌표 매칭부는, 토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받을 수 있다.

본원의 일 실시예에 따르면, 상기 객체가 포함된 새로운 영상을 입력받으면, 상기 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT알고리즘에 적용하여 상기 새로운 영상을 촬영한 CCTV 또는 멀티소스의 현재 위치를 계산하는 촬영 위치 계산부를 더 포함할 수 있다.

본원의 일 실시예에 따른 3차원 공간 정보 구축 방법은, 복수의 CCTV 별 CCTV 영상을 제공하는 단계, 멀티소스에 의해 촬영된 멀티소스 영상을 빅데이터 서버로부터 수집하여 제공하는 단계, 상기 CCTV 영상 및 상기 멀티소스 영상으로부터 각각의 기준 영상을 생성하는 단계 및 상기 CCTV 영상의 기준 영상에 기초하여 기준 3차원 클라우드 포인트를 생성하고, 상기 멀티소스 영상의 기준 영상에 기초하여 멀티소스 3차원 클라우드 포인트를 생성하는 클라우드 포인트 생성 단계를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 멀티소스는 디지털 카메라, 스마트폰, 블랙박스 중 적어도 하나를 포함할 수 있다.

본원의 일 실시예에 따르면, 상기 CCTV 영상을 제공하는 단계는, 상기 CCTV로 촬영된 우 영상 및 좌 영상을 포함하는 스테레오 영상과 상기 스테레오 영상의 촬영 위치 및 좌표 정보를 제공하고, 상기 멀티소스 영상을 빅데이터 서버로부터 수집하여 제공하는 단계는, 상기 멀티소스 영상을 촬영하는 기기의 기종, 해상도, 촬영 위치 및 상기 멀티소스 영상의 텍스처 파일, 텍스처 종류, 텍스처 소스 경로 중 적어도 하나를 제공할 수 있다.

본원의 일 실시예에 따르면, 상기 CCTV 영상과 상기 멀티소스 영상의 유사도를 연산하는 단계를 더 포함하고, 상기 기준 영상을 생성하는 단계는, 미리 설정된 유사도 이상의 멀티소스 영상에 대한 기준 영상을 생성하고, 상기 클라우드 포인트 생성 단계는, 상기 미리 설정된 유사도 이상의 멀티소스 영상에 대한 기준 영상에 기초하여 상기 멀티소스 3차원 클라우드 포인트를 구축할 수 있다.

본원의 일 실시예에 따르면, 상기 구축된 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 저장하는 단계 및 지도 서비스 서버에 의해 3차원 공간 정보의 위치가 표시되도록, 상기 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 제공하는 단계를 더 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, CCTV 및 멀티소스로부터 수집한 영상을 이용하여 3차원 공간 정보를 구축할 수 있는 3차원 공간 정보 구축 장치 및 방법을 제공할 수 있다.

또한, 전술한 본원의 과제 해결 수단에 의하면, 빅데이터 서버와 연동하여 실시간으로 멀티소스 영상을 수집하고, 수집된 영상에 기초하여 3차원 공간 정보를 업데이트할 수 있는 3차원 공간 정보 구축 장치 및 방법을 제공할 수 있다.

또한, 전술한 본원의 과제 해결 수단에 의하면, 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있으며, 기존의 대표적인 위치파악 방법인 GPS를 적용하기 힘든 지하나 실내에서도 촬영자의 현재 위치를 파악할 수 있는 3차원 공간 정보 구축 장치 및 방법을 제공할 수 있다.

도 1은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 구성을 도시한 도면이다.
도 2는 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 데이터 구축부의 구성을 도시한 도면이다.
도 3은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 영상 전처리부의 구성을 도시한 도면이다.
도 4는 본원의 일 실시예에 따른 3차원 공간 정보 구축 방법의 일 예의 흐름을 도시한 도면이다.
도 5는 본원의 일 실시예에 따른 3차원 공간 정보 구축 방법의 기준 영상을 생성하는 방법의 흐름을 도시한 도면이다.
도 6은 본원의 일 실시예에 따른 3차원 공간 정보 구축 방법의 영상을 전처리하는 방법의 흐름을 도시한 도면이다.
도 7은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 기준 영상의 생성을 설명하기 위한 도면이다.
도 8은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 3차원 좌표 매칭을 설명하기 위한 도면이다.
도 9는 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 촬영자의 현재 위치를 연산하는 과정을 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 구성을 도시한 도면이다.

도 1을 참조하면, 3차원 공간 정보 구축 장치(100)는 CCTV 영상 제공부(110), 클라우드부(120) 및 데이터 구축부(130)를 포함할 수 있다. CCTV 영상 제공부(110)는 복수의 CCTV별 CCTV 영상을 수집할 수 있다. 예시적으로, CCTV 영상 제공부(110)는 수집된 CCTV영상을 데이터 구축부(130)로 제공할 수 있다. 상기 CCTV는 통상의 CCTV 뿐만 아니라 도로 방범용, 차량번호 식별용, 불법 주정파 단속용으로 활용되는 IP카메라를 포함할 수 있다. 따라서 이하에서 설명하는 CCTV 영상은 CCTV로 촬영된 영상뿐만 아니라 IP카메라를 통해 촬영된 영상을 포함한다.

또한, 상기 CCTV 영상은 CCTV를 통해 촬영된 우 영상 및 좌 영상을 포함하는 스테레오 영상을 포함할 수 있다. 상기 우 영상 및 좌 영상은 3차원 공간 정보를 구축에 활용되는 영상으로, 복수의 카메라(CCTV 또는 IP 카메라)가 동일한 객체를 중심으로 서로 좌우로 이격 배치되어, 상기 객체를 촬영함으로써 생성되는 영상일 수 있다. 또한, CCTV 영상 제공부(110)는 상기 우 영상 및 좌 영상을 포함하는 스테레오 영상과, 스테레오 영상의 촬영 위치 및 좌표 정보를 상기 CCTV로부터 수집할 수 있다. CCTV 영상 제공부(110)와 CCTV는 통신수단 또는 통신라인을 통해 영상을 주고받을 수 있다. 또한, 수집된 CCTV영상을 데이터 구축부(130)로 제공할 수 있다.

CCTV는 통합 관제 시스템의 확산과 방법, 방재 등 다양한 분야에서의 활용성으로 인해 CCTV의 설치가 지속적으로 증가하는 특징이 있다. 또한, CCTV는 한 곳에 고정되어 설치되므로, 설치된 장소의 영상을 지속적으로 수집할 수 있다. 이러한 특성으로 인해 CCTV 영상 제공부(110) 3차원 공간 정보를 구축하기에 필요한 영상을 CCTV를 통해 용이하게 취득할 수 있다.

클라우드부(120)는 멀티소스(10)에 의해 획득된 멀티소스 영상을 빅데이터 서버(20)로부터 수집할 수 있다. 또한 클라우드부(120)는 수집된 멀티소스 영상을 데이터 구축부(130)로 제공할 수 있다. 멀티소스(10)는 다양한 영상 취득 장치 및 영상 처리 장치를 포함한다. 예를 들어, 멀티소스(10)는 사람들이 휴대하는 스마트폰, 디지털 카메라, 액션캠 또는 차량에 설치된 블랙박스, DSLR 디지털 카메라, 드론 등을 포함하며, 반드시 이에 한정되는 것은 아니다.

예시적으로, 상기 멀티소스(10)에 의해 촬영된 영상은 개인의 SNS, 블로그, 클라우드 드라이브 등에 업로드될 수 있다. 빅데이터 서버(20)는 네트워크 또는 웹(web) 상에 존재하는 멀티소스(10)에 의해 촬영된 영상을 크롤링(crawling)(검색 및 수집)할 수 있다. 빅데이터 서버(20)는 예를 들어, 아마존사의 AWS(Amazon Web Services) 이노그리드사의 Cloud3등과 같이 IaaS(Infrastructure as a Service)를 제공하는 클라우드 서비스 서버일 수 있다. 예시적으로, 본원에서는 AWS에 기반하여 설명한다.

클라우드부(120)는 빅데이터 서버(20)와 연동하여 빅데이터 서버(20)의 크롤링 기능을 통해 웹 상에 분포되어 있는 멀티소스 영상을 크롤링할 수 있다. 구체적으로, 클라우드부(120)는 Cloud Serch 기능을 이용하여 멀티소스 영상을 웹 상에서 검색할 수 있고, 웹 사이트 또는 어플리케이션을 위한 검색 기능을 간단하게 설정, 관리 및 조정을 지원한다. 또한 검색된 결과의 강조 표시, 자동 완성, 지형정보 검색 등의 기능과 다국어를 지원한다. 또한, 클라우드부(120)는 S3기능을 통해 검색된 대용량의 정보 즉 멀티소스 영상을 데이터베이스에 저장할 수 있고, RSD기능을 통해 메타데이터의 처리 및 대상 자료의 저장 및 해당 자료의 메타데이터를 관리할 수 있다. 또한, 클라우드부(120)는 S3기능을 통해 저장된 데이터를 신속하게 검색할 수 있으며, 적절한 스토리지 클래스로 데이터 마이그레이션을 수행할 수 있고, Import/Export 기능을 이용하여 저장된 대용량의 멀티소스 영상을 빅데이터 서버(20)와 데이터 구축부(130)의 사이에서 송수신할 수 있다. 또한, 클라우드부(120)는 SNS기능을 통해 푸시 알림 서비스를 제공하고, 모바일 장치(IOS Android) 뿐만 아니라 HTTP/HTTPS 접속, E mail 전송, SQS 큐 메시지 전송 기능을 제공한다. 또한, 클라우드부(120)는 EC2 기능을 통해 웹 서비스 및 웹 어플리케이션 서비스를 제공하며, 구체적으로, 웹 서비스 및 웹 어플리케이션 서비스는 자료 연동 서비스의 사용자 및 관리자가 접속하는 웹 서비스 및 웹 어플리케이션 서비스로서 사용 정도에 따라서 자동 스케일업이 가능하다. 또한, 클라우드부(120)는 ElasticIP 기능을 통해 기본적으로 유동 IP를 사용하는 EC2에 고정 IP를 가지고 인스턴스 생성되도록 하는 고정 IP생성 서비스를 제공한다. 또한, 클라우드부(120)는 칸반 서비스(on JIRA) 기능을 제공한다. 칸반 서비스 기능은 Atlassian JIRA 소프트웨어 기반 작업 공정 관리 서비스로, 웹서비스를 통해서 작업 공정을 JIRA의 이슈로 관리하고, 워크플로우를 통해서 작업의 상태 변화를 반영하며, 메일 서비스를 통해서 HLM 데이터 서비스에 의한 구축 데이터 작업 상태 변화를 체크할 수 있다. 예를 들어, 데이터 구축부(130)에 의해 구축되는 기준 3차원 클라우드 포인트 또는 멀티소스 3차원 클라우드 포인트 구축의 작업 상태 변화를 체크할 수 있다. 또한, 작업자별 작업의 진척 상황을 칸반보드에 가시화할 수 있고, 작업자에 대한 권한을 관리할 수 있다.

클라우드부(120)는 빅데이터 서버(20)로부터 멀티소스 영상을 수신할 수 있다. 또한, 클라우드부(120)는 빅데이터 서버(20)에 의해 수집된 멀티소스 영상을 촬영하는 기기의 기종, 해상도, 촬영 위치 및 멀티소스 영상의 텍스처 파일, 텍스처 종류, 텍스처 소스 경로 중 적어도 하나를 수신할 수 있다.

클라우드부(120)로부터 멀티소스 영상을 데이터 구축부(130)로 제공함에 있어서, 클라우드부(120)는 CCTV 영상과 유사한 멀티소스 영상을 제공할 필요가 있다. 구체적으로, CCTV 영상과 멀티소스 영상을 이용하여 3차원 공간 정보를 구축하기 위해서는 CCTV 영상과 멀티소스 영상이 서로 일정 수준 이상의 연관성이 있어야 올바른 3차원 공간 정보가 구축될 수 있다. 빅데이터 서버(20)는 웹 상에서 다양한 멀티소스 영상 공급원으로부터 멀티소스 영상을 크롤링하기 때문에 CCTV영상과 유사한 멀티소스 영상을 분류해야할 필요가 있다.

예시적으로, 클라우드부(120)는 CCTV 영상 제공부(110)에서 데이터 구축부(130)로 제공되는 CCTV 영상을 동일하게 수신할 수 있다. 또한, 클라우드부(120)는 수신된 CCTV영상과 멀티소스 영상의 유사도를 연산할 수 있고, 미리 설정된 유사도 이상의 멀티소스 영상을 데이터 구축부(130)로 제공할 수 있다. 상기 유사도의 연산은 웨이블릿 변환 방식, 히스토그램 매칭, 템플릿 매칭, 피처 매칭 등 공지된 방식을 이용하여 연산될 수 있다. 여기서, CCTV영상과 멀티소스 영상이 유사하다라는 것은 동일 또는 인근 지역, 건물, 도로 등의 영상을 포함하고 있음을 의미할 수 있다.

데이터 구축부(130)는 CCTV 영상 제공부(110)로부터 스테레오 영상을 포함하는 CCTV 영상, 스테레오 영상의 촬영 위치 및 좌표 정보를 수신할 수 있다. 또한, 데이터 구축부(130)는 클라우드부(120)로부터 멀티소스 영상, 멀티소스 영상을 촬영하는 기기의 기종, 해상도, 촬영 위치 및 멀티소스 영상의 텍스처 파일, 텍스처 종류, 텍스처 소스 경로 중 적어도 하나를 수신할 수 있다.

데이터 구축부(130)는 CCTV 영상 및 멀티소스 영상으로부터 각각의 기준 영상을 생성할 수 있다. 또한, 데이터 구축부(130)는 CCTV 영상의 기준 영상에 기초하여 기준 3차원 클라우드 포인트를 생성할 수 있고, 멀티소스 영상의 기준 영상으로부터 멀티소스 3차원 클라우드 포인트를 생성할 수 있다. 이 때 멀티소스 영상은 상술한 바와 같이 CCTV 영상과 미리 설정된 유사도 이상의 멀티소스 영상일 수 있다. 상기 기준 영상은 3차원 공간 정보 구축시 픽셀 좌표와 실제 좌표를 계산하기 위해 CCTV 영상 또는 멀티소스 영상을 처리한 영상이다.

또한, 데이터 구축부(130)는 3차원 공간 정보 구축에 활용되는 상기 기준 영상과 연계된 촬영 영상(CCTV 영상, 멀티소스 영상)의 촬영 위치(예를 들어, 지역명 또는 그룹명), 상기 기준 영상에 포함된 특징점의 개수, 촬영 영상의 종류 및 특징점의 매칭 방법 중 적어도 하나를 포함하는 클라우드 포인트 정보를 생성할 수 있다. 클라우드 포인트 정보는 기준 3차원 클라우드 포인트 및 멀티소스 3차원 클라우드 포인트와 함께 3차원 공간 정보 구축에 활용될 수 있다. 3차원 공간 정보 구축은 보다 뒤에서 살펴보기로 한다. CCTV 영상 뿐만 아니라 멀티소스 영상을 추가로 활용하여 3차원 공간 정보를 구축함으로써, CCTV의 사각지대까지 멀티소스 영상을 통해 보완 또는 보강하여 보다 양질의 3차원 공간 정보를 구축할 수 있다. 본원의 일 실시예에 따르면, 데이터 구축부(130)는 동일 또는 인근 지역에 관한 영상이지만, CCTV 영상에는 누락되고 멀티소스 영상에만 포함되어 있는 영역의 3차원 클라우드 포인트를 선별하고, CCTV 영상의 3차원 클라우드 포인트와 멀티소스 영상에만 포함되어 있는 영역의 3차원 클라우드 포인트를 활용하여 3차원 공간 정보를 구축할 수 있다. 본원의 다른 일 실시예에 따르면, 데이터 구축부(130)는 동일 또는 인근 지역에 관한 영상으로서 CCTV 영상과 멀티소스 영상 모두에 포함되어 있는 영역의 3차원 클라우드 포인트를 선별하고, 선별된 3차원 클라우드 포인트를 활용하여 3차원 공간 정보를 구축하여 보다 정확한 3차원 공간 정보를 획득할 수 있다.

멀티소스(10), 빅데이터 서버(20), 지도 서비스 서버(30), 3차원 공간 정보 구축 장치(100)는 네트워크를 통해 상호 연결될 수 있다. 본원의 일 실시예에 따른 네트워크는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

도 2는 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 데이터 구축부(130)의 구성을 도시한 도면이다.

도 2를 참조하면, 데이터 구축부(130)는 유사도 연산부(131), 영상 전처리부(132), 기준 영상 생성부(133), 좌표 매칭부(134), 실제 지상좌표 변환부(135) 촬영 위치 계산부(136) 및 지도 구축부(137)를 포함할 수 있다. 유사도 연산부(131)는 CCTV 영상 제공부(110)로부터 제공받은 CCTV 영상과 클라우드부(120)로부터 제공받은 멀티소스 영상의 유사도를 연산하고, 미리 설정된 유사도 이상의 멀티소스 영상을 선별할 수 있다. 본원의 일 실시예에 따르면, 클라우드부(120) 뿐만 아니라 데이터 구축부(130) 자체적으로 유사도 연산부(131)를 통해 CCTV 영상과 멀티소스 영상의 유사도를 계산하여 CCTV 영상과 유사한 멀티소스 영상을 선별할 수 있다. 유사도 연산부(131)는 상술한 클라우드부(120)의 유사도 연산과 동일한 방식으로 유사도를 연산할 수 있다.

영상 전처리부(132)는 CCTV 또는 선별된 멀티소스 영상과 연계된 멀티소스 각각에 의해 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출할 수 있다.

도 3은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 영상 전처리부의 구성을 도시한 도면이다. 이하의 설명은 CCTV 영상 및 멀티소스 영상 모두에 적용 가능하다.

도 3을 참조하면, 영상 전처리부(132)는, 특징점 추출부(1321), 영상 보정부(1322), 내부표정요소 추출부(1323)를 포함할 수 있다. 특징점 추출부(1321)는 촬영 영상에서 식별이 용이한 점을 특징점으로 추출할 수 있다. 특징점을 추출하기에 앞서, 먼저 영상 매칭의 효율을 높이기 위하여 필요한 경우 화질을 개선하는 작업을 수행할 수 있다. 계절, 날씨 등으로 인해 화질의 다양성이 존재하는 영상들을 영상 매칭에 적합하도록 영상처리기법을 적용하여 화질을 개선한다. 이때 영상처리기법으로 디지털 영상의 특징을 나타내는 히스토그램을 이용하여 변환함수를 구하고, 명암도의 동적 영역을 확장함으로써 화질을 개선하는 히스토그램 균등화(HE, Histogram Equalization)기법을 적용할 수 있다.

특징점 추출부(1321)는 촬영 영상으로부터 촬영된 객체의 코너점 등 식별이 용이한 점을 특징점으로 추출할 수 있다. 추출된 특징점은 복수의 촬영 영상 중에서 서로 매칭되는 매칭점을 찾는 과정에서 활용될 수 있다.

영상 보정부(1322)는 특징점 추출부(1321)에서 추출된 특징점 중 사용자로부터 입력받은 보정조건으로 촬영 영상을 보정할 수 있다. 보정조건은 보정의 기준이 되는 특징점으로, 촬영 객체의 형태를 나타내는 직선 또는 곡선 형태의 외곽선, 또는 촬영 객체의 모서리 등을 포함할 수 있다. 또한 영상 보정부(1322)는 영상의 기하학적 왜곡을 제거하여 정확한 위치를 파악할 수 있도록 할 수 있다.

또한, 내부표정요소 추출부(1323)는 점, 초점거리, 왜곡량, 렌즈의 위치, 회전정보, 스케일 등 촬영 영상의 내부표정 요소를 추출할 수 있다. 특징점 추출부(1321)에서 추출된 특징점을 이용하여 촬영 영상의 내부표정요소를 추출할 수 있다. 내부표정요소에는 주점의 위치, 카메라의 초점거리, 렌즈왜곡계수, 렌즈위치, 회전정보, 스케일 등이 포함된다. 추출된 내부표정요소는 촬영 영상의 정확한 픽셀좌표를 얻는데 사용될 수 있다.

상술한 바와 같이 영상 전처리부(132)에 의해 영상의 전처리 과정이 종료되면 기준 영상 생성부(133)는 추출된 특징점을 이용하여 복수의 촬영 영상을 매칭시켜 하나의 기준 영상으로 생성할 수 있다. 이때, 각 특징점을 중심으로 로컬 패치(local patch)하여 특징 벡터를 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용할 수 있다.

도 7은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 기준 영상의 생성을 설명하기 위한 도면이다. 이하의 설명은 CCTV 영상 및 멀티소스 영상 모두에 적용 가능하다.

도 7에 도시된 바와 같이, 동일한 객체를 촬영한 촬영 영상 2개를 각각 좌영상, 우영상이라고 할 때, 기준 영상 생성부(133)는 좌영상과 우영상에서 서로 매칭되는 부분을 SIFT 알고리즘을 이용하여 찾는다. 매칭 방법으로는 Sparse Matching과 Dense Matching을 이용할 수 있으나 이에 한정되는 것은 아니다. 기준 영상 생성부(133)는 SIFT 알고리즘을 이용하여 좌영상과 우영상의 각 특징점 중에서 서로 매칭되는 특징점을 추출하고, 추출된 특징점의 매칭쌍끼리 같은 행에 저장하여, 하나의 기준 영상을 생성할 수 있다. 추출된 특징점이 좌영상에서의 픽셀좌표가 (x1, y1)이고, 우영상에서의 픽셀좌표가 (x1', y1')일 경우, 기준 영상에 저장되는 좌표는 (x1, y1, x1', y1')이다. 이러한 방식으로 추출된 모든 특징점의 좌표를 기준 영상에 매칭쌍으로 저장할 수 있다.

좌표 매칭부(134)는 기준 영상의 특징점에 대한 픽셀좌표와 그 특징점에 대응하는 실제 3차원 좌표를 토탈 스테이션(Total Station)을 통하여 입력받아 매칭할 수 있다. 여기서 토탈 스테이션은 각도를 관측하는 기기인 전자식 세오돌라이트(Electronic Theodolite)와 거리를 측정할 수 있는 광파측거기(EDM, Electro-optical Instruments)를 하나의 기기로 통합한 측량기를 의미한다.

예시적으로, 토탈 스테이션의 광파측거기가 프리즘을 시준한 후 빛을 조사하면, 빛이 프리즘에 도착하자마자 바로 반사되어 광파측정기로 되돌아온다. 이를 이용하여 토탈 스테이션 본체의 중심부에서 프리즘까지의 거리를 측정할 수 있다. 또한 한 점의 거리와 위치를 측정한 후, 토탈 스테이션 본체를 좌우로 돌려 다른 점의 거리와 위치를 측정하여, 두 점 사이의 각도를 관측할 수 있다.

상기 기준 영상 생성부(133)에 의해 생성된 기준 영상의 특징점에 대한 픽셀좌표가 추출되고, 좌표 매칭부(134)는 그 픽셀좌표와 대응하는 실제 3차원 좌표를 매칭한다. 실제 3차원 좌표는 토탈 스테이션을 이용하여 획득한 실제 객체의 특징점의 실제적인 3차원 좌표이다. 또한, 좌표 매칭부(134)는 기준 영상의 픽셀좌표와 실제 3차원 좌표의 관계를 복원할 수 있다.

도 8은 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 3차원 좌표 매칭을 설명하기 위한 도면이다. 이하의 설명은 CCTV 영상 및 멀티소스 영상 모두에 적용 가능하다.

도 8을 참조하면, 좌표 매칭부(134)는 기준 영상의 특징점에 대한 픽셀좌표와 입력된 객체의 실제 3차원 좌표 (x', y', z')를 매칭하여, 그 두 좌표 사이의 관계를 복원할 수 있다. 또한, 실제 지상좌표 변환부(135)는 좌표 매칭부(134)에서 매칭된 기준 영상의 픽셀좌표와 실제 3차원 좌표의 관계를 복원하고, 복원된 관계를 기준으로 기준 영상의 픽셀좌표를 실제 지상좌표로 변환하여 저장할 수 있다. 즉, 실제 지상좌표 변환부(140)는 복원된 기준 영상의 특징점에 대한 픽셀좌표와 실제 3차원 좌표를 이용하여 기준 영상의 픽셀좌표를 실제 지상좌표로 변환하고, 변환된 해당 객체에 대한 실제 지상좌표를 클라우드부(120)로 전송하여 클라우드부(120)에 저장될 수 있다. 즉, 촬영자가 자신의 위치를 파악하는데 클라우드부(120)에 저장된 좌표 데이터를 활용 할 수 있도록 클라우드부(120)에 저장 할 수 있다.

도 8에 도시된 바와 같이, 실제 지상좌표 변환부(135)는 기준 영상의 특징점에 대한 픽셀좌표와 입력된 객체의 실제 3차원 좌표(x',y', z')를 매칭할 수 있다. 실제 지상좌표 변환부(135)는 DLT기법을 이용하여 매칭하며, 기준 영상의 특징점에 대한 픽셀좌표에 대응하는 객체의 실제 3차원 좌표를 매칭할 수 있다. 이때, 실제 지상좌표 변환부(135)는 실제 지상좌표를 생성하는 Spatial Resection 과정과 Spatial Intersection 과정을 수행할 수 있다. 즉, 실제 지상좌표 변환부(135)는 Spatial Resection 과정을 통하여 기준 영상의 특징점과 실제 객체의 특정 지점을 매핑시키고, Spatial Intersection 과정을 통하여 매핑된 특징점에 특정 지점의 실제 3차원 좌표를 매칭시킬 수 있다.

상술한 바와 같이, 기준 영상의 특징점에 대한 픽셀좌표와 실제 3차원 좌표를 매칭하고, 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하여 클라우드부(120)에 전송하여 클라우드부(120)에 저장될 수 있다.

이하에서는 촬영자가 클라우드부(120)에 저장된 객체를 촬영한 경우, 클라우드부(120)에 저장된 상기 객체의 실제 지상좌표를 이용하여 촬영자 자신의 현재 위치를 계산하는 방법에 대하여 설명한다.

촬영 위치 계산부(136)는 기준 영상에 포함된 객체 즉 클라우드부(120)에 저장된 객체를 촬영한 새로운 영상을 입력받으면, 클라우드부(120)에 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 새로운 영상을 촬영한 촬영자(CCTV 또는 멀티소스)의 위치를 계산할 수 있다. 촬영 위치 계산부(136)는 클라우드부(120)에 저장된 실제 지상좌표 데이터와 촬영자가 촬영한 영상에서 추출한 좌표를 이용하여 그 영상을 촬영한 카메라(CCTV, 멀티소스)의 위치를 연산할 수 있다.

이때, 촬영 위치 계산부(136)는 Spatial Resection 과정과 Spatial Intersection 과정을 포함하는 DLT 기법을 이용하여 카메라의 위치를 계산할 수 있다. Spatial Resection 과정에서 촬영 위치 계산부(136)는 실제 지상좌표 데이터와 촬영 영상에서 추출한 좌표를 이용하여, 영상을 촬영한 위치와 DLT계수를 계산한다. Spatial Intersection 과정에서는 촬영 위치 계산부(136)는 실제 지상좌표 데이터를 포함하는 영상과 촬영 영상의 매칭점에 DLT계수를 적용하여 3차원 좌표 값을 생성하여 영상을 촬영한 촬영자의 위치를 파악할 수 있다.

도 9는 본원의 일 실시예에 따른 3차원 공간 정보 구축 장치의 촬영자의 현재 위치를 연산하는 과정을 설명하기 위한 도면이다. 이하의 설명은 CCTV 영상 및 멀티소스 영상 모두에 적용 가능하다.

도 9를 참조하면, 촬영 위치 계산부(136)는 클라우드부(120)에 저장되어있는 기준 영상의 실제 지상좌표(x1', y1')와 촬영자가 새롭게 촬영한 영상을 두 영상에 모두 포함되어있는 공통된 객체를 기준으로 겹치도록 한다. 촬영 위치 계산부(136)는 겹친 부분에서 공통된 객체의 실제 3차원 좌표(x', y', z')와 클라우드부(120)에 저장되어있는 특징점의 실제 지상좌표(x1', y1', z1')와 촬영 영상의 픽셀좌표(x1″, y1″)를 이용하여 DLT기법을 이용해 새롭게 촬영된 영상이 촬영된 위치(Xco', Yco', Zco')를 파악할 수 있다.

상술한 바와 같이, 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있으며, 기존의 대표적인 위치파악 방법인 GPS를 적용하기 힘든 지하나 실내에서도 촬영자의 현재 위치를 파악할 수 있다.

지도 구축부(137)는 생성된 상기 기준 3차원 클라우드 포인트, 멀티소스 클라우드 포인트 및 클라우드 포인트 정보를 이용하여 3차원 지도를 구축할 수 있다. 예시적으로, 기준 3차원 클라우드 포인트 및 멀티소스 클라우드 포인트의 기초가 되는 촬영 영상의 화소값과, 클라우드 포인트 정보에 포함된 특징점 개수를 이용하여 포인트 텍스쳐링을 통해 3차원 지도를 구축할 수 있다.

기준 3차원 클라우드 포인트에 기초하여 구축되는 3차원 지도에서 CCTV의 고정적인 특성에 의해 누락되는 부분은 멀티소스 3차원 클라우드 포인트에 의해 보간될 수 있다. 이와 같이 CCTV를 통한 영상 수집과, 빅데이터를 통한 다양한 멀티소스 영상의 수집에 의해 실시간으로 구축 및 업데이트가 가능한 3차원 지도를 사용자에게 제공할 수 있다.

본원의 일 실시예에 따르면, 클라우드부(120)는 지도 서비스 서버(30)에 의해 3차원 공간 정보의 위치가 표시되도록 기준 3차원 클라우드 포인트 및 멀티소스 클라우드 포인트를 지도 서비스 서버(30)로 제공할 수 있다.

도 4는 본원의 일 실시예에 따른 3차원 공간 정보 구축 방법의 일 예의 흐름을 도시한 도면이다. 도 4 내지 도6에 도시된 3차원 공간 정보 구축 방법은 앞선 도 1 내지 도 3 및 도 7 내지 도 9를 통해 설명된 3차원 공간 정보 구축 장치(100)에 의하여 수행된다. 따라서, 이하 생략된 내용이라고 하더라도 도 1내지 도3 및 도7 내지 도9를 통해 3차원 공간 정보 구축 장치(100)에 대하여 설명된 내용은 도 4 내지 도6에도 적용된다.

도 4를 참조하면, 단계 S410에서 CCTV 영상 제공부(110)는 복수의 CCTV 별 CCTV 영상을 제공할 수 있다. 상기 CCTV 영상은 CCTV를 통해 촬영된 우 영상 및 좌 영상을 포함하는 스테레오 영상을 포함할 수 있다. CCTV 영상 제공부(110)는 상기 우 영상 및 좌 영상을 포함하는 스테레오 영상과, 스테레오 영상의 촬영 위치 및 좌표 정보를 상기 CCTV로부터 수집할 수 있다. 또한, 수집된 CCTV영상을 데이터 구축부(130)로 제공할 수 있다.

단계 S420에서 클라우드부(120)는 멀티소스(10)에 의해 획득된 멀티소스 영상을 빅데이터 서버(20)로부터 수집할 수 있다. 또한 클라우드부(120)는 수집된 멀티소스 영상을 데이터 구축부(130)로 제공할 수 있다. 멀티소스(10)는 사람들이 휴대하는 스마트폰, 디지털 카메라, 액션캠 또는 차량에 설치된 블랙박스 등 보편적으로 사용되는 다양한 영상 취득 장치를 의미할 수 있다.

또한, 클라우드부(120)는 빅데이터 서버(20)에 의해 수집된 멀티소스 영상을 촬영하는 기기의 기종, 해상도, 촬영 위치 및 멀티소스 영상의 텍스처 파일, 텍스처 종류, 텍스처 소스 경로 중 적어도 하나를 데이터 구축부(130)로 제공할 수 있다.

단계 S430에서 데이터 구축부(130)는 CCTV 영상 및 멀티소스 영상으로부터 각각의 기준 영상을 생성할 수 있다. 기준 영상의 생성은 도 5 및 도 6을 통해 후술하기로 한다.

한편, 클라우드부(120)는 CCTV 영상과 상기 멀티소스 영상의 유사도를 연산할 수 있다. 클라우드부(120)는 유사도의 연산 결과, 미리 설정된 유사도 이상의 멀티소스 영상을 데이터 구축부(130)로 제공할 수 있다. 단계 S440에서 데이터 구축부(130)는 CCTV 영상의 기준 영상에 기초하여 기준 3차원 클라우드 포인트를 생성할 수 있고, 멀티소스 영상의 기준 영상으로부터 멀티소스 3차원 클라우드 포인트를 생성할 수 있다. 이때 데이터 구축부(130)는 미리 설정된 유사도 이상의 멀티소스 영상에 대한 기준 영상에 기초하여 상기 멀티소스 3차원 클라우드 포인트를 구축할 수 있다.

클라우드부(120)는 상기 구축된 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 저장할 수 있다. 또한, 클라우드부(120)는 지도 서비스 서버에 의해 3차원 공간 정보의 위치가 표시되도록, 상기 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 지도 서비스 서버로 제공할 수 있다.

도 5는 본원의 일 실시예에 따른 3차원 공간 정보 구축 방법의 기준 영상을 생성하는 방법의 흐름을 도시한 도면이다.

도 5를 참조하면, 단계 S510에서 유사도 연산부(131)는 CCTV 영상 제공부(110)로부터 제공받은 CCTV 영상과 클라우드부(120)로부터 제공받은 멀티소스 영상의 유사도를 연산하고, 미리 설정된 유사도 이상의 멀티소스 영상을 선별할 수 있다.

단계 S520에서 영상 전처리부(132)는 CCTV 또는 선별된 멀티소스 영상과 연계된 멀티소스 각각에 의해 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출할 수 있다.

도 6은 본원의 일 실시예에 따른 3차원 공간 정보 구축 방법의 영상을 전처리하는 방법의 흐름을 도시한 도면이다.

도 6을 참조하면, 단계 S521에서 특징점 추출부(1321)는 촬영 영상에서 식별이 용이한 점을 특징점으로 추출할 수 있다. 특징점 추출부(1321)는 촬영 영상으로부터 촬영된 객체의 코너점 등 식별이 용이한 점을 특징점으로 추출할 수 있다. 추출된 특징점은 복수의 촬영 영상 중에서 서로 매칭되는 매칭점을 찾는 과정에서 활용될 수 있다

단계 S522에서 영상 보정부(1322)는 특징점 추출부(1321)에서 추출된 특징점 중 사용자로부터 입력받은 보정조건으로 촬영 영상을 보정할 수 있다. 보정조건은 보정의 기준이 되는 특징점으로, 촬영 객체의 형태를 나타내는 직선 또는 곡선 형태의 외곽선, 또는 촬영 객체의 모서리 등을 포함할 수 있다. 또한 영상 보정부(1322)는 영상의 기하학적 왜곡을 제거하여 정확한 위치를 파악할 수 있도록 할 수 있다.

단계 S523에서 내부표정요소 추출부(1323)는 점, 초점거리, 왜곡량, 렌즈의 위치, 회전정보, 스케일 등 촬영 영상의 내부표정 요소를 추출할 수 있다. 특징점 추출부(1321)에서 추출된 특징점을 이용하여 촬영 영상의 내부표정요소를 추출할 수 있다. 내부표정요소에는 주점의 위치, 카메라의 초점거리, 렌즈왜곡계수, 렌즈위치, 회전정보, 스케일 등이 포함된다. 추출된 내부표정요소는 촬영 영상의 정확한 픽셀좌표를 얻는데 사용될 수 있다.

상술한 바와 같이 단계 S521 내지 S523에 의해 영상의 전처리 과정이 종료되면 단계 S530에서 기준 영상 생성부(133)는 추출된 특징점을 이용하여 복수의 촬영 영상을 매칭시켜 하나의 기준 영상으로 생성할 수 있다. 이때, 각 특징점을 중심으로 로컬 패치(local patch)하여 특징 벡터를 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용할 수 있다.

단계 S540에서 좌표 매칭부(134)는 기준 영상의 특징점에 대한 픽셀좌표와 그 특징점에 대응하는 실제 3차원 좌표를 토탈스테이션(Total Station)을 통하여 입력받아 매칭할 수 있다. 좌표 매칭부(134)는 기준 영상의 특징점에 대한 픽셀좌표와 입력된 객체의 실제 3차원 좌표 (x', y', z')를 매칭하여, 그 두 좌표 사이의 관계를 복원할 수 있다.

단계 S550에서 실제 지상좌표 변환부(135)는 좌표 매칭부(134)에서 매칭된 기준 영상의 픽셀좌표와 실제 3차원 좌표의 관계를 복원하고, 복원된 관계를 기준으로 기준 영상의 픽셀좌표를 실제 지상좌표로 변환할 수 있다. 즉, 실제 지상좌표 변환부(140)는 복원된 기준 영상의 특징점에 대한 픽셀좌표와 실제 3차원 좌표를 이용하여 기준 영상의 픽셀좌표를 실제 지상좌표로 변환할 수 있다. 또한, 변환된 해당 객체에 대한 실제 지상좌표를 클라우드부(120)로 전송하여 클라우드부(120)에 저장될 수 있다.

단계 S560에서 촬영 위치 계산부(136)는 기준 영상에 포함된 객체 즉 클라우드부(120)에 저장된 객체를 촬영한 새로운 영상을 입력받으면, 클라우드부(120)에 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 새로운 영상을 촬영한 촬영자(CCTV 또는 멀티소스)의 위치를 계산할 수 있다. 촬영 위치 계산부(136)는 클라우드부(120)에 저장된 실제 지상좌표 데이터와 촬영자가 촬영한 영상에서 추출한 좌표를 이용하여 그 영상을 촬영한 카메라(CCTV, 멀티소스)의 위치를 연산할 수 있다.

단계 S570에서 지도 구축부(137)는 생성된 상기 기준 3차원 클라우드 포인트, 멀티소스 클라우드 포인트 및 클라우드 포인트 정보를 이용하여 3차원 지도를 구축할 수 있다. 예시적으로, 기준 3차원 클라우드 포인트 및 멀티소스 클라우드 포인트의 기초가 되는 촬영 영상의 화소값과, 클라우드 포인트 정보에 포함된 특징점 개수를 이용하여 포인트 텍스쳐링을 통해 3차원 지도를 구축할 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

10: 멀티소스
20: 빅데이터 서버
30: 지도 서비스 서버
100: 3차원 공간 정보 구축 장치
110: CCTV 영상 제공부
120: 클라우드부
130: 데이터 구축부

Claims (17)

1. 복수의 CCTV 별 CCTV 영상을 제공하는 CCTV 영상 제공부;
   멀티소스에 의해 획득된 멀티소스 영상을 빅데이터 서버로부터 수집하여 제공하는 클라우드부; 및
   상기 CCTV 영상 및 상기 멀티소스 영상으로부터 각각의 기준 영상을 생성하되, 상기 CCTV 영상의 기준 영상에 기초하여 기준 3차원 클라우드 포인트를 생성하고, 상기 멀티소스 영상의 기준 영상에 기초하여 멀티소스 3차원 클라우드 포인트를 생성하는 데이터 구축부를 포함하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
2. 제 1항에 있어서,
   상기 멀티소스는 드론, 디지털 카메라, 스마트폰, 블랙박스, 액션캠 중 적어도 하나를 포함하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
3. 제 2항에 있어서,
   상기 데이터 구축부는,
   상기 CCTV로 촬영된 우 영상 및 좌 영상을 포함하는 스테레오 영상과 상기 스테레오 영상의 촬영 위치 및 좌표 정보를 상기 CCTV 영상 제공부로부터 수신하고,
   상기 멀티소스 영상을 촬영하는 기기의 기종, 해상도, 촬영 위치 및 상기 멀티소스 영상의 텍스처 파일, 텍스처 종류, 텍스처 소스 경로 중 적어도 하나를 상기 클라우드부로부터 수신하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
4. 제 1항에 있어서,
   상기 클라우드부는,
   상기 데이터 구축부에 제공되는 상기 CCTV 영상을 상기 CCTV영상 제공부로부터 수신하고, 수신된 상기 CCTV 영상과 상기 멀티소스 영상의 유사도를 연산하되,
   상기 데이터 구축부는, 미리 설정된 유사도 이상의 멀티소스 영상에 대한 기준 영상을 생성하여 상기 멀티소스 3차원 클라우드 포인트를 구축하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
5. 제 1항에 있어서,
   상기 데이터 구축부는,
   상기 기준 영상과 연계된 촬영 영상의 촬영 위치, 특징점의 개수 및 촬영 영상의 종류 중 적어로 하나를 포함하는 클라우드 포인트 정보를 생성하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
6. 제 1항에 있어서,
   상기 클라우드부는,
   상기 구축된 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 저장하고, 지도 서비스 서버에 의해 3차원 공간 정보의 위치가 표시되도록, 상기 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 제공하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
7. 제 1항에 있어서,
   상기 데이터 구축부는,
   상기 CCTV 영상과 상기 멀티소스 영상의 유사도를 연산하고, 미리 설정된 유사도 이상의 상기 멀티소스 영상을 선별하는 유사도 연산부;
   상기 CCTV 또는 상기 선별된 멀티소스 영상과 연계된 상기 멀티소스 각각에 의해 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 영상 전처리부;
   상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 상기 기준 영상을 각각 생성하는 기준 영상 생성부;
   상기 각각의 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 좌표 매칭부;
   상기 각각의 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 실제 지상좌표 변환부; 및
   상기 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 생성하고, 상기 기준 3차원 클라우드 포인트에 기초하여 3차원 지도를 구축하는 지도 구축부를 포함하되,
   상기 지도 구축부는 상기 멀티소스 3차원 클라우드 포인트를 이용하여 상기 3차원 지도를 업데이트 하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
8. 제 7항에 있어서,
   상기 영상 전처리부는,
   상기 촬영 영상으로부터 특징점을 추출하는 특징점 추출부;
   사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 영상 보정부; 및
   상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 내부표정요소 추출부를 포함하는3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
9. 제 7항에 있어서,
   상기 기준 영상을 생성부는,
   전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 상기 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출하는 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
10. 제 7항에 있어서,
    상기 좌표 매칭부는,
    토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받는 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
11. 제 7항에 있어서,
    상기 객체가 포함된 새로운 영상을 입력받으면, 상기 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT알고리즘에 적용하여 상기 새로운 영상을 촬영한 CCTV 또는 멀티소스의 현재 위치를 계산하는 촬영 위치 계산부를 더 포함하는 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치.
12. 복수의 CCTV 별 CCTV 영상을 제공하는 단계;
    멀티소스에 의해 촬영된 멀티소스 영상을 빅데이터 서버로부터 수집하여 제공하는 단계;
    상기 CCTV 영상 및 상기 멀티소스 영상으로부터 각각의 기준 영상을 생성하는 단계; 및
    상기 CCTV 영상의 기준 영상에 기초하여 기준 3차원 클라우드 포인트를 생성하고, 상기 멀티소스 영상의 기준 영상에 기초하여 멀티소스 3차원 클라우드 포인트를 생성하는 클라우드 포인트 생성 단계를 포함하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 방법.
13. 제 12항에 있어서,
    상기 멀티소스는 디지털 카메라, 스마트폰, 블랙박스 중 적어도 하나를 포함하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 방법..
14. 제 12항에 있어서,
    상기 CCTV 영상을 제공하는 단계는, 상기 CCTV로 촬영된 우 영상 및 좌 영상을 포함하는 스테레오 영상과 상기 스테레오 영상의 촬영 위치 및 좌표 정보를 제공하고,
    상기 멀티소스 영상을 빅데이터 서버로부터 수집하여 제공하는 단계는, 상기 멀티소스 영상을 촬영하는 기기의 기종, 해상도, 촬영 위치 및 상기 멀티소스 영상의 텍스처 파일, 텍스처 종류, 텍스처 소스 경로 중 적어도 하나를 제공하는 것인 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 방법..
15. 제 12항에 있어서,
    상기 CCTV 영상과 상기 멀티소스 영상의 유사도를 연산하는 단계를 더 포함하고,
    상기 기준 영상을 생성하는 단계는, 미리 설정된 유사도 이상의 멀티소스 영상에 대한 기준 영상을 생성하고,
    상기 클라우드 포인트 생성 단계는, 상기 미리 설정된 유사도 이상의 멀티소스 영상에 대한 기준 영상에 기초하여 상기 멀티소스 3차원 클라우드 포인트를 구축하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 방법..
16. 제 12항에 있어서,
    상기 구축된 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 저장하는 단계; 및
    지도 서비스 서버에 의해 3차원 공간 정보의 위치가 표시되도록, 상기 기준 3차원 클라우드 포인트 및 상기 멀티소스 3차원 클라우드 포인트를 제공하는 단계를 더 포함하는 것인, 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 방법.
17. 제 12항 내지 제 16항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    

Images