KR101400168B1

KR101400168B1 - 입체 카메라를 이용한 3d 가상 방범 관제 시스템 및 방법

Info

Publication number: KR101400168B1
Application number: KR1020140030257A
Authority: KR
Inventors: 김상준; 한현택; 권영미; 전명섭; 신희인; 강태훈; 김현태
Original assignee: (주)금성보안
Priority date: 2014-03-14
Filing date: 2014-03-14
Publication date: 2014-05-28

Abstract

본 발명은 방범 관제 시스템에 관한 것으로, 보다 상세하게는 CCTV 등과 같은 단방향 카메라를 통해 촬영되는 2D 단방향 영상을 3D 가상현실 영상으로 변환하고, 전방향 카메라인 입체카메라를 통해 촬영된 전방향 영상을 3D 가상현실 영상으로 변환하고, 순찰 경로의 카메라들의 위치에 따라 순차적으로 변환된 3D 가상현실 영상을 표시하여 순찰자가 실제 방범 영역을 순찰하는 것과 같은 3D 가상 방범 순찰 기능을 제공하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템 및 방법에 관한 것이다.

Description

입체 카메라를 이용한 3D 가상 방범 관제 시스템 및 방법{Three-dimensional virtual security control system using 360 degree stereoscopic camera, and method thereof}

영상기술 및 저장매체의 발달로, 방범을 필요로 하는 건물 또는 공간들을 CCTV 등과 같은 카메라를 통해 모니터링하고, 모니터링되는 영상을 저장하는 디지털 방범 관제 시스템 기술이 개시되어 적용되고 있다. 이러한 시스템으로는 네트워크 비디오 레코더(Network Video Recorder: NVR) 시스템 등이 있다.

일반적으로, 종래 NVR 시스템이 적용된 방범 관제 시스템은 방범 영역 중 방범에 꼭 필요한 공간에만 설치되는 영상 획득 장치(예: 카메라)에 의해 촬영되는 공간에 대한 영상을 표시 및 저장할 뿐이어서, 촬영되는 영상이 공간에서 어떠한 속성이나 어떠한 부분에 속하는지 여부, 촬영되는 공간과 인접된 위치에 카메라가 설치된 공간이 어디인지 여부 등을 파악하기 어려운 문제점이 있었다.

이를 판단하기 위해서 관리자는 카메라 식별정보와 카메라 식별정보에 의해 각 카메라가 전체 방범 영역에서 어떤 위치의 공간을 촬영하고 있는지를 직접 기억해야만 한다.

따라서 종래 방범 관제 시스템의 관리자는 카메라별로 어떤 위치인지를 촬영하고 있는지 암기하여야 하거나 각 카메라를 통해 촬영되는 공간이 전체 방범 영역에서 어느 영역인지를 해당 공간의 객체들과 함께 기억하여야 하므로 번거롭고, 긴급 상황 시 임의의 카메라에 의해 촬영되는 영상의 해당 공간, 즉 영역이 빠르게 떠오르지 않아 대처가 늦어질 수 있는 문제점이 있었다.

또한, 종래 방범 관제 시스템은 방범 영역 전체 중 중요 부분에만 카메라를 설치하여 관리하므로 영상을 통한 방범만으로는 해당 방범 영역의 방범을 유지하는 데 한계가 있는 문제점이 있었다.

또한, 종래 방범 관제 시스템의 CCTV 등의 카메라는 일 방향에 대해서만 렌즈 시각에 들어오는 화상을 촬영하는 단방향 카메라이므로 동시에 전방향에 대해서 방범을 수행할 수 없어 침입자들이 단방향 카메라를 피해 침입할 수 있는 문제점이 있었다.

이러한 문제점을 해결하기 위해 관리자, 즉 순찰자가 방범 영역을 빈번하게 순찰을 도는 것으로 방범 관제 시스템의 방범을 보완하고 있다. 그러나 이 경우, 많은 관리자를 구비하여야 하므로 방범 유지비용이 많이 드는 문제점이 있으며, 관리자가 순찰 중 강도 사고 등에 노출될 수 있는 문제점이 있었다.

등록특허 제10-0934978호

따라서 본 발명의 목적은 단방향 카메라를 통해 촬영되는 2D 단방향 영상을 3D 가상현실 영상으로 변환하고, 전방향 카메라인 입체카메라를 통해 촬영된 전방향 영상을 3D 가상현실 영상으로 변환하고, 순찰 경로의 카메라들의 위치에 따라 순차적으로 변환된 3D 가상현실 영상을 표시하여 순찰자가 실제 방범 영역을 순찰하는 것과 같은 3D 가상 방범 순찰 기능을 제공하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템 및 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 입체 카메라를 이용한 3D 가상 방범 관제 시스템은: 임의의 방범 영역 중 순찰 경로에 설치되고 상기 순찰 경로의 임의의 위치에서 상기 순찰 경로의 일부 영역을 촬영하여 단방향 영상을 출력하는 단방향 카메라; 임의의 방범 영역 중 순찰 경로에 설치되고 상기 순찰 경로의 임의의 위치에서 상기 순찰 경로의 일부 영역의 전방향을 촬영하여 전방향 영상을 출력하는 입체 카메라; 및 상기 방범 영역의 상기 순찰 경로의 공간 중 적어도 상기 단방향 카메라가 촬영하는 영역에 대한 3D 공간 그래픽 데이터를 획득하여 가지고 있으며, 순찰 요청 이벤트 발생 시 순찰 경로를 따른 순차적인 순찰 위치의 카메라가 단방향 카메라이면 상기 단방향 카메라에서 촬영되는 단방향 영상들에 대한 단방향 영상 텍스처를 상기 3D 공간 그래픽 데이터의 객체에 투영하여 3D 가상현실 영상을 생성하고, 상기 순찰 위치의 카메라가 입체 카메라이면 전방향 영상을 변환하여 3D 가상현실 영상을 생성하여 디스플레이하는 3D 가상 방범 관제부를 포함하는 것을 특징으로 한다.

상기 3D 가상 방범 관제부는, 상기 단방향 카메라 및 입체 카메라로부터 촬영되는 단방향 영상 및 전방향 영상을 입력받아 영상 DB에 저장하여 관리하는 디지털 영상 레코더 서버; 및 상기 방범 영역의 적어도 하나 이상의 순찰 경로 각각에 대한 카메라 식별정보 및 카메라 위치정보를 포함하는 경로 정보와, 상기 순찰 경로의 공간 중 적어도 상기 단방향 카메라에 의해 촬영되는 공간에 대한 3D 공간 그래픽 데이터를 획득하여 가지고 있으며, 디지털 영상 레코드 서버를 통해 상기 단방향 카메라 및 입체 카메라를 통해 촬영된 단방향 영상 및 전방향 영상을 획득하고, 순찰 요청 이벤트 발생 시 해당 순찰 경로의 순찰 위치의 카메라가 단방향 카메라이면 획득된 단방향 영상들에 대한 3D 가상현실 영상을 생성하고, 순찰 위치의 카메라가 입체 카메라이면 획득된 전방향 영상을 변환하여 3D 가상현실 영상을 생성한 후 디스플레이하는 방범 관제 서버를 포함하는 것을 특징으로 한다.

상기 방범 관제 서버는, 상기 방범 영역의 적어도 하나 이상의 순찰 경로 각각에 대한 카메라 식별정보 및 카메라 위치정보를 포함하는 경로 정보와, 상기 순찰 경로의 공간에 대한 3D 공간 그래픽 데이터를 저장하는 저장부; 유무선 네트워크에 접속되어 상기 유무선 네트워크에 접속된 NVR 서버와 데이터 통신을 수행하여 상기 단방향 영상 및 전방향 영상을 수신하여 출력하는 통신부; 상기 단방향 영상 및 전방향 영상에 대한 3D 가상현실 영상을 생성하는 영상 처리부; 상기 3D 가상현실 영상을 디스플레이 하는 디스플레이부; 및 상기 통신부를 통해 상기 순찰 경로의 진행 방향에 따른 다수의 카메라에서 촬영되는 단방향 영상들을 상기 NVR 서버로부터 획득하고, 임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 영상 처리부를 통해 상기 획득된 단방향 영상 및 전방향 영상에 대한 3D 가상현실 영상을 생성시키고, 생성된 3D 가상현실 영상을 상기 디스플레이부에 디스플레이하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

상기 영상 처리부는, 상기 단방향 영상에 대한 단방향 영상 텍스처를 생성하는 2D 텍스처 생성부; 상기 생성된 단방향 영상 텍스처를 상기 순찰 경로의 해당 위치의 3D 공간 그래픽 데이터에 투영하여 3D 가상현실 영상을 생성하는 3D 가상현실 영상 생성부를 구비하는 단방향 영상 처리부; 전방향 영상에 포함된 다수의 단방향 영상들을 합성하여 3D 가상현실 영상을 생성하여 출력하는 전방향 영상 처리부; 및 상기 단방향 처리부 및 전방향 영상 처리부 중 적어도 하나 이상으로부터 출력되는 3D 가상현실 영상을 포함하는 디스플레이 데이터를 생성하여 디스플레이부에 표시하는 디스플레이 데이터 생성부를 포함하는 것을 특징으로 한다.

상기 제어부는, 임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 통신부를 통해 NVR 서버로부터 단방향 영상 및 전방향 영상을 획득하는 영상 획득부; 및 상기 순찰 요청 이벤트 발생 시 상기 영상 획득부를 통해 상기 순찰 경로의 진행 방향에 따른 카메라가 단방향 카메라인지 입체 카메라인지를 판단하고, 판단된 카메라 종류에 따라 단방향 영상 또는 전방향 영상을 3D 가상현실 영상을 생성시키고, 생성된 3D 가상현실 영상을 상기 디스플레이부에 디스플레이시키는 트래킹부를 포함하는 것을 특징으로 한다.

상기 방범 관제 서버는, 상기 순찰자의 조작에 따른 상기 순찰 경로 상에서의 진행 경로에 대한 순찰 경로 진행 조작 데이터를 생성하여 출력하는 입력부를 더 포함하되, 상기 트래킹부는, 임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 입력부로부터 입력되는 순찰 경로 진행 조작 데이터에 따른 상기 순찰 경로의 현재 위치의 카메라가 단방향 카메라인지 입체 카메라인지를 판단하고, 단방향 카메라이면 상기 단방향 카메라에 대해 획득된 상기 단방향 영상을 영상 처리부로 출력하여 단방향 영상들에 대한 3D 가상현실 영상을 생성시키고, 상기 위치의 카메라가 입체 카메라이면 전방향 영상을 변환하여 3D 가상현실 영상을 생성한 후, 상기 디스플레이부에 디스플레이시키는 수동 순찰부를 포함하는 것을 특징으로 한다.

상기 트래킹부는, 상기 저장부에 저장된 경로 정보에 따라 순찰 경로의 진행 방향을 따라 순차적으로 진행하면서 현재 위치의 카메라가 단방향 카메라인지 입체 카메라인지를 판단하고, 단방향 카메라이면 상기 단방향 카메라에 대해 획득된 상기 단방향 영상을 영상 처리부로 출력하여 단방향 영상들에 대한 3D 가상현실 영상을 생성시키고, 상기 위치의 카메라가 입체 카메라이면 전방향 영상을 변환하여 3D 가상현실 영상을 생성한 후, 상기 디스플레이부에 디스플레이시키는 자동 순찰부를 포함하는 것을 특징으로 한다.

상기 제어부는, 영상 처리부의 디스플레이 데이터 생성부를 통해 상기 순찰 경로에 따른 3D 가상현실 영상을 표시 중 현재 진행 중인 순찰 위치의 카메라에 대응하는 단방향 영상 또는 전방향 영상을 상기 3D 가상현실 영상의 일측에 2중으로 표시되는 디스플레이 데이터를 생성하도록 제어하는 2중 영상 처리부를 더 포함하는 것을 특징으로 한다.

상기 방범 관제 서버는, 순찰자 식별정보를 획득하여 출력하는 순찰자 식별부를 더 포함하고, 상기 저장부는 인가된 순찰자에 대한 순찰자 인증 정보를 더 저장하되, 상기 제어부는, 상기 순찰 요청 이벤트 발생 시 순찰자 식별정보를 요청하는 인증 수단을 제공하고, 상기 순찰자 식별부를 통해 입력되는 순찰자 식별정보와 상기 저장부에 저장되어 있는 순찰자 인증 정보와 비교하여 상기 순찰자 식별정보에 대응하는 순찰자 인증 정보가 있는지를 검사하여 순찰차 인증을 수행하고, 인증 성공 시 상기 순찰 경로에 대한 3D 가상현실 영상 순찰을 수행할 수 있도록 하는 순찰자 인증부를 더 포함하는 것을 특징으로 한다.

상기 입체 카메라는, 본체; 상기 본체의 전후좌우 및 하 방향, 또는 전후좌우 및 상 방향에 대한 단방향 영상을 출력하는 5개의 단방향 카메라; 및 상기 본체의 내측 또는 외측에 구성되어 3D 가상 방범 관제부와 데이터 통신을 수행하는 통신부를 포함하는 것을 특징으로 한다.

상기 저장부는, 적어도 단방향 카메라에 의해 촬영되는 공간에 대한 실사 그래픽 데이터를 더 저장하되, 상기 단방향 영상 처리부는, 단방향 카메라에 의해 촬영되는 일방향의 공간 영역 이외의 공간에 대해 상기 저장부에 저장된 상기 공간에 대한 실사 그래픽 데이터를 적용하여 3D 가상현실 영상을 생성하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 입체 카메라를 이용한 3D 가상 방범 관제 방법은: 3D 가상 방범 관제부가 임의의 방범 영역 중 적어도 하나 이상의 순찰 경로의 임의의 위치에서 일부 영역이 상호 중첩되도록 설치된 단방향 카메라 및 입체 카메라를 통해 해당 공간을 촬영하여 단방향 영상 및 전방향 영상을 획득하는 영상 획득 과정; 및 상기 3D 가상 방범 관제부가 순찰 요청 이벤트의 발생 시 선택된 순찰 경로에 따라 순찰을 진행함에 있어서, 순찰 위치의 카메라가 단방향 카메라이면 상기 다수의 카메라에서 촬영되는 단방향 영상에 대한 3D 가상현실 영상을 생성하고, 상기 순찰 위치의 카메라가 입체 카메라이면 상기 입체 카메라로부터 입력되는 전방향 영상을 합성하여 3D 가상현실 영상을 생성하여 디스플레이부에 디스플레이하는 방범 관제 과정을 포함하는 것을 특징으로 한다.

상기 영상 획득 과정에서 3D 가상 방범 관제부는 상기 단방향 영상 또는 전방향 영상을 NVR 서버를 통해 획득하는 것을 특징으로 한다.

상기 방범 관제 과정은, 방범 관제 서버가 임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 선택된 순찰 경로의 순찰 위치를 추적하는 트래킹 단계; 상기 추적되는 순찰 위치의 카메라가 단방향 카메라이면 상기 다수의 카메라에 대해 상기 획득된 단방향 영상을 로드하고, 상기 순찰 위치의 카메라가 입체 카메라이면 상기 입체 카메라에 대해 상기 획득된 전방향 영상을 로드하는 영상 로딩 단계; 및 상기 순찰 경로의 진행 방향에 따라 로딩된 영상이 단방향 영상이면 상기 단방향 영상에 대한 3D 가상현실 영상을 생성시키는 단방향 영상/3D 가상현실 영상 변환 단계 및 상기 로딩된 영상이 전방향 영상이면 상기 전방향 영상을 합성하여 3D 가상현실을 생성하는 전방향 영상/3D 가상현실 영상 변환 단계를 구비하는 3D 가상현실 생성 단계; 및 상기 생성된 3D 가상현실 영상을 상기 순찰 경로에 따라 순차적으로 상기 디스플레이부에 디스플레이시키는 순찰 단계를 포함하는 것을 특징으로 한다.

상기 단방향 영상/3D 가상현실 영상 변환 단계는, 상기 로딩된 단방향 영상들에 대한 단방향 영상 텍스처를 생성하는 단방향 영상 텍스처 생성 단계; 상기 순찰 경로의 진행 방향에 따른 카메라에서 촬영되는 상기 단방향 영상 텍스처를 순차적으로 상기 3D 공간 그래픽 데이터에 투영하여 3D 가상현실 영상을 생성하는 3D 가상현실 영상 생성 단계; 및 상기 생성된 3D 가상현실 영상을 포함하는 디스플레이 데이터를 생성하여 디스플레이하는 디스플레이 단계를 포함하는 것을 특징으로 한다.

상기 순찰 위치는 순찰자에 의해 상기 순찰 경로를 이동하는 순찰 경로 진행 조작 데이터에 따라 결정되는 것을 특징으로 한다.

상기 방범 관제 과정은, 순찰자로부터 순찰자 식별정보를 획득하여 미리 등록된 순찰자 식별정보와 비교하여 순찰자를 인증하고, 인증된 순찰자에 대해 상기 3D 가상현실을 이용한 순찰을 승인하는 순찰자 인증 단계를 더 포함하는 것을 특징으로 한다.

상기 방범 관제 과정은, 상기 순찰 단계의 수행 중 카메라 사이의 구간별로 순찰 여부를 검사하여 순찰 상태를 저장부에 기록하는 순찰 상태 검사 단계를 더 포함하는 것을 특징으로 한다.

순찰 상태 검사 단계는, 상기 순찰 단계의 수행 중 카메라 사이의 구간별로 상기 순찰에 따른 3D 가상현실 영상이 표시되는 디스플레이부의 일측에 설치된 카메라를 통해 상기 디스플레이부 전방에서 3D 가상현실 영상을 시청하는 순찰자를 촬영하여 순찰자 영상을 획득하는 순찰자 영상 획득 단계; 상기 순찰자 영상으로부터 순찰자의 시각을 검출하는 시각 검출 단계; 상기 검출된 시각이 상기 디스플레이부를 향하고 있는지를 판단하는 순찰 상태 판단 단계; 및 상기 판단된 순찰 상태를 상기 구간별로 상기 저장부에 기록하는 순찰 상태 기록 단계를 포함하는 것을 특징으로 한다.

본 발명은 단방향 카메라 및 입체 카메라를 통해 촬영되는 영상으로부터 방범 영역 전체에 대한 3D 가상현실 영상을 생성할 수 있으므로 관리자의 직접적인 순찰 없이도 3D 가상현실 영상을 이용하여 방범영역을 순찰할 수 있으므로 관리자, 즉 순찰자의 사고 노출 위험을 최소화할 수 있고, 관리자의 수를 최소화할 수 있으므로 방범 유지비용을 최소화할 수 있는 효과를 갖는다.

또한, 본 발명은 CCTV 등과 같은 단방향 카메라를 통해 촬영된 단방향 영상 및 입체 카메라를 통해 촬영된 전방향 영상에 대한 3D 가상현실 영상을 생성하고, 이를 통한 순찰 기능을 제공함으로써 방범 영역을 실제 순찰하는 것과 같은 효과를 제공할 수 있는 이점을 갖는다.

또한, 본 발명은 3D 가상현실 영상을 통해 순찰 중 해당 위치의 카메라에 대응하는 단방향 영상 또는 전방향 영상을 함께 표시하여 주므로 보다 정확하게 순찰 위치의 상황을 식별할 수 있는 효과를 가지며, 해당 영상이 방범 영역의 순찰 경로 중 어디인지를 명확하게 알 수 있는 효과를 갖는다.

또한, 본 발명은 해상도가 높고 팬/틸트/줌 기능이 없는 전방향 카메라인 입체 카메라를 위주로 적용하므로 팬/틸트/줌 기능을 가지는 고가의 능동형 카메라의 수를 최소화할 수 있으므로 방범 효과 대비 저가의 비용으로 시스템을 구축할 수 있는 효과를 갖는다.

도 1은 본 발명에 따른 입체 카메라를 이용한 3D 가상 방범 관제 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 입체 카메라를 이용한 3D 가상 방범 관제 시스템의 3D 가상 방범 관제부의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 3D 가상 방범 관제부의 방범 관제 서버의 구성을 나타낸 도면이다.
도 4는 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법을 나타낸 흐름도이다.
도 5는 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법의 단방향 영상의 3D 가상현실 영상 생성 방법을 나타낸 흐름도이다.
도 6은 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법의 순찰자 식별 및 인증 방법을 나타낸 흐름도이다.
도 7은 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법의 순찰 상태 모니터링 방법을 나타낸 흐름도이다.

이하 첨부된 도면을 참조하여 본 발명의 입체 카메라를 이용한 3D 가상 방범 관제 시스템의 구성 및 동작을 설명하고, 그 시스템의 3D 가상 방범 관제 방법을 설명한다.

도 1은 본 발명에 따른 입체 카메라를 이용한 3D 가상 방범 관제 시스템의 구성을 나타낸 도면이다.

본 발명에 따른 입체 카메라를 이용한 3D 가상 방범 관제 시스템은 다수의 단방향 카메라(80), 다수의 입체 카메라(90) 및 3D 가상 방범 관제부(100)를 포함한다.

단방향 카메라(80)는 유무선 데이터 통신망(500)에 접속되어 데이터 통신을 수행하는 통신부(81)를 포함하여, 일 방향에 대해 화각에 들어오는 상을 촬영하여 단방향 영상을 유무선 데이터 통신망(500)을 통해 3D 가상 방범 관제부(100)로 출력한다. 상기 단방향 영상은 2차원(Dimension: 이하 약어 "D"를 사용함) 영상이다.

입체 카메라(90)는 적어도 4개 이상의 단방향 카메라를 포함하여 전체 방향(이하 "전방향"이라 함)에 대해 각 단방향 카메라의 화각에 들어오는 각각의 상을 촬영하여 각각의 2D 단방향 영상을 출력하고, 이를 각 단방향 카메라의 위치 순서에 따라 결합하여 3D 가상 방범 관제부(100)로 출력한다.

도 1에서 입체 카메라(90)는 5개의 단방향 카메라(92-1, 92-2, 92-3, 92-4, 92-5)들과, 유무선 데이터 통신망(500)을 통해 3D 가상 방범 관제부(100)와 데이터 통신을 수행하는 통신부(93)와, 상기 단방향 카메라(92)들 및 통신부를 내부에 포함하거나 고정시키는 본체(91)를 포함한다. 상기 본체(91)는 원형, 육면체, 반구형 반 타원형 등과 같이 다양한 형상으로 형성될 수 있을 것이다. 상기 각각의 단방향 카메라(92)는 각각의 방향에 대한 단방향 영상들을 직접 통신부(93)를 통해 3D 가상 방범 관제부(100)로 전송할 수도 있고, 단방향 영상들을 단방향 카메라(92)들이 연결된 순서대로 결합하여 전송할 수 있을 것이다. 후자의 경우, 각각의 단방향 영상들을 단방향 카메라(92)의 위치에 따라 결함하여 출력하는 영상 결합수단(미도시)을 통신부(93)에 구성하거나 별도의 구성으로 구성하여야 할 것이다. 이하 설명에서는 결합되어 전송되는 경우로 가정하여 설명한다.

이하 상기 입체 카메라(90)로부터 출력되는 상기 단방향 영상들이 단방향 카메라의 위치 순서에 따라 결합된 영상을 "전방향 영상"이라 한다.

구체적으로, 단방향 카메라(80) 및 입체 카메라(90)는 건물 등과 같은 방범 영역의 적어도 하나 이상의 순찰 경로 상에 설치되고, 상기 순찰 경로의 임의의 위치에서 일 방향의 영역 또는 전 방향의 영역 촬영하여 단방향 영상 및 전방향 영상을 출력한다. 임의의 단방향 카메라(80) 및 입체 카메라(90)는 각각에 의해 촬영되는 영역이 인접한 카메라(80, 90)에 의해 촬영되는 영역과 일부 중첩되도록 배치되는 것이 바람직할 것이다.

예를 들어, 도 1에 나타난 바와 같이 입체 카메라(90-3)가 단방향 카메라(80-1) 및 입체 카메라(90-2)과 인접한 위치에 설치된 경우, 상기 입체 카메라(90-3), 단방향 카메라(80-1) 및 입체 카메라(80-2)는 각각 촬영되는 영역의 끝 부분이 일부 상호 중첩되도록 설정되는 것이 바람직할 것이다. 이는 3D 가상현실 영상의 성능 및 순찰 기능을 향상시킬 수 있을 것이다.

3D 가상 방범 관제부(100)는 유무선 데이터 통신망(500)을 통해 상술한 단방향 카메라(80) 및 입체 카메라(90)들과 유선 및 무선으로 연결되어 데이터 통신을 수행하여 단방향 카메라(80)로부터 단방향 영상을, 입체 카메라(90)로부터 전방향 영상을 수신한다.

상기 유무선 데이터 통신망(500)은 와이파이(WiFi) 망, 광대역통신망(Wide Area Network: WAN) 및 로컬망(Local Area Network: LAN)이 결합된 유무선 인터넷망과, 3세대(3Generation: 3G) 및 4세대(4Generation =Long Term Evolution: LTE) 망 등과 같은 이동통신망과, 지그비 및 블루투스 등에 의해 구성되는 개인통신망(Personal Area Network: PAN) 중 적어도 하나 이상이 포함된 망일 수 있을 것이다.

3D 가상 방범 관제부(100)는 상기 방범 영역 중 단방향 카메라(80)가 설치된 상기 순찰 경로의 공간에 대한 3D 공간 그래픽 데이터를 획득하여 가지고 있으며, 상기 순찰 경로에 따라 상기 다수의 단방향 카메라(80)에서 촬영되는 2D 단방향 영상들에 대한 단방향 영상 텍스처를 생성한 후, 상기 단방향 영상 텍스처를 순차적으로 해당 방범 영역의 3D 공간 그래픽 데이터에 투영하여 3D 가상현실 영상을 생성하고, 생성된 3D 가상현실 영상을 디스플레이한다.

또한, 3D 가상 방범 관제부(100)는 상기 방범 영역 중 입체 카메라(90)가 설치된 상기 순찰 경로의 영역에 대해 입력되는 전방향 영상을 합성하여 3D 가상현실 영상을 생성하여 디스플레이한다.

상기 디스플레이 되는 3D 가상현실 영상은 입체 영상 DB(320)에 저장될 수 있으며, 순찰에 따른 3D 가상현실 영상은 순찰 경로 정보와 함께 상기 입체 영상 DB(320)에 저장될 수 있을 것이다.

3D 가상 방범 관제부(100)는 순찰 요청 이벤트의 발생 시 순찰 경로 상에 설치된 카메라(80, 90)들의 설치 순서에 따라 3D 가상현실 영상을 디스플레이하여 3D 가상현실을 이용한 순찰 기능을 제공한다.

상기 3D 공간 그래픽 데이터는 상기 방범 영역의 순찰 경로에 대한 영역의 공간을 3D 레이저 스캔을 수행하는 3D 공간정보 생성기(410)에 의해 생성될 수 있을 것이다. 상기 3D 공간정보 생성기(410)는 3D 레이저 스캐너 HDS 6100 등이 될 수 있을 것이다.

도 2는 본 발명에 따른 입체 카메라를 이용한 3D 가상 방범 관제 시스템의 3D 가상 방범 관제부의 구성을 나타낸 도면이다.

도 2를 참조하면, 본 발명의 실시예에 따른 3D 가상 방범 관제부(100)는 상기 단방향 카메라(80) 및 입체 카메라(90)들에 의해 촬영된 단방향 영상 및 전방향 영상을 저장 및 관리하는 네트워크 비디오 레코더(Network Video Recorder: NVR) 서버(200) 및 방범 관제 서버(300)를 포함하며, 3D 공간 그래픽 관리 서버(400)를 더 포함하도록 구성될 수도 있을 것이다.

NVR 서버(200)는 유무선 데이터 통신망(500)을 통해 단방향 카메라(80) 및 입체 카메라(90)들로부터 단방향 영상 및 전방향 영상을 수신하여 카메라(80, 90)의 고유 식별정보별로 영상 DB(210)에 저장하여 관리하고, 방범 관제 서버(300)로부터 카메라 식별정보를 포함하는 영상의 요청 시 해당 카메라에 대한 단방향 영상 또는 전방향 영상을 상기 방범 관제 서버(300)로 제공한다.

방범 관제 서버(300)는 상기 방범 영역에 대한 카메라 식별정보 및 카메라 식별정보별 카메라 위치정보와, 상기 방범 영역 중 적어도 하나 이상의 순찰 경로 각각에 대해 설치된 카메라(80, 90)들의 카메라 식별정보 및 카메라들의 위치정보를 포함하는 순찰 경로 정보와, 상기 각 순찰 경로의 공간에 대한 3D 공간 그래픽 데이터를 획득하여 저장하고 관리한다. 상기 3D 공간 그래픽 데이터는 3D 공간 그래픽 관리 서버(400)를 포함하는 경우 3D 공간 DB(410)에 저장되어 관리될 수도 있을 것이다.

상기 방범 관제 서버(300)는 본 발명에 따라 임의의 순찰자 또는 자동 순찰 설정 정보에 의한 순찰 요청 이벤트 발생 시 NVR 서버(200)를 통해 또는 직접 상기 다수의 단방향 카메라(80) 및 입체 카메라(90)를 통해 촬영된 단방향 영상 및 전방향 영상을 획득하고, 상기 순찰 경로의 진행 방향에 따른 카메라가 단방향 카메라(80)이면 상기 단방향 카메라(80)에 의해 획득된 단방향 영상들에 대한 단방향 영상 텍스처를 생성한 후, 생성된 상기 단방향 영상 텍스처를 순차적으로 상기 3D 공간 그래픽 데이터에 투영하여 3D 가상현실 영상을 생성한다. 그리고 상기 순찰 경로의 진행 방향에 따른 카메라가 입체 카메라(90)이면 방범 관제 서버(300)는 상기 입체 카메라(90)에 의해 획득된 전방향 영상을 구성하는 단방향 영상들을 합성하여 3D 가상현실 영상을 생성한다. 생성된 3D 가상현실 영상은 모니터링 화면을 통해 순찰 경로의 현재 순찰 위치(카메라 위치)에 따라 디스플레이될 것이다. 상기 자동 순찰 설정정보는 언제 어떤 순찰 경로를 순찰할 것인지에 대한 정보가 포함될 것이다.

상기 설명에서는 3D 가상 방범 관제부(100)가 NVR 서버(200) 및 방범 관제 서버(300)로 구성되는 경우를 설명하였으나, 3D 공간 그래픽 관리 서버(400) 및 유무선 데이터 통신망(500)에 접속할 수 있는 3D 공간 정보 생성기(미도시)를 더 포함하여 구성할 수도 있을 것이다. 그리고 상기 방범 관제부(100)는 상기 방범 관제 서버(300)만으로 구성될 수도 있을 것이다. 즉 방범 관제 서버(300)가 NVR 서버(200) 및 3D 공간 그래픽 관리 서버(400)의 기능을 모두 수행하도록 구성될 수도 있을 것이다.

상기 3D 공간 그래픽 관리 서버(400)를 구비하는 경우, 3D 공간정보 생성기(미도시)는 유선 또는 무선으로 유무선 데이터 통신망(500)에 접속하여 상기 방범 영역의 순찰 경로의 공간 변경 시 용이하게 해당 공간에 대한 3D 공간 정보를 생성하고 유무선 데이터 통신망(500)을 통해 3D 공간 그래픽 관리 서버(400)로 전송하도록 구성될 수 있을 것이다.

그리고 3D 공간 그래픽 관리 서버(400)는 3D 공간 정보 생성기(410)를 통해 수신되는 3D 공간 그래픽 데이터를 수신받아 3D 공간 DB(410)에 저장하여 관리하고, 방범 관제 서버(300)로부터의 임의의 순찰 경로에 대한 3D 공간 그래픽 데이터 요청 시 해당 데이터를 방범 관제 서버(300)로 제공하도록 구성될 것이다.

도 3은 본 발명에 따른 3D 가상 방범 관제부의 방범 관제 서버의 구성을 나타낸 도면이다. 이하 도 3을 참조하여 본 발명에 따른 방범 관제 서버(300)의 상세 구성 및 동작을 설명한다.

방범 관제 서버(300)는 제어부(10), 저장부(20), 입력부(30), 순찰자 식별부(40), 영상 처리부(50), 디스플레이부(60), 통신부(70) 및 순찰 확인 정보 획득부(75)를 포함한다.

저장부(20)는 상기 방범 영역에 대한 카메라(80, 90)들 각각의 카메라 식별정보 및 카메라 위치정보와, 상기 방범 영역 중 적어도 하나 이상의 순찰 경로에 대해 설치된 카메라(80, 90)들의 식별정보 및 카메라들의 위치정보를 포함하는 순찰 경로 정보와, 자동 순찰 설정 정보와, 상기 순찰 경로의 공간에 대한 3D 공간 그래픽 데이터를 저장한다. 또한, 상기 저장부(20)는 인증된 순찰자에 대한 순찰자 식별정보를 포함하는 순찰자 인증정보를 저장하며, 순찰자의 시각을 검출하기 위한 눈 및 눈동자 패턴 정보 및 눈 및 눈동자의 위치에 따른 특성정보들을 저장한다.

입력부(30)는 상기 순찰자로부터 상기 순찰 경로 상에서의 진행 경로에 대한 순찰 경로 진행 조작 데이터를 생성하여 출력하는 것으로, 키보드, 조이스틱, 볼 마우스, 마우스, 터치패드 중 하나 이상으로 구성될 수 있을 것이다.

순찰자 식별부(40)는 순찰자 또는 관리자로부터 순찰자 식별정보를 획득하여 제어부(10)로 출력한다. 상기 순찰자 식별정보는 순찰자의 아이디/패스워드, 공인인증서, 생체 인식 정보 등이 될 수 있을 것이다. 상기 생체 인식 정보는 지문, 홍채, 음성, 맥박 등의 정보가 될 수 있을 것이다.

영상 처리부(50)는 단방향 영상 처리부(51), 전방향 영상 처리부(54) 및 디스플레이 데이터 생성부(55)를 포함한다.

단방향 영상 처리부(51)는 본 발명의 순찰 경로의 단방향 카메라(80)에 의해 촬영된 단방향 영상에 대한 단방향 영상 텍스처를 생성하는 2D 텍스처 생성부(52), 상기 생성된 단방향 영상 텍스처를 저장부(20)에 저장되어 있는 상기 순찰 경로에 대한 3D 공간 그래픽 데이터에 투영하여 3D 가상현실 영상을 생성하는 3D 가상현실 영상 생성부(53)를 포함한다. 단방향 영상 처리부(51)는 단방향 카메라(80)에 의해 촬영되지 않는 부분에 대해 실사 그래픽을 적용하여 처리하도록 구성될 수도 있을 것이다.

2D 텍스처 생성부(51)는 CCTV 등의 카메라(80)의 단방향 영상을 최종 렌더링된 이미지로 보고, 월드 공간에서의 정점들의 위치 벡터에 대하여 행렬 연산을 이용하여 해당 카메라(80)의 시점에서의 2D 공간으로 변환하기 위하여 (1) 로컬 죄표계의 정점의 위치 벡터를 월드(World) 좌표계로 변환, (2) 월드 좌표계의 정점의 위치 벡터를 뷰(View) 좌표계로 변환, (3) 뷰 좌표계의 정점의 위치 벡터를 프로젝션 좌표계로 변환한 후 하기 수학식 1에 의해 텍스처 공간의 UV 좌표로 변환된다.

[수학식 1]

U =(X/Z+1)/2

V=(1-Y/Z)/2

(X, Y, Z)는 프로젝션 좌표계로 변환된 정점의 위치 벡터 성분으로서 X는 가로축, Y는 세로축, Z는 깊이축 좌표이다.

(U, V)는 텍스처 매핑에 사용되는 좌표로서 U는 가로축, V는 세로축 좌표이다.

상기 3D 가상현실 영상 생성부(52)는 3D 공간상의 정점들을 2D 공간으로 변환하고, 변환된 2D 정점들을 연결하여 폴리곤을 구성하며, 그 내부에 상기 단방향 영상 텍스처를 매핑한다. 특히, 상기 3D 가상현실 영상 생성부(52)는 3D 정점을 2D 정점으로 변환하기 위해 (1) 로컬(Local) 좌표계의 정점을 월드(World)좌표계로 변환, (2) 월드 좌표계의 정점을 뷰(View) 좌표계로 변환, (3) 뷰 좌표계의 정점을 프로젝션 좌표계로 변환, (4) 프로젝션 좌표계의 정점을 최종적으로 스크린 좌표계로 변환, (5) 정점에 저장된 UV 좌표를 이용한 단방향 영상 텍스처 매핑을 수행한다. 상기 각 단계는 3D 그래픽 처리 분야에서 잘 알려진 행렬연산이 적용된다.

전방향 영상 처리부(54)는 순찰 경로의 입체 카메라(90)에 의해 촬영된 전방향 영상을 구성하는 서로 다른 방향에 대한 다수의 단방향 영상들을 합성하여 3D 가상현실 영상을 생성한다.

디스플레이 데이터 생성부(55)는 상기 3D 가상현실 영상과 사용자 그래픽 인터페이스(Graphic User Interface: GUI) 수단을 포함하는 디스플레이 데이터를 생성하여 디스플레이부(60)에 표시한다.

통신부(70)는 유무선 데이터 통신망(500)에 접속하여 유무선 데이터 통신망(500)에 접속되어 있는 NVR 서버(200), 또는 NVR 서버(200) 및 3D 공간 그래픽 관리 서버(400)와 데이터 통신을 수행한다.

순찰 확인 정보 획득부(75)는 카메라(미도시) 등이 될 수 있으며, 디스플레이부(60)의 화면의 일측에 구성되어 자동 순찰 요청에 따라 디스플레이부(60)에 표시되는 3D 가상현실 영상을 보고 있는 임의의 순찰자를 촬영하여 출력한다.

제어부(10)는 본 발명에 따른 방범 관제 서버(300)의 전반적인 동작을 제어한다.

구체적으로 설명하면, 제어부(10)는 영상 획득부(11), 트래킹부(14), 2중 영상 처리부(17), 순찰자 인증부(18) 및 순찰 확인부(19)를 포함한다.

영상 획득부(11)는 단방향 카메라(80)로부터 단방향 영상을 획득하는 단방향 영상 획득부(12) 및 입체 카메라(90)로부터 동일 공간에 대한 서로 다른 방향의 단방향 영상들로 구성되는 전방향 영상을 획득하는 입체 영상 획득부(13)를 포함한다.

구체적으로, 단방향 영상 획득부(11)는 순찰 요청 이벤트의 발생 시 통신부(70)를 통해 NVR 서버(200)로부터 해당 순찰 경로의 단방향 카메라(80)들에 대한 단방향 영상을 획득하여 트래킹부(14)로 출력한다.

그리고 입체 영상 획득부(13)는 순찰 요청 이벤트의 발생 시 통신부(70)를 통해 NVR 서버(200)로부터 또는 직접 순찰 경로의 입체 카메라(90)들로부터 전방향 영상을 획득하여 트래킹부(14)로 출력한다.

트래킹부(14)는 상기 순찰 요청 이벤트 발생 시 상기 단방향 영상 획득부(12) 또는 입체 영상 획득부(13)를 통해 상기 순찰 경로의 진행 방향에 따른 카메라에 대응하여 해당 영상을 순차적으로 획득하고, 획득된 상기 단방향 영상 또는 전방향 영상을 영상 처리부(50)로 출력하여 단방향 영상 및 전방향 영상들에 대한 3D 가상현실 영상을 생성시키고, 생성된 3D 가상현실 영상을 포함하는 디스플레이 데이터를 생성하여 상기 디스플레이부(60)에 디스플레이시킨다.

상기 트래킹부(14)는 순찰자의 조작에 따라 3D 가상현실 영상을 생성하여 순찰 기능을 수행하는 수동 순찰부(15) 및 미리 정해진 순찰 경로에 대해 자동으로 3D 가상현실 영상을 생성하여 순찰 기능을 수행하는 자동 순찰부(16)를 포함한다.

구체적으로, 수동 순찰부(15)는 임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 입력부(30)로부터 입력되는 순찰 경로 진행 조작 데이터에 따른 상기 순찰 경로의 진행 방향에 있는 카메라에 대해 순차적으로 획득된 상기 단방향 영상 또는 전방향 영상을 영상 처리부(50)로 출력하여 단방향 영상 또는 전방향 영상에 대한 3D 가상현실 영상을 생성시키고, 생성된 3D 가상현실 영상을 상기 디스플레이부에 디스플레이시킨다.

자동 순찰부(16)는 상기 저장부(20)에 저장된 자동 순찰 설정 정보의 순찰 경로 정보에 따라 순찰 경로의 진행 방향에 있는 카메라에 대해 순차적으로 획득된 상기 단방향 영상 또는 전방향 영상을 영상 처리부(50)로 출력하여 3D 가상현실 영상을 생성시키고, 생성된 3D 가상현실 영상을 상기 디스플레이부에 디스플레이시킨다.

2중 영상 처리부(17)는 영상 처리부(50)의 디스플레이 데이터 생성부(55)를 통해 상기 순찰 경로에 따른 3D 가상현실 영상을 표시 중 현재 진행 중인 순찰 위치에 대응하는 단방향 영상 또는 전방향 영상을 상기 3D 가상현실 영상의 일측에 2중으로 표시되는 디스플레이 데이터를 생성하도록 제어한다.

순찰자 인증부(18)는 입력부(30)를 통해 순찰자 인증 요청 발생 시 또는 상기 순찰 요청 이벤트 발생 시 순찰자 식별부(40)를 통해 순찰자 식별정보를 획득하고, 획득된 순찰자 식별정보와 저장부(20)에 미리 등록되어 있는 적어도 하나 이상의 순찰자 인증정보들을 비교하여 인증을 수행하고, 인증 성공 시 상기 트래킹부(14)를 통한 순찰 기능을 수행할 수 있도록 제어한다.

순찰 확인부(19)는 순찰 요청 이벤트가 자동 순찰 요청 이벤트인 경우, 순찰 확인 정보 획득부(75)를 통해 입력되는 영상으로부터 사람을 검출하고, 사람의 얼굴 검출 및 눈동자를 검출하여, 순찰자가 디스플레이되고 있는 3D 가상현실 영상을 보고 있는지를 검사한다. 순찰 확인부(75)는 카메라(80, 90)들 사이를 구간으로 정의하고, 구간별로 순찰자가 해당 구간의 영상을 보았는지 안 보았는지를 체크하고, 이에 따른 결과인 순찰 상태 정보를 저장부(20)에 저장한다. 상기 순찰 확인부(19)는 얼굴인식 기능을 구비하여 순찰자가 누구인지를 기록할 수 있도록 구성될 수도 있을 것이다.

도 4는 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법을 나타낸 흐름도이다.

우선, 제어부(10)는 NVR 서버(200)를 통해 또는 직접 전체 방범 영역에 대한 단방향 카메라(80) 및 입체 카메라(90)들로부터 촬영된 단방향 영상 또는 전방향 영상을 획득한 후 저장부(20)에 저장한다(S111).

단방향 영상 및 전방향 영상이 획득되면 제어부(10)는 단방향 영상, 즉 단방향 영상에 대해 단방향 영상 텍스처를 생성하여 저장부(20)에 저장하기 시작한다(S113). 제어부(10)는 상기 단방향 영상 텍스처가 생성되면 상기 단방향 영상 텍스처를 해당 공간의 3D 공간 객체 그래픽에 투영하여 3D 가상현실 영상을 생성해 놓을 수도 있을 것이다.

또한, 제어부(10)는 전방향 영상에 대한 3D 가상현실 영상을 생성하여 저장부(20)에 저장하기 시작한다(S115).

단방향 영상 텍스처가 생성되거나 전방향 영상에 대한 3D 가상현실 영상이 생성되기 시작하면 제어부(10)는 입력부(30) 또는 자동 순찰 설정 정보의 순찰 시간 등에 의해 순찰 요청 이벤트가 발생되는지를 검사한다(S117).

순찰 이벤트가 발생되지 않으면 제어부(10)는 현재 디스플레이부(60)에 표시하도록 설정된 카메라가 단방향 카메라(80)인지 전방향 카메라인 입체 카메라(90)인지를 판단한다(S131).

판단 결과, 단방향 카메라(80)이면 제어부(10)는 해당 단방향 카메라(80)에 대응하는 단방향 영상 텍스처를 3D 공간 객체 그래픽에 투영하여 3D 가상현실 영상을 생성하고(S133), 입체 카메라(90)이면 전방향 영상에 대한 3D 가상현실 영상을 로딩한다(S135). 상술한 바와 같이 단방향 영상에 대한 3D 가상현실 영상이 상기 S113에서 생성된 경우 3D 가상현실 영상을 바로 로딩하도록 구성될 수도 있을 것이다.

상기 단방향 카메라(80) 및/또는 입체 카메라(90)에 대한 3D 가상현실 영상이 생성되면 제어부(10)는 해당 영상을 포함하는 디스플레이 데이터를 생성한(S137) 후, 디스플레이부(60)에 표시한다(S139).

상기 3D 가상현실 영상이 표시되기 시작하면 제어부(10)는 현재 자동 순찰 중인지를 판단하고(S141), 자동 순찰 중이면 순찰 확인 동작을 개시한다(S143). 상기 순찰 확인 동작은 후술할 도 7을 참조하여 상세히 설명한다.

그리고 자동 순찰 중이 아니면, 현재 3D 가상현실 영상 표시가 순찰 기능에 의한 것인지를 판단한다(S142).

판단 결과, 순찰이 아닌 일반적인 3D 가상현실 영상의 표시이면 제어부(10)는 상술한 S111단계를 반복해서 수행하고, 순찰 중이라면 순찰 종료 여부를 판단한(S145) 후, S121 이후의 과정을 반복 수행한다.

즉, 순찰 기능이 수행되고 있지 않아도 제어부(10)는 3D 가상현실 영상을 생성하고, 선택된 카메라(80, 90)에 대응하는 3D 가상현실 영상을 디스플레이부(60)에 표시한다. 그러나 순찰 기능이 수행되지 않을 때는 단방향 영상 또는 전방향 영상만 표시되도록 구성될 수도 있을 것이다.

반면, 상기와 같이 일반적인 3D 가상현실 영상의 표시 중에 상기 순찰 요청 이벤트의 발생 여부 판단에서 순찰 요청 이벤트가 발생되면, 제어부(10)는 상기 순찰 요청 이벤트가 입력부(30)를 통해 발생된 수동 순찰 요청 이벤트인지, 저장부(20)에 설정된 자동 순찰 설정 정보에 의해 발생된 자동 순찰 요청 이벤트인지에 의해 수동 순찰인지 자동 순찰인지를 판단한다(S121, S123).

수동 순찰이면 제어부(10)는 입력부(30)로부터 순찰 경로 진행 조작 데이터가 입력되는지를 검사한다(S125). 상기 순찰 경로 진행 조작 데이터는 순찰 시작 카메라 정보 및 상기 시작 카메라(80)의 위치로부터의 3D 가상현실 영상에서의 이동을 위한 이동 데이터 등이 포함될 수 있을 것이다.

상기 순찰 요청 이벤트의 발생 시 제어부(10)는 순찰자 인증을 수행한 후 인증에 성공한 경우(S119)에 한해서 3D 가상현실 순찰을 수행할 수 있도록 구성될 수도 있을 것이다. 또한, 상기 순찰자 인증은 수동 순찰일 경우에만 수행되도록 구성될 수도 있을 것이다. 상기 순찰자 인증 방법은 후술할 도 6에서 상세히 설명한다.

순찰 경로 진행 조작 데이터가 입력되면 제어부(10)는 순찰 경로 진행 조작 데이터에 대응하는 카메라 정보를 획득하고(S123), 획득된 카메라 정보의 카메라가 단방향 카메라(80)인지 입체 카메라(90)인지를 판단한다(S131). 판단 결과, 순찰 경로 진행 조작 데이터에 의해 이동한 위치에 대응하는 카메라가 단방향 카메라(80)이면 제어부(10)는 촬영되는 단방향 영상에 대해 3D 가상현실 영상을 생성한다(S133).

반면, 상기 카메라가 입체 카메라(90)이면 제어부(10)는 상기 입체 카메라(90)의 전방향 영상에 대해 전방향 영상 처리부(54)에서 생성되고 있는 3D 가상현실 영상을 로딩한다(S135).

상기와 같이 3D 가상현실 영상이 생성되면 상술한 S137 이후의 과정을 동일하게 수행하여 상기 순찰 경로 진행 조작 데이터에 따른 3D 가상현실 영상을 디스플레이부(60)에 표시한다. 이때, 제어부(10)는 2중 영상 처리부(314)를 통해 진행 중인 순찰 경로의 카메라(80)에 대한 단방향 영상을 포함하는 디스플레이 데이터를 생성하여 디스플레이부(60)에 표시할 수도 있을 것이다.

그리고 순찰 요청 이벤트가 자동 순찰인 경우, 제어부(10)는 저장부(20)로부터 자동 순찰 설정 정보의 순찰 경로에 따른 카메라 정보를 획득하고(S129), 획득된 순찰 경로에 따른 카메라 정보에 따라 상술한 S131 내지 S135에서와 같이 순차적으로 3D 가상현실 영상을 획득한 후, 상술한 S137 내지 S139 단계를 수행하여 3D 가상현실 영상을 포함하는 디스플레이 데이터를 디스플레이부(60)에 표시한다.

상기 설명에서는 단방향 카메라(80)에 의해 촬영된 단방향 영상을 단방향 영상 텍스처로 변환하고, 입체 카메라(90)에 의해 촬영된 전방향 영상을 3D 가상현실 영상으로 미리 변환해 놓는 경우를 설명하였다. 이 경우 순찰 시 빠르게 3D 가상현실 영상을 화면에 표시할 수 있는 효과를 가지나, 큰 비디오 메모리를 필요로 할 것이다. 따라서 순찰 요청 이벤트 발생 시 입력되는 순찰 경로에 따른 해당 카메라에 대응하는 단방향 영상 또는 전방향 영상에 대해서만 단방향 영상 텍스처 및 3D 가상현실 영상을 생성하도록 구성될 수도 있을 것이다.

도 5는 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법의 단방향 영상의 3D 가상현실 영상 생성 방법을 나타낸 흐름도이다.

도 5를 참조하면, 우선 제어부(10)는 단방향 영상 획득부(12)를 통해 NVR로부터 입력되는 단방향 영상을 미리 설정된 포맷으로 디코딩한다(S211). 그러나 NVR 서버(200)에서 생성된 단방향 영상 포맷을 그대로 이용할 수도 있을 것이다. 상기 포맷은 윈도우즈 표준 동영상 포맷인 오디오/비디오 인터리브(Audio Video interleave: AVI), 동화상 전문가 그룹(Moving Picture Experts Group: MPEG) 등이 될 수 있을 것이다.

상기 디코딩된 단방향 영상이 획득되면 제어부(10)는 영상 처리부(50)를 구동하고 영상 처리부(50)의 2D 텍스처 생성부(51)로 상기 단방향 영상을 제공한다. 그러면 2D 텍스처 생성부(51)는 상기 단방향 영상에 대한 단방향 영상 텍스처를 생성한다(S213).

상기 단방향 영상 텍스처가 생성되면 영상 처리부(50)의 3D 가상현실 영상 생성부(52)는 카메라 시점에서의 3D 공간 그래픽 데이터의 객체들의 정점 변환을 수행한다(S215).

상기 3D 공간 그래픽 데이터의 객체들의 정점 변환이 수행되면 3D 가상현실 영상 생성부(52)는 정점 좌표를 UV 좌표로 변환한다(S217).

상기 객체들의 정점 좌표가 UV 좌표로 변환되면, 3D 가상현실 영상 생성부(52)는 UV 좌표로 변환된 공간 객체의 메시에 단방향 영상 텍스처를 매핑한 후, 상기 3D 공간 그래픽의 객체의 UV 좌표 변환 과정의 역변환을 통해 3D 가상현실 영상을 생성한다(S219).

도 6은 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법의 순찰자 식별 및 인증 방법을 나타낸 흐름도이다.

이하 도 6을 참조하면, 제어부(10)는 도 4에서 순찰 요청 이벤트의 발생 시 디스플레이부(60)를 통해 순찰자 식별정보를 입력할 것을 요청한다(S311).

상기 순찰자 식별정보의 입력 요청 후, 제어부(10)는 순찰자 식별부(40)를 통해 순찰자 식별정보가 획득되는지를 검사한다(S313).

순찰자 식별정보가 획득되면 제어부(10)는 획득된 순찰자 식별정보와 저장부(20)에 미리 등록되어 있는 순찰자 식별정보를 포함하는 순찰자 인증정보들과 비교하여(S315) 일치하는 순찰자 식별정보가 등록되어 있는지를 판단한다(S317).

일치하는 순찰자 식별정보가 등록되어 있으면 제어부(10)는 승인 결정 및 승인을 디스플레이부(60)를 통해 통지하고 상기 순찰 기능을 수행하도록 허락한다(S319).

반면, 일치하는 순찰자 식별정보가 저장부(20)에 등록되어 있지 않으면, 인증에 실패한 것으로 간주하여, 승인 실패를 디스플레이부(60)를 통해 통지한(S321) 후, 초기화면, 즉 일반적인 단방향 영상 또는 순찰 3D 가상현실 영상이 아닌 현재 디스플레이부(60)에 표시되도록 설정된 카메라에 대한 3D 가상현실 영상을 표시한다(S323).

도 7은 본 발명에 따른 입체 카메라를 이용한 가상 방범 관제 방법의 순찰 상태 모니터링 방법을 나타낸 흐름도이다.

도 7을 참조하면, 순찰 요청 이벤트에 의한 3D 가상현실 영상이 디스플레이부(60)에 표시되면(S411), 제어부(10)의 순찰 확인부(19)는 순찰 확인 정보 획득부(75)를 구동하여 순찰자 촬영 영상을 획득하고(S412), 획득된 순찰자 영상으로부터 순찰자 검출, 순찰자 얼굴 검출 및 순찰자의 눈을 검출하고, 순찰 눈이 바라보는 순찰자 시각을 검출한다(S413).

순찰자의 시각이 검출되면 순찰 확인부(19)는 검출된 순찰자 시각이 순찰에 따른 3D 가상현실 영상이 표시되면 디스플레이부(60) 화면 방향인지를 판단한다(S415).

판단 결과, 순찰자, 순찰자의 눈이 검출되지 않거나, 순찰자 눈의 시각이 디스플레이부(60)의 화면을 보고 있지 않으면 순찰 확인부(19)는 순찰 감독 경보를 발생하고(S417) 순찰 상태를 불량 등으로 기록한다(S423).

반면, 순찰자 시각이 영상 표시 화면 방향을 보고 있으면, 순찰 확인부(19)는 순찰 감독 경보가 발생중인지를 판단한다(S419).

판단 결과, 순찰 감독 경보가 발생중이지 않으면 순찰 상태를 양호 등으로 기록한다(S421).

그러나 순찰 감독 경보가 발생 중이었으면 순찰 확인부(19)는 순찰 감독 경보를 해제한(S421) 후 순찰 상태를 양호 등으로 기재할 것이다(S423).

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

10: 제어부 11: 영상 획득부
12: 단방향 영상 획득부 13: 전방향 영상 획득부
14: 트래킹부 15: 수동 순찰부
16: 자동 순찰부 17: 2중 영상 처리부
18: 순찰자 인증부 19: 순찰 확인부
20: 저장부 30: 입력부
40: 순찰자 식별부 50: 영상 처리부
51: 단방향 영상 처리부 52: 2D 텍스처 생성부
53: 3D 가상현실 영상 생성부 54: 전방향 영상 처리부
55: 디스플레이 데이터 생성부 60: 디스플레이부
70: 통신부 100: 3D 가상 방범 관제부
200: NVR 서버 210: 단방향 영상 DB
300: 방범 관제 서버 400: 3D 공간 서버
410: 3D 공간 DB

Claims

임의의 방범 영역 중 순찰 경로에 설치되고 상기 순찰 경로의 임의의 위치에서 상기 순찰 경로의 일부 영역을 촬영하여 단방향 영상을 출력하는 단방향 카메라;
임의의 방범 영역 중 순찰 경로에 설치되고 상기 순찰 경로의 임의의 위치에서 상기 순찰 경로의 일부 영역의 전방향을 촬영하여 전방향 영상을 출력하는 입체 카메라; 및
상기 방범 영역의 상기 순찰 경로의 공간 중 적어도 상기 단방향 카메라가 촬영하는 영역에 대한 3D 공간 그래픽 데이터를 획득하여 가지고 있으며, 순찰 요청 이벤트 발생 시 순찰 경로를 따른 순차적인 순찰 위치의 카메라가 단방향 카메라이면 상기 단방향 카메라에서 촬영되는 단방향 영상들에 대한 단방향 영상 텍스처를 상기 3D 공간 그래픽 데이터의 객체에 투영하여 3D 가상현실 영상을 생성하고, 상기 순찰 위치의 카메라가 입체 카메라이면 전방향 영상을 변환하여 3D 가상현실 영상을 생성하여 디스플레이하는 3D 가상 방범 관제부를 포함하되,
상기 3D 가상 방범 관제부는,
상기 단방향 카메라 및 입체 카메라로부터 촬영되는 단방향 영상 및 전방향 영상을 입력받아 영상 DB에 저장하여 관리하는 디지털 영상 레코더 서버; 및
상기 방범 영역의 적어도 하나 이상의 순찰 경로 각각에 대한 카메라 식별정보 및 카메라 위치정보를 포함하는 경로 정보와, 상기 순찰 경로의 공간 중 적어도 상기 단방향 카메라에 의해 촬영되는 공간에 대한 3D 공간 그래픽 데이터를 획득하여 가지고 있으며, 디지털 영상 레코드 서버를 통해 상기 단방향 카메라 및 입체 카메라를 통해 촬영된 단방향 영상 및 전방향 영상을 획득하고, 순찰 요청 이벤트 발생 시 해당 순찰 경로의 순찰 위치의 카메라가 단방향 카메라이면 획득된 단방향 영상들에 대한 3D 가상현실 영상을 생성하고, 순찰 위치의 카메라가 입체 카메라이면 획득된 전방향 영상을 변환하여 3D 가상현실 영상을 생성한 후 디스플레이하는 방범 관제 서버를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
삭제
제1항에 있어서,
상기 방범 관제 서버는,
상기 방범 영역의 적어도 하나 이상의 순찰 경로 각각에 대한 카메라 식별정보 및 카메라 위치정보를 포함하는 경로 정보와, 상기 순찰 경로의 공간에 대한 3D 공간 그래픽 데이터를 저장하는 저장부;
유무선 네트워크에 접속되어 상기 유무선 네트워크에 접속된 NVR 서버와 데이터 통신을 수행하여 상기 단방향 영상 및 전방향 영상을 수신하여 출력하는 통신부;
상기 단방향 영상 및 전방향 영상에 대한 3D 가상현실 영상을 생성하는 영상 처리부;
상기 3D 가상현실 영상을 디스플레이 하는 디스플레이부; 및
상기 통신부를 통해 상기 순찰 경로의 진행 방향에 따른 다수의 카메라에서 촬영되는 단방향 영상들을 상기 NVR 서버로부터 획득하고, 임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 영상 처리부를 통해 상기 획득된 단방향 영상 및 전방향 영상에 대한 3D 가상현실 영상을 생성시키고, 생성된 3D 가상현실 영상을 상기 디스플레이부에 디스플레이하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제3항에 있어서,
상기 영상 처리부는,
상기 단방향 영상에 대한 단방향 영상 텍스처를 생성하는 2D 텍스처 생성부;
상기 생성된 단방향 영상 텍스처를 상기 순찰 경로의 해당 위치의 3D 공간 그래픽 데이터에 투영하여 3D 가상현실 영상을 생성하는 3D 가상현실 영상 생성부를 구비하는 단방향 영상 처리부;
전방향 영상에 포함된 다수의 단방향 영상들을 합성하여 3D 가상현실 영상을 생성하여 출력하는 전방향 영상 처리부; 및
상기 단방향 처리부 및 전방향 영상 처리부 중 적어도 하나 이상으로부터 출력되는 3D 가상현실 영상을 포함하는 디스플레이 데이터를 생성하여 디스플레이부에 표시하는 디스플레이 데이터 생성부를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제4항에 있어서,
상기 제어부는,
임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 통신부를 통해 NVR 서버로부터 단방향 영상 및 전방향 영상을 획득하는 영상 획득부; 및
상기 순찰 요청 이벤트 발생 시 상기 영상 획득부를 통해 상기 순찰 경로의 진행 방향에 따른 카메라가 단방향 카메라인지 입체 카메라인지를 판단하고, 판단된 카메라 종류에 따라 단방향 영상 또는 전방향 영상을 3D 가상현실 영상을 생성시키고, 생성된 3D 가상현실 영상을 상기 디스플레이부에 디스플레이시키는 트래킹부를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제5항에 있어서,
상기 방범 관제 서버는,
상기 순찰자의 조작에 따른 상기 순찰 경로 상에서의 진행 경로에 대한 순찰 경로 진행 조작 데이터를 생성하여 출력하는 입력부를 더 포함하되,
상기 트래킹부는,
임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 입력부로부터 입력되는 순찰 경로 진행 조작 데이터에 따른 상기 순찰 경로의 현재 위치의 카메라가 단방향 카메라인지 입체 카메라인지를 판단하고, 단방향 카메라이면 상기 단방향 카메라에 대해 획득된 상기 단방향 영상을 영상 처리부로 출력하여 단방향 영상들에 대한 3D 가상현실 영상을 생성시키고, 상기 위치의 카메라가 입체 카메라이면 전방향 영상을 변환하여 3D 가상현실 영상을 생성한 후, 상기 디스플레이부에 디스플레이시키는 수동 순찰부를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제5항 또는 제6항에 있어서,
상기 트래킹부는,
상기 저장부에 저장된 경로 정보에 따라 순찰 경로의 진행 방향을 따라 순차적으로 진행하면서 현재 위치의 카메라가 단방향 카메라인지 입체 카메라인지를 판단하고, 단방향 카메라이면 상기 단방향 카메라에 대해 획득된 상기 단방향 영상을 영상 처리부로 출력하여 단방향 영상들에 대한 3D 가상현실 영상을 생성시키고, 상기 위치의 카메라가 입체 카메라이면 전방향 영상을 변환하여 3D 가상현실 영상을 생성한 후, 상기 디스플레이부에 디스플레이시키는 자동 순찰부를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제5항에 있어서,
상기 제어부는,
영상 처리부의 디스플레이 데이터 생성부를 통해 상기 순찰 경로에 따른 3D 가상현실 영상을 표시 중 현재 진행 중인 순찰 위치의 카메라에 대응하는 단방향 영상 또는 전방향 영상을 상기 3D 가상현실 영상의 일측에 2중으로 표시되는 디스플레이 데이터를 생성하도록 제어하는 2중 영상 처리부를 더 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제5항에 있어서,
상기 방범 관제 서버는,
순찰자 식별정보를 획득하여 출력하는 순찰자 식별부를 더 포함하고,
상기 저장부는 인가된 순찰자에 대한 순찰자 인증 정보를 더 저장하되,
상기 제어부는,
상기 순찰 요청 이벤트 발생 시 순찰자 식별정보를 요청하는 인증 수단을 제공하고, 상기 순찰자 식별부를 통해 입력되는 순찰자 식별정보와 상기 저장부에 저장되어 있는 순찰자 인증 정보와 비교하여 상기 순찰자 식별정보에 대응하는 순찰자 인증 정보가 있는지를 검사하여 순찰차 인증을 수행하고, 인증 성공 시 상기 순찰 경로에 대한 3D 가상현실 영상 순찰을 수행할 수 있도록 하는 순찰자 인증부를 더 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제1항에 있어서,
상기 입체 카메라는,
본체;
상기 본체의 전후좌우 및 하 방향, 또는 전후좌우 및 상 방향에 대한 단방향 영상을 출력하는 5개의 단방향 카메라; 및
상기 본체의 내측 또는 외측에 구성되어 3D 가상 방범 관제부와 데이터 통신을 수행하는 통신부를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
제4항에 있어서,
상기 저장부는,
적어도 단방향 카메라에 의해 촬영되는 공간에 대한 실사 그래픽 데이터를 더 저장하되,
상기 단방향 영상 처리부는,
단방향 카메라에 의해 촬영되는 일방향의 공간 영역 이외의 공간에 대해 상기 저장부에 저장된 상기 공간에 대한 실사 그래픽 데이터를 적용하여 3D 가상현실 영상을 생성하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 시스템.
3D 가상 방범 관제부가 임의의 방범 영역 중 적어도 하나 이상의 순찰 경로의 임의의 위치에서 일부 영역이 상호 중첩되도록 설치된 단방향 카메라 및 입체 카메라를 통해 해당 공간을 촬영하여 단방향 영상 및 전방향 영상을 획득하는 영상 획득 과정; 및
상기 3D 가상 방범 관제부가 순찰 요청 이벤트의 발생 시 선택된 순찰 경로에 따라 순찰을 진행함에 있어서, 순찰 위치의 카메라가 단방향 카메라이면 상기 다수의 카메라에서 촬영되는 단방향 영상에 대한 3D 가상현실 영상을 생성하고, 상기 순찰 위치의 카메라가 입체 카메라이면 상기 입체 카메라로부터 입력되는 전방향 영상을 합성하여 3D 가상현실 영상을 생성하여 디스플레이부에 디스플레이하는 방범 관제 과정을 포함하되,
상기 방범 관제 과정은,
방범 관제 서버가 임의의 순찰자에 의한 순찰 요청 이벤트 발생 시 상기 선택된 순찰 경로의 순찰 위치를 추적하는 트래킹 단계;
상기 추적되는 순찰 위치의 카메라가 단방향 카메라이면 상기 다수의 카메라에 대해 상기 획득된 단방향 영상을 로드하고, 상기 순찰 위치의 카메라가 입체 카메라이면 상기 입체 카메라에 대해 상기 획득된 전방향 영상을 로드하는 영상 로딩 단계; 및
상기 순찰 경로의 진행 방향에 따라 로딩된 영상이 단방향 영상이면 상기 단방향 영상에 대한 3D 가상현실 영상을 생성시키는 단방향 영상/3D 가상현실 영상 변환 단계 및 상기 로딩된 영상이 전방향 영상이면 상기 전방향 영상을 합성하여 3D 가상현실을 생성하는 전방향 영상/3D 가상현실 영상 변환 단계를 구비하는 3D 가상현실 생성 단계; 및
상기 생성된 3D 가상현실 영상을 상기 순찰 경로에 따라 순차적으로 상기 디스플레이부에 디스플레이시키는 순찰 단계를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 방법.
제12항에 있어서,
상기 영상 획득 과정에서 3D 가상 방범 관제부는 상기 단방향 영상 또는 전방향 영상을 NVR 서버를 통해 획득하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 방법.
삭제
제12항에 있어서,
상기 단방향 영상/3D 가상현실 영상 변환 단계는,
상기 로딩된 단방향 영상들에 대한 단방향 영상 텍스처를 생성하는 단방향 영상 텍스처 생성 단계;
상기 순찰 경로의 진행 방향에 따른 카메라에서 촬영되는 상기 단방향 영상 텍스처를 순차적으로 상기 3D 공간 그래픽 데이터에 투영하여 3D 가상현실 영상을 생성하는 3D 가상현실 영상 생성 단계; 및
상기 생성된 3D 가상현실 영상을 포함하는 디스플레이 데이터를 생성하여 디스플레이하는 디스플레이 단계를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 방법
제12항에 있어서,
상기 순찰 위치는
순찰자에 의해 상기 순찰 경로를 이동하는 순찰 경로 진행 조작 데이터에 따라 결정되는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 방법.
제12항에 있어서,
상기 방범 관제 과정은,
순찰자로부터 순찰자 식별정보를 획득하여 미리 등록된 순찰자 식별정보와 비교하여 순찰자를 인증하고, 인증된 순찰자에 대해 상기 3D 가상현실을 이용한 순찰을 승인하는 순찰자 인증 단계를 더 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 방법.
제12항에 있어서,
상기 방범 관제 과정은,
상기 순찰 단계의 수행 중 카메라 사이의 구간별로 순찰 여부를 검사하여 순찰 상태를 저장부에 기록하는 순찰 상태 검사 단계를 더 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 방법.
제18항에 있어서,
순찰 상태 검사 단계는,
상기 순찰 단계의 수행 중 카메라 사이의 구간별로 상기 순찰에 따른 3D 가상현실 영상이 표시되는 디스플레이부의 일측에 설치된 카메라를 통해 상기 디스플레이부 전방에서 3D 가상현실 영상을 시청하는 순찰자를 촬영하여 순찰자 영상을 획득하는 순찰자 영상 획득 단계;
상기 순찰자 영상으로부터 순찰자의 시각을 검출하는 시각 검출 단계;
상기 검출된 시각이 상기 디스플레이부를 향하고 있는지를 판단하는 순찰 상태 판단 단계; 및
상기 판단된 순찰 상태를 상기 구간별로 상기 저장부에 기록하는 순찰 상태 기록 단계를 포함하는 것을 특징으로 하는 입체 카메라를 이용한 3D 가상 방범 관제 방법.