KR100980586B1

KR100980586B1 - 단일 또는 다중 카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템

Info

Publication number: KR100980586B1
Application number: KR1020100043158A
Authority: KR
Inventors: 홍호기; 고경철; 백성은
Original assignee: 주식회사 에스엘티
Priority date: 2010-05-07
Filing date: 2010-05-07
Publication date: 2010-09-06

Abstract

본 발명은 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템에 관한 것으로, (a) 영상보안방범을 위하여 통합서버는 현장에 설치된 영상입력장치로부터 PTZ카메라와 검지카메라의 감시방향과 감시영역을 지정하고 감시사건과 감시정보를 최적화하는 단계; (b) 상기 최적화가 이루어진 복수의 감시방향의 감시영역에 대한 감시사건의 검지와 감시객체의 출현여부를 검지, 판별 및 추적하는 단계; (c) 상기 추적된 감시객체에 대한 영상의 식별과 인식을 위하여 감시객체를 확대하여 촬영하는 단계; (d) 상기 확대촬영된 감시객체에 대한 영상을 객체인식 알고리즘을 객체DB로부터 적용하여 인식영상을 1차적으로 저장 및 분리하고, 감시객체의 인식결과에 따라 추가적인 확대촬영으로 객체 인식영상을 2차로 저장 및 분리하여 감시객체를 인지하는 단계; (e) 상기 영상입력장치를 원격지로부터 제어하고, 실시간으로 입력된 영상을 표출하며, 저장하기 위하여 관리하는 단계; (f) 상기 영상입력장치로부터 실시간으로 입력된 감시영상들과 감시사건에 대한 확대촬영된 감시객체를 화면에 표출하는 방식을 설정하고, 설정된 방식에 따라 입력된 영상을 화면에 표출하는 단계; (g) 상기 영상입력장치로부터 실시간으로 입력된 감시영상들과 감시객체영상들을 저장장치에 저장하는 단계; (h) 상기 저장장치에 저장된 감시영상과 감시객체영상에 관한 데이터를 검색DB로부터 검색하는 단계를 포함하는 것이다. 본 발명은 단일 PTZ카메라를 이용하여 소프트웨어적인 추적과 하드웨어적인 추적을 동시에 수행하여 감시영역을 크게 확대할 수 있는 장점이 있고, 다중 감시영역을 설정하고 이러한 감시영역들을 주기적으로 돌아다니며 일정한 감시영상정보를 PTZ카메라 및 다중 검지카메라를 이용하여 획득함으로서 객체의 검지 및 추적을 수행하고, 확대촬영을 통한 감시객체의 인지정보를 제공함으로서 원하는 결과물을 획득할 수 있는 장점이 있다.

Description

단일 또는 다중 카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템{Method for Intelligent Image Security using Single or Multi Camera and System thereof}

본 발명은 단일 또는 다중카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는 검지 및 추적이 가능한 단일 회전형 PTZ카메라 또는 단일 회전형 PTZ카메라와 고정형 다중 검지카메라를 이용하여 다양한 방향의 감시방향을 중복에 상관없이 설정하고, 감시방향 내에 감시영역을 지정하여 관심영역 내에 출현되는 감시객체와 감시사건으로부터 자동 상황 이벤트 검지 및 특정 객체의 지능형 추적을 통하여 보다 효율적이고 적극적인 보안방범 정보를 생성하고 저장함은 물론 사용자에게 의미 있는 정보를 제공할 수 있는 지능형 영상보안방범과 그 시스템에 관한 것이다.

일반적인 영상보안방범에서는 검지된 객체의 추적방식과 영상으로 획득된 객체에 관한 영상의 검색방식이 주요한 조건으로 작용한다.

종래에 영상보안방범을 위한 시스템에서 정의하는 추적은 크게 소프트웨어적인 추적과 하드웨어적인 추적으로 나누어진다. 소프트웨어적인 추적은 고정형 검지카메라로부터 입력된 영상의 분석을 통하여 얻어진 객체의 검지와 이동정보이고, 하드웨어적인 추적이란 PTZ(Pan/Tilt/Zoom)카메라를 이용하여 소프트웨어적인 추적에서 얻어진 객체의 검지와 이동정보에 따라 카메라의 상하좌우 회전과 줌 배율을 적용하여 이동하는 객체를 하드웨어적으로 추적하는 것이다. 따라서 종래에 영상보안방범을 위한 시스템에서 추적카메라가 없는 고정형 검지카메라에서의 추적은 소프트웨어적인 추적만을 의미하며, 검지카메라와 PTZ카메라가 동시에 존재할 때 진정한 객체추적의 의미를 부여할 수 있다.

단일 PTZ카메라만을 이용하여 검지 및 추적을 동시에 수행하는 기술은 검지 및 추적을 동시에 수행하여 원하는 보안방범의 목적을 수행함으로서 큰 장점은 있으나 해결해야 할 과제가 많고 실제 현장에 적용하기에는 극복해야 할 많은 어려움이 있었다. 이는 PTZ카메라가 움직일 때마다 분석해야 할 새로운 영상정보가 지속적으로 생성되어 실시간 영상분석을 통한 객체추적은 기술적으로 해결할 과제가 많았기 때문이다.

또한, 종래 영상보안방범을 위한 시스템에서 정의하는 추적은 이러한 소프트웨어적인 추적정보에 따른 하드웨어적인 추적이 결합되어 의미를 발생하며, 소프트웨어적인 추적정보가 부실하거나 거리가 너무 멀어 검지된 객체가 작은 경우, 길거리에 굴곡이 많아 실세계의 좌표(3D)와 영상좌표(2D) 사이의 매핑이 되지 않을 때에는 하드웨어적인 추적에 매우 치명적인 단점을 가지고 있다.

따라서 기존업체에서는 이러한 문제점들을 극복하고자 추적을 할 경우에 줌 값의 확대배율 적용을 최소화하여 일정한 거리를 두고 검지된 객체를 하드웨어적으로 추적하는 모습을 취하고 있다.

다음으로, 종래 영상보안방범을 위한 시스템은 하드웨어적인 추적과 소프트웨어적인 추적이 분리되어 있고, 실제 그 기능에서도 효율성이 많이 떨어지는 단점이 있다. 이는 의미 있는 정보를 생성하기 어렵기 때문에 사용자가 필요한 검색을 요구할 경우에 많은 경우의 수를 제공하지 못하는 단점으로 나타난다.

따라서 실제 현장에서는 사용자가 검색을 원할 경우에 먼저 동영상을 원하는 장소와 시간을 기준으로 검색을 수행하고, 이러한 해당 동영상을 수작업으로 이곳저곳을 직접 돌려 보아야 하는 어려움이 있으며, 사용자가 원하는 궁극적인 결과물을 찾아야 하므로 1차원적이고 많은 시간도 소모되며 원하는 결과물을 쉽게 찾지 못하는 심각한 문제점을 지니고 있다. 또한 증거영상도 줌 값의 확대배율 최소화를 통해 촬영된 추적 영상을 사용하기 때문에 객체의 식별이 어려운 실정이다.

종래 영상보안방범을 위한 시스템에서 나타난 문제점은 다음과 같다.

첫째로, 검지카메라의 단속거리의 제한 및 해상도가 낮은 문제점이 있다. 즉 종래 검지카메라는 해상도, 대략 40만 화소급의 제한으로 인하여 단속하는 거리가 넓고 길어질수록 해상도가 급격히 떨어지고, 단속하는 객체의 식별도 어려운 문제가 있었다. 이를 해결하기 위해 메가픽셀(Mega Pixel), 대략 1.3 또는 2.0메가픽셀 해상도의 카메라를 사용하지만 근본적인 해결책은 되지 못하였다.

또한, 검지카메라는 감지지역, 즉 카메라가 설치된 위치에서 단속지점까지의 거리가 상대적으로 넓고 길어 정밀한 감시가 어려운 문제가 있었다. 이러한 문제로 인하여 종래에 특정한 검지지역을 설정하여 검지카메라의 줌 값을 확대하고 검지범위는 축소시켜 객체의 검지확률을 높이는 방법을 사용하였지만, 검지카메라의 줌 값의 한계로 단속범위가 좁혀질 뿐만 아니라 확대검지를 한다고 해도 여전히 먼 거리의 검지 및 식별을 위한 문제점은 있었다.

둘째로, 감시영역에서 출현하는 객체의 크기 및 해상도 문제로 객체의 식별이 어려운 문제가 있었다. 즉 종래 영상보안방범을 위한 시스템의 추적카메라는 객체가 출현하면 객체를 식별하고 인지할 수 있는 정도의 자동 줌 값을 적용하지 못하였다. 이는 줌 값이 너무 많이 들어갈 경우에 추적객체를 화면상에서 잃어버릴 수 있는 확률이 높기 때문이다. 따라서 종래 시스템은 객체의 사이즈는 작아지고 상대적으로 객체 주위의 배경은 많이 노출되는 최소화된 줌 값을 활용하여 객체를 추적하였다.

더욱이 객체를 추적할 때에 주위의 배경이 나와야 어떤 사건이 발생할 경우에 객체의 배경을 참고로 객체의 활동경로의 확보가 가능하다고 주장한다. 그러나 이러한 객체추적을 할 때에 이미 검지단계에서 검지카메라가 객체의 모든 추적범위에 대한 것을 동영상 자료로 실시간 녹화하고 있는 점을 간과하고 있다. 이것은 종래 시스템들은 추적카메라의 동작이 검지카메라에 의존적인 치명적인 단점을 이해하지 못하는 데에서 나오는 것이다. 즉 검지카메라로부터 입력된 영상에 의해 객체의 검지와 추적이 이루어지고, 이로부터 생성된 객체의 움직이는 좌표점을 근거로 추적카메라가 동작하는 것이 기본적인 원리이기 때문이다.

또한, 종래 영상보안방범을 위한 시스템은 객체의 검지나 추적과 관련된 모든 자료들이 동영상으로 저장되어 검색에 활용되고, 정지영상을 저장하더라도 먼 거리의 객체가 중심이 되어 검색할 때에 증거영상으로 활용도가 낮은 실정이다.

셋째로, 종래 영상보안방범을 위한 시스템의 설치비용이 고가이다. 즉 종래 시스템은 다수의 검지카메라가 필요하고, 다수의 검지카메라 및 추적카메라 활용을 위해 로컬분석을 위한 서버가 필수적이다. 결과적으로 센터에도 이러한 다수의 검지카메라로부터 입력된 동영상 저장 및 표출을 위한 장비가 추가로 소요된다. 이는 궁극적으로 설치뿐만 아니라 유지보수 및 관리를 위하여 많은 비용이 소모되는 문제가 있었다.

넷째로, 종래 영상보안방범을 위한 시스템은 높은 대역폭의 네트워크 확보가 필수적이다. 즉 종래 시스템은 검지카메라와 추적카메라를 사용함으로써 상대적으로 높은 대역폭의 네트워크 확보가 필수적이다. 이는 네트워크 유지관리를 위한 비용에서도 많은 지출이 필요하게 된다.

다섯째로, 종래 영상보안방범을 위한 시스템의 검색기능 제공의 제약이다. 종래 시스템은 동영상 녹화에 따른 동영상 검색기능만 제공하고, 정지영상을 지원하더라도 이벤트단위의 영상검색만 지원하는 제약적인 요소가 있었다.

본 발명은 상기 문제점을 해결하기 위한 것으로, 빠른 상하좌우의 회전과 줌의 이동이 자유로운 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용함으로써, 다양한 방향의 실시간 감시영상 정보를 획득하고 분석하여 독립적이고 지능적인 영상 보안방범의 수행을 위한 정보를 생성하고 저장하며 관리할 수 있도록 하기 위한 것이 목적이다.

또한, 본 발명은 추적카메라 및 검지카메라를 이용하여 종래 영상보안방범 시스템의 감시거리의 제한, 추적영상의 모호성, 설치비용 고가 등의 문제점들을 해결하고자 하며, 감시객체의 확대 추적영상을 촬영하고, 감시객체인 사람, 자동차, 얼굴, 번호판 등의 인식된 결과의 영상검색이 가능하며, 각종 인지된 지능형 정보의 생성 및 저장에 따른 검색의 편의를 제공하기 위한 것이 목적이다.

또한, 본 발명은 회전형 단일 PTZ카메라를 이용하여 검지카메라와 추적카메라의 기능을 동시에 수행할 수 있도록 구성하고, 단일 PTZ카메라의 사각지역 감시문제를 보완하기 위하여 검지카메라로 감시방향을 추가로 확보하여 감시영역에서 객체의 감시 및 추적기능을 통하여 보다 효율적이고 적극적으로 보안방범을 수행할 수 있도록 하기 위한 것이 목적이다.

또한, 본 발명은 추적에 대한 의미를 새로이 정의하고 PTZ카메라 하나로 소프트웨어적인 추적과 하드웨어적인 추적을 동시에 사용할 경우에 소프트웨어적인 객체의 이동정보가 발생하면, 하드웨어적인 객체의 추적정보는 단순히 기존의 시스템과 같이 이동하는 객체의 좌표를 따라 하드웨어적인 추적을 수행하는 것이 아니라, 객체의 이동정보에 따라 즉각적으로 PTZ카메라의 회전 값과 줌 배율을 적용하여 객체후보를 확대촬영하는 1차 감시객체 확대촬영을 수행하고 객체의 전체모습과 사람의 상반신이나 차량의 윤곽정보의 인식 결과를 분석하여 인식된 정보에 신뢰할 만한 정보가 발생할 경우에는 감시객체를 저장하고 2차 감시객체 확대촬영을 수행하여 얼굴정보나 번호판정보 등의 인식된 결과 값을 생성하기 위한 것이 목적이다.

또한, 본 발명은 기존의 단순한 현장 동영상 화면표출 방식을 변경하여 실시간 입력영상과 확대촬영되고 인지된 감시객체의 영상을 동시에 표출하거나 서로 교차하며 출력하는 방식을 적용하여 해당 장소에 특정한 사건이 발생할 경우에는 실시간 감시방향의 영상과 함께 해당사건에 대한 확대촬영된 영상을 확인함으로서 보다 보안방범과 관련된 업무의 효율성을 높이고자 하는 것이 목적이다.

또한, 본 발명은 검지되고 추적되어 확대촬영된 다양한 인지영상을 기반으로 지능형 정보를 생성하고 저장하여 보안방범과 관련된 정보검색 요구가 있을 때에 필요한 정보를 빠르고 쉽게 효율적으로 제공하는 것이 목적이다.

본 발명은 상기 목적을 달성하기 위하여, (a) 보안방범을 위하여 통합서버는 현장에 설치된 영상입력장치로부터 PTZ카메라와 다중 검지카메라의 감시방향과 감시영역을 지정하고 감시사건과 감시정보를 최적화하는 단계; (b) 상기 최적화가 이루어진 복수의 감시방향의 감시영역에 대한 감시사건의 검지와 감시객체의 출현여부를 검지, 판별 및 추적하는 단계; (c) 상기 추적된 감시객체에 대한 영상의 식별과 인식을 위하여 감시객체를 확대하여 촬영하는 단계; (d) 상기 확대 촬영된 감시객체에 대한 영상을 객체인식 알고리즘을 적용하여 감시객체 인식영상을 1차적으로 저장 및 분리하고, 감시객체의 인식결과에 따라 추가적인 확대촬영으로 감시객체 인식영상을 2차로 저장 및 분리하여 감시객체를 인지하는 단계; (e) 상기 영상입력장치를 원격지로부터 직접 제어하고, 실시간 입력된 영상을 표출하며 저장하기위하여 관리하는 단계; (f) 상기 영상입력장치로부터 실시간으로 입력된 감시영상들과 감시사건에 대한 확대 촬영된 감시객체를 화면에 표출하는 방식을 설정하고, 설정된 방식에 따라 입력된 영상을 화면에 표출하는 단계; (g) 상기 영상입력장치로부터 실시간으로 입력된 감시영상들과 감시객체영상들을 저장장치에 저장하는 단계; (h) 상기 저장장치에 저장된 감시방향의 영상과 감시객체영상에 관한 데이터를 검색DB로부터 검색하는 단계;를 포함하여 이루어진 PTZ카메라 또는 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 방법을 제공한 것이 특징이다.

또한, 본 발명은 PTZ카메라와 다중 검지카메라로부터 감시영상을 입력받기 위하여 영상입력장치를 연결하고 설정하는 감시영상 입력부; 상기 설정된 영상입력장치로부터 PTZ카메라의 빠른 상하좌우의 회전과 줌의 이동을 실시하여 입력된 영상의 감시방향을 지정하고, 지정된 감시방향내의 감시영역과 감시영역내의 감시객체를 정의하며, 정의된 감시객체가 감시영역에서 발생할 수 있는 감시사건들을 설정함으로서, 입력된 영상에서 출현되는 객체의 검지와 인지를 위한 감시방향, 감시영역 및 감시사건들의 최적화를 수행하는 감시영역 최적화부; 상기 감시영역의 최적화가 수행된 여러 감시방향의 감시영상들에 대해서 주기적으로 실시간 영상분석을 통하여 감시영역 내의 감시사건들을 검지하고, 검지된 감시사건들에 대한 감시객체의 출현여부를 판별하며, 판별된 감시객체의 영상추적 방법을 정의하고 수행하는 감시객체검지 및 추적부; 상기 영상 추적된 감시객체에 대해서 감시객체의 식별과 인식을 위해 근접하여 확대 촬영을 수행하고 확대추적영상을 획득하는 감시객체 확대 촬영부; 상기 확대 촬영된 감시객체의 영상에 대하여 객체인식 알고리즘을 적용하여 객체인식에 따른 객체인식영상을 1차적으로 저장하고 분리하며, 감시객체의 인식결과에 따라 추가적인 확대촬영을 병행하여 세부적인 객체인식 알고리즘을 적용하여 객체인식영상을 2차로 저장하고 분리하는 감시객체의 인지를 위한 감시객체인식 알고리즘을 정의하고 수행하는 감시객체 인지부; 상기 감시영상입력부의 영상입력장치에 대하여 실시간 입력된 영상을 화면상에 표출하고 저장하며, 영상입력장치의 직접제어와 유지보수를 위해 필요한 기능들을 설정하고 관리하는 입력영상 관리부; 상기 영상입력장치로부터 입력되는 실시간 감시영상들과 감시영역내의 감시사건들에 의하여 저장된 감시영상들을 화면상에 표출하기 위한 방법을 정의하고 관리하는 입력영상 표출부; 상기 과정들을 통하여 입력되는 실시간 영상들과 감시영상들을 저장장치에 저장하고 관리하기 위한 입력영상 저장부; 상기 입력영상 저장모듈에 저장된 동영상과 감시영상 자료를 쉽고 빠르게 검색하기 위한 입력영상 검색부;를 포함하고, 출현이 예상되는 감시객체들의 객체검지를 위한 객체 검지정보와 객체인지를 위한 객체 인지정보를 저장하는 객체DB와, 감시객체의 검지와 확대촬영으로 인지된 감시객체들의 정보를 저장하고 관리하는 감시객체 저장관리DB와, 영상입력장치로부터 입력되는 실시간 감시영상정보를 저장하는 동영상 저장관리DB와, 입력영상검색부로부터 요구되는 검색정보를 감시객체 저장관리DB와 동영상 저장관리DB로부터 검색하여 제공하는 검색DB를 더 포함하는 단일 회전형 PTZ카메라 또는 단일 회전형 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 시스템을 제공한 것이 특징이다.

본 발명은 상기 해결수단에 의하여, 소프트웨어적인 추적과 하드웨어적인 추적을 동시에 수행하여 감시영역을 크게 확대할 수 있는 장점이 있고, 다중 감시영역을 설정하고 이러한 감시영역들을 주기적으로 돌아다니며 일정한 감시영상정보를 PTZ카메라 및 다중 검지카메라를 이용하여 획득함으로서 객체의 검지 및 추적을 수행하고 원하는 결과물을 획득할 수 있는 장점이 있다.

또한, 본 발명은 하드웨어적인 추적과 소프트웨어적인 추적이 동시에 발생하고, 객체의 검지 및 인식을 위한 자체 개발된 알고리즘이 있어 사용자 검색을 위한 많은 경우의 수를 확보할 수 있고, 객체를 추적할 때에 객체의 검지와 추적을 동시에 수행하며, 이러한 추적과정 중에도 객체의 인식을 위한 영상정보를 저장하고 실시간으로 객체의 인식을 수행함으로서 다양한 정보의 생성이 가능하다. 이는 사용자 검색 때에 사용자가 제일 먼저 의미 있는 정지영상을 해당 장소와 시간대에 볼 수 있도록 지원하는 것을 시작으로 의미 있는 정지영상도 단순한 이벤트영상에서부터 객체검지영상과 객체인지영상 그리고 객체가 인식된 결과 값 등을 동시에 검색할 수 있도록 지원하며, 이러한 검색된 의미 있는 정지영상으로부터 사용자가 동기화된 동영상을 동시에 호출하여 정지영상의 내용과 의미를 동영상을 통해 보다 확연하게 확인할 수 있는 장점이 있다.

또한, 본 발명은 특정한 검지지역에서 검지영역의 축소와 객체검지의 확률을 향상시키고, 단속범위가 좁혀지고 먼 거리의 객체검지와 식별의 어려움을 추적카메라의 기능을 이용하여 해결하였으며, 추적카메라를 검지카메라로 활용하여 검지카메라의 검지기능 대체하였고, 원거리의 경우에도 대략 37배줌 기능을 가진 추적카메라로 검지카메라의 기능을 대체하였으며, 추적카메라를 검지카메라로 활용하여 해상도를 향상시킨 것이다.

또한, 본 발명은 1차 추적과 2차 추적으로 나누어 객체를 추적하는 기술을 적용함으로써, 1차 추적과 확대촬영은 이벤트가 발생하면 이벤트의 영상저장과, 이벤트 발생지점으로 카메라가 1차적으로 이동하고 확대촬영하여 감시객체의 영상을 저장한다. 1차적인 이동 때에 확보된 영상을 기반으로 사람의 상반신이나 자동차의 외곽 검출 등의 객체인지를 수행한다. 2차 추적과 확대촬영은 객체인지가 되었을 경우에 객체를 중심으로 2차적인 이동과 확대촬영을 통해 객체인식 영상을 저장하고 객체인식을 수행하여 얼굴인지 및 번호인식에 따른 보다 세부적인 정보를 획득하는 것이다. 이러한 일련의 과정은 동영상 녹화 및 관련 영상, 즉 이벤트영상, 객체후보영상, 객체검지영상, 객체인지영상 등을 저장하여 검색의 목적으로 활용한다. 그리고 객체검지 및 인지 영상은 사람의 상반신이나 얼굴, 자동차의 전체 정보 및 번호판 정보 등에 대한 검지 및 인식을 수행하여 검색에 제공한다.

또한, 본 발명은 입력영상 및 출현객체에 의존적이므로 보다 신뢰할 수 있고 직접적인 동영상 녹화 및 정지영상의 저장이 가능하다.

또한, 본 발명은 설치 목적과 현장의 상황에 따라 추적카메라와 검지카메라로 지정된 방향 및 영역과 복수 방향에 대한 검지와 추적으로 상시 녹화가 필요한 감시방향이나 감시영역에 대하여 검지카메라를 적용하여 추적카메라와 검지카메라의 혼합 운영이 가능하도록 하여 보다 효율적인 기능을 도모한 것이다.

그리고 본 발명은 작은 구역에서 보다 넓고 먼 구역까지 영상입력장치로부터 감시영상을 입력받아 전송, 분석 및 처리하는 최적화된 시스템 구성을 지원한다.

또한, 본 발명은 단일시스템 및/또는 설치되는 환경에 최적화한 구성으로 제공되어 소규모 대역폭의 네트워크나 또는 지원되는 네트워크 환경에 적합한 시스템의 구성을 지원한다. 더욱이 네트워크의 유지관리를 위한 비용을 최소화한 장점이 있다.

또한, 본 발명은 동영상 녹화 검색, 정지영상 검색, 객체검지 및 인지영상 검색 등 다양한 검색방법을 지원하고, 정지영상을 먼저 검색한 후에 정지영상과 관련된 동영상 녹화를 지원함으로서 내용을 기반으로 하는 동영상검색이 가능하도록 한 장점이 있다.

도 1은 본 발명에 따른 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 활용하여 지능형 영상보안방범 시스템을 나타낸 블록도이다.
도 2는 본 발명에 따른 단일 PTZ카메라를 이용한 지능형 영상보안방범 시스템의 제1실시예로, 독립형 구조로 소규모의 영상입력장치로부터 감시영상을 입력받고 전송하며 처리하기 위한 감시영상 입력부를 나타낸 블록도이다.
도 3은 본 발명에 따른 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 시스템의 제2실시예로, 분산형 구조로 대규모의 영상입력장치로부터 감시영상을 입력받고 전송하며 처리하기 위한 감시영상 입력부를 나타낸 블록도이다.
도 4는 본 발명에 따른 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 장치의 제3실시예로, 분산형 구조로 대규모의 영상입력장치로부터 감시영상을 입력받고 전송하며 처리하기 위한 감시영상 입력부를 나타낸 블록도이다.
도 5는 본 발명의 감시영역 최적화부에서 감시영역의 최적화를 위한 설정과정을 나타낸 흐름도이다.
도 6 및 도 7은 본 발명의 감시영역 최적화부에서 감시방향의 감시영역 설정을 나타낸 도면이다.
도 8은 본 발명의 감시영역 최적화부에서 감시영역의 감시객체, 감시사건, 감시정보 설정을 나타낸 도면이다.
도 9는 본 발명의 감시객체검지 및 추적부에서 감시객체의 검지와 추적에 관한 흐름도이다.
도 10은 본 발명의 감시영상의 분석을 위한 거품지뢰의 설정을 나타낸 도면으로, 도 10a는 감시방향 'A'에 대한 감시영역을 나타낸 것이고, 도 10b는 입력된 감시방향의 감시영상에 대하여 다각형(Polygon Region)을 이용하여 감시영역의 설정을 나타낸 것이며, 도 10c는 설정된 감시영역의 다각형에 대해서 거품지뢰(bubble mine)의 형성을 나타낸 것이고, 도 10d는 다각형을 제거하고 실제 적용되어 활성화되어 있는 거품지뢰를 나타낸 도면이다.
도 11은 본 발명의 감시영상의 분석을 위하여 실제 현장에서 설정된 거품지뢰를 적용한 실시예로 나타낸 도면이다.
도 12a 내지 도 12c는 본 발명에서 감시방향에 대한 우선순위를 결정하기 위한 실시예를 나타낸 도면이다.
도 13은 본 발명에서 감시방향에 대한 우선순위를 결정하기 위한 다른 실시예를 나타낸 도면이다.
도 14는 본 발명에서 감시방향에 대한 우선순위를 결정하기 위한 또 다른 실시예를 나타낸 도면이다.
도 15는 본 발명에서 감시영역에 대한 우선순위를 결정하기 위한 실시예를 나타낸 도면이다.
도 16은 본 발명에서 독립 설정된 추적카메라와 고정카메라의 적용으로 감시방향 및 감시영역에 대한 추적으로 보다 효율적인 시스템의 운용을 나타낸 도면이다.
도 17은 본 발명에서 독립 설정된 추적카메라와 고정카메라의 적용으로 감시영역의 설정 및 추적을 보완할 수 있도록 그래프를 나타낸 도면이다.
도 18은 본 발명에서 1차 감시객체의 추적 단계와 2차 감시객체의 추적 단계를 보다 세분화하여 나타낸 흐름도이다.
도 19는 본 발명의 감시객체 확대촬영부에서 추적된 감시객체들에 대한 1차 감시객체 확대촬영 단계와 2차 감시객체 확대촬영 단계를 나타낸 흐름도이다.
도 20은 본 발명의 감시객체 인지부에서 감시객체를 인지하는 단계를 세분화하여 나타낸 흐름도이다.
도 21은 본 발명의 입력영상 관리부에서 입력되는 영상의 처리, 표출, 저장 및 설정하는 관계를 나타낸 도면이다.
도 22는 본 발명의 입력영상 표출부에서 입력영상을 표출 처리하는 관계를 나타낸 도면이다.
도 23은 본 발명에서 입력영상의 표출방식을 실시예로 나타낸 도면이다.
도 24는 본 발명에서 입력영상의 표출방식을 다른 실시예로 나타낸 도면이다.
도 25는 본 발명에서 입력영상의 저장방식을 나타낸 도면이다.
도 26은 본 발명에서 입력영상의 검색방식을 나타낸 도면이다.

이하 첨부된 도면을 참조하여 본 발명의 단일의 회전형 PTZ카메라 또는 단일의 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 방법과 그 시스템에 대하여 상세하게 설명한다.

도 1은 단일의 회전형 PTZ카메라 또는 단일의 PTZ카메라와 다중 검지카메라기반의 지능형 영상보안방범 시스템을 나타낸 전체적인 블록도이다.

먼저, 전체 블록도에 나타낸 각 구성의 기능을 설명한다. 감시영상 입력부(100)는 분산형 구조로 단일의 회전형 PTZ카메라 또는 단일의 PTZ카메라와 다중 검지카메라로부터 감시영상을 입력받기 위하여 영상입력장치를 연결하고 설정하는 기능을 수행하는 것이다.

감시영역 최적화부(200)는 상기 설정된 영상입력장치로부터 다중의 검지카메라와 더불어 PTZ카메라의 빠른 상하좌우 및 회전과 줌의 이동을 실시하여 입력된 영상의 감시방향을 지정하고, 지정된 감시방향 내의 감시영역과 감시영역 내의 감시객체를 정의하며, 정의된 감시객체가 감시영역에서 발생할 수 있는 감시사건을 설정하고 감시정보를 관리함으로서, 입력된 영상에서 출현되는 객체의 검지와 인지를 위한 감시방향과 감시영역, 감시사건, 감시정보들의 최적화를 수행하는 것이다.

감시객체검지 및 추적부(300)는 상기 감시영역의 최적화가 수행된 여러 감시방향의 감시영상들에 대해서 주기적으로 실시간 영상분석을 통하여 감시영역 내의 감시사건들을 검지하고, 검지된 감시사건들에 대한 감시객체의 출현여부를 판별하며, 판별된 감시객체의 영상추적방법을 정의하고 수행하는 것이다.

감시객체 확대촬영부(400)는 상기 영상을 통해 추적된 감시객체에 대하여 감시객체의 식별과 인식을 위한 근접 확대촬영으로 확대된 추적영상을 획득하는 것이다.

감시객체 인지부(500)는 상기 근접 확대촬영된 감시객체의 확대 추적영상에 대해서 객체인식 알고리즘을 적용하고, 객체의 인식에 따른 객체 인식영상을 1차적으로 저장하고 분리하며, 감시객체의 인식결과에 따라 추가적인 확대촬영을 병행함으로써, 세부적인 객체인식 알고리즘을 추가 적용하여 객체인식영상을 2차로 저장 및 분리하는 감시객체의 인지를 위한 감시객체 인식 알고리즘을 정의하고 수행하는 것이다.

입력영상 관리부(600)는 상기 감시영상 입력부(100)의 영상입력장치에 대하여 실시간으로 입력된 영상을 화면상에 표출 및 저장하고, 영상입력장치의 직접 제어와 유지보수를 위하여 필요한 기능들을 설정 및 관리하는 기능을 수행하는 것이다.

그리고 입력영상 표출부(700)는 상기 영상입력장치로부터 입력되는 실시간 감시영상들과 감시영역 내의 감시사건들에 의해 확대촬영된 감시객체들을 화면상에 표출하기 위한 방법을 정의하고 관리하는 기능을 수행하는 것이다.

입력영상 저장부(800)는 상기 구성요소들의 기능 수행을 통하여 입력되는 실시간 영상들과 감시객체 영상들을 저장장치에 저장하고 관리하기 위한 기능을 수행하는 것이다.

입력영상 검색부(900)는 상기 입력영상 저장부(800)에 저장된 동영상과 감시객체 영상자료를 쉽고 빠르게 검색하기 위한 기능을 수행하는 것이다.

다음으로, 상기 구성요소들의 기능을 수행하면서 입출력되는 데이터를 저장하거나 제공하는 데이터베이스(DB)에 대하여 설명한다.

객체DB(1000)는 출현이 예상되는 감시객체들에 대하여 객체검지를 위한 객체검지 정보와 객체인지를 위한 객체인지 정보로 구성되어 필요한 정보를 제공해주는 것이다.

감시객체 저장관리DB(1100)는 상기 감시객체 검지 및 확대촬영을 통해 인지된 감시객체들의 정보를 저장하고 관리하는 것이다.

동영상 저장관리DB(1200)는 상기 감시영상 입력부(100)의 영상입력장치로부터 입력되는 실시간 감시영상 정보를 저장하는 것이다.

검색DB(1300)는 상기 입력영상 검색부(900)로부터 요구되는 검색정보를 상기 감시객체 저장관리DB(1100)와 동영상 저장관리DB(1200)로부터 검색하여 제공하는 것이다.

도 2는 본 발명의 감시영상 입력부(100)의 제1실시예로, 독립형 구조로 소규모의 영상입력장치로부터 감시영상을 입력받아 전송 및 처리하기 위한 장치들로 구성된 것이다. 감시영상 입력부(100)는 감시를 위하여 현장에 설치되는 현장시스템(110)과, 현장으로부터 원격에 위치하여 현장의 상황을 감시 및 관리하는 상황실시스템(120)으로 구분된다.

현장시스템(110)의 PTZ(Pan/Tilt/Zoom)카메라(111)는 상하좌우의 회전과 줌의 이동이 자유로운 이동형 스피드 돔 카메라(Speed Dome Camera)이다. PTZ카메라는 일정 높이에 설치되어 감시영역을 촬영하여 영상신호를 출력하는 것이다.

그리고 비디오서버(112)는 PTZ카메라(111)로부터 입력된 아날로그 영상신호를 디지털신호(H.264)로 변환하여 허브(115)를 거쳐 네트워크를 통해 원격지의 상황실(120)에 영상을 전송하는 다기능 영상변환장치이다. 더욱이 비디오서버(112)는 감시를 위하여 현장에 설치된 마이크로폰(113)으로 입력되는 다양한 음향신호를 상황실시스템(120)으로 전송하고, 상황실시스템(120)으로부터 전송된 음향신호를 수신하여 현장에 설치된 스피커(114)를 통해 송출하는 것이다.

상황실시스템(120)에는 네트워크를 통해 허브(123)로 송수신되는 신호는 통합서버(121)로 입출력된다. 통합서버(121)는 데이터의 분석, 제어, 저장, 검색 및 뷰어 등 다양한 기능을 포함하고 있다. 통합서버(121)는 현장시스템(110)으로부터 수신된 실시간 영상을 분석하여 지능형 보안방범과 관련된 기능을 수행한다. 그리고 통합서버(121)는 원격에 설치된 현장시스템(110)의 구성요소를 제어하고, 현장시스템(110)에서 수신된 영상을 화면상에 실시간 표출하며, 대용량저장장치(122)에 영상을 저장하고, 대용량저장장치(122)에 저장된 데이터를 검색하는 등의 기능을 포함하고 있다. 통합서버(121)는 현장시스템(110)에 설치된 영상입력장치로부터 데이터를 송수신하거나 제어하기 위한 목적에 따라 처리용량이나 처리대수의 증감이 결정되고, 가정이나 소규모의 보안방범을 위한 영상입력장치를 관리하는 장소에 적합한 시스템이 될 수 있다.

도 2에 적용된 현장시스템(110)의 구성은 가정이나 소규모 보안방범의 기능이나 장소 또는 관리의 편의성 등에 따라 그 적용이 달라질 수 있을 것이다.

도 3은 본 발명의 감시영상 입력부(100)의 제2실시예로, 분산형 구조로 대규모의 영상입력장치로부터 감시영상을 입력받아 전송, 분석 및 처리하기 위한 장치들로 구성된 것이다. 감시영상 입력부(100)는 감시를 위한 현장에 설치되는 현장시스템(110)과, 현장으로부터 원격에 위치하여 현장의 상황을 감시 및 관리하는 상황실시스템(120)으로 구분된다.

현장시스템(110)의 회전형 PTZ(Pan/Tilt/Zoom)카메라(111)는 상하좌우의 회전과 줌의 이동이 자유로운 회전형 스피드 돔 카메라(Speed Dome Camera)이다. PTZ카메라는 일정 높이에 설치되어 감시영역을 촬영하여 영상신호를 출력하는 것이다.

검지카메라(116)는 고정형으로 감시방향이 결정되면 고정 운용되어 입력영상 만을 전송하는 것이다. 야간의 감시목적 및 기능에 따라 검지카메라는 다양한 주변장비가 채용된다.

그리고 비디오서버(112)는 PTZ카메라(111)로부터 입력된 아날로그 영상신호를 디지털신호(H.264)로 변환하여 허브(115)를 거쳐 네트워크를 통해 원격지의 상황실시스템(120)에 영상을 전송하는 다기능 영상변환장치이다. 더욱이 비디오서버(112)는 감시를 위하여 현장에 설치된 마이크로폰(113)으로 입력되는 다양한 음향신호를 상황실시스템(120)으로 전송하고, 상황실시스템(120)으로부터 전송된 음향신호를 수신하여 현장에 설치된 스피커(114)를 통해 송출하는 것이다.

또한, 허브(115)에 연결된 영상분석서버(117)는 현장에서 입력된 영상을 분석하기 위한 것으로, 실시간 영상분석을 통하여 영상보안방범의 목적에 따른 정보를 생성, 저장 및 관리하고, 원격지의 상황실시스템(120)에 데이터를 전송하는 것이다.

도 4는 본 발명의 감시영상 입력부(100)의 제3실시예로, 분산형 구조로 대규모의 영상입력장치로부터 감시영상을 입력받아 전송 및 처리하기 위한 장치들로 구성된 것이다. 도 4에서는 현장시스템(110)에 회전형 메가픽셀 IP PTZ카메라(118)가 설치되고, 메가픽셀 IP PTZ카메라(118)에 마이크로폰(113)과 스피커(114)가 연결된 것이다. 그리고 현장시스템(110)에는 고정형 메가픽셀 IP 검지카메라(119)가 구비되어 있다.

메가픽셀 IP PTZ카메라(118)는 입력영상정보를 디지털신호로 변환하여 원격의 상황실시스템(120)으로 직접 전송해주는 장치이다. 메가픽셀 IP PTZ카메라(118)는 기존의 아날로그 방식의 영상장비보다 해상도에서 월등히 높아 영상보안방범을 위한 목적으로 활용도가 높아지고 있다.

메가픽셀 IP 검지카메라(119)는 고정형으로 감시방향이 결정되면 고정 운용되어 입력영상 만을 전송하는 것이다. 야간의 감시목적 및 기능에 따라 검지카메라는 다양한 주변장비가 채용된다. 메가픽셀 IP 카메라(119)는 고해상도 화질의 입력영상을 다방면에 요구하는 경우에 복수개로 검지카메라를 구성할 수 있다.

한편, 도 3과 도 4의 동일한 구성을 가진 상황실시스템(120)에서, 네트워크를 통해 허브(123)로 송수신되는 신호는 저장서버(124), 제어서버(127) 및 뷰어서버(128)로 입출력된다. 저장서버(124)는 원격지의 현장시스템(110)으로부터 전송된 실시간 입력영상을 대용량저장장치(125)에 저장하는 것이다. 대용량저장장치(125)는 복수의 저장매체가 구비되고 영상자료를 장기간 보관하는 것이다. 검색서버(126)는 대용량저장장치(125)로부터 저장된 자료를 사용자의 요구에 따라 실시간으로 검색할 수 있도록 하는 것이다. 제어(운영)서버(127)는 원격지의 현장시스템(110)을 직접 제어, 운영 및 관리하는 것이다. 뷰어(표출)서버(128)는 원격지의 현장시스템(110)으로부터 전송되는 실시간을 통한 입력영상을 화면에 표출하는 것이다.

또한, 도 3과 도 4에 각각 적용된 현장시스템(110)의 구성은 관공서와 같이 대규모의 방범을 필요로 하는 수십 내지 수백의 현장시스템을 실시간으로 관리하고 운용하기 위한 것이다. 각각의 기능별로 처리를 위한 서버를 부가하면 시스템의 전체적인 부하를 감소시키고 보다 안정적인 운용이 가능하다.

도 5는 본 발명에 따른 감시영역 최적화부(200)에서 감시영역의 최적화를 위한 설정과정을 나타낸 흐름도이다.

입력영상의 감시방향 설정(210)은 도 6에서, 입력영상의 감시방향(211)과 감시영역(212)을 설정하는 예를 나타낸 도면을 참조하면, PTZ카메라(111)의 경우에 상하좌우의 이동을 통한 감시방향과, 줌 값의 이동을 통한 입력영상 설정을 통하여 영상보안방범에 필요한 입력영상의 감시방향과 감시영상을 전송받기 위한 설정을 수행할 수 있다.

그리고 감시방향의 감시영역 설정(220)은 도 7에서, 상기 설정된 감시방향(211)에서 전송되는 감시영상으로부터 주요 감시영역(212)들을 다각형을 이용하여 감시영역을 각각 독립적으로 지정(221)하거나 여러 개의 감시영역들을 서로 중첩하여 지정(222)하거나, 또는 하나의 감시영역 내부에 또 다른 감시영역을 지정(223)하는 방식으로 다양한 감시영역을 설정할 수 있다.

그리고 도 8은 감시영역에 대한 감시객체 설정(230)은 상기 설정된 감시방향(211)의 감시영역(212)으로부터 감시가 요구되는 감시객체(231)들을 설정하는 과정을 나타낸 것으로, 객체DB(1000)로부터 사전에 정의된 감시객체(231)들을 조회하여 사람(232)이나 자동차(233)와 같은 실제 객체들을 감시영역(212)내에 지정하고 정의할 수 있다.

감시객체(231)의 감시사건 설정(240)은 상기 설정된 감시객체가 감시영역(212) 내에서 발생시키는 감시사건(241)들을 설정하는 과정으로, 감시객체(231)가 감시영역(212) 내로 진입하면서 발생시키는 진입이벤트(242)와, 감시영역(212)내에서 감시객체(231)가 이동하면서 발생시키는 이동이벤트(243)와, 감시객체(231)가 일정시간동안 멈출 경우에 발생하는 멈춤 이벤트(244)와, 감시영역(212)을 진출하면서 발생시키는 진출이벤트(245)로 구분하여 정의할 수 있다.

또한, 감시사건의 감시정보 설정(250)은 상기 설정된 감시객체(231)가 발생시킬 수 있는 감시사건(241)들을 검지하고 판단하며 추적하기 위한 감시정보(251)를 정의하고 관리하는 과정으로, 감시객체(231)가 감시영역(212) 내에서 감시사건(241)을 발생시키는 진입 및 진출영역의 이동 좌표(252), 감시객체의 크기(253) 정보, 감시객체의 이동방향(254), 감시객체 이동속도(255)를 계산하고 저장하며 관리한다.

감시객체(231)는 사용자의 지정에 따라 사람(232)이나 자동차(233) 등으로 구분하여 감시객체를 정의할 수 있고, 감시시건(241)은 감시객체(231)로부터 발생될 수 있는 사건들의 구성으로 진입이벤트(242), 이동이벤트(243), 멈춤이벤트(244) 및 진출이벤트(245) 등으로 구분하여 정의하며, 감시객체(231)의 감시사건(241) 발생에 따른 감시정보(251)의 생성들을 통하여 감시방향 내의 감시객체의 진입(출) 영역(252)과 관련된 이동좌표 계산, 감시객체의 객체크기(253), 감시객체의 이동방향(254), 그리고 이동속도(255) 등을 계산하여 감시영역 내에 출현하는 감시객체의 검지와 추적에 대한 최적화를 수행하게 된다.

감시객체검지 및 추적부(300)는 감시방향의 감시영역 내에 출현된 감시객체를 판별하여 감시객체의 유무를 확인하고 감시객체가 아닌 경우에는 이벤트관련 감시영상저장을 통하여 기록영상을 남기고, 감시객체인 경우에는 1차 감시객체추적과 필요에 따라 2차 감시객체추적을 통하여 감시객체 인지에 필요한 정보를 수집한다.

감시객체검지 및 추적부(300)의 세부적인 흐름은 도 9에서, 상기 감시영역 최적화부(200)에서 설정된 감시방향(211)으로 카메라를 이동시킨다(S310). 그리고 상기 설정된 감시방향에서 최적화된 감시영역(212)의 감시영상을 입력받고(S311), 상기 설정된 감시방향에서의 감시영역들에 대한 영상분석을 수행한다(S312). 상기 감시방향의 감시영역 내에서 임의의 객체에 의하여 발생되는 감시사건(241)을 감시영역에 대한 이벤트로 검지한다(S313). 이는 특정의 감시사건이 이벤트로 발생되었는지를 판단하고(S314), 이벤트가 발생되면 감시영상이 저장되도록 하는 메시지를 지원하는 것이다. 상기 이벤트검지가 이루어지지 않을 경우에는 감시방향의 카메라이동(310)을 통하여 상기 설정된 감시영역 최적화부(200)의 다른 감시방향으로 이동하여 감시객체 검지 및 추적을 계속 수행하게 된다.

또한, 상기 감시방향의 감시영역 내에 이벤트가 발생하면 감시영상을 저장하고, 이벤트를 발생시킨 임의의 객체와 해당 감시영역과 주위의 전체배경이 전체적으로 나타나도록 감시방향 내의 감시영상을 저장한다(S315).

상기 감시영역 내에서 이벤트를 발생시킨 임의의 감시객체를 검지한다(S316). 그리고 상기 감시영상 최적화부(200)에서 설정된 감시객체(231)의 여부를 판단하고(S317), 판단을 위하여 설정된 감시객체(231)가 아닌 경우에는 감시영상분석(330)을 통하여 새로 발생되는 이벤트를 검지하는 단계로 순환하며, 감시객체(231)가 발견된 경우에는 감시객체를 추적한다.

감시객체의 추적은 1차 감시객체를 추적하는 단계(S318)와 2차 감시객체를 추적하는 단계(S319)를 수행한다. 상기 검지된 1차 및 2차 감시객체는 각각 감시객체 확대촬영부(400)를 통해 확대촬영을 위한 추적 작업을 수행하게 된다.

상기 감시영상을 분석하는 단계(S312)에서, 감시방향(211) 'A'에 대한 감시영역(212)을 'A_1', 'A_2', 'A_3'으로 나누어 설명한다.

먼저, 도 10a는 감시방향 'A'에 대한 감시영역을 나타낸 것이고, 도 10b는 입력된 감시방향의 감시영상에 대하여 다각형(Polygon Region)을 이용하여 감시영역의 설정을 나타낸 것이며, 도 10c는 설정된 감시영역의 다각형에 대해서 거품지뢰(bubble mine)의 형성을 나타낸 것이고, 도 10d는 다각형을 제거하고 실제 적용되어 활성화되어 있는 거품지뢰를 나타낸 것이다.

도 11은 실제 현장에서 설정된 거품지뢰를 적용한 실시 예이다. 실제 감시영역 내에 설정된 거품지뢰에 감시객체가 등장한 경우에 감시영상의 분석을 통하여 이벤트의 존재여부를 판단하고, 감시영역 내의 임의의 객체진입 및 이동과 관련된 감시사건의 발생과 감시객체의 이동에 따른 진입 감시영역, 객체크기, 이동방향, 이동속도와 관련된 감시정보의 생성을 통하여 객체의 검지 및 추적과 관련된 정보를 생성한다.

도 12a는 단일의 회전형 PTZ카메라만을 이용하여 지능형 영상보안방범의 기능을 수행하였을 경우에 감시객체의 검지와 추적을 위한 감시방향의 탐색 우선순위를 결정하기 위한 방법을 나타낸 것으로, 카메라의 위치가 감시방향을 기준으로 중앙에 설치되었을 경우에는 감시방향이 3군데(A, C, B)라고 가정하면, 카메라의 설치지점을 기준으로 카메라를 향하여 마주보며 오는 객체들은 순방향 이동을 하는 객체들이고, 카메라를 등지고 가는 객체는 역방향 이동을 하는 객체들이다. 이것은 카메라를 통하여 입력되는 감시영상을 기준으로 인식여부의 편리성에 따라 순방향과 역방향을 정의한 것이다. 예를 들어, 사람인 경우에는 순방향으로 이동하면 입력영상으로부터 사람의 인지를 위한 상반신 정보나 얼굴정보를 쉽게 획득할 수 있지만, 사람이 역방향으로 이동하는 경우에는 사람의 상반신 검출은 가능하나 그 이외의 인식을 위한 정보는 얻기 어렵기 때문이다.

도 12a의 감시방향을 중심으로 감시방향에 대한 감시객체의 검지 및 추적이 이루어졌을 경우에 도 12b에서는 'A'의 감시방향을 시작으로 'A'의 감시방향에 대한 감시객체의 검지 및 추적이 완료된 후, 순방향 우선순위에 따라 'B'의 감시방향에 대한 감시객체의 검지 및 추적이 이루어진다. 'B'의 감시방향에 대한 감시객체의 검지 및 추적이 완료된 후에는 마지막으로 존재하는 감시방향 'C'의 감시방향에 대한 감시객체의 검지 및 추적이 이루어진다. 그리고 'C'의 감시방향에 대한 검지와 추적이 마무리되면 감시객체의 검지 및 추적에 대한 하나의 사이클이 완료된다. 다시 'A'의 감시방향을 시작으로 시스템은 순환 동작하며 연속적인 검지 및 추적이 이루어진다.

도 12c는 'B'의 감시방향을 시작으로 감시객체 검지 및 추적이 이루어졌을 경우를 나타낸 것이다. 감시방향의 순방향 우선순위에 따라 'B'의 감시방향에 대한 검지와 추적이 완료되면 'A'의 감시방향에 대한 검지와 추적이 이루어지고, 'A'의 감시방향에 대한 검지와 추적이 완료된 후에 최종적으로 'C'의 감시방향에 대한 검지와 추적이 이루어진다. 따라서 'B', 'A' 및 'C'의 감시방향에 대한 감시객체의 검지 및 추적이 이루어지는 하나의 사이클이 완료된다. 이러한 작업들의 연속으로 지속적인 지능형 영상보안방범의 목적을 달성할 수 있게 된다.

도 13는 카메라의 설치위치를 기준으로 하여 어느 한 감시방향에 대한 탐색우선순위를 결정하기 위한 실시예를 나타낸 것이다.

카메라 설치 및 감시방향을 기준으로 우선순위가 가장 높은 감시방향은 'C'와 'B'로 구분된다. 이중에서도 우선순위가 가장 높은 감시방향은 'C'로 정의할 수 있다. 이는 카메라의 설치지점을 기준으로 각 감시방향의 순방향과 거리를 고려하였을 때에 감시방향 'C'는 감시방향 'B'에 비하여 가깝기 때문이며, 'B'에 출현하는 객체가 결국 일정시간이 경과한 후에 'C'의 감시방향으로 이동하는 일련의 연관성을 고려한 것이다. 따라서 'C'의 감시방향에 대한 감시객체 검지 및 추적을 먼저 수행하고, 검지 및 추적이 완료된 후에는 인접한 순방향의 'B'에 대한 작업이 이루어진다. 마지막으로 감시방향 'A'에 대한 검지 및 추적이 완료되면 감시방향 'A', 'C' 및 'B'에 대한 감시객체 검지 및 추적이 이루어지는 하나의 사이클을 완성하게 된다.

도 14a 내지 도 14c는 감시방향에 따라 입력되는 영상을 기준으로 우선순위를 결정하기 위한 실시예를 나타낸 것이다.

즉 감시방향에 따라 입력되는 영상을 기준으로 감시방향 'A'가 시작점일 경우는 도 14b와 같이 정의할 수 있으며, 감시방향 'C'가 시작점이 될 경우는 도 14c와 같이 정의할 수 있다.

이는 감시방향 'A', 'B', 'C', 'D', 'E'에서 이동의 순방향성과 카메라 설치위치로부터 가까운 거리를 고려하였을 경우에 우선순위가 가장 높은 것은 'A'와 'C'로 지정될 수 있고, 'A'를 기준으로 순방향성을 고려하였을 경우에 'B'가 다음 우선순위의 감시방향으로 지정되며, 'A'와 'B'의 감시방향을 제외하고 다른 감시방향에서의 순방향성과 위치가 고려된 우선순위가 높은 'C'의 감시방향이 지정되고, 순방향성을 고려한 'D'의 감시방향이 지정되며, 마지막으로 'E'의 감시방향이 지정되어 감시객체의 검지 및 추적을 위한 하나의 사이클이 이루어지게 된다. 상기 'C'를 가장 우선순위가 높은 감시방향으로 지정하였을 경우에도 상기와 유사한 과정으로 감시객체의 검지와 추적이 이루어진다.

다음으로, 도 15에서, 감시방향 내의 감시영역들에 대한 우선순위는 감시방향에서 우선순위를 결정하기 위하여 설명했던 감시방향의 순방향과 카메라와의 거리가 우선순위 측정에서 유사하게 적용된다.

먼저, 감시영역 내에 출현한 감시객체에 의하여 발생된 감시사건에 따른 순방향성이 계산되고, 카메라로부터의 감시영역의 거리를 고려하여 우선순위를 설정하게 된다.

따라서 도 15에서, 감시방향 'A'와 'B' 중에서 감시방향 'A'에 정의된 감시영역 'A_1', 'A_2', 'A_3'에서 순방향에 대한 감시객체의 진입과 관련된 감시사건이 동시에 발생되었다고 가정하면, 우선순위가 가장 높은 감시영역은 감시객체의 순방향이고, 카메라로부터 가장 가까운 거리에 있는 감시영역인 'A_1'에 우선순위가 부여되어 감시객체의 검지 및 추적에 대한 작업이 이루어진다.

감시방향 'B'에서 정의된 감시영역 'B_1', 'B_2', 'B_3', 'B_4' 중에서 카메라와 거리가 가장 가까운 감시영역 'B_1'에서 감시객체의 역방향 감시사건이 발생하고, 마찬가지로 카메라와 가장 거리가 멀게 설정된 감시영역 'B_4'에서 감시객체의 순방향 감시사건이 동시에 발생했다고 가정하면, 거리상으로는 감시영역 'B_1'이 감시영역 'B_4'보다 우선순위가 앞선다고 할지라도 감시객체의 방향성이 보다 더 앞서 고려되어야 함으로 'B_4'에 대한 감시객체의 검지 및 추적이 먼저 이루어진다.

상기 감시영역 내에서 우선순위는 감시객체에 의해 발생되는 감시사건의 방향성과 감시영역 및 카메라와의 거리에 의하여 정해진다.

본 발명은 단일의 회전형 PTZ카메라만을 이용하여 복수의 감시방향을 설정하고 감시영역의 최적화를 수행하여 검지와 추적의 기능을 동시에 수행함으로서 많은 장점을 제공한 것이다. 특히 단일의 회전형 PTZ카메라는 고정형 검지카메라와 혼합하여 사용될 경우에는 영상보안방범의 신뢰성을 보다 많이 확보할 수 있을 뿐만 아니라 많은 확장성과 효율성을 제공한다.

도 16은 고정형 검지카메라에 의한 감시영역(A, B, C) 이외에 추적용 PTZ카메라에 의해 설정된 감시영역(a, b, c, d)이 추가되어 운영되는 것이다.

이는 종래 방식이 고정된 검지카메라로부터 입력된 영상의 분석을 통하여 객체의 검지 및 추적 정보를 생성하고 이로부터 이동되는 추적카메라를 이용하여 고정된 검지카메라의 감시영역에 대한 추적을 수행하는 것이지만, 본 발명은 고정형 검지카메라와 회전형 PTZ카메라가 서로 독립적으로 각 설정된 감시영역에 대하여 객체의 검지와 추적정보를 동시에 생성하고, 검지카메라의 감시영역과 PTZ카메라의 감시영역에서 출현된 감시객체의 이동 방향성과 카메라 설치위치로부터의 감시영역의 거리를 고려하여 추적의 우선순위를 결정하는 것이다.

도 17은 고정형 검지카메라를 기반으로 감시영역을 지정하고, 추적이 가능한 PTZ카메라를 이용하여 감시영역을 지정하고 추적할 수 있는 혼합된 시스템의 제공으로 보다 효율적인 기능을 제공한 것이다.

회전형 PTZ카메라에 의해 설정된 감시방향(a, b, c, d)과 검지카메라에 의해 설정된 감시방향(A, B, C)은 서로 연계성을 가지고 있어 종래 시스템의 단점들을 보완할 수 있도록 구성 및 설정된다. 예를 들면, 검지카메라의 감시영역 'A'가 갖는 감시거리의 제한을 PTZ카메라의 감시영역 'a'를 설정함으로서 극복할 수 있다.

검지카메라의 감시영역과 PTZ카메라의 감시영역 내에서 동시에 사건이 발생될 경우에는 순방향성을 먼저 고려한 후에 검지카메라의 사건과 PTZ카메라의 사건에 대한 구분을 수행한다. 순방향으로 진입하는 감시객체에 대해서 동시에 검지카메라와 PTZ카메라의 감시영역에서 사건이 발생된 경우에는 PTZ카메라에 발생한 사건을 먼저 추적하고 다음으로 검지카메라의 감시영역에서 발생한 사건을 추적한다. 이는 검지카메라의 경우에는 상시 고정된 입력영상을 통하여 객체의 추적정보를 생성하여 관리할 수 있는 장점이 있지만, PTZ카메라의 경우 단일의 카메라를 이동하여 각 감시영역에 대한 영상정보를 분석하여 추적정보를 생성하므로 카메라가 이동할 때에 현재 추적 중인 감시영상정보의 손실을 초래할 수 있기 때문이다.

도 18은 도 9의 흐름도에서, 1차 감시객체의 추적 단계(S318)와 2차 감시객체의 추적 단계(S319)를 보다 세분화하여 나타낸 흐름도이다.

1차 감시객체 추적(S318)은 감시방향(211)의 감시영역(212) 내에 검지된 감시객체가 감시영역 최적화부(200)에서 설정된 감시객체(231)인 경우에는 감시객체가 존재하는 감시영역의 우선순위 정보를 분류하고(S371), 다음으로 검지된 감시객체의 우선순위 정보를 분류한다(S372). 그리고 감시객체에 의하여 발생되는 감시객체의 감시사건 정보, 즉 감시객체의 진입, 이동, 멈춤 및 진출 등의 정보를 획득하여 관리하고(S373), 감시사건에 따른 감시객체의 감시정보, 즉 감시객체의 이동좌표, 객체의 크기, 이동방향 및 이동속도 등의 정보를 기록하고 관리한다(S374). 결과적으로 1차 감시객체 추적을 통하여 감시객체 확대촬영부(400)에 필요한 정보를 생성, 기록 및 관리하는 기능을 제공하게 된다.

2차 감시객체 추적(S319)은 감시객체 확대촬영부(400)에서 요구하는 감시객체의 추적에 따라 이루어지며, 1차 감시객체 추적(S318)이 완료 된 후에 보다 세부적인 감시객체의 추적을 위하여 수행된다. 따라서 감시객체의 추적을 위한 감시객체의 이벤트를 검지하고(S381), 감시객체의 감시사건 정보, 즉 감시객체의 진입, 이동, 멈춤 및 진출 등의 정보를 획득하여 관리하고(S382), 감시객체의 감시정보, 즉 감시객체의 이동좌표, 객체의 크기, 이동방향 및 이동속도 등의 정보를 기록하고 관리한다(S374). 그리고 2차 감시객체 추적을 통하여 감시객체 확대촬영부(400)에 필요한 정보를 생성, 기록 및 관리하는 기능을 제공하게 된다.

도 19에서, 감시객체 확대촬영부(400)는 추적된 감시객체들에 대한 1차 감시객체 확대촬영 단계(S410)와 2차 감시객체 확대촬영 단계(S420)를 각각 수행한다.

1차 감시객체 확대촬영 단계(S410)는 1차 감시객체추적(S318) 또는 2차 감시객체추적(S319)에 의하여 생성되고 기록된 감시정보를 기반으로 감시객체의 중심점을 따라 PTZ카메라의 화전 및 줌 이동을 실시하여 감시객체를 근접촬영하게 되고(S411), 근접촬영 후에 입력된 영상을 기준으로 추적된 감시객체를 입력영상의 중심으로 이동시키는 추적객체 센터라이징을 통하여 감시객체를 입력영상에 위치시키며(S412), 감시객체 영상을 저장하여 1차 확대된 추적영상을 생성하게 된다(S413). 저장된 감시객체 영상(S413)은 감시객체 인지부(500)에 필요한 감시객체 확대영상(S510)으로 활용된다.

2차 감시객체 확대촬영 단계(S420)는 1차 감시객체 확대촬영 단계(S410)를 통하여 획득된 1차 확대 추적영상(S413)으로부터 감시객체 인지부(500)에 필요한 정보를 추가적으로 생성하기 위하여 1차 감시객체의 감시정보를 이용하여 2차 감시객체의 감시정보를 획득하는 방법으로 카메라의 회전 및 줌 이동으로 1차 감시정보보다 더 근접한 객체정보를 얻도록 근접촬영 하게 되고(S421), 추적되는 감시객체를 중심으로 추적객체 센터라이징을 통하여 인식에 필요한 감시객체가 입력영상의 중심에 항상 존재하도록 추적하며(S422), 감시객체 영상을 저장하여 2차 확대된 추적영상을 생성하게 된다(S423). 저장된 감시객체 영상(S423)은 감시객체 인지를 위하여 보다 세부적이고 근접한 영상으로 활용된다.

도 20의 흐름도는 감시객체 확대촬영부(400)에서 확대촬영을 통하여 저장된 감시객체 확대영상으로부터 감시객체를 인식하기 위한 감시객체 인지부(500)의 알고리즘으로 인식된 결과를 생성하는 것이다.

감시객체 확대촬영부(400)로부터 감시객체의 확대 추적영상을 인식하기 위하여 확대촬영된 감시객체의 영상을 분석한다(S510). 상기 확대촬영된 감시객체의 영상에서 감시객체의 영역을 추출하고(S520), 추출된 감시객체의 영역은 사람검지 알고리즘(S530)과 자동차검지 알고리즘(S540)으로 각각 나누어 판별하게 된다.

즉 사람검지 알고리즘과 자동차검지 알고리즘은 상기 추출된 감시객체의 영역으로부터 사람이나 자동차를 검지하기 위한 알고리즘을 객체DB(1000)로부터 검색하여 적용한다.

상기 사람검지 알고리즘(S530)의 수행은 확대촬영된 감시객체로부터 사람의 상반신 후보영역을 검출하고(S531), 얼굴 후보영역의 존재여부를 판단하여 얼굴후보영역을 검출한다(S532). 상기 상반신 후보영역이 검출되거나 얼굴 후보영역이 검출될 경우에는 2차 감시객체 확대촬영(S420) 및 관련 단계를 통하여 인식에 필요한 사람 확대영상을 저장하고 주요 눈, 코, 입 후보영역을 검출한다(S533). 그리고 얼굴부위 영역의 저장 및 눈, 코, 입 등 주요 컴포넌트들을 분석한다(S534). 분석을 통하여 얼굴인식을 수행한 후(S550) 필요한 인식정보를 생성한다.

상기 자동차검지 알고리즘(S540)의 수행은 자동차 후보영역의 검출이 이루어지면(S541), 2차 감시객체 확대촬영(S420) 및 관련 단계를 통하여 자동차의 확대된 영상을 저장하고 번호판 후보영역을 검출하고(S542), 번호판 후보영역 저장 및 분석이 이루어지며(S543), 분석을 통하여 번호판의 인식을 수행한 후(S560) 감시객체의 확대촬영 및 인식이 완료된다.

도 21은 입력영상 관리부(600)에서 실시간으로 입력되는 원격지의 감시영상 및 감시객체 영상들을 화면상에 표출하고 저장함과 동시에 원격지의 영상입력장치들을 직접 제어하고 유지보수를 위해 필요한 기능들을 설정하여 관리하는 것이다.

영상입력장치인 원격장비의 제어관리(610)는 영상입력장치와 관련된 원격장비를 직접 제어하고 관리하기 위한 것이다. 영상전송장치(611)는 아날로그 영상신호를 디지털 신호로 변환하여 원격지에 전송하는 장비로 전송되는 영상의 압축종류나 해상도, 사운드 입력 및 전송기능, 카메라 제어기능 등을 포함하는 핵심적인 역할을 담당하는 것이다.

영상분석서버 제어(612)는 현장에 영상분석서버가 있을 경우에 현장과 상황실 사이의 원격접속을 통하여 서버의 문제점에 대한 원격대응 및 직접 제어관리를 지원하도록 설정하는 것이다.

PTZ카메라(613)는 현장의 장비를 상황실에서 원격으로 직접 제어하고 관리하기 영상입력 장비로, 영상전송장치에 연결되어 카메라 제어와 리부팅과 관련된 작업을 수행할 수 있도록 지원할 수 있다.

입력영상 표출관리(620)는 원격지로부터 실시간 전송되는 감시객체 인지영상(621)과 실시간 동영상(622)을 화면에 표출하고 관리하기 위한 것으로, 원격장비인 영상전송장치(611)의 설정을 통한 해상도, 압축코덱, 프레임 수의 조정들을 이용하여 동영상 표출에 관련된 작업을 수행하고, 화면의 표출방법을 고려하여 실시간 동영상 및 감시객체 인지영상을 상호 독립적이거나 혼합하여 표출함으로서 사용자의 만족도를 높일 수 있도록 지원한다.

입력영상 저장관리(630)는 원격지로부터 실시간 전송되는 감시객체 인지영상(621)과 실시간 동영상(622)을 저장하고 관리하는 것으로, 감시객체 인지영상(621)은 감시객체 저장관리DB(1100)에 저장하고 관리하며, 실시간 동영상(622)은 동영상 저장관리DB(1200)에 저장하고 관리함으로서 데이터 저장 및 관리에 신뢰성을 높이고 보다 효율적인 운영을 도모할 수 있도록 지원한다.

도 22는 입력영상 표출부(700)의 회전형 PTZ카메라와 고정형 다중 검지카메라의 표출관리에 관한 구성으로, 회전형 PTZ카메라(111)를 통해서 입력된 실시간 입력영상(710)은 영상표출장비(730)를 통해 화면상에 검지 및 추적된 실시간 입력영상을 표출하게 되고(721), 마찬가지로 고정형 검지카메라(131)를 통해서 입력된 실시간 입력영상(720)은 영상표출장비(730)를 통해 화면상에 검지된 실시간 입력영상을 표출(723)하게 된다.

감시사건 영상표출(722)은 감시객체 저장관리DB(1100)에 실시간 저장되고 관리되는 다양한 감시사건들을 중심으로 감시영역의 사건정보(1140)에 따른 이벤트 감시영상(1110), 감시객체 확대정보(1150)에 따른 감시객체 확대영상(1120), 감시객체 인지정보(1160)에 따른 감시객체 인지영상(1130)등의 감시객체 영상정보들을 화면상에 실시간 표출하고 지원할 수 있는 기능을 정의한다.

도 23a는 원격지의 영상입력장치로부터 전송된 실시간 현장 동영상(710)과 실시간 감시사건 영상(722)을 영상표출장비(730)에 표출하는 것이고, 도 23b는 원격지의 영상입력장치로부터 전송된 실시간 현장 동영상(710)의 표출화면 속에 감시사건 영상표출(722)을 동시에 영상표출장비(730)에 나타내고 있는 화면과, 감시사건 영상표출(722)의 화면 속에 실시간 현장 동영상(710)의 표출화면이 동시에 영상표출장비(730)에 나타내고 있는 화면을 보여주고 있다.

도 23c는 실시간 현장 동영상(710)의 표출화면 속에 3개의 감시사건 영상 즉, 이벤트 감시영상(1110)과 감시객체 확대영상(1120), 감시객체 인지영상(1130)을 동시에 표출하는 화면을 나타낸 것이다.

본 발명은 상기 현장의 동영상과 감시사건 영상들을 상호보완 및 협조방식에 의해 영상표출장비(730)에 자연스럽게 표출되고 관리할 수 있음을 보여준 것이고, 이러한 조합과 구성은 사용자의 영상표출 및 관리를 위한 효율성을 향상시킬 수 있는 방법이다.

도 24a는 실시간 현장 동영상과 실시간 감시사건 영상을 하나의 영상표출장비에서 동시에 두 개를 표출하는 화면을 나타낸 것이고, 도 24b는 하나의 실시간 현장 동영상과 두 개의 실시간 감시사건 영상을 영상표출장비를 통해 표출하는 화면을 나타낸 것이며, 도 24c는 하나의 실시간 현장 동영상과 세 개의 실시간 감시사건 영상을 영상표출장비에서 표출하는 화면을 나타낸 것이다.

상기 방법들은 서로 독립적으로 운영되거나 상호 보완되어 운영될 수 있으며, 현장의 실시간 동영상과 감시사건에 대한 영상을 동시에 표출함으로서 사용자의 현장에 대한 감시효율성을 강화한 것이다.

도 25는 입력영상 저장부(800)의 구성을 나타낸 것으로, PTZ카메라(111)로부터 입력되는 실시간 입력영상(810)은 입력영상 관리부(600)의 원격장비 제어관리(610)에서 최대 해상도와 높은 프레임을 지원하도록 영상전송장치(611)가 설정되어 전송되는 입력영상이며, 검지 및 추적영상의 실시간 입력영상 저장(820)과 정지영상의 실시간 입력영상 저장(830)을 통하여 동영상 저장관리DB(1200)에 저장된다.

그리고 PTZ카메라(111)로부터 입력되는 실시간 감시사건 영상저장(840)은 감시객체 저장관리DB(1100)에 저장되어 관리된다.

도 26은 입력영상 검색부(900)의 구성을 나타낸 것으로, 사용자 정보입력(910)은 사전에 등록된 사용자에 대한 정보를 의미하고, 검색장비 식별정보(911)는 검색시스템이 웹기반으로 운영될 경우에 사전에 등록되고 허가된 장비만 접속을 허락하여 잘못된 접근을 사전에 방지하고자 하며, 사용자의 접속정보(912)는 사용자에게 부여된 접근 관련 아이디와 패스워드를 나타낸다. 사용자 식별정보(913)는 사용자가 검색을 위해 검색화면 앞에 앉아 있을 경우에 검색서버에 설치된 카메라로부터 사용자의 얼굴정보를 입력받는 것을 나타내는 것이고, 사용자의 얼굴정보가 입력되지 않을 경우에는 검색을 지원하지 않는다. 이것은 차후에 검색관련 사용자들의 접속정보와 식별정보를 통하여 쉽게 검색이 가능하고 잘못된 사용을 미연에 방지하기 위한 것이다.

검색정보 입력(920)은 상기 사용자 정보입력(910)에서 정의된 검색장비의 식별정보가 만족되고 사용자의 접속정보(912)와 사용자의 식별정보(913)가 정상적으로 통과되어 마무리 되었을 때에 사용자가 검색화면에 앞에 앉아 검색에 필요한 일련의 정보를 입력하는 것을 나타낸다.

검색에 사용되는 영상은 크게 사건영상 검색(930)과 동영상 검색(940)으로 구분되어 설명될 수 있으며, 필요한 검색정보는 감시객체 저장관리DB(1100)와 동영상 저장관리DB(1200)로부터 검색에 필요한 정보를 취합하고 지원하는 검색DB(1300)를 통하여 얻을 수 있다.

이와 같이 본 발명은 지능형 추적이 가능한 단일 PTZ카메라 또는 단일 PTZ카메라와 다중의 검지카메라를 이용한 지능형 영상보안방범을 위한 시스템으로, 사용자에 의한 자율적 영상보안방범 영역의 설정을 지원한다. 즉 고정카메라의 감시영역과 추적카메라의 감시영역에 출현한 감시객체의 이동방향성과 카메라 설치위치로부터 감시영역의 거리를 고려하여 추적의 우선순위에 따라 상호 보완적인 기능을 구현한 것이다. 또한, 본 발명의 시스템은 실내외에서 모두 동작하도록 설계되었고, 카메라가 가진 좌우회전 속도 및 줌 배율 등의 기능을 적극 활용하여 감시구역의 거리제한을 최소화하였다. 또한, 빠른 영상분석을 통한 객체검지 및 추적으로 하나의 감시구역에서 소요되는 시간을 최소화하였다.

또한, 사전에 정의된 감시영역의 설정 및 크기와 개수 등에 제한을 없앴다. 즉 입력영상으로부터 검지되고 추적되는 객체들에 대한 설정만 필요로 하고, 이후의 입력영상은 다양한 사용자의 요구에 적응적으로 동작하도록 하였다.

또한, 검지객체 크기, 모양, 상태 등 상세한 설정기능을 지원한다. 즉 출현객체의 사용자 설정을 지원하여 세부적이고 직접적인 검지 및 추적기능을 수행한다.

또한, 객체 전체크기, 얼굴영상 확대촬영 등 확대촬영한 영상을 지원한다. 즉 출현객체의 전체 영상, 상반신, 얼굴 등 확대된 촬영영상을 제공한다.

또한, 단속영역의 제한이 없다. 즉 출현객체의 이동반경에 따라 단속구역을 이탈할 때에 자동조정 및 추적이 이루어진다. 초기 검지영상은 고정되어 검지 및 추적하고, 이후의 추적영상은 객체를 중심으로 이동반경에 따른 자율적인 추적기능을 지원한다.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허 청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 이 기술 분야에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

100: 감시영상 입력부 200: 감시영역 최적화부
300: 감시객체검지 및 추적부 400: 감시객체 확대촬영부
500: 감시객체 인지부 600: 입력영상 관리부
700: 입력영상 표출부 800: 입력영상 저장부
900: 입력영상 검색부 1000: 객체DB
1100: 감시객체 저장관리DB 1200: 동영상 저장관리DB
1300: 검색DB

Claims

(a) 영상보안방범을 위하여 통합서버는 현장에 설치된 영상입력장치로부터 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용하여 감시방향과 감시영역을 지정하고 감시사건과 감시정보를 최적화하는 단계;
(b) 상기 최적화가 이루어진 복수의 감시방향의 감시영역에 대한 감시사건의 검지와 감시객체의 출현여부를 소프트웨어적으로 검지, 판별 및 추적하는 단계;
(c) 상기 소프트웨어적으로 추적된 감시객체에 대한 영상의 식별과 인식을 위해 PTZ카메라를 이용하여 하드웨어적으로 감시객체를 확대하여 촬영하는 단계;
(d) 상기 확대촬영된 감시객체에 대한 영상으로부터 객체인식 알고리즘을 적용하여, 감시객체의 인식영상을 1차적으로 저장 및 분리하고, 감시객체의 인식결과에 따라 추가적인 확대촬영으로 감시객체의 인식영상을 2차로 저장 및 분리하여 감시객체를 인지하는 단계;
(e) 상기 영상입력장치를 원격지로부터 직접 제어하고, 실시간으로 입력된 영상을 표출하며 저장하기 위하여 관리하는 단계;
(f) 상기 영상입력장치로부터 입력된 실시간 감시방향의 영상들과 감시사건에 대한 확대촬영된 감시객체 영상을 화면에 표출하는 방식을 설정하고, 설정된 방식에 따라 입력된 영상을 화면에 표출하는 단계;
(g) 상기 영상입력장치로부터 실시간으로 입력된 감시방향의 영상들과 감시객체영상들을 저장장치에 저장하는 단계;
(h) 상기 저장장치에 저장된 감시방향의 영상과 확대촬영된 감시객체 영상에 관한 데이터를 검색DB로부터 검색하는 단계;를 포함하여 이루어진 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상 보안방범 방법.
제1항에 있어서, 상기 단계 (a)에서,
(a-1) 영상보안방범을 위한 PTZ카메라의 상하좌우 이동과 줌 값의 이동으로 입력영상의 감시방향을 설정하는 단계;
(a-2) 상기 감시방향에 대한 주요 감시영역을 독립적으로 지정하거나 또는 복수의 감시영역을 중첩하여 지정하거나 또는 하나의 감시영역 내에 다른 감시영역을 지정하여 설정하는 단계;
(a-3) 상기 감시방향의 감시영역에 감시가 요구되는 감시객체를 지정하고 설정하는 단계;
(a-4) 상기 설정된 감시객체에 의하여 발생되는 진입, 이동, 멈춤 또는 진출이벤트의 감시사건을 설정하는 단계;
(a-5) 상기 설정된 감시객체의 의하여 발생되는 진입 및 진출영역, 객체의 크기, 객체의 이동방향 및 객체의 이동속도를 계산, 저장 및 관리하는 감시정보를 설정하는 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상 보안방범 방법.
제2항에 있어서, 상기 단계 (a-2)에서,
(a-2-1) 상기 감시방향의 영상을 분석하기 위하여 다각형을 이용하여 감시영역을 지정하는 단계;
(a-2-2) 상기 지정된 감시영역 내에 출현되는 객체의 이벤트검지를 위하여 카메라와 감시영역의 거리 및 감시 중요도에 따라 복수의 거품지뢰를 설정하는 단계;
(a-2-3) 상기 설정된 거품지뢰로부터 객체의 진입, 이동, 멈춤 또는 진출 이벤트를 검지하기 위하여 거품지뢰를 활성화하는 단계;
(a-2-4) 상기 설정된 여러 감시역역 내에 동시다발적으로 감시사건이 발생할 경우에 감시사건의 방향성과 카메라와 감시영역의 거리에 따라 감시영역의 추적우선순위를 지정하는 단계;
(a-2-5) 상기 단일 PTZ카메라와 다중 검지카메라설치에 따른 여러 감시방향 내의 감시영역에 동시다발적으로 감시사건이 발생하고, 감시사건의 방향성과 카메라와 감시영역의 거리가 같을 경우에 PTZ카메라와 다중 검지카메라에 대한 감시영역의 추적우선순위를 지정하는 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상 보안방범 방법.
제1항에 있어서, 상기 단계 (b)에서,
(b-1) 상기 설정된 감시영역내의 거품지뢰에 객체가 진입할 경우 영향을 받는 거품지뢰의 개수에 따라 이벤트의 검지여부를 판별하는 단계;
(b-2) 상기 이벤트가 발생할 경우에 감시방향의 영상을 저장하고 감시객체의 존재여부를 판단하는 단계;
(b-3) 상기 검지되고 판별된 감시객체를 거품지뢰의 이동속도와 밀림정도를 이용하여 감시정보에 따라 소프트웨어적으로 1차 감시객체를 추적하는 단계;
(b-4) 상기 1차 감시객체의 추적을 통하여 생성된 입력영상으로부터 감시객체를 소프트웨어적으로 2차 추적하는 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상 보안방범 방법.
제4항에 있어서, 상기 1차 감시객체의 추적은 감시영역의 우선순위를 분류하여 감시객체의 우선순위 정보를 생성 및 기록하고, 감시객체가 발생시킨 감시사건 정보를 획득 및 관리하며, 감시사건에 따른 감시객체의 감시정보를 기록하고 관리하는 단계를 더 포함하고,
상기 감시객체의 소프트웨어적인 2차 추적은 감시객체의 확대촬영에 따른 추적이 요구될 때에 감시객체의 추적을 위한 이벤트를 검지하고, 감시객체의 감시사건 정보를 획득 및 관리하며, 감시객체의 감시정보를 기록하고 관리하는 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상 보안방범 방법.
제1항에 있어서, 상기 단계 (c)에서,
(c-1) 검지 및 추적된 감시객체에 대하여 감시객체의 중심점을 기준으로 카메라의 화전 및 줌 이동으로 감시객체를 확대촬영하는 단계;
(c-2) 확대촬영 후에 입력영상을 기준으로 추적된 감시객체를 입력영상의 중심으로 이동시키는 추적객체 센터라이징을 통하여 감시객체를 입력영상의 중심에 위치시키는 단계;
(c-3) 감시객체 영상을 저장하여 감시객체 인지에 필요한 감시객체 확대영상을 제공하는 1차 감시객체 확대촬영단계;
(c-4) 상기 1차 감시객체 확대촬영 단계를 통하여 획득된 1차 확대 추적영상으로부터 감시객체 인지부에 필요한 정보를 추가적으로 생성하기 위하여 카메라의 회전 및 줌 이동으로 1차 감시정보보다 더 근접한 객체정보를 얻도록 확대촬영하는 단계;
(c-5) 추적되는 감시객체를 중심으로 추적객체 센터라이징을 통하여 인식에 필요한 감시객체가 입력영상의 중심에 항상 존재하도록 추적하는 단계;
(c-6) 2차 확대된 추적영상은 감시객체 영상으로 감시객체 인지부에 저장하는 2차 감시객체 확대촬영 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 방법.
제1항에 있어서, 상기 단계 (d)에서,
(d-1) 추적된 감시객체를 인지하기 위하여 확대촬영된 추적영상으로부터 감시객체의 영역을 추출하는 단계;
(d-2) 상기 추출된 감시객체의 영역으로부터 사람이나 자동차를 검지하기 위한 객체인식 알고리즘을 객체DB로부터 검색하여 적용하는 단계;
(d-3) 상기 확대촬영된 추적영상의 감시객체로부터 사람의 상반신 후보영역을 검출하거나 상반신 후보영역으로부터 얼굴 후보영역의 존재여부를 판단하여 검출하는 단계;
(d-4) 상기 상반신 후보영역이나 얼굴 후보영역이 검출되면 2차 감시객체의 확대촬영을 통하여 인식에 필요한 사람 확대영상을 저장하고 얼굴의 주요 후보영역을 검출, 분석 및 인식하는 단계;
(d-5) 상기 확대촬영된 추적영상의 감시객체로부터 자동차 후보영역을 검출하는 단계;
(d-6) 상기 자동차 후보영역이 검출되면 2차 감시객체의 확대촬영을 통하여 인식에 필요한 자동차 확대영상을 저장하고 번호판 후보영역을 검출, 분석 및 인식하는 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 방법.
제1항에 있어서, 상기 단계 (f)에서,
(f-1) 영상입력장치로부터 입력되는 실시간 감시방향의 영상들 또는 확대촬영된 감시객체영상들을 화면상에 독립적으로 구성하여 표출하는 단계;
(f-2) 영상입력장치로부터 입력되는 실시간 감시방향의 영상과 확대촬영된 감시객체영상을 화면상에 상호 보완적으로 각각의 표출영역 내에 삽입하는 방법을 통하여 실시간 감시방향의 표출영상 내에 확대촬영된 감시객체의 영상을 표출하거나 또는 확대촬영된 감시객체영상 내에 실시간 감시방향의 영상을 표출하는 방법으로, 두개의 영상을 하나의 표출영상으로 구성하여 표출하는 단계;
(f-3) 상기 실시간 확대촬영된 감시객체영상들로부터 객체의 이벤트검지를 통하여 저장된 이벤트 감시영상과, 1차 감시객체 확대촬영을 통하여 저장된 감시객체 확대영상과, 2차 감시객체 확대촬영을 통하여 저장된 감시객체 인지영상을 화면상에 실시간 감시방향의 영상들과 혼합하여 하나의 실시간 감시방향의 영상 내에 각각의 감시영상을 혼합하여 표출영상을 생성하거나, 감시방향의 영상과 감시영상을 독립적으로 구별하여 각각의 표출영상을 구성하여 표출하는 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 방법.
제1항에 있어서, 상기 단계 (h)에서,
(h-1) 사용자가 검색서버를 이용하여 저장장치에 접근을 시도할 경우에 검색서버가 갖는 고유한 식별정보를 입력받아 접속의 여부를 결정하는 장비접속을 허용하는 단계;
(h-2) 상기 검색서버의 고유 식별정보가 확인되어 접속이 이루어진 후에 사용자에게 부여된 고유의 접속정보와 암호를 입력받는 사용자접속을 허용하는 단계;
(h-3) 상기 사용자의 접속정보가 정상적으로 처리된 후에 개별적으로 설치된 독립된 영상입력장치로부터 사용자의 얼굴정보를 입력받아 얼굴 식별정보를 생성하는 사용자영상을 확인하는 단계;
(h-4) 상기 장비접속 허용단계와 사용자접속 허용단계 및 사용자영상 확인 단계를 순차적으로 모두 통과하여 사용자의 정보가 정상적으로 완료된 경우에 사용자의 접속여부를 허가하여 검색작업을 수행하도록 허가하는 단계;를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 방법.
PTZ카메라와 검지카메라로부터 감시영상을 입력받기 위하여 영상입력장치를 연결하고 설정하는 감시영상 입력부;
상기 설정된 영상입력장치로부터 PTZ카메라의 빠른 상하좌우의 회전과 줌의 이동을 실시하여 입력된 영상의 감시방향을 지정하고, 지정된 감시방향내의 감시영역과 감시영역내의 감시객체를 정의하며, 정의된 감시객체가 감시영역에서 발생할 수 있는 감시사건들을 설정함으로서, 입력된 영상에서 출현되는 객체의 검지와 인지를 위한 감시방향, 감시영역 및 감시사건들의 최적화를 수행하는 감시영역 최적화부;
상기 감시영역의 최적화가 수행된 여러 감시방향의 감시영상들에 대해서 주기적으로 실시간 영상분석을 통하여 감시영역 내의 감시사건들을 검지하고, 검지된 감시사건들에 대한 감시객체의 출현여부를 판별하며, 판별된 감시객체의 영상추적 방법을 정의하고 수행하는 감시객체검지 및 추적부;
상기 영상 추적된 감시객체에 대해서 감시객체의 식별과 인식을 위해 근접하여 확대촬영을 수행하고 확대추적영상을 획득하는 감시객체 확대촬영부;
상기 확대촬영된 감시객체의 확대추적영상에 대하여 객체인식 알고리즘을 적용하여 객체인식에 따른 객체인식영상을 1차적으로 저장하고 분리하며, 감시객체의 인식결과에 따라 추가적인 확대촬영을 병행하여 세부적인 객체인식 알고리즘을 적용하여 객체인식영상을 2차로 저장하고 분리하는 감시객체의 인지를 위한 감시객체인식 알고리즘을 정의하고 수행하는 감시객체 인지부;
상기 감시영상입력부의 영상입력장치에 대하여 실시간 입력된 영상을 화면상에 표출하고 저장하며, 영상입력장치의 직접제어와 유지보수를 위해 필요한 기능들을 설정하고 관리하는 입력영상 관리부;
상기 영상입력장치로부터 입력되는 실시간 감시영상들과 감시영역내의 감시사건들에 의하여 저장된 감시영상들을 화면상에 표출하기 위한 방법을 정의하고 관리하는 입력영상 표출부;
상기 실시간 입력된 영상들과 감시영상들을 저장장치에 저장하고 관리하기 위한 입력영상 저장부; 및
상기 입력영상 저장모듈에 저장된 동영상과 감시영상 자료를 쉽고 빠르게 검색하기 위한 입력영상 검색부;를 포함하고,
출현이 예상되는 감시객체들의 객체검지를 위한 객체 검지정보와 객체인지를 위한 객체 인지정보를 저장하는 객체DB와,
감시객체의 검지와 확대촬영으로 인지된 감시객체들의 정보를 저장하고 관리하는 감시객체 저장관리DB와,
영상입력장치로부터 입력되는 실시간 감시영상정보를 저장하는 동영상 저장관리DB와,
입력영상검색부로부터 요구되는 검색정보를 감시객체 저장관리DB와 동영상 저장관리DB로부터 검색하여 제공하는 검색DB를 더 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 시스템.
제10항에 있어서, 상기 감시영상 입력부는
현장에 설치되어 상하좌우의 회전과 줌의 이동이 자유로운 이동형 스피드 돔 카메라(Speed Dome Camera)인 PTZ(Pan/Tilt/Zoom)카메라와, 현장에서 발생된 다양한 음향신호를 수신하는 마이크로폰과, 원격에서 전송된 음향신호를 현장에 송출하는 스피커와, 상기 마이크로폰에서 수신된 음향신호와 PTZ카메라로부터 입력된 아날로그 영상신호를 디지털신호로 변환하여 허브를 거쳐 네트워크를 통해 원격지의 상황실시스템에 전송하고, 상황시스템의 제어신호 및 음향신호를 스피커로 출력하는 비디오서버를 포함하는 현장시스템;
상기 원격의 현장시스템과 네트워크를 통해 허브로 송수신되는 데이터신호를 분석, 제어, 저장, 검색 및 뷰어 기능을 포함하는 통합서버와, 상기 통합서버로부터 영상 및 데이터의 저장 및 출력하는 대용량저장장치를 포함하는 상황실시스템;을 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 시스템.
제10항에 있어서, 상기 감시영상 입력부는
현장에 설치되어 상하좌우의 회전과 줌의 이동이 자유로운 회전형 스피드 돔 카메라(Speed Dome Camera)인 PTZ(Pan/Tilt/Zoom)카메라와, 고정형으로 감시방향이 결정되면 고정 운용되어 입력영상 만을 전송하는 검지카메라와, 현장에서 발생된 다양한 음향신호를 수신하는 마이크로폰과, 원격에서 전송된 음향신호를 현장에 송출하는 스피커와, 상기 마이크로폰에서 수신된 음향신호와 검지카메라 및 PTZ카메라로부터 입력된 아날로그 영상신호를 디지털신호로 변환하여 허브를 거쳐 네트워크를 통해 원격지의 상황실시스템에 전송하고, 상황시스템의 제어신호 및 음향신호를 스피커로 출력하는 비디오서버와, 현장에서 실시간으로 입력된 영상을 분석하여 정보의 생성, 저장 및 관리하고 허브를 통해 원격으로 데이터를 전송하는 영상분석서버를 포함하는 현장시스템;
상기 원격지의 현장시스템으로부터 네트워크를 통해 허브를 거쳐 전송된 실시간 입력영상을 대용량저장장치에 저장하는 저장서버와, 복수의 저장매체가 구비되고 영상자료를 장기간 보관하는 대용량저장장치와, 대용량저장장치로부터 저장된 자료를 사용자의 요구에 따라 실시간으로 검색할 수 있도록 하는 검색서버와, 원격지의 현장시스템을 직접 제어, 운영 및 관리하는 제어서버와, 원격지의 현장시스템으로부터 전송되는 실시간을 통한 입력영상을 화면에 표출하는 뷰어서버를 포함하는 상황실 시스템;을 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 시스템.
제10항에 있어서, 상기 감시영상입력부는
고정형으로 감시방향이 결정되면 고정 운용되어 입력영상 만을 전송하는 것으로 고해상도 화질의 영상을 촬영하여 입력영상을 제공하는 메가픽셀 IP 검지카메라와, 현장에서 발생된 다양한 음향신호를 수신하는 마이크로폰과, 원격에서 전송된 음향신호를 현장에 송출하는 스피커와, 상기 마이크로폰에서 수신된 음향신호를 변환하여 송신하고, 스피커를 통해 음향신호를 출력하며, 고해상도의 입력영상정보를 디지털신호로 변환하여 허브를 거쳐 네트워크를 통해 원격지의 상황실시스템으로 직접 전송하는 회전형 메가픽셀 IP PTZ카메라와, 현장에서 실시간으로 입력된 영상을 분석하여 정보의 생성, 저장 및 관리하고 허브를 통해 원격으로 데이터를 전송하는 영상분석서버를 포함하는 현장시스템;
상기 원격지의 현장시스템으로부터 네트워크를 통해 허브를 거쳐 전송된 실시간 입력영상을 대용량저장장치에 저장하는 저장서버와, 복수의 저장매체가 구비되고 영상자료를 장기간 보관하는 대용량저장장치와, 대용량저장장치로부터 저장된 자료를 사용자의 요구에 따라 실시간으로 검색할 수 있도록 하는 검색서버와, 원격지의 현장시스템을 직접 제어, 운영 및 관리하는 제어서버와, 원격지의 현장시스템으로부터 전송되는 실시간을 통한 입력영상을 화면에 표출하는 뷰어서버를 포함하는 상황실 시스템;을 포함하는 단일 PTZ카메라 또는 단일 PTZ카메라와 다중 검지카메라를 이용한 지능형 영상보안방범 시스템.