KR100879623B1

KR100879623B1 - Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법

Info

Publication number: KR100879623B1
Application number: KR1020080065180A
Authority: KR
Inventors: 김갑수; 장정훈
Original assignee: 주식회사 일리시스
Priority date: 2008-07-05
Filing date: 2008-07-05
Publication date: 2009-01-21

Abstract

PTZ 카메라를 이용하여 넓은 감시 지역을 효과적으로 감시할 수 있는 자동화된 광역 감시 시스템 및 그 방법이 제공된다.

PTZ 카메라를 이용한 자동화된 광역 감시 방법은, 상기 PTZ 카메라를 이용한 감시 구역에 대하여 이벤트 감지 영역 및 상기 이벤트 감지 영역에 대한 이벤트 감지 규칙을 설정하는 단계, 상기 PTZ 카메라로부터 수신한 영상을 분석하여 상기 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계 및 상기 PTZ 카메라를 자동으로 제어하여 상기 이벤트를 발생시킨 이동 물체를 자동으로 PTZ 추적하는 단계를 포함한다.

PTZ 카메라, 광역 감시, 영상 분석, 이벤트 감지

Description

ＰＴＺ 카메라를 이용한 자동화된 광역 감시 시스템 및 그 방법{AUTOMATED WIDE AREA SURVEILLANCE SYSTEM USING PTZ CAMERA AND METHOD THEREFOR}

본 발명은 자동화된 광역 감시 시스템 및 그 방법에 관한 것으로, 보다 구체적으로는 PTZ 카메라를 이용하여 넓은 감시 지역을 효과적으로 감시할 수 있는 자동화된 광역 감시 시스템 및 그 방법에 관한 것이다.

PTZ(Pan, Tilt, Zoom) 카메라는 상하좌우로 회전이 가능한 팬(Pan)/틸트(Tilt) 구동 장치에 전동 줌 렌즈가 장착된 비디오 카메라가 결합되어 있는 구조로 되어 있으며, 외부 제어를 통해 카메라의 회전 및 렌즈의 줌인/줌아웃이 가능하다.

따라서, 고정식 카메라와 비교해볼 때 비록 고가이기는 하지만 카메라의 회전을 통해 카메라 주위의 넓은 지역을 감시하고, 줌 렌즈를 통해 원거리/근거리 감시 및 관심 대상을 확대해서 볼 수 있도록 해주는 장점을 가지고 있다.

종래의 PTZ 카메라 기반의 광역 감시 시스템은 수동적인 감시 시스템으로서, 감시 지역에서 관심 있는 사건(이벤트)이 발생하는 것을 실시간으로 감지하려면 사람이 쉼없이 카메라 영상을 모니터링 해야 하며, 사건 발생 시 관심 대상의 확대된 영상을 지속적으로 얻으려면 사람이 PTZ 카메라를 일일이 제어해야 하는 문제점이 있다.

따라서, PTZ 카메라가 광역 감시에 적합한 여러 가지 기능을 가지고 있지만 감시자가 한눈을 팔고 있거나 자리를 비우고 있으면 그러한 기능이 제대로 활용될 수 없으며, 효과적인 감시가 제대로 이루어지지 않는다는 문제점이 있다.

최근 들어 사람에 의한 수동적인 영상 감시의 문제점을 해결하기 위하여, 컴퓨터에 의한 카메라 영상의 분석을 통해 영상 감시를 자동화하려는 시도가 있다. 그러나 대부분 고정식 카메라에 의해 특정 지역을 감시하는데 초점이 맞춰져 있으며, PTZ 카메라를 통한 효과적인 광역 감시를 수행하기 위해서는 PTZ 카메라의 특성을 잘 활용한 자동화된 감시 방법이 필요하다.

본 발명의 일 실시예는 컴퓨터에 의한 영상 분석 및 자동 PTZ 제어를 통하여 PTZ 카메라의 기능을 최대한 활용할 수 있는 자동화된 광역 감시 방법 및 시스템을 제공한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, PTZ 카메라를 이용한 프리셋 방식의 자동화된 광역 감시 방법에 있어서, 상기 PTZ 카메라를 이용한 감시 구역에 대하여 이벤트 감지 영역 및 상기 이벤트 감지 영역에 대한 이벤트 감지 규칙을 설정하는 단계, 상기 PTZ 카메라로부터 수신한 영상을 분석하여 상기 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계 및 상기 PTZ 카메라를 자동으로 제어하여 상기 이벤트를 발생시킨 이동 물체를 자동으로 PTZ 추적하는 단계를 포함하는 광역 감시 방법을 제공한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 2 측면은, PTZ 카메라를 이용한 연속 스캔 방식의 자동화된 광역 감시 방법에 있어서, 상기 PTZ 카메라를 이용한 감시 구역에 대하여 이벤트 감지 영역 및 상기 이벤트 감지 영역에 대한 이벤트 감지 규칙을 설정하는 단계, 상기 PTZ 카메라로부터 수신한 영상을 분석하여 상기 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계 및 상기 PTZ 카메라를 자동으로 제어하여 상기 이벤트를 발생시킨 이동 물체를 자동으로 PTZ 추적하는 단계를 포함하는 광역 감시 방법을 제공한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 3 측면은, PTZ 카메라를 이용한 자동화된 광역 감시 시스템에 있어서, 상기 PTZ 카메라로부터 수신한 감시 구역의 입력 영상을 분석하여 지정된 이벤트를 감지하는 영상 분석기 및 상기 영상 분석기로부터 수신한 상기 입력 영상 및 이벤트 감지 정보를 화면 상에 출력하는 제어/모니터링 단말기를 포함하되, 상기 영상 분석기는, 상기 감지한 이벤트에 기초하여 상기 이벤트를 발생시킨 이동 물체를 자동 추적하기 위해 상기 PTZ 카메라를 제어하는 것인 광역 감시 시스템을 제공한다.

전술한 본 발명의 과제 해결 수단 중 하나에 의하면, PTZ 카메라를 이용하여 넓은 감시 지역을 효과적으로 감시할 수 있는 광역 감시 시스템을 구현할 수 있다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 " 포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하에는 도 1 내지 도 13을 참조하여, 본 발명의 일 실시예에 따른 PTZ 카메라를 이용한 자동화된 광역 감시 시스템 및 그 방법에 대해 설명한다.

도 1은 본 발명의 일 실시예에 따른 PTZ 카메라를 이용한 자동화된 광역 감시 시스템의 연결 관계를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 PTZ 카메라를 이용한 자동화된 광역 감시 시스템(100)의 네트워크 구성은 PTZ 카메라(101), 영상 분석기(102), 네트워크 통신망(103) 및 제어/모니터링 단말기(104)를 포함한다.

PTZ(Pan, Tilt, Zoom) 카메라는(101)는 전동 줌 렌즈가 장착된 비디오 카메라로서 팬(Pan)/틸트(Tilt) 구동 장치에 부착된다. PTZ 카메라는(101)는 영상 분석기(102)로부터의 제어 신호를 통해 카메라의 회전 및 렌즈의 줌인/줌아웃이 가능하다.

영상 분석기(102)는 PTZ 카메라(101)를 제어하기 위한 제어 신호를 PTZ 카메라(101)로 전송한다. 영상 분석기(102)는 PTZ 카메라(101)로부터 입력되는 영상 신호로부터 일련의 비디오 프레임 데이터(Video Frame Data)를 획득하고, 이를 실시간으로 분석하여 지정된 이벤트를 감지한다. 또한, 영상 분석기(102)는 분석한 비디오 프레임 데이터 및 감지한 이벤트에 대한 정보를 네트워크 통신망(103)을 통해 연결된 제어/모니터링 터미널(140)로 전송하고, 제어/모니터링 단말기(104)로부터 PTZ 카메라(101)를 제어하기 위한 각종 설정 정보 및 제어 데이터를 전송받는다.

제어/모니터링 단말기(104)는 네트워크 통신망(103)을 통해 영상 분석기(102)와 연결되며, 사용자로부터 영상 분석기(102)의 설정 및 제어 데이터를 입력받아 영상 분석기(102)로 전송하고, 영상 분석기(102)로부터 수신한 비디오 프레임 데이터 및 감지한 이벤트 정보를 화면 상에 출력한다.

본 발명의 일 실시예에 따른 광역 감시 시스템(100)의 구성은 도 1에 도시된 것에 한정되는 것은 아니다. 즉, 본 발명의 일 실시예에 따른 광역 감시 시스템(100)에서의 영상 분석기(102)는 PTZ 카메라(101) 또는 제어/모니터링 단말기(104)의 내부에 통합될 수 있으며, 제어/모니터링 단말기(104)와 네트워크 통신망(103)을 통하지 않고 직접 연결될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 PTZ 카메라를 이용한 자동화된 광역 감시 방법을 설명하기 위한 흐름도이다.

단계(S101)에서 광역 감시 시스템(100)은 PTZ 카메라 영상을 이용하여 감지하고자 하는 이벤트의 감지 영역 및 감지 규칙을 설정한다. 즉, 광역 감시 시스템(100)는 사용자로부터 PTZ 카메라(101)가 광역 감시를 수행할 감시 구역, 이벤트 감지 영역 및 이들 영역에 대응하는 이벤트 감지 규칙을 설정받는다.

단계(S102)에서 광역 감시 시스템(100)는 PTZ 카메라(101)로부터 수신한 영상 신호를 분석하여 감시 영역에서 발생하는 이벤트를 감지한다. 이때, 이벤트 감지는 PTZ 카메라(101)의 운영 및 이에 따른 영상 처리/분석 방법에 따라 프리셋 투어링(Preset Touring)에 의한 이벤트 감지 방법(S1021) 및 연속 스캔(Continuous Scan)에 의한 이벤트 감지 방법(S1022)으로 분류될 수 있으며, 프리셋 투어링 방 식(S1021) 및 연속 스캔 방식(S1022) 중 사용자에 의해 선택된 어느 하나의 방식에 따라 이벤트를 감지할 수 있다.

단계(S103)에서 광역 감시 시스템(100)은 이벤트 감지 여부를 판단하여, 이벤트가 감지되지 않은 경우에는 단계(S102)로 복귀하는 반면에, 이벤트가 감지된 경우에는 단계(S104)로 진행하여, 감지된 이벤트 정보를 제어/모니터링 단말기(104)로 전송하여 사용자에게 이벤트가 감지되었음을 통보한다.

단계(S105)에서 광역 감시 시스템(100)은 이벤트를 발생시킨 이동 물체의 자동 PTZ 추적을 수행한다. 이동 물체의 자동 PTZ 추적은 PTZ 카메라(101)의 팬/틸트/줌을 자동으로 제어하여 이동 중인 물체의 확대된 영상을 지속적으로 획득하는 행위를 의미한다.

단계(S106)에서 광역 감시 시스템(100)은 자동 PTZ 추적의 종료 여부를 판단하여, 자동 PTZ 추적이 종료되지 않은 경우에는 단계(S105)로 복귀하여 이벤트를 발생시킨 이동 물체의 자동 PTZ 추적을 반복하여 수행하는 반면에, 자동 PTZ 추적이 종료된 경우에는 단계(S102)로 복귀하여 감시 영역에 대한 이벤트 감지를 계속 수행한다.

도 3은 본 발명의 일 실시예에 따른 PTZ 카메라의 프리셋 투어링에 의한 자동화된 광역 감시 방법의 개념도이고, 도 4는 본 발명의 일 실시예에 따른 PTZ 카메라의 프리셋 투어링에 의한 자동화된 광역 감시를 위하여 이벤트 감지 영역 및 이벤트 감지 규칙의 설정 방법을 설명하기 위한 흐름도이다.

설정 모드가 시작되면, 단계(S201)에서 사용자는 PTZ 카메라(101)의 수동 제 어를 통해 감시하고자 하는 지역이 PTZ 카메라의 뷰(View)에 적당히 들어오도록 PTZ 카메라(101)의 팬/틸트/줌을 조정한다.

PTZ 카메라(101)의 조정이 완료되면, 단계(S202)에서 사용자는 현재 위치에서의 팬/틸트/줌 값을 프리셋(Preset)에 저장하고 대기 시간을 설정한다.

단계(S203)에서 사용자는 현재 위치에서 PTZ 카메라(101)를 통해 획득된 영상에서 사용자가 원하는 감시 구역을 이벤트 감지 영역으로서 설정한다. 이벤트 감지 영역은 영역의 외곽선을 표현하는 다각형(Polygon)을 이용하거나 감지 영역에 해당하는 픽셀들을 선택함에 의해 지정할 수 있다. 이벤트 감지 영역의 설정은 한 영상에서 다수의 이벤트 감지 영역을 설정할 수 있다.

단계(S204)에서 사용자는 각각의 설정된 이벤트 감지 영역에 대하여 이벤트 감지 규칙을 설정한다. 이벤트 감지 규칙은 감지할 이벤트의 종류( 예를 들어 영역 침입 등), 이벤트를 발생시키는 물체의 종류(예를 들어 사람, 자동차 등), 관심 물체의 각종 속성(예를 들어 물체의 크기, 이동 속도 등)에 대한 값의 범위, 특정 이벤트 감지를 위한 세부 규칙(예를 들어 영역 침입 감지 시 영역 내에 머무는 물체의 최소 시간 등) 등을 포함할 수 있다.

이때, 사용자가 별도의 이벤트 감지 영역을 설정하지 않고 설정을 완료하는 경우, 그 프리셋 위치에 대해서는 디폴트로 설정되어 있는 이벤트 감지 영역 및 이벤트 감지 규칙을 적용할 수 있다.

현재 위치에서의 이벤트 감지 영역 및 감지 규칙의 설정이 완료되면, 사용자는 수동 제어를 통해 PTZ 카메라(101)를 사용자가 원하는 다음 감시 지역으로 이동 시켜 단계(S201) 내지 단계(S204)를 반복 수행하여, 감시하고자 하는 모든 지역에 대하여 프리셋 설정과 그에 대응하는 이벤트 감지 영역 및 감지 규칙의 설정을 수행한다. 사용자가 원하는 모든 감시 지역에 대한 프리셋 설정과 그에 대응하는 이벤트 감지 영역 및 감지 규칙의 설정이 완료되면 설정 모드가 종료된다.

도 5는 본 발명의 일 실시예에 따른 PTZ 카메라의 프리셋 투어링에 의한 자동화된 광역 감시 방법을 설명하기 위한 흐름도이다.

단계(S301)에서 광역 감시 시스템(100)은 프리셋 리스트에 등록되어 있는 첫 번째 프리셋 위치로 PTZ 카메라(101)를 이동시킨 다음, 단계(S302)로 진행하여, PTZ 카메라(101)의 정지 여부를 확인한다. 이때, 광역 감시 시스템(100)은 PTZ 카메라(101)의 이동이 완료되는 시점을 정확하게 알 수 없기 때문에 PTZ 카메라(101)가 이동하는 동안 촬영된 비디오 프레임을 분석하여 PTZ 카메라(101)의 정지 여부를 확인할 수 있다.

단계(S303)에서 광역 감시 시스템(100)은 이웃하는 프레임 간의 픽셀의 밝기 차이가 일정 값 이하인지를 판단한다. 즉, 광역 감시 시스템(100)은 현재 프레임과 이전 프레임들 간의 픽셀의 밝기 차를 구하여 그 차이가 일정 값 이하인 픽셀들의 수가 지정된 수 이상으로 존재하면 PTZ 카메라(101)가 정지된 것으로 판단한다.

단계(S304)에서 광역 감시 시스템(100)은 미리 지정된 최대 이동 시간을 초과하였는지를 판단하여, 미리 지정된 최대 이동 시간을 초과하지 않은 경우에는 단계(S302)으로 복귀하는 반면에, 미리 지정된 최대 이동 시간을 초과한 경우에는 PTZ 카메라(101)의 이동이 완료된 것으로 간주한다.

단계(S305)에서 광역 감시 시스템(100)은 해당 프리셋 위치에서 미리 정해진 시간 동안 PTZ 카메라(101)로부터 수신되는 영상 신호를 분석하여 이벤트 감지를 수행한다.

단계(S306)에서 광역 감시 시스템(100)은 이벤트 감지 여부를 판단하여, 이벤트가 감지된 경우에는 단계(S307)로 진행하여, 감지된 이벤트 정보를 제어/모니터링 단말기(104)로 전달하여 사용자에게 통보한다.

단계(S308)에서 광역 감시 시스템(100)은 이벤트를 발생시킨 물체의 자동 PTZ 추적을 수행한 다음, 단계(S310)으로 진행하여, 사용자로부터 감시 모드의 종료 명령이 수신되었는지를 판단한다.

한편, 단계(S306)에서의 판단 결과, 이벤트가 감지되지 않은 경우에는 단계(S309)로 진행하여, 지정된 대기 시간을 초과하였는지를 판단한다.

단계(S309)에서의 판단 결과, 지정된 대기 시간을 초과하지 않은 경우에는 단계(S305)로 복귀하여 이벤트 감지를 수행하는 반면에, 지정된 대기 시간을 초과한 경우에는 단계(S310)으로 진행하여, 사용자로부터 감시 모드의 종료 명령이 수신되었는지를 판단한다.

단계(S310)에서의 판단 결과, 감시 모드의 종료 명령이 수신된 경우에는 감시 모드를 종료하는 반면에, 감시 모드의 종료 명령이 수신되지 않은 경우에는 단계(S301)로 복귀하여, 프리셋 리스트에 있는 다음 프리셋 위치로 PTZ 카메라(101)를 이동시킨 후 동일한 작업을 반복한다. 만약, 프리셋 리스트에 있는 모든 프리셋 위치에 대한 감시가 완료되면 첫 번째 프리셋 위치로 이동하여 동일한 작업을 반복 한다.

도 6은 도 5의 단계(S305)에 해당하는 영상 분석을 통한 이벤트 감지 과정을 구체적으로 설명하기 위한 흐름도이다. 도 6의 영상 분석을 통한 이벤트 감지 방법은 크게, 이동체 감지부(S403~S407), 이동체 추적부(S408~S414), 이동체 인식부(S415), 이벤트 감지부(S416~S418)로 나뉘며, 각 단계는 매 프레임이 입력될 때마다 순차적으로 수행된다.

이벤트 감지 모드가 시작되면, 단계(S401)에서 광역 감시 시스템(100)은 초기의 일정 시간, 예를 들어, 1~2초 동안에 취득한 비디오 프레임들로부터 초기 배경 모델(Background Model) 및 이에 따르는 배경 영상(Background Image)을 생성한다.

배경 모델은 카메라 영상에서 각 픽셀이 배경 영역에 해당할 때 가지는 밝기 값의 분포 특성을 모델링한 결과를 나타내며, 각 픽셀의 분포 특성을 모델링하는 방법으로는 크게, Parametric Distribution에 의한 모델링 방법과 Non-parametric Distribution에 의한 모델링 방법으로 나눠진다. Parametric Distribution에 의한 방법 중 대표적인 것으로는 각 픽셀의 밝기 분포를 Single Gaussian 또는 Mixture of Gaussians의 분포 함수를 이용하여 모델링하는 방법이 있으며, 분포 함수의 파라미터 값들은 새로운 비디오 프레임들로부터 꾸준히 학습된다. Non-parametric Distribution에 의한 방법은 보통 입력 비디오 프레임들로부터 일정기간 동안 얻은 각 픽셀의 히스토그램(Histogram)을 이용하며, 픽셀의 히스토그램은 새로운 비디오 프레임들로부터 꾸준히 학습된다. 배경 영상은 배경 모델로부터 얻을 수 있는데, 보통 각 픽셀 마다 분포 값의 최대치에 해당하는 픽셀 값을 뽑아 생성한다.

초기 배경 모델 및 영상의 생성이 완료되면, 단계(S402)에서 광역 감시 시스템(100)은 PTZ 카메라(101)로부터 수신한 입력 영상으로부터 새로운 비디오 프레임을 취득한 다음, 단계(S403)으로 진행하여, 배경 모델과 입력 영상 간의 차를 구하여 초기 모션 픽셀들을 추출한다.

사용하는 배경 모델에 따라 모션 픽셀들을 구하는 방법에 차이가 있다. 예를 들면, Single Gaussian으로 픽셀 값을 모델링하는 경우에는 보통 픽셀(x,y)가 아래의 수학식 1을 만족하면 모션 픽셀로서 분류된다.

수학식 1에서,

는 입력 영상의 픽셀

의 밝기 값이고,

와

는 배경 모델에서 픽셀

의 밝기의 평균 및 표준편차 값이고,

는 사용자가 지정한 문턱(Threshold)치이다. 도 7의 (201)와 (202)는 입력 영상 및 배경 모델 간의 차를 통해 구한 모션 픽셀들의 예이다.

단계(S404)에서 광역 감시 시스템(100)은 각종 환경 요소의 모델링을 통해 노이즈 모션 픽셀을 제거한다. 도 7의 (202)에서 보는 바와 같이, 입력 영상과 배경 모델 간의 차를 이용하여 추출한 모션 픽셀들은 일반적으로 실제 이동하는 물체 뿐만 아니라 각종 환경적인 요소에 의해서도 감지되게 된다. 대표적으로 급격한 조명 변화, 예를 들어, 구름에 의해 햇빛이 갑자기 차단되거나 나타나는 경우, 동적(Dynamic) 배경, 예를 들어, 흔들리는 나뭇가지, 출렁이는 물결, 반짝이는 불빛 등, 이동체의 그림자, 자동차의 헤드라이트 등이 있다. 이러한 환경 요소들에 의해 감지되는 노이즈 모션 픽셀들을 제거하기 위해 각 환경 요소들을 모델링하고 이를 통해 노이즈 모션 픽셀들을 제거한다. 도 7의 (203)는 도 7의 (202)로부터 노이즈 모션 픽셀들, 특히, 바람에 흔들리는 나뭇가지에 의해 발생한 노이즈 모션 픽셀들을 제거한 예이다.

각종 환경 요소에 의해 감지된 노이즈 모션 픽셀들을 제거한 후, 단계(S405)에서 광역 감시 시스템(100)은 Morphological Filtering을 통해 노이즈에 해당하는 모션 블럽(Motion Blob)의 제거 및 인접하는 블럽 간의 병합을 수행한다. 여기에서 모션 블럽은 인접한 모션 픽셀들의 집합체를 의미한다. 도 7의 (204)는 도 7의 (203)에 Morphological Filtering을 수행하여 얻은 결과이다.

단계(S406)에서 광역 감시 시스템(100)은 얻어진 CCL(Connected Component Labeling)을 수행하여 각 모션 블럽마다 고유 번호를 할당한다. 동일한 모션 블럽에 속한 모션 픽셀들은 동일한 고유 번호를 갖는다.

단계(S407)에서 광역 감시 시스템(100)은 현재 가지고 있는 배경 모델/영상은 새로운 비디오 프레임들로부터 주기적으로 업데이트한다. 이는 배경의 점진적인 변화, 예를 들어, 해가 저물어서 점진적으로 어두워지는 경우나 원래 배경에 속해 있던 물체가 이동한 경우 등에 적응할 필요가 있기 때문이다. 예를 들어, 각 픽셀 의 밝기 분포를 Single Gaussian으로 모델링한 경우, 본 분포 함수의 모양을 결정짓는 두 파라미터 값인 평균(

)과 표준편차(

)는 수학식 2와 같이 업데이트된다.

수학식 2에서

는 사용자가 지정한 learning constant이며,

의 값을 가진다.

수학식 2에 의해서 모든 픽셀의 밝기 분포를 업데이트하는 경우, 현재 이동체가 차지하고 있는 영역도 함께 업데이트되어 이동체의 배경화가 진행될 수 있으므로, 현재 추적 중인 이동체의 영역은 배경 모델 업데이트 시에 제외시키는 것이 바람직하다.

상술한 단계(S406)에서 획득된 모션 블럽의 CCL 결과는 이동체 추적에 사용된다.

단계(S408)에서 광역 감시 시스템(100)은 우선 각 모션 블럽에 대하여 기존에 추적 중인 객체(Object)들과의 매칭(Matching)을 수행한다. 가장 간단한 매칭 방법은 이전 프레임에서 객체가 차지하던 영역과 현재 프레임에서 모션 블럽이 차지하는 영역 간의 겹침(Overlap)을 검사하는 것이다. 겹쳐진 영역이 존재하는 객체 와 모션 블럽 간에 대응 관계가 성립된다.

추적 중인 객체와 모션 블럽 간에는 여러 형태의 대응 관계가 존재하며 이에 따라 다른 처리가 필요하다.

단계(S409)에서 광역 감시 시스템(100)은 대응되는 객체가 없는 모션 블럽의 경우에는 새로운 추적 객체로 등록한다.

단계(S410)에서 광역 감시 시스템(100)은 특정 객체와 1:1로 대응하는 블럽의 경우에는 동일 객체로 인정한다.

단계(S411)에서 여러 객체가 하나의 블럽에 대응하는 경우는 추적 중인 객체들 사이에 서로 겹침 현상(Occlusion)이 발생한 경우이다. 이러한 경우, 광역 감시 시스템(100)은 각 객체 별로 템플릿 매칭(Template Matching) 등의 방법을 통해 블럽 내에서 각 객체가 차지하는 영역을 알아내어 Occlusion 처리를 수행한다. 만약 객체들이 일정 시간 이상 유사한 방향으로 뭉쳐진 채로 이동하면 객체들을 병합하여 하나의 객체로 인식한다.

단계(S412)에서 하나의 객체가 여러 블럽에 대응하는 경우는 그룹으로 이동하던 물체들이 흩어지는 경우나 모션 블럽 추출 시의 오류로 인해 하나의 물체임에도 불구하고 여러 조각으로 분리된 경우이다. 이때 광역 감시 시스템(100)은 특정 객체가 일정 시간 이상 여러 조각으로 분리된 채로 이동하면 여러 객체로 분할한다.

단계(S413)에서 대응되는 블럽이 존재하지 않는 객체의 경우, 객체가 다른 물체에 가려서 일시적으로 사라졌거나, 감시 구역을 완전히 벗어난 경우이다. 이때 광역 감시 시스템(100)은 이전 프레임까지의 추적 데이터를 이용하여 현재 프레임에서의 예상 추적 위치를 추정하여 사용하고, 일정 시간이 경과하도록 대응되는 블럽이 나타나지 않으면 객체를 소멸시킨다.

단계(S409) 내지 단계(S413)의 결과에 기초하여, 단계(S414)에서 광역 감시 시스템(100)은 각 객체의 모델(예를 들어, 객체의 Template Image 및 Mask Image) 및 전체 객체 리스트를 업데이트 한다. 도 7의 (205)는 물체 추적 결과(궤적 표시)의 예이다.

단계(S415)에서 광역 감시 시스템(100)은 필요 시 이동체 추적부를 통해 추적 중인 객체를 이동체 인식부를 통해 사람, 차량, 미인식 등으로 분류한다. 객체의 인식 방법은 크게 객체의 특징 벡터(Feature Vector) 값을 추출하는 단계와 추출된 특징 벡터 값을 인식기(Classifier)에 입력하여 인식하는 단계로 나뉘는데, 추출할 특징 및 사용할 인식기의 조합에 따라 매우 다양한 인식 방법이 탄생할 수 있다. 특징 벡터를 구성하는 특징 값들로는 간단하게는 객체의 바운딩 박스(Bounding Box)의 크기, 면적, 가로/세로 비율 등으로부터 복잡하게는 객체의 Contour, Gradient, Brightness 등을 인코딩한 값을 사용할 수 있다. 인식기로는 간단한 규칙(Rule) 기반의 인식기로부터 신경망(Neural Network)나 SVM(Support Vector Machine) 등과 같이 학습을 필요로 하는 인식기 등을 사용할 수 있다.

단계(S416)에서 광역 감시 시스템(100)은 각 객체별로 지정된 이벤트 감지 영역 내에 존재하는지를 검사하여 특정 객체가 이벤트 감지 영역 내에 존재하면, 단계(S417)로 진행하여, 그 영역에 할당된 객체 필터(Object Filter)를 통해 관심 대상에 해당하지 않는 객체는 걸러낸다. 객체 필터는 객체의 다양한 속성, 예를 들어 이동체의 바운딩 박스의 너비/높이/면적, 이동 속도, 이동 방향, 물체 타입 등에 대하여 사용자가 설정한 범위 값을 가지고 있어서, 객체의 특정 속성 값이 주어진 범위 밖에 존재하면 그 객체는 이벤트를 발생시키는 대상에서 제외시킨다.

특정 객체가 이벤트 감지 영역 내에 존재하고, 그 영역에 할당된 객체 필터를 통과하였으면, 단계(S418)에서 광역 감시 시스템(100)은 그 객체의 각종 추적 정보를 활용하여 이벤트 감지 영역에 할당된 이벤트를 발생시켰는지 검사한다. 예를 들어, “이동체의 갑작스러운 멈춤” 이벤트를 감지하려면, 특정 객체의 속도의 변화가 아래 수학식 3을 만족하는지를 검사한다.

수학식 3에서

는 시간

에서 객체의 이동 속도이고,

은 매우 작은 값을 갖는 상수이다.

단계(S419)에서 광역 감시 시스템(100)은 이벤트 감지부 여부를 판단하여, 이벤트가 감지된 경우에는 단계(S420)으로 진행하여, 감지된 이벤트에 대한 정보를 사용자에게 통보하고 관련 작업, 예를 들어, 이벤트를 발생시킨 물체의 자동 PTZ 추적을 수행한다. 도 7의 (206)은 이동체가 지정된 가상선을 지정된 방향으로 통과하는 이벤트를 감지한 예이다.

반면에, 단계(S419)에서의 판단 결과, 이벤트가 감지되지 않은 경우에는 단 계(S421)로 진행하여, 이벤트 감지 모드의 종료 명령이 수신되었는지를 판단한다.

단계(S421)에서의 판단 결과, 이벤트 감지 모드의 종료 명령이 수신된 경우에는 이벤트 감지 모드를 종료하는 반면에, 이벤트 감지 모드의 종료 명령이 수신되지 않은 경우에는 단계(S402)로 복귀하여, PTZ 카메라(101)로부터 수신한 영상 신호로부터 새로운 비디오 프레임을 취득한다.

도 8은 본 발명의 일 실시예에 따른 이동 물체의 자동 PTZ 추적 과정을 구체적으로 설명하기 위한 흐름도이다.

자동 PTZ 추적 모드를 시작하기에 앞서, 먼저, 단계(S501) 내지 단계(S503)에서 광역 감시 시스템(100)은 PTZ 추적 타겟(Target)을 설정한다.

타겟의 설정 방법은 수동으로 지정하는 방법과 자동으로 지정하는 방법이 있다. 이때, 수동으로 타겟을 지정할 때에는 PTZ 카메라가 정지되어 있고, 렌즈가 줌아웃(Zoom-Out) 되어 있는 상태에서 감시 구역을 지켜보고 있는 상황이라고 가정한다.

이러한 수동 타겟 설정 방법은 다시 두 가지로 나눠지는데, 첫 번째 방법은 사용자가 영상에서 타겟의 바운딩 박스를 마우스 드래그(Mouse Drag) 등의 방법을 통해 그려줌으로써 지정하는 방법(S501)이고, 두 번째 방법은 도 6의 방법에 의해 추적 중인 객체들 중의 하나를 마우스 클릭(Mouse Click) 등의 방법을 통해 지정하는 방법(S502)이다. 자동으로 타겟을 지정하는 방법은 도 6의 방법에 의해 지정된 이벤트를 감지했을 때, 그 이벤트를 발생시킨 이동체를 타겟으로 지정하는 방법(S503)이다.

타겟이 설정된 후 자동 PTZ 추적 모드가 시작되면, 우선 카메라의 팬/틸트를 제어하여 타겟의 중심이 영상의 중심에 오도록 만들어야 하는데, 현재 영상에서 타겟의 중심을

라고 하고, 영상의 중심을

라고 하면, 팬 회전각

와 틸트 회전각

는 수학식 4와 같이 주어진다.

수학식 4에서

는 카메라의 현재 줌 배율에서의 초점거리(Focal Length) 값을 나타낸다. 각각의 줌 배율 값에 대응하는 초점거리 값은 미리 주어져 있다고 가정한다.

수학식 4를 통하여 구한 팬/틸트 회전각을 그대로 사용할 경우, 실제로 카메라가 이동 명령을 받아서 이동을 완료하기까지 걸리는 평균 시간을

라고 하면,

동안 타겟도 계속 이동하기 때문에 카메라의 이동이 완료된 후에 타겟의 중심 위치와 영상의 중심 위치가 일치하지 않게 된다. 이러한 문제점을 해결하기 위하여 광역 감시 시스템(100)은 단계(S504) 및 단계(S505)를 수행한다.

단계(S504)에서 광역 감시 시스템(100)은 PTZ 카메라(101)가 이동하기 전에 초기 지정된 시간, 예를 들어, 1초 이내에 도 7의 방법에 의해 타겟을 추적하여 영 상에서 타겟의 이동 속도를 추정한다.

추정된 타겟의 이동 속도를

라고 하면,

초 후의 타겟의 위치

는 수학식 5와 같이 주어진다.

단계(S505)에서 광역 감시 시스템(100)은 수학식 5를 통해 구한

를 수학식 4의

대신 대입하여 팬/틸트 회전각을 구한 다음, 단계(S506)으로 진행하여, 팬/틸트 회전각을 이용하여 PTZ 카메라를 이동시킨다.

초의 시간이 지나서 PTZ 카메라의 이동이 완료되면, 이후부터는 단계(S507) 내지 단계(S513)을 반복적으로 수행하면서 타겟의 PTZ 추적을 수행한다.

단계(S507)에서 광역 감시 시스템(100)은 PTZ 카메라(101)로부터 수신한 영상 신호로부터 새로운 비디오 프레임을 취득한 다음, 단계(S508)로 진행하여, 입력 영상의 탐색 영역 내에서 타겟 모델과의 매칭을 통해 타겟의 정확한 위치를 찾아낸다.

타겟 모델은 타겟의 특징(Feature)을 인코딩(Encoding)한 결과이며, 대표적으로 타겟의 컬러 히스토그램(Color Histogram)이나 템플릿 영상(Template Image) 등이 사용된다. 타겟의 컬러 히스토그램과 결합하여 입력 영상에서 타겟의 위치를 추적하는 대표적인 방법으로는 MeanShift Tracking, CAMShift Tracking, Particle Filtering에 의한 방법 등이 있다. 타겟의 템플릿 영상을 이용하는 경우에는 Template Matching 방법을 통해 타겟의 위치를 찾아낸다. 탐색 영역의 경우, 이전 프레임에서의 타겟의 위치를 중심으로 일정 범위 내의 영역이 탐색 영역으로 설정되며, 최초에는 영상의 중심을 기준으로 설정된다.

단계(S509)에서 광역 감시 시스템(100)은 입력 영상에서 타겟의 위치가 찾아졌는지를 판단하여, 타겟의 위치를 찾지 못한 경우에는 자동 PTZ 추적 모드를 종료한다. 타겟의 위치를 찾는데 실패하는 경우는 보통 타겟의 일부 또는 전부가 다른 물체에 가려져서 매칭 위치에서 타겟 모델과의 매칭 스코어 값이 일정 값보다 작아지는 경우이다.

반면에, 단계(S509)에서의 판단 결과, 입력 영상에서 타겟의 위치가 찾아진 경우에는 단계(S510)으로 진행하여, 입력 영상에서 얻은 새로운 정보를 이용하여 타겟 모델을 업데이트한다. 타겟 모델의 업데이트는 타겟의 추적 시 점차적으로 변화하는 타겟의 모습에 적응하기 위해 필요하다.

단계(S511)에서 광역 감시 시스템(100)은 이전 프레임과 현재 프레임에서의 타겟의 위치로부터 얻은 타겟의 이동 방향 및 이동 거리에 기초하여, 타겟을 영상의 중심으로 옮기기 위한 팬/틸트 회전 방향 및 회전 속도를 계산한 다음, 단계(S512)로 진행하여, 타겟의 줌인(Zoom-In)을 위한 PTZ 카메라의 줌 배율을 계산 한다. 예를 들어, 현재 영상에서 타겟의 바운딩 박스의 높이를

, 영상의 높이는

, 현재 줌 배율을

라고 하고, 줌인 후에 타겟의 바운딩 박스의 높이가

이 되도록 하려면 새로운 줌 배율

은 수학식 6에 의해 주어진다.

단계(S513)에서 광역 감시 시스템(100)은 계산된 팬/틸트 회전 방향/속도 및 줌 배율 값을 이용하여 PTZ 카메라를 이동시킨 다음, 단계(S514)로 진행하여, 종료 명령이 수신되면 자동 PTZ 추적 모드를 종료하고, 그렇지 않으면 단계(S507) 내지 단계(S513)를 반복하여 수행한다.

도 9는 도 8에서 제시한 방법에 따른 자동 PTZ 추적의 일 예이다.

도 9의 (301)에 표시된 사각형은 사용자가 지정한 이벤트 감지 영역으로, 이동체의 침입 이벤트를 감지하도록 설정되어 있다. 도 9의 (302)에서와 같이 이동체가 이벤트 감지 영역 내로 진입하면 침입 이벤트를 감지하고, 도 9의 (303)과 같이 침입한 물체를 PTZ 추적 타겟으로 설정한다. 일정 시간 동안 타겟을 추적하여 타겟의 이동 속도를 측정한 후, 도 9의 (304)와 같이 PTZ 카메라를 이동시켜 타겟의 중심이 영상의 중심에 오도록 만든다. 이후에는 도 8의 단계(S508) 내지 단계(S513) 을 반복 수행하여 도 9의 (305) 및 (306)과 같이 타겟의 PTZ 추적을 수행한다.

도 10은 본 발명의 일 실시예에 따른 PTZ 카메라의 연속 스캔에 의한 자동화된 광역 감시 방법의 개념도이다. 본 발명의 일 실시예에 따른 연속 스캔에 의한 자동화된 광역 감시 방법은, PTZ 카메라(101)가 주어진 스캔 패스(Path)를 따라 연속으로 이동하면서 전체 감시 지역을 주기적으로 스캔하여 지정된 이벤트를 감지하는 방법이다.

도 11은 본 발명의 일 실시예에 따른 연속 스캔에 의한 이벤트 감지를 위한 이벤트 감지 영역 및 이벤트 감지 규칙의 설정 방법을 설명하는 흐름도이다.

설정 모드가 시작되면 단계(S601)에서 사용자는 전체 스캔 영역, 즉, 전체 감시 지역을 커버하도록 PTZ 카메라(101)의 팬/틸트 각의 범위, 즉, 시작 및 종료 각을 설정한다.

단계(S602)에서 사용자는 스캔 시의 카메라의 줌 배율, 회전 속도, 비디오 프레임의 샘플링 주기를 설정한다. 이때, 스캔 시 획득되는 인접하는 비디오 프레임 사이의 겹치는 영역이 적은 경우에 영상 정합(Image Registration) 시 오류가 발생할 수 있으므로, 실제 스캔 시 인접하는 비디오 프레임 사이의 겹치는 영역이 약 70% 이상 되도록 상기 파라미터 값들을 설정하는 것이 바람직하다.

스캔에 필요한 각종 파라미터 값들의 설정이 완료되면, 단계(S603)에서 광역 감시 시스템(100)은 PTZ 카메라(101)가 스캔 시에 이동하는 스캔 패스(Path)를 생성한다. 도 10은 이와 같은 스캔 패스의 일 예이며, 점선 화살표로 표시된 것이 스캔 패스이다.

단계(S604)에서 광역 감시 시스템(100)은 스캔 패스를 따라 움직이도록 PTZ 카메라(101)를 제어하여 비디오 프레임을 획득하고, 영상 정합을 통해 전체 스캔 영역을 한 장의 영상으로 표현하는 파노라마 영상을 생성한다.

단계(S605)에서 사용자는 생성된 파노라마 영상에서 원하는 감시 구역을 이벤트 감지 영역으로 설정한 후, 단계(S606)으로 진행하여, 설정된 이벤트 감지 영역에 대응하는 이벤트 감지 규칙을 설정한다.

원하는 이벤트 감지 영역 및 이벤트 감지 규칙의 설정이 완료되면 설정 모드를 종료한다.

도 12는 본 발명의 일 실시예에 따른 전체 스캔 영역에 대한 파노라마 영상의 생성 방법을 도시한 흐름도이며, 상기 파노라마 영상 생성 방법은 도 11의 단계(S604) 및 도 13의 단계(S801)에서 사용된다.

파노라마 영상 생성 모드가 시작되면, 단계(S701)에서 광역 감시 시스템(100)은 PTZ 카메라(101)를 스캔 시작 위치로 이동시킨 후 PTZ 카메라(101)의 줌 배율을 지정된 값으로 설정한다.

단계(S702)에서 광역 감시 시스템(100)은 새로운 비디오 프레임을 취득한 다음, 단계(S703)으로 진행하여, 이전 프레임과 현재 프레임 사이의 영상 정합(Image Registration)을 수행하여 두 영상 사이의 호모그래피(Homography)를 취득한다.

카메라의 광학 중심(Optical Center)을 고정시킨 채로 카메라를 회전시켜 얻은 두 영상

과

사이에는 수학식 7과 같은 변환 관계가 성립한다.

수학식 7에서

는 3 x 3의 행렬로서 호모그래피라고도 한다.

는 영상

에 속하는 임의의 픽셀 좌표이고,

는

에 대응하는 영상

의 픽셀 좌표로서

과

는 3차원 공간상의 동일한 3D 포인트가 카메라에 투영되어 얻어진 것이다.

는 0이 아닌 임의의 값이다.

행렬

는 상황에 따라 다른 형태로 주어질 수 있는데, 특별한 제약 사항이 없는 경우에 두 영상

과

사이의 변환 관계는 Projective Transformation에 의해 정의될 수 있으며, 이때 행렬

는 수학식 8과 같은 형태로 주어진다.

카메라가 원경을 바라보고 있거나, 카메라의 회전각이 작은 경우에는 두 영상

과

사이의 변환 관계는 Affine Transformation으로 근사화될 수 있으며, 이 때 행렬

는 수학식 9와 같은 형태로 주어진다.

따라서, 두 영상 사이의 변환 관계를 Affine Transformation으로 근사화할 경우, Projective Transformation에 비해 영상 정합시 구해야 할 호모그래피의 파라미터 수가 줄어드는 장점이 있다.

영상 정합(Image Registration)은 두 영상 사이의 픽셀의 대응 관계를 구하는 행위를 의미한다. 두 영상

과

사이의 변환 관계가 Affine Transformation에 의해 정의가 된다면, 수학식 9의 형태로 주어진 행렬

를 구하기 위해 최소 3개 이상의 픽셀의 대응쌍을 알아야 한다.

영상 정합을 수행하는 방식은 크게 두 가지로 나뉠 수 있다. 첫 번째 방법은 두 영상 사이의 겹치는 영역에 속하는 모든 픽셀들에 대하여, 대응되는 픽셀 간의 밝기 차가 최소가 되도록 만드는 행렬

를 찾는 것이다. 즉, 수학식 10과 같이 주어진 Cost Function

를 최소화하는 행렬

를 찾는다.

수학식 10에서

은 두 영상 사이의 겹치는 영역에 존재하는 픽셀 수이다. Cost Function

를 최소화하는 행렬

는 보통 LM(Levenberg-Marquardt) 최소화 방법 등을 통해 구할 수 있다.

두 번째 방법은 두 영상에서 특징점(Feature Point)들을 추출한 다음, 두 영상 사이의 특징점들 간의 매칭을 통해 대응되는 특징점의 쌍들을 최소 3쌍 이상 구한 후, 수학식 7에 대입하여 Least Squres 등의 방법으로 행렬

를 계산한다. 보통 많이 사용되는 특징점으로는 코너 포인트(Corner Point)가 있으며, 특징점 간의 매칭 정도는 특징점을 중심으로 얻은 이미지 패치(Patch) 간의 NCC(Normalized Cross Correlation) 값을 이용하여 측정한다. NCC 값이 클수록 매칭이 잘 되는 것이라고 말할 수 있다. 행렬

를 구할 때 매칭이 잘못된 특징점 쌍이 섞여서 사용될 경우, 정답과의 오차가 커질 수 있다. 이러한 문제점을 해결하기 위해 RANSAC(RANdom SAmple Consensus) 등의 방법을 동원하기도 한다.

도 12로 돌아가, 단계(S704)에서 광역 감시 시스템(100)은 이전 프레임과 현 재 프레임 사이의 호모그래피를 이용하여 생성 중인 파노라마 영상과 현재 프레임 사이의 호모그래피를 계산한다.

이전 프레임의 픽셀 좌표를 파노라마 영상의 픽셀 좌표로 변환하는 호모그래피를 이라고

하고, 현재 프레임의 픽셀 좌표를 이전 프레임의 픽셀 좌표로 변환하는 호모그래피를

라고 하면, 현재 프레임의 픽셀 좌표를 파노라마 영상의 픽셀 좌표로 변환하는 호모그래피

는 수학식 11과 같이 주어진다.

최초의 프레임과 파노라마 영상 사이의 호모그래피는 간단하게 단위 행렬(Identity Matrix)로 설정할 수 있다.

단계(S705)에서 광역 감시 시스템(100)은 현재 프레임을 생성 중인 파노라마 영상에 정렬한다. 즉, 광역 감시 시스템(100)은 수학식 11의 호모그래피

을 이용하여 현재 프레임을 워핑(Warping)하여 생성 중인 파노라마 영상에 정렬한 후, 두 영상 사이의 겹치는 부분에 대해 이미지 블랜딩(Image Blending)을 수행하여 현재 프레임을 생성 중인 파노라마 영상에 붙인다. 가장 간단한 이미지 블랜딩 방법은 대응되는 픽셀 간의 밝기의 평균값을 결과 값으로 사용하는 것이다.

단계(S706)에서 광역 감시 시스템(100)은 스캔이 완료되었는지를 판단하여, 스캔이 완료된 경우에는 파노라마 영상의 생성 모드를 종료하는 반면에, 스캔이 완료되지 않은 경우에는 단계(S707)로 진행하여, 스캔 패스를 따라 PTZ 카메라(101)를 이동시킨면서 단계(S702) 내지 단계(S705)의 단계를 반복 수행하여 전체 스캔 영역에 대한 파노라마 영상을 완성한다.

도 13은 본 발명의 일 실시예에 따른 연속 스캔에 의한 자동화된 광역 감시 방법을 설명하기 위한 흐름도이다.

자동 감시 모드가 시작되면, 단계(S801)에서 광역 감시 시스템(100)은 전체 스캔 영역에 대한 초기 파노라마 배경 모델 및 영상을 생성한다. 파노라마 배경 모델은 도 6에서 이동체 감지를 위해 사용되는 배경 모델과 동일한 역할을 한다.

단계(S802)에서 광역 감시 시스템(100)은 스캔 시작 위치로 PTZ 카메라(101)를 이동시킨 다음, 단계(S803)으로 진행하여, PTZ 카메라(101)를 스캔 패스를 따라 지정된 속도로 이동시키킨다.

단계(S804)에서 광역 감시 시스템(100)은 PTZ 카메라(101)로부터 수신한 영상 신호로부터 새로운 비디오 프레임을 취득한 다음, 단계(S805)로 진행하여, 파노라마 배경 영상과 입력 영상 사이의 영상 정합을 수행하여 파노라마 배경 영상과 입력 영상 사이의 호모그래피를 취득한다.

단계(S806)에서 광역 감시 시스템(100)은 취득한 호모그래피를 통해 입력 영상을 워핑하여 배경 파노라마 영상에 정렬시킨 후, 정합 영역에 대하여 배경 파노라마 모델과 입력 영상 사이의 차를 이용하여 모션 블럽을 추출한다.

단계(S807)에서 광역 감시 시스템(100)은 정합 영역에 대하여 워핑된 입력 영상을 이용하여 파노라마 배경 모델/영상을 업데이트한 다음, 단계(S808)로 진행하여, 추출된 모션 블럽 및 입력 영상 정보를 이용하여 이동 물체의 추적을 수행한다. 이때, 이동 물체가 스캔 중인 PTZ 카메라(101)의 시야에서 벗어나면 더 이상의 추적을 할 수 없으므로, PTZ 카메라(101)가 이동 중에 이루어지는 이동체 추적은 보통 짧은 시간에만 이루어지며, 추적 결과는 추적 대상이 의미 있는 움직임을 갖는 물체인지 또는 노이즈에 해당하는 물체인지를 판단하는 용도로 주로 활용된다.

단계(S809)에서 광역 감시 시스템(100)은 스캔 도중 의미 있는 이동체가 감지된 경우 PTZ 카메라(101)의 이동을 잠시 멈추고 이동체를 보다 오랫동안 추적 및 관찰하여 이동체의 추적 결과로부터 이벤트를 감지한다. 광역 감시 시스템(100)은 단계(S809)를 통해 보다 복잡한 이벤트를 안정적으로 감지할 수 있다.

단계(S810)에서 광역 감시 시스템(100)은 이동체 추적 결과를 이용하여 지정된 이벤트를 감지한 다음, 단계(S811)로 진행하여, 이벤트 발생 여부를 판단한다.

단계(S811)에서의 판단 결과, 이벤트가 감지된 경우에는 단계(S812)로 진행하여, 감지된 이벤트를 제어/모니터링 터미널(140)에 통보한 다음, 단계(S813)으로 진행하여, 이벤트를 발생시킨 물체의 자동 PTZ 추적을 수행한다.

반면에, 단계(S811)에서의 판단 결과, 이벤트가 감지되지 않은 경우에는 사용자로부터 감시 모드의 종료 명령이 수신되었는지를 판단하여, 감시 모드의 종료 명령이 수신된 경우에는 감시 모드를 종료하는 반면에, 감시 모드의 종료 명령이 수신되지 않은 경우에는 단계(S803)으로 복귀한다.

본 발명의 일 실시예에 따른 광역 감시 시스템 또는 광역 감시 방법은 컴퓨 터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

도 3은 본 발명의 일 실시예에 따른 PTZ 카메라의 프리셋 투어링에 의한 자동화된 광역 감시 방법의 개념도이다.

도 4는 본 발명의 일 실시예에 따른 PTZ 카메라의 프리셋 투어링에 의한 자동화된 광역 감시를 위하여 이벤트 감지 영역 및 이벤트 감지 규칙의 설정 방법을 설명하기 위한 흐름도이다.

도 6은 본 발명의 일 실시에에 따른 PTZ 카메라의 프리셋 투어링에 의한 자동화된 광역 감시 방법에서 이벤트 감지 과정을 구체적으로 설명하기 위한 흐름도이다.

도 7은 도 6의 이벤트 감지 과정의 수행 결과를 설명하기 위한 예시 화면이다.

도 9는 도 8의 이동 물체의 자동 PTZ 추적 과정을 설명하기 위한 예시 화면 이다.

도 10은 본 발명의 일 실시예에 따른 PTZ 카메라의 연속 스캔에 의한 자동화된 광역 감시 방법의 개념도이다.

도 11은 본 발명의 일 실시예에 따른 PTZ 카메라의 연속 스캔에 의한 이벤트 감지 영역 및 이벤트 감지 규칙의 설정 방법을 설명하기 위한 흐름도이다.

도 12는 본 발명의 일 실시예에 따른 전체 스캔 영역에 대한 파노라마 영상의 생성 방법을 설명하기 위한 흐름도이다.

도 13은 본 발명의 일 실시예에 따른 PTZ 카메라의 연속 스캔에 의한 자동화된 광역 감시 방법을 설명하기 위한 흐름도이다.

Claims

PTZ 카메라를 이용한 프리셋 방식의 자동화된 광역 감시 방법에 있어서,

상기 PTZ 카메라를 이용한 감시 구역에 대하여 이벤트 감지 영역 및 상기 이벤트 감지 영역에 대한 이벤트 감지 규칙을 설정하는 단계,

상기 PTZ 카메라로부터 수신한 영상을 분석하여 상기 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계 및

상기 PTZ 카메라를 자동으로 제어하여 상기 이벤트를 발생시킨 이동 물체를 자동으로 PTZ 추적하는 단계를 포함하되,

상기 이벤트의 감지는 상기 이동 물체의 현재 위치, 이동 궤적, 크기, 형태, 이동 속도 중 적어도 하나와 상기 이벤트 감지 영역 및 이벤트 감지 규칙에 기초하는 것인 광역 감시 방법.
제 1 항에 있어서,

상기 이벤트 감지 영역 및 이벤트 감지 규칙의 설정 단계는,

상기 감시 구역이 상기 PTZ 카메라에 의해 촬영되도록 상기 PTZ 카메라의 위치를 이동시키는 단계,

상기 이동된 PTZ 카메라의 위치를 프리셋 리스트에 등록하는 단계,

상기 이동된 위치에서 상기 PTZ 카메라에 의해 입력되는 영상에서 1 이상의 이벤트 감지 영역을 설정하는 단계 및

상기 설정된 이벤트 감지 영역에 대한 이벤트 감지 규칙을 설정하는 단계를 포함하는 것인 광역 감시 방법.
제 1 항에 있어서,

상기 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계는,

상기 프리셋 리스트에 등록된 제 1 프리셋 위치로 이동하도록 상기 PTZ 카메라를 제어하는 단계,

제 1 프리셋 위치에서 상기 PTZ 카메라로부터 수신한 영상을 분석하여 상기 제 1 프리셋 위치에서 설정된 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계,

상기 미리 정해진 시간 동안 상기 제 1 프리셋 위치에서 이벤트가 감지되지 않는 경우, 상기 프리셋 리스트에 등록된 제 2 프리셋 위치로 이동하도록 상기 PTZ 카메라를 제어하는 단계를 포함하는 것인 광역 감시 방법.
제 1 항에 있어서,

상기 PTZ 카메라를 자동으로 제어하여 상기 이벤트를 발생시킨 이동 물체를 자동으로 PTZ 추적하는 단계는,

상기 PTZ 카메라로부터 수신한 입력 영상에서 상기 이동 물체의 이동 속도를 계산하는 단계,

상기 계산된 이동 물체의 이동 속도 및 상기 입력 영상에서 이동 물체의 현재 위치에 기초하여, 상기 PTZ 카메라의 팬/틸트 회전각을 계산하는 단계,

상기 계산된 팬/틸트 회전각에 기초하여, 상기 PTZ 카메라의 위치를 이동시키는 단계,

상기 이동된 PTZ 카메라의 위치에서 상기 PTZ 카메라의 영상을 수신하는 단계,

상기 수신된 입력 영상에서 상기 이동 물체의 위치를 계산하는 단계 및

상기 계산된 이동 물체의 위치에 기초하여, 상기 PTZ 카메라의 위치를 이동시키는 단계를 포함하는 광역 감시 방법.
PTZ 카메라를 이용한 연속 스캔 방식의 자동화된 광역 감시 방법에 있어서,

상기 PTZ 카메라를 이용한 감시 구역에 대하여 이벤트 감지 영역 및 상기 이벤트 감지 영역에 대한 이벤트 감지 규칙을 설정하는 단계,

상기 PTZ 카메라로부터 수신한 영상을 분석하여 상기 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계 및

상기 PTZ 카메라를 자동으로 제어하여 상기 이벤트를 발생시킨 이동 물체를 자동으로 PTZ 추적하는 단계를 포함하되,

상기 이벤트의 감지는 상기 이동 물체의 현재 위치, 이동 궤적, 크기, 형태, 이동 속도 중 적어도 하나와 상기 이벤트 감지 영역 및 이벤트 감지 규칙에 기초하는 것인 광역 감시 방법.
제 5 항에 있어서,

상기 이벤트 감지 영역 및 이벤트 감지 규칙의 설정 단계는,

상기 감시 구역에 대한 전체 영역의 스캔이 가능하도록 상기 PTZ 카메라의 설정 정보를 입력받는 단계,

상기 감시 구역에 대한 전체 영역의 스캔 시에 상기 PTZ 카메라의 이동을 안내하기 위한 스캔 패스(Scan Path)를 생성하는 단계,

상기 스캔 패스를 따라 이동하는 상기 PTZ 카메라로부터 일정 간격으로 영상을 획득하는 단계,

상기 일정 간격으로 획득한 영상들을 순차적으로 정합하여 상기 감시 구역에 대한 파노라마 영상을 생성하는 단계 및

상기 생성된 파노라마 영상에서 이벤트 감지 영역 및 상기 이벤트 감지 영역에 대한 이벤트 감지 규칙을 설정하는 단계를 포함하는 광역 감시 방법.
삭제
제 5 항에 있어서,

상기 이벤트 감지 영역에서 발생하는 이벤트를 감지하는 단계는,

상기 스캔 패스를 따라 이동하는 상기 PTZ 카메라로부터 수신한 입력 영상과 상기 파노라마 영상을 이용하여, 상기 이동 물체의 움직임을 감지하고 추적하는 단계 및

상기 이동 물체의 감지 및 추적 결과에 기초하여, 상기 이벤트의 발생 여부를 판단하는 단계를 포함하는 광역 감시 방법.
삭제
삭제
삭제
PTZ 카메라를 이용한 자동화된 광역 감시 시스템에 있어서,

상기 PTZ 카메라로부터 수신한 감시 구역의 입력 영상을 분석하여 지정된 이벤트를 감지하는 영상 분석기 및

상기 영상 분석기로부터 수신한 상기 입력 영상 및 이벤트 감지 정보를 화면 상에 출력하는 제어/모니터링 단말기를 포함하되,

상기 영상 분석기는, 상기 감지한 이벤트에 기초하여 상기 이벤트를 발생시킨 이동 물체를 자동 추적하기 위해 상기 PTZ 카메라를 제어하고, 상기 이벤트의 감지는 상기 이동 물체의 현재 위치, 이동 궤적, 크기, 형태, 이동 속도 중 적어도 하나와 상기 이벤트 감지 영역 및 이벤트 감지 규칙에 기초하는 것인 광역 감시 방법.
제 12 항에 있어서,

상기 영상 분석기는, 상기 제어/모니터링 단말기로부터 수신한 상기 PTZ 카메라의 설정 정보 및 제어 데이터에 기초하여, 상기 PTZ 카메라를 제어하기 위한 제어 신호를 상기 PTZ 카메라로 전송하는 것인 광역 감시 방법.