KR101423873B1 - 영상감시 통합관제 시스템 및 이를 이용한 폭행상황 감지방법 - Google Patents

Abstract

본 발명은 영상감시 통합관제 시스템 및 이를 이용한 폭행상황 감지방법에 관한 것이다.
본 발명의 영상감시 통합관제 시스템은 감시구역 내에 설치되어 감시구역의 영상을 촬영하는 카메라와; 상기 카메라에서 획득한 영상으로부터 객체를 추출한 다음 추출된 객체의 크기, 움직이는 좌표, 진입점 중 적어도 하나를 분석하여 객체 정보를 생성하고, 생성된 객체 정보를 클라이언트 모듈로 전송하는 객체생성 모듈과; 상기 객체생성 모듈로부터 전송되는 데이터를 수신하여 데이터베이스에 저장하는 영상정보저장 모듈과; 상기 객체생성 모듈로부터 수신한 상기 객체 정보를 바탕으로 미리 작성해 놓은 폭행 시나리오대로 객체들이 움직이면 폭행상황이 발생한 것으로 판단하여 경보를 발생시키는 시나리오별 이벤트 모듈; 및 상기 객체생성 모듈로부터 상기 객체 정보를 수신하여 화면상에 디스플레이하며, 상기 시나리오별 이벤트 모듈에서 발신한 경보를 수신하여 이를 출력하는 모니터링 모듈을 포함하는 것을 특징으로 한다.

Description

영상감시 통합관제 시스템 및 이를 이용한 폭행상황 감지방법{INTEGRATED MANAGEMENT SYSTEM WITH IMAGE MONITORING SYSTEM AND METHOD FOR DETECTING VILOENT EVENTS USING THE SMAE}

본 발명은 영상감시 통합관제 시스템 및 이를 이용한 폭행상황 감지방법에 관한 것이다.

최근 들어 각종 강력 범죄해결에 대한 단서로 CCTV(CCTV: closed-circuit television, 폐쇄 회로 텔레비전, 이하 'CCTV'라 함)의 기능을 매우 유용하게 활용하면서 공공기관과 민간의 구분 없이 그 도입과 활용이 증가하고 있다. 특히 공공기관에서는 CCTV가 범죄 예방 및 해결에 결정적인 역할을 하는 긍정적인 면을 적극적으로 활용하기 위해 범죄뿐만 아니라 교통질서 유지, 소방, 시설물 관리, 사회질서 유지 등 다양한 공익 목적으로 CCTV를 도입해 운영하고 있다.

이런 현황을 반영하듯 지금까지 공공목적의 CCTV는 ‘07년 99,957대, ’08년 157,245대, ‘09년 241,367대, ’10년 309,227대의 규모로 연평균 45.7%의 비율로 증가하고 있다. 정부는 기관마다 관리하고 있던 CCTV를 한 곳에서 통합 관리하는 통합관제센터를 구축해서 운영하기로 하고, 통합관제센터의 운영을 통해 다양한 목적으로 설치된 CCTV 관제기능을 하나로 통합·연계하여 각종 범죄예방과 치안유지, 생활안전 업무 등에 필요한 모든 상황조치를 합동으로 대응할 수 있게 된다.

기관마다 업무별, 용도별로 따로 운영하던 CCTV를 통합관제센터 한곳에서 통합관리 하게 되면서, 그만큼 CCTV와 영상자원이 증가하게 되었다. 이런 영상들을 관리하고 관제하기 위해서 다수의 모니터 전문 요원이 필요하지만, 여러 가지의 복합적인 문제로 인해 다수 인원을 운영하기에는 쉽지 않은 상황이다.

종래의 운영 중인 통합관제센터의 상황을 살펴보면 대게 한 명의 모니터 요원이 3~4대의 모니터를 통해 40여 대의 CCTV를 관리하고 있다. 조사결과에 따르면 모니터 요원이 2대 이상의 모니터를 동시에 감시하게 되면 12분 경과시 위반사항 45%를 눈치채지 못하며, 22분 경과시 95%를 놓치게 된다고 한다. 결론적으로 한정된 인력으로 다수의 모니터를 관제하는 것은 한계가 있고 특정 사건 발생 시에도 실시간 대처 능력이 현저하게 떨어지는 문제점이 있다.

따라서, 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 일반적인 목적은 종래 기술에서의 한계와 단점에 의해 발생되는 다양한 문제점을 실질적으로 보완할 수 있는 영상감시 통합관제 시스템 및 이를 이용한 폭행상황 감지방법을 제공하는 것이다.

본 발명의 보다 구체적인 다른 목적은, 관리자의 모니터링에 의존하지 않고, 감시구역 내의 CCTV 영상을 분석하여 폭행상황을 실시간으로 자동으로 감지하고, 관리자에게 폭행상황 발생을 인지시켜 줄 수 있는 영상감시 통합관제 시스템 및 이를 이용한 폭행상황 감지방법을 제공하는 것이다.

이를 위해 본 발명의 일 실시예에 따른 영상감시를 이용한 통합관제 시스템은, 감시구역 내에 설치되어 감시구역의 영상을 촬영하는 카메라와; 상기 카메라에서 획득한 영상으로부터 객체를 추출한 다음 추출된 객체의 크기, 움직이는 좌표, 진입점 중 적어도 하나를 분석하여 객체 정보를 생성하고, 생성된 객체 정보를 클라이언트 모듈로 전송하는 객체생성 모듈과; 상기 객체생성 모듈로부터 전송되는 데이터를 수신하여 데이터베이스에 저장하는 영상정보저장 모듈과; 상기 객체생성 모듈로부터 수신한 상기 객체 정보를 바탕으로 미리 작성해 놓은 폭행 시나리오대로 객체들이 움직이면 폭행상황이 발생한 것으로 판단하여 경보를 발생시키는 시나리오별 이벤트 모듈; 및 상기 객체생성 모듈로부터 상기 객체 정보를 수신하여 화면상에 디스플레이하며, 상기 시나리오별 이벤트 모듈에서 발신한 경보를 수신하여 이를 출력하는 모니터링 모듈을 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에서, 상기 객체생성 모듈은 화면에 나타나는 모든 객체에 대해 일반객체와 공격객체로 분류하고, 객체를 일정 패턴으로 움직일 수 있도록 하며, 화면에서 벗어난 객체를 삭제하는 객체 모듈; 및 서버를 실행하여 클라이언트 모듈들이 접속할 수 있도록 하며, 접속된 상기 클라이언트 모듈로 객체 정보를 전송하는 영상객체정보 송신 모듈을 포함할 수 있다.

본 발명의 일 실시예에서, 상기 시나리오별 이벤트 모듈은 상기 객체생성 모듈로부터 수신한 상기 객체 정보에서, 서로 만난 적어도 2 개의 객체들 중에서 배회 시간과 멈춰있는 시간이 기 설정된 일정시간 이상이 되어 감지된 상태이고 상기 객체들 중에서 하나의 객체는 움직임이 없고, 나머지 객체는 화면에서 사라지게 되면 폭행상황이 발생한 것으로 판단할 수 있다.

본 발명의 일 실시예에서, 상기 시나리오별 이벤트 모듈은 상기 폭행 시나리오를 감지하는 폭행 시나리오 모듈을 포함하며, 상기 폭행 시나리오 모듈은 화면에 들어와서 기 설정된 배회 제한 시간 이상 포착되었을 때 해당 객체를 감지하는 배회 객체 감지 모듈과, 화면에 들어와서 설정된 객체가 멈춰있을 때 제한 시간 이상 멈춰있는 객체를 감지하는 정지객체감지 모듈과, 적어도 2 개의 객체가 서로 만난 횟수를 확인하여 설정된 객체 간 만난 제한 횟수를 초과한 객체들을 감지하는 서로 만남 감지 모듈 및 초기, 지속 조건을 만족하여 피해 객체가 발생했을 때 이를 감지하는 폭행피해객체감지 모듈을 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 폭행상황 감지방법은, 감시구역을 촬영한 카메라에서 획득한 영상으로부터 객체를 추출한 다음 추출된 객체의 크기, 움직이는 좌표, 진입점 중 적어도 하나를 분석하여 객체 정보를 생성하는 과정과; 상기 객체 정보에서 서로 만난 적어도 2 개의 객체들 중에서 배회 시간과 멈춰있는 시간이 일정시간 이상이 되어 감지된 상태이고 이들 객체 중에서 하나의 객체는 움직임이 없고, 나머지 객체는 화면에서 사라지는 경우 폭행상황으로 판단하는 과정; 및 상기 폭행상황으로 판단되는 경우, 관리자가 상기 감시구역을 확인하도록 경보를 출력하는 과정을 포함하는 것을 특징으로 한다.

본 발명에 따른 영상감시 통합관제 시스템 및 이를 이용한 폭행상황 감지방법에 의하면, 관리자의 모니터링에 의존하지 않고, 감시구역 내의 CCTV 영상을 분석하여 폭행상황을 실시간으로 자동으로 감지하고, 관리자에게 폭행상황 발생을 인지시켜 줌으로써 인력위주의 CCTV 모니터링 한계를 보완하여 상황 발생 시 빠른 대처가 가능하고, 관리 인력 감소로 운영비를 절감할 수 있다.

또한, 본 발명에 의하면 폭행상황뿐만 아니라 다른 복합적인 특정 상황들에 대한 시나리오를 작성 및 감지방법에 활용 가능하다.

도 1은 본 발명의 일 실시예에 따른 영상감시 통합관제 시스템의 구성을 나타낸 도면이다.
도 2는 도 1의 객체생성 모듈의 구성예를 나타낸 도면이다.
도 3은 도 1의 객체생성 모듈의 유저인터페이스 구성예 및 그의 동작 흐름을 나타낸 것이다.
도 4는 도 1의 영상정보저장 모듈의 구성예를 나타낸 도면이다.
도 5는 도 1의 데이터베이스 구성을 나타낸 도면이다.
도 6은 도 1의 시나리오별 이벤트 모듈의 구성예를 나타낸 도면이다.
도 7은 도 1의 시나리오별 이벤트 모듈의 유저인터페이스 구성예 및 그의 동작 흐름을 나타낸 것이다.
도 8은 도 1의 모니터링 모듈의 구성예를 나타낸 도면이다.
도 9는 도 1의 모니터링 모듈의 유저인터페이스 구성예 및 그의 동작 흐름을 나타낸 것이다.
도 10은 본 발명의 일 실시예에 따른 폭행상황에 대한 상황코드를 나타낸 것이다.
도 11은 본 발명의 다른 실시예에 따른 폭행상황에 대한 상황코드를 나타낸 것이다.
도 12는 본 발명의 일 실시예에 따른 폭행상황 감지과정을 설명하기 위한 도면이다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세히 설명하면 다음과 같다.

본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 영상감시 통합관제 시스템의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 실시예에 따른 영상감시 통합관제 시스템은 CCTV 카메라(100)와, 객체생성 모듈(200)과, 영상정보저장 모듈(300)과, 시나리오별 이벤트 모듈(400) 및 모니터링 모듈(500)을 포함하며, 상기 영상정보저장 모듈(300)은 데이터베이스(350)를 구비하고 있다.

상기 CCTV 카메라(100)는 적어도 둘 이상 복수 개 구비되며, 복수의 감시구역 내에 설치되어 감시구역의 영상을 촬영한다. 이때, CCTV 카메라(100)는 아날로그 방식 또는 디지털 방식의 CCTV 카메라일 수 있다.

상기 객체생성 모듈(200)은 CCTV 카메라에서 획득한 영상으로부터 객체를 추출한 다음 추출된 객체의 크기, 움직이는 좌표, 진입점 등을 분석하여 객체 정보를 생성하고, 생성된 객체 정보를 다른 모듈로 전송하는 역할을 한다. 여기서, 생성되는 객체 정보로는 일반 객체와 공격 객체가 될 수 있다. 일반 객체는 화면상에 등장하여 일정 패턴으로 움직이다가 화면상에서 사라지거나 공격 객체에 의해 공격을 받은 후 이동을 멈추게 된다. 공격 객체는 화면상에 등장하여 일반 객체 중 하나를 타겟으로 설정하고 공격하여 폭행상황을 발생시키는 객체로 공격 후 화면상에서 사라지게 된다.

상기 영상정보저장 모듈(300)은 객체생성 모듈(200)에 접속하는 클라이언트 중 하나로서, 객체생성 모듈(200)로부터 전송되는 데이터를 수신하여 화면에 출력함과 동시에 데이터베이스에 연결하여 SQL 쿼리문을 사용하여 데이터베이스(350)에 저장, 검색, 삭제하는 기능을 수행한다.

상기 시나리오별 이벤트 모듈(400)은 객체생성 모듈(200)로부터 수신한 객체 정보를 바탕으로 미리 작성해 놓은 시나리오대로 객체들이 움직이면 폭행상황이 발생한 것으로 판단하여 경보를 발생시키는 모듈이다.

상기 모니터링 모듈(500)은 객체생성 모듈(200)로부터 실시간으로 객체정보를 수신하여 이를 화면상에 디스플레이하며, 시나리오별 이벤트 모듈에서 발신한 경보를 수신하여 이를 출력할 수 있다. 모니터링 모듈(500)은 실제 모니터 요원이 관리하는 디스플레이 화면으로 CCTV 영상뿐만 아니라 경보 발생시 경보에 대한 내용을 한눈에 파악하여 신속한 후속조치를 취할 수 있도록 해주는 장치로서, 날짜, 시간별로 데이터베이스에 조회하여 이전 영상객체정보를 화면에 재생할 수도 있다.

도 2 내지 도 9는 도 1의 영상감시 통합관제 시스템의 세부 구성을 나타낸 도면으로 이를 통해 본 실시예의 구성 및 동작을 자세히 살펴보면 다음과 같다.

먼저, 도 2는 객체생성 모듈의 구성을 나타낸 것으로, 객체생성 모듈(200)은 객체 모듈(210), 송신 모듈(220) 및 수신 모듈(230)을 포함한다.

상기 객체 모듈(210)은 화면에 나타나는 모든 객체에 대한 모듈로서, 하위 모듈로 객체분류 모듈(211) 및 객체관리 모듈(212)을 포함한다. 여기서, 객체분류 모듈(211)은 일반객체 및 공격객체를 생성 및 분류하며, 객체관리 모듈(212)은 객체를 일정 패턴으로 움직일 수 있도록 하는 객체이동 및 화면에서 벗어난 객체를 찾아서 삭제하는 객체삭제 기능을 수행한다.

상기 송신 모듈(220)은 영상객체정보를 전송하는 모듈로서, 하위 모듈로 서버를 실행하여 클라이언트들이 접속할 수 있도록 하는 클라이언트 연결 대기 모듈(221)과 접속된 클라이언트에게 영상객체정보를 전송하는 영상객체정보 송신 모듈(222)을 포함한다.

상기 수신 모듈(230)은 연결확인 모듈(231)을 포함하며, 접속된 클라이언트들이 보내온 연결 확인 메시지를 수신하는 기능을 수행한다.

도 3은 도 1의 객체생성 모듈의 유저인터페이스 구성 및 동작 흐름을 나타낸 것이다.

도 3을 참조하면, 객체생성 모듈은 등장 객체 수를 설정하는 등장객체 수 설정(201), 설정된 등장 객체 수만큼 일반객체를 생성하여 화면에 등장시킨 후 일정 패턴으로 객체를 이동시킨 후 화면의 끝에 도착하면 객체를 사라지게 하는 Start(202), 화면상의 한 장면을 한 프레임으로 정의하고 한 프레임에 대한 시간과 포함되는 객체정보를 출력하여 현재 화면 상태를 보여주는 객체정보출력(203), 객체생성 모듈을 서버로 실행시켜 다른 모듈이 클라이언트로 접속할 수 있게 해주는 서버실행(204), 공격유형선택(205), 선택된 공격유형에 따라 공격객체가 생성되어 일반객체를 공격하여 상황을 발생시키는 공격시작(206), 공격당한 상황을 해제하여 공격객체와 피해객체를 모두 이동시켜 화면에서 사라지게 하는 공격종료(207), 화면에 등장한 모든 객체를 사라지게 하는 Stop(208), 접속된 모든 클라이언트의 연결을 종료한 후 객체생성 모듈 서버도 종료시키는 서버종료(209) 인터페이스로 구성될 있다.

동작 흐름을 살펴보면, 먼저 등장객체 수를 설정(201)하고 Start(202) 버튼을 실행시키면 화면에 객체와 객체정보가 출력(203)되고, 서버를 실행(204)시키면서 클라이언트의 접속을 기다린다. 클라이언트들과 연결이 성공하면 상황을 발생시키기 위해 공격유형을 선택(205)한 후 공격시작(206) 버튼을 누른다. 상황을 해제하거나 객체들을 모두 해제하기 위해서 공격종료(207)와 Stop(208) 버튼을 누르고 서버를 종료(209)시키면 객체생성 모듈은 멈추게 된다.

도 4는 도 1의 영상정보저장 모듈의 구성예를 나타낸 것으로, 영상정보저장 모듈(300)은 데이터베이스 모듈(310), 송신 모듈(320) 및 수신 모듈(330)을 포함한다.

상기 데이터베이스 모듈(310)은 데이터베이스(350) 관련 모듈로서, 데이터베이스 서버에 연결하는 데이터베이스 연결 모듈(311), 영상객체정보를 데이터베이스에 저장하는 데이터베이스 추가 모듈(312), 조건에 부합하는 영상객체정보를 데이터베이스에서 검색하는 데이터베이스 검색 모듈(313), 조건에 부합하는 영상객체정보를 데이터베이스에서 삭제하는 데이터베이스 삭제 모듈(314)로 구성된다.

여기서, 영상객체정보는 날짜, 시간대별로 조회하여 다시 확인할 수 있어야하기 때문에 전송받은 모든 영상객체정보는 데이터베이스(350)에 저장을 해둔다.

도 5는 도 1의 데이터베이스 구성을 나타낸 도면으로, 데이터베이스(350)는 프레임인포메이션 테이블(TB_FrameInformation)(351), 오브젝트인포메이션 테이블 (TB_ObjectInformation)(352), 오브젝트어트리뷰트 테이블(TB_ObjectAttribute)(353), 릴레이션프레임오브젝트 테이블(TB_RelationFrameObject)(354)의 4개의 테이블을 포함한다.

상기 프레임인포메이션 테이블(351)은 한 프레임에 대한 기본정보로 고유한 ID를 가지고 날짜, 시간, 크기 등 각종 정보를 저장한다. 프레임인포메이션 테이블의 구조는 표 1과 같다.

TB_FrameInformation

Field	Type	Key	Real Data
frameID	bigint	Primary Key	1
date	date	-	2012-04-18
time	time	-	14:00:35.235
frameWidth	int	-	400
frameHeight	int	-	400
Hour	int	-	14

표 1에서 frameID는 프레임 고유 ID를, data는 프레임에 해당되는 날짜를, time은 프레임에 해당되는 시간을, frameWidth는 프레임 넓이를, frameHeight는 프레임 높이를, Hour는 time 항목 중 시간만을 각각 나타낸다.

상기 오브젝트인포메이션 테이블(352)은 하나의 객체에 대한 정보로 객체 고유 ID와 객체의 진입점을 저장한다. 오브젝트인포메이션 테이블의 구조는 표 2와 같다.

TB_ObjectInformation

Field	Type	Key	Real Data
objectID	bigint	Primary Key	1
enterPotin	nchar(10)	Primary Key	west

표 2에서 objectID는 객체 고유 ID를, enterPoint는 객체가 화면에 등장할 때 진입점을 각각 나타낸다.

상기 오브젝트어트리뷰트 테이블(353)은 프레임에 나타나는 객체에 대한 세부 정보를 저장하는 테이블로 frameID와 objectID 두 개의 필드로 복합키를 설정해서 구분하고 객체에 대한 좌표, 크기 등을 저장한다. 오브젝트어트리뷰트 테이블은 표 3과 같다.

TB_ObjectAttribute

Field	Type	Key	Real Data
frameID	bigint	Primary Key	1
objectID	bigint	Primary Key	12
x	int	-	2
y	int	-	324
width	int	-	20
height	int	-	27

표 3에서 frameID는 프레임 고유 ID를, objectID는 객체 고유 ID를, x는 객체 x 좌표를, y는 객체 y좌표를, width는 객체크기 width를, height는 객체크기 height를 각각 나타낸다.

상기 릴레이션프레임오브젝트 테이블(354)은 frameID와 objectID간의 관계를 저장하기 위한 테이블로 FrameInformation 테이블과 ObjectInformation 테이블의 외부키를 갖는다. 릴레이션프레임오브젝트 테이블은 표 4와 같다.

TB_RelationFrameObject

Field	Type	Key	Real Data
objectID	bigint	Foreign Key	1
frameID	bigint	Foreign Key	12

다시 도 4를 참조하면, 상기 송신 모듈(320)은 객체생성 모듈 서버에 데이터를 전송하는 모듈로서, 하위 모듈로 객체생성모듈 서버에 연결을 요청하는 서버연결요청 모듈(321)과 객체생성모듈 서버에 연결한 후 데이터 전송을 요청하는 데이터전송요청 모듈(322)을 포함한다.

상기 수신 모듈(330)은 객체생성 모듈 서버로부터 데이터를 수신하는 모듈로, 객체생성 모듈 서버로부터 영상객체정보를 수신하는 영상객체정보 수신 모듈(331)을 포함한다.

도 6은 도 1의 시나리오별 이벤트 모듈의 구성을 나타낸 것으로, 시나리오 이벤트 모듈(400)은 폭행시나리오 모듈(410)과, 송신 모듈(420) 및 수신 모듈(430)을 포함한다.

상기 폭행시나리오 모듈(410)은 폭행 시나리오를 감지하는 모듈로서, 화면에 들어와서 설정된 배회 제한 시간 이상 포착되었을 때 해당 객체를 감지하는 배회객체감지 모듈(411), 화면에 들어와서 설정된 객체가 멈춰있을 때 제한 시간 이상 멈춰있는 객체를 감지하는 정지객체감지 모듈(412), 둘 이상의 객체가 서로 만난 횟수를 확인하여 설정된 객체 간 만난 제한 횟수를 초과한 객체들을 감지하는 서로 만남 감지 모듈(413) 및 초기, 지속 조건을 만족하여 최종적으로 피해객체가 발생했을 때 이를 감지하는 폭행피해객체감지 모듈(414)을 포함한다. 여기서, 서로 만남 감지 모듈은 둘 이상의 객체가 서로 만난 시간과 횟수를 각각 감지하는 기능을 수행한다.

상기 송신 모듈(420)은 객체생성 모듈 서버에 연결을 요청하는 서버연결요청 모듈(421), 객체생성 모듈 서버에 연결 후 데이터 전송을 요청하는 데이터전송요청 모듈(422) 및 모니터링 모듈의 접속을 허용한 후 폭행상황 발생시 폭행상황 발생에 대한 경보를 전송하는 경보전송 모듈(423)을 포함한다.

상기 수신 모듈(430)은 객체생성모듈 서버로부터 데이터를 수신하는 모듈로서 객체생성모듈 서버로부터 영상객체정보를 수신하는 영상객체정보수신 모듈(431)을 하위 모듈로 포함할 수 있다.

도 7은 도 1의 시나리오별 이벤트 모듈의 유저인터페이스 구성예 및 그의 동작 흐름을 나타낸 것이다.

도 7을 참조하면, 시나리오별 이벤트 모듈은 서버접속(401), 객체정보출력(402), 경고서버실행(403), Loitering Limit Time 입력란(404a), Object Meet Limit Time 입력란(404b), Object Stop Limit Time 입력란(404c), Object Meet Count 입력란(404d), 폭행 시나리오 감지(405), 객체간의 관계정보 출력(406), 상황감지출력(407), 시나리오 중지(408), 접속종료(409) 등의 유저인터페이스로 구성될 수 있다.

동작 흐름을 살펴보면, 시나리오별 이벤트 모듈에서 객체생성 모듈 서버에 접속(401)하면 영상객체정보를 전송받아 객체정보 출력란에 객체정보를 출력(402)하고, 경고서버를 실행(403)하여 배회 제한 시간(Loitering Limit Time)(404a), 객체간 만났을 때 제한 시간(Object Meet Limit Time)(404b), 객체가 멈춰있을 때 제한 시간(Object Stop Limit Time)(404c), 객체 간 만난 제한 횟수(Object Meet Count)(404d)를 설정한다. 폭행시나리오를 감지(405)하게 되면 설정된 값에 따라 하나의 객체와 다른 객체간의 관계 정보(406)와 폭행 단계별 시나리오에 따른 상황 감지에 대한 내용이 출력(407)된다. 그리고 이렇게 감지된 경보는 경고서버에 접속된 클라이언트에 전송되게 되며, 시나리오 중지(408) 후 서버접속을 종료(409)하면 서비스가 중지된다.

도 8은 도 1의 모니터링 모듈의 구성을 나타낸 것으로, 모니터링 모듈(500)은 재생 모듈(510), 정지 모듈(520), 송신 모듈(530) 및 수신 모듈(540)을 포함한다.

상기 재생 모듈(510)은 영상객체정보를 재생하기 위한 모듈로, 객체생성 모듈 서버로부터 실시간으로 데이터를 받아 재생하는 라이브 모듈(511)과 데이터베이스에 저장된 영상객체정보를 재생하는 이전 재생 모듈(512)을 포함한다. 또한, 라이브 모듈은 서버접속 기능을 수행하고, 이전 재생 모듈은 날짜를 조회하면 해당 날짜에 저장된 영상을 시간대별로 나누어 목록을 보여주며, 특정 시간대를 선택하면 해당 시간대에 대한 영상을 재생하는 기능을 수행한다.

상기 정지 모듈(520)은 모든 재생을 정지하는 모듈이다.

상기 송신 모듈(530)은 다른 모듈로 데이터를 전송하는 모듈로, 객체생성 모듈 서버에 연결을 요청하는 서버연결요청 모듈(531)과, 객체생성 모듈 서버에 연결한 후 데이터 전송을 요청하는 데이터전송요청 모듈(532)과, 데이터베이스에 해당 날짜 및 시간에 대한 영상객체정보를 검색하는 데이터베이스검색 모듈(533)을 포함한다.

상기 수신 모듈(540)은 객체생성 모듈 서버로부터 데이터를 수신하는 모듈로, 영상객체정보를 수신하는 영상객체정보수신 모듈(541)과 시나리오별 이벤트 모듈에서 전송하는 경보를 수신하는 경보수신 모듈(542)을 포함한다.

도 9는 도 1의 모니터링 모듈의 유저인터페이스 구성예 및 그의 동작 흐름을 나타낸 것이다.

도 9를 참조하면, 모니터링 모듈은 시나리오별 이벤트 모듈은 서버 IP 입력, 라이브, 날짜 및 시간 선택, 재생, 정지, 객체정보 출력, 경보 출력 등의 유저인터페이스로 구성될 수 있다.

동작 흐름을 살펴보면, 객체생성 모듈 서버 IP를 입력(501)하고 라이브 버튼(502)을 누르면 서버에 접속하고 영상객체정보를 전송받게 된다. 전송받은 영상객체정보는 화면에 그려서 객체들의 움직임을 표현하고 객체들의 정보는 텍스트 형식으로 출력(503)한다. 또 다른 재생 방식으로 날짜를 선택(504)하면 해당 날짜에 저장된 시간이 나오고, 시간을 선택(505)하고 재생(506)을 누르면 해당 시간에 저장된 영상객체정보를 데이터베이스에서 불러와 재생하게 된다. 그리고 상황이 발생되면 시나리오별 이벤트 모듈에서 전송하는 경보를 출력(507)한다.

한편, 전술한 구성을 갖는 본 발명의 일 실시예에 따른 영상감시 통합관제 시스템을 이용하여 폭행상황을 감지하기 위해서는 폭행상황에 대한 시나리오를 작성하고 그에 따른 상황코드를 작성해야한다.

상황은 크게 단일적 상황과 복합적 상황 2 가지로 나눌 수 있다. 단일적 상황은 판별하기 쉽고 이미 상용화되어 사용되고 있는 상황으로 대표적인 예로는 경계선 침입, 쓰레기 투기 등이 있다. 복합적 상황은 사건이 발생하기까지 다양한 징후 포착이 요구되는 사건들로 판별이 어렵고, 상황 감지에 대한 오경보율이 높으며, 대표적인 예로는 폭행, 유괴 등이 있다.

복합적 상황 중 하나의 사건이 발생하기 위해서는 초기조건, 지속조건 및 종료조건을 모두 만족시켜야 한다. 즉, 시나리오별 이벤트 모듈은 초기조건에 만족한 객체를 감시하다가 해당 객체가 지속조건에도 계속 적합한 상태이고, 최종적으로 종료조건을 만족하면 사건발생을 탐지하여 모니터링 모듈에 경보를 해준다.

복합적 상황 중 예를 들어, 폭행 시나리오를 정의하면 아래 표 5와 같다.

폭행상황 발생 초기.지속.종료 조건

인원	구분		시나리오
일대일	피해자가 인식하는 폭행		초기	두 객체가 화면에 들어옴 두 객체가 서로 가까워짐 두 객체가 서로 만남
			지속	두 객체가 서로 만나 움직이지 않음 두 객체가 일정한 거리를 유지한체 주변을 빠르게 움직임 지속시간 측정
			종료	지속시간이 30초 이상이면 경고 객체가 서로 떨어지는데 한 객체의 움직임이 없을 때 경고
	피해자가 인식하지 못하는 폭행		초기	한 객체는 이미 화면에 들어와 있음 다른 객체가 빠른 속도로 화면에 들어옴 두 객체가 서로 빠르게 가까워짐 빠르게 다가간 객체와 기존의 객체가 서로 만남
			지속	두 객체가 서로 만나 움직이지 않음 두 객체가 일정한 거리를 유지한 채 주변을 빠르게 움직임 지속시간 측정
			종료	지속시간이 30초 이상이면 경고 객체가 서로 떨어지는데 한 객체의 움직임이 없을 때 경고
일대다	초기	두 객체가 화면에 들어옴 두 객체가 서로 가까워짐 두 객체가 서로 만남
	지속	두 객체가 서로 만나 그룹을 만들고 움직이지 않음 다른 객체가 그룹과 만나 그룹에 포함됨 그룹이 일정한 거리를 유지한 채 주변을 빠르게 움직임 지속시간 측정
	종료	지속시간이 30초 이상이면 경고 그룹이 움직이는데 한 객체만 떨어져서 움직임이 없을 때 경고 객체가 서로 떨어지는데 한 객체의 움직임이 없을 때 경고

여기서, 시나리오에 영향을 미칠 수 있는 변수들이 있는데 예를 들어, 카메라 설치 지역(주택가, 번화가, 일반 도로가, 주차장), 도로 유형(삼거리, 사거리, 일직선 거리), 시간대(출근시간, 낮시간, 귀가시간, 심야시간) 등이 있으며 이들 변수를 고려하여 시나리오를 정의하는 것이 바람직하다.

이러한 폭행 시나리오를 표현하기 위해 객체들의 행동을 코드로 정의할 수 있다. 객체 및 행동을 분류하면 하나의 객체가 할 수 있는 행동을 싱글 오브젝트(Single Object)로, 두 개 이상의 객체들의 행동을 멀티 오브젝트(Multi Object)로 구분할 수 있다. 멀티 오브젝트의 행동은 각각의 객체마다 싱글 오브젝트로 분류된 행동이 시작된 후에 발생할 수 있고, 분류된 객체 각각의 세부 행동은 표 6과 같이 정의할 수 있다.

객체 및 행동 분류와 상황코드

구분	행동	설명	상황코드
Single Object	Enter	객체가 화면에 들어옴	Enter(O1)
	Leave	객체가 화면에서 나감	Leave(O1)
	Stop	객체가 화면상에서 움직임을 멈춤	Stop(O1)
	Move	객체가 화면상에서 움직임	Move(O1)
Multi Object	Approach	두 객체가 서로 가까워짐	Approach (O1, O2)
	Depart	두 객체가 서로 멀어짐	Depart (O1, O2)
	Meet	두 객체가 만남	Meet (O1, O2)
	Move Together	두 객체가 만난 후 같이 움직임	Move-Together (O1, O2)
	Stop Together	두 객체가 만난 후 계속 멈춰 있음	Stop-Together (O1, O2)
	Group	두 객체가 만나서 그룹을 만듬. 하나의 객체로 생각함	Group (O1, O2)
	Join	그룹에 새로운 객체가 포함됨	Join (Group1, O3)

표 5의 폭행발생 초기.지속.종료 조건에 표 6의 객체 및 행동 분류와 상황코드를 적용하여 도 10과 같은 폭행상황에 대한 상황코드를 도출할 수 있다.

도 10은 본 발명의 일 실시예에 따른 폭행상황에 대한 상황코드를 나타낸 것으로, 본 실시예는 피해자가 인식하는 일대일 폭행상황코드이다.

도 10을 참조하면, 객체1(O1)이 T1 시간에, 객체2(O2)는 T2시간에 화면에 들어온다. O1과 O2가 계속 움직이면서 T3시간에 서로 다가가다가 T4시간에 만나면서 초기 조건이 충족된다. O1과 O2는 T5시간부터 만나서 움직이지 않게 되면 DurationStopTogether에서 시간을 측정하고 미리 설정한 시간 30초가 넘게 되면 경고가 발생한다. T6시간에 O1과 O2가 같이 움직이는데 이때도 DurationMoveTogether에서 시간을 측정해서 30초 이상 지속되면 경고를 발생한다. 또 다른 경고 발생 조건으로 T7시간에는 서로 멀어지게 되는데 O1은 멈춰 있고 O2는 T8시간에 화면에서 나가면 경고가 발생한다.

한편, 피해자가 인식하지 못하는 폭행상황코드로는 피해자가 인식하는 일대일 폭행상황코드에 비해 초기 조건만 달라지는데, O1은 화면에 들어와 움직이고 있고 O2는 화면에 빠르게 들어오면서 O1에게 빠르게 접근하여 만나게 된다. O2가 지나가지 않고 O1과 같이 있으면 지속조건과 종료조건에 따라 경고를 발생시킨다. 도 2에 도시된 일대일 상황과 다른 점은 상황이 짧은 순간 발생하고 가해자가 도주할 우려가 크기 때문에 지속시간 및 이벤트 카운터를 일대일 상황에 비해 더 적게 설정하여 민감도를 더 높게 설정함으로써 경고를 발생하도록 한다.

도 11은 본 발명의 다른 실시예에 따른 폭행상황에 대한 상황코드를 나타낸 것으로, 본 실시예는 일대다 폭행상황코드이다.

도 11을 참조하면, O1은 T1시간에, O2는 T2시간에 화면에 들어오고, T3시간에 서로 다가가면서 T4시간에 만난다. 이때 O1과 O2는 그룹을 결성해 G1을 만들면서 초기조건을 충족시키게 된다. 새로운 객체인 O3는 T2시간에 들어와 움직이다가 T5시간에 G1 그룹에 참여한다. G1은 T5시간부터 움직이지 않게 되면 DurationStopTogether에서 시간을 측정하고 미리 설정한 시간 30초가 넘게 되면 경고가 발생한다. T6시간에 G1이 움직이는데 이때도 DurationMoveTogether에서 시간을 측정해서 30초 이상 지속되면 경고를 발생한다. 또 다른 경고 발생 조건으로 T7시간에는 서로 멀어지게 되는데 O1은 멈춰있고 O2와 O3는 T8시간에 화면에서 나가면 경고가 발생한다.

본 발명의 일 실시예에 따른 영상감시 통합관제 시스템 및 폭행상황에 대한 상황코드를 이용하여 폭행상황을 감지하는 과정을 설명하면 다음과 같다.

도 12는 본 발명의 일 실시예에 따른 폭행상황 감지과정을 설명하기 위한 도면이다.

도 12를 참조하면, 먼저, 객체생성 모듈은 복수의 감시구역 내에 설치된 CCTV 카메라에서 획득한 영상으로부터 객체를 추출한 다음 추출된 객체의 크기, 움직이는 좌표, 진입점 등을 분석하여 객체 정보를 생성한다(S1201).

다음으로, 영상정보저장 모듈은 객체생성 모듈에 접속하여 객체생성 모듈로부터 전송되는 데이터를 수신하여 데이터베이스에 저장한다(S1202).

다음으로, 시나리오별 이벤트 모듈은 객체생성 모듈로부터 영상 객체 정보를 수신하여 경고 1(Warning1) 단계 스레드(S1210)와 경고 2(Warning2) 단계 스레드(S1220)를 실행시켜 작업을 진행한다. 여기서, 경고 1 단계는 초기 조건이고, 경고 2 단계는 지속, 종료 조건이다.

경고 1 단계는 화면에 일정시간 이상 계속 포착되거나 화면에 일정시간 이상 멈춰 있을 때 감지되는데 미리 설정된 배회 시간(loutering Limit Time)과 멈춰 있는 시간(Stop Limit Time) 값보다 클 때 감지된다(S1211, S1212).

S1211, S1212 단계에서 미리 설정된 배회 시간 또는 멈춰 있는 시간 값보다 큰 경우에는 멈춰 있는 시간 초과 리스트, 배회 시간 초과 리스트에 추가하고(S1213, S1214), 미리 설정된 값 이하인 경우 S1210 단계로 되돌아간다.

다음으로, 하나의 객체와 다른 모든 객체들 사이의 거리를 계산하여 “가까워짐”, “일정거리 유지”, “멀어짐” 세 단계로 구분하여 객체간의 거리 관계 정보를 저장과 동시에 출력한다(S1225).

다음으로, 경고 1 단계의 종료 여부를 판단하여(S1217) 종료하거나(S1228), S1210 단계로 되돌아간다.

경고 2 단계는 두 개의 객체가 서로 만났을 때 일정 시간이상 붙어있거나, 서로 만난 횟수가 일정 횟수 이상일 때 감지하게 되는데 미리 설정된 만난 시간(Objects Meet Limit Time)과 만난 횟수(Objects Meet Count) 값보다 클 때 감지된다(S1221, S1222). 경고 1 단계와 경고 2 단계에서 획득한 정보를 가지고 최종적으로 폭행상황 판단을 하게 된다.

S1221, S1222 단계에서 미리 설정된 만난 시간 또는 만난 횟수 값보다 큰 경우에는 만난 시간 초과 리스트, 만난 횟수 초과 리스트에 추가하고(S1223, S1224), 그렇지 않으면(미리 설정된 값 이하인 경우) S1220 단계로 되돌아간다.

서로 만난 두 객체들 중에서 배회 시간과 멈춰 있는 시간이 일정시간 이상이 되어 감지된 상태이면 해당 사항을 각각의 리스트에 추가한다(S1223, S1224).

다음으로 폭행상황 여부를 판단하여(S1225), 폭행상황이라 판단되면 모니터링 모듈으로 경보를 전송하고(S1226), 폭행상황이 아니라 판단되면 S1220 단계로 되돌아 간다. 즉, 서로 만난 둘 이상의 객체들 중에서 배회 시간과 멈춰있는 시간이 일정시간 이상이 되어 감지된 상태이고 이들 객체 중에서 하나의 객체는 움직임이 없고, 다른 객체는 화면에서 사라지게 되면 폭행상황이 의심되므로 경보를 발생시켜 모니터링 모듈으로 전송하고, 또한 객체정보를 출력한다.

다음으로, 경고 2 단계의 종료 여부를 판단하여(S1227) 종료하거나(S1228), S1220 단계로 되돌아간다.

전술한 본 발명의 실시예는 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

한편, 본 발명의 상세한 설명 및 첨부도면에서는 구체적인 실시예에 관해 설명하였으나, 본 발명은 개시된 실시예에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다. 따라서, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들을 포함하는 것으로 해석되어야 할 것이다.

100 : CCTV 카메라 200 : 객체생성 모듈
300 : 영상저장 모듈 350 : 데이터베이스
400 : 시나리오별 이벤트 모듈 500 : 모니터링 모듈

Claims (5)

1. 감시구역 내에 설치되어 감시구역의 영상을 촬영하는 카메라와;
   상기 카메라에서 획득한 영상으로부터 객체를 추출한 다음 추출된 객체의 크기, 움직이는 좌표, 진입점 중 적어도 하나를 분석하여 객체 정보를 생성하고, 생성된 객체 정보를 클라이언트 모듈로 전송하는 객체생성 모듈과;
   상기 객체생성 모듈로부터 전송되는 데이터를 수신하여 데이터베이스에 저장하는 영상정보저장 모듈과;
   상기 객체생성 모듈로부터 수신한 상기 객체 정보를 바탕으로 미리 작성해 놓은 폭행 시나리오대로 객체들이 움직이면 폭행상황이 발생한 것으로 판단하여 경보를 발생시키는 시나리오별 이벤트 모듈; 및
   상기 객체생성 모듈로부터 상기 객체 정보를 수신하여 화면상에 디스플레이하며, 상기 시나리오별 이벤트 모듈에서 발신한 경보를 수신하여 이를 출력하는 모니터링 모듈을 포함하며, 상기 객체생성 모듈은
   화면에 나타나는 모든 객체에 대해 일반객체와 공격객체로 분류하고, 객체를 일정 패턴으로 움직일 수 있도록 하며, 화면에서 벗어난 객체를 삭제하는 객체 모듈; 및
   서버를 실행하여 클라이언트 모듈들이 접속할 수 있도록 하며, 접속된 상기 클라이언트 모듈로 객체 정보를 전송하는 영상객체정보 송신 모듈을 포함하는 것을 특징으로 하는 영상감시 통합관제 시스템.
2. 삭제
3. 제 1 항에 있어서, 상기 시나리오별 이벤트 모듈은
   상기 객체생성 모듈로부터 수신한 상기 객체 정보에서, 서로 만난 적어도 2 개의 객체들 중에서 배회 시간과 멈춰있는 시간이 기 설정된 일정시간 이상이 되어 감지된 상태이고 상기 객체들 중에서 하나의 객체는 움직임이 없고, 나머지 객체는 화면에서 사라지게 되면 폭행상황이 발생한 것으로 판단하는 것을 특징으로 하는 영상감시 통합관제 시스템.
4. 제 1 항 또는 제 3 항에 있어서, 상기 시나리오별 이벤트 모듈은
   상기 폭행 시나리오를 감지하는 폭행 시나리오 모듈을 포함하며, 상기 폭행 시나리오 모듈은
   화면에 들어와서 기 설정된 배회 제한 시간 이상 포착되었을 때 해당 객체를 감지하는 배회객체감지 모듈과,
   화면에 들어와서 설정된 객체가 멈춰있을 때 제한 시간 이상 멈춰있는 객체를 감지하는 정지객체감지 모듈과,
   적어도 2 개의 객체가 서로 만난 횟수를 확인하여 설정된 객체 간 만난 제한 횟수를 초과한 객체들을 감지하는 서로 만남 감지 모듈 및
   초기, 지속 조건을 만족하여 피해 객체가 발생했을 때 이를 감지하는 폭행피해객체감지 모듈을 포함하는 것을 특징으로 하는 영상감시 통합관제 시스템.
5. 감시구역을 촬영한 카메라에서 획득한 영상으로부터 객체를 추출한 다음 추출된 객체의 크기, 움직이는 좌표, 진입점 중 적어도 하나를 분석하여 객체 정보를 생성하는 과정과;
   상기 객체 정보에서 서로 만난 적어도 2 개의 객체들 중에서 배회 시간과 멈춰있는 시간이 일정시간 이상이 되어 감지된 상태이고 이들 객체 중에서 하나의 객체는 움직임이 없고, 나머지 객체는 화면에서 사라지는 경우 폭행상황으로 판단하는 과정; 및
   상기 폭행상황으로 판단되는 경우, 관리자가 상기 감시구역을 확인하도록 경보를 출력하는 과정을 포함하는 것을 특징으로 하는 영상감시 통합관제 시스템을 이용한 폭행상황 감지방법.

Images