KR100879266B1

KR100879266B1 - 유형별 인식에 의한 사물 추적 및 침입감지 시스템

Info

Publication number: KR100879266B1
Application number: KR1020080038544A
Authority: KR
Inventors: 이상석
Original assignee: 이상석
Priority date: 2008-04-25
Filing date: 2008-04-25
Publication date: 2009-01-16

Abstract

본 발명은 유형별 인식에 의한 사물 추적 및 침입감지 시스템에 관한 것으로서, 더욱 상세하게는 카메라 시계에 진입하는 이동물체의 움직임을 감지 추출하여 사전에 정의된 물체의 모델만을 유형별로 분리하여 추적하는 시스템에 관한 것이다.

본 발명에 따른 유형별 인식에 의한 사물 추적 및 침입감지 시스템은, 카메라와, 상기 카메라의 감시구역에 설치되는 다수의 센서와, 상기 카메라의 팬, 틸트, 줌, 포커스 조정으로 사물의 위치 이동 또는 사물의 크기에 따라 카메라의 확대/축소, 수평, 수직을 제어하는 줌/팬/틸트제어부와, 고정지역을 감시하는 상시감시구역과, 상기 센서와 연동하는 센서감시구역을 카메라의 팬, 틸트, 줌, 포커스 조절로 설정하고 저장하는 프리셋 설정부 및 상기 센서의 감지 신호 입력시에 카메라를 상시감시구역에서 센서의 프리셋 위치인 센서감시구역으로 이동하도록 상기 줌/팬/틸트 제어부를 제어하는 프리셋 조정부를 포함하여 구성된다.

객체추적, 상시감시구역, 센서감시구역, 사물유형 인식

Description

유형별 인식에 의한 사물 추적 및 침입감지 시스템 {Object Tracing and Intrusion Sensing System}

일반적으로 사물 추적 시스템은 카메라의 착상된 영상의 변화를 감지후 사물의 특징검출(크기, 색상, 속도)로 추적대상 여부를 판단 결정하며, 추적대상 사물로 결정하면 카메라 줌(Zoom)을 이용한 확대로 넓은 영역을 감시할 수 있도록 하고 추적대상이 되는 피사체 영역이 화면의 중앙에 위치하도록 카메라를 이동시켜 사물을 추적할 있도록 한다.

도 1은 종래 사물 추적 시스템 블록도이다.

도시된 바와 같이 종래의 사물 추적 시스템은 팬/틸트/줌이 가능한 회전형 카메라(1)로부터 영상 입력을 받아 처리하는 영상처리부(2)와, 배경 영상과의 차영상을 이용하여 영상의 움직임을 검출하는 움직임검출부(3)와, 피사체의 크기, 색 상, 속도의 특징을 추출하는 특징추출부(4)와, 상기 피사체의 특징 중 2가지 이상을 충족하는 추적대상자를 선택하는 추적대상선택부(5)와, 상기 추적대상의 피사체가 화면의 중앙에 위치하도록 카메라를 이동시키는 사물확대부(7)와, 움직인 사물의 위치와 카메라의 위치를 조정하는 사물추적부(6) 및 상기 회전형 카메라(1)의 줌, 팬, 틸트를 제어하는 줌/팬/틸트제어부(8)로 이루어진다.

상기 사물의 특징 중 크기에 의해 사물을 구분하는 방법은 사물의 움직임 추출로 움직임 영역의 상하좌우의 극대/극소점을 연결하여 단순 사각형태의 사물 크기를 구하여 구분하는 것으로, 동일 크기를 갖는 서로 다른 두 개 이상의 사물에 대해서 단순하게 크기에 의해 비교 판단하기 때문에 서로 다른 두 개 이상의 사물을 동일한 사물로 인식하는 문제점이 있었다.

상기 색상에 의해 사물을 구분하는 방법은 원거리에 사물이 위치한 경우에 카메라의 역광 및 태양의 위치 등 환경적인 요인으로 색상의 구분이 어려워 색상을 인식할 수 있는 거리가 극히 제한적이므로 넓은 영역의 감시가 불가능하다.

상기 속도에 의해 사물을 구분하는 방법은 사물이 움직이지 않는 경우나 원거리에서의 사물 이동속도가 미세한 경우에 비교 판단 기준이 어려우며 속도가 같은 사물에 대해서는 동일 사물로 인식하는 문제점이 있다.

도 2는 상기 크기에 의한 사물의 구분 방법 중 종래 외각선 추출에 의한 사물인식 시스템의 블록도이다.

도시된 바와 같이, 영상의 표시, 인식패턴 설정 및 녹화 또는 경보 발생 등을 설정하는 운영자설정부(21), 입력된 영상 내에서 물체의 이동, 즉 움직임을 검 출하는 움직임검출부(22), 입력된 영상에서 움직임이 검출된 물체가 어떤 종류의 사물인지를 인식하기 위한 비교용 표본 이미지 데이터가 다수 저장되어 있는 OFI(Object Frame Image)그룹(23), 움직임이 검출된 물체를 표본 이미지 데이터인 OFI그룹(23)과 비교 판단하는 OCI(Object Compare Inference)(24)로 구성된다.

종래 외각선 추출에 의한 사물인식 시스템은 인식할 사물들의 비교용 표본을 만들기 위해 단순히 사물의 외각선을 추출하고 벡터맵 형식으로 저장하여 사물의 움직임을 검출한 후, 검출된 사물의 외각선을 추출하여 OFI그룹(23)과의 비교 판단으로 사물을 인식한다.

이는 사물의 크기가 카메라와의 거리에 따라 다르며, 사물의 그림자 또는 사람이 짐을 운반 중이거나, 리어카를 이동과 같이 사물이 다른 물체와 병합되었을 경우에 인식하지 못한다는 점과, 단순 외각선만의 비교로 특정 사물에 대한 인식을 할 수 없다는 문제점이 있었다.

또한, 사물을 인식하기 위해서는 일정한 구역 즉 비교용 표본 이미지의 크기와 같을 경우에만 인식이 가능하여 사물의 크기에 종속적인 문제점이 있다.

또한, 크기에 의해 사물을 구분하는 방법은 단순 크기에 의한 사물 간의 비교로 유형별 사물 인식을 할 수 없어 - 사물 외각선(Shape)의 형체에 의한 사물 유형 비교 판단이 어려워 - 특정 사물에 대한 감시 및 추적이 불가능하므로, 원치 않은 소동물의 이동이나 차량 이동시에 사물의 단순 크기, 색상에 의한 특징 추출로 수풀 여부, 나무의 우거짐 감지, 비나 눈 또는 야간에 벌레의 사물 감지에 의해 카메라가 오작동하여 사실상 사물의 자동 추적이 어려워, 운영자의 판단으로 추적 여 부를 결정해야 하는 문제점이 있었다.

그리고 사물 추적시 물체가 이동하고 카메라도 같이 움직임으로 동일 사물에 대한 재추적시 카메라의 시계에 진입한 제2의 사물이 추적사물과 동일 크기와 동일 색상 존재시 단순 크기에 의한 비교 판단으로 두 사물을 동일 사물로 인식하기 때문으로 재추적에 실패하는 문제점이 있다.

또한, 사물 추적시 카메라 줌을 이용한 확대 추적 사물의 영역이 화면의 가운데 부분에 위치하도록 카메라를 이동시 카메라의 중앙으로 이동하는 속도에 비해 사물의 이동속도가 빠를 경우, 즉 동일한 사물에 한하여 사물과 카메라 거리가 짧으면 카메라의 수평, 수직 최대 시야(Sight)에서 이동거리가 짧기 때문에 사물 추적이 실패하는 문제점이 있다.

한편, 센서와 카메라를 이용한 침입 감시 시스템이 개시되어 있는 바, 이 침입 감시 시스템은 이상 신호 전송에만 국한되어 있는 센서 감지신호 통보로 소동물의 이동이나 바람과 같은 자연현상 등의 오작동으로 불필요한 출동을 하게 되는 문제점이 있어, 이를 개선하기 위해 센서 감지신호시 카메라의 영상을 비교 판단하여 사물의 움직임이 있을 경우에만 이를 통보하는 시스템이 개발되었다.

그러나 상기 개선된 침입 감시 시스템 또한 사물의 유형별 판단이 불가능하여 자연 현상에 의한 오작동의 요인은 해결하였지만, 여전히 소동물의 이동시에 발생하는 센서의 오작동은 근본적으로 해결하지 못하였으며, 센서 1대당 카메라 1대의 감시구역 배치로 센서 추가시 카메라도 추가로 설치해야하므로 비용이 많이 드는 문제점이 있었다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 하나 이상의 상시 감시구역과 센서의 위치를 기억하게 한 후 센서 작동시 기억된 위치로 이동하여 감시할 수 있도록 하여 센서 추가시 카메라를 추가 설치하지 않고도 넓은 지역을 감시할 수 있는 유형별 인식에 의한 사물 추적 및 침입감지 시스템을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 카메라에 착상된 영상의 변화를 감지한 후 사전에 정의된 광각상태의 사물유형 크기를 현재의 카메라 줌배율별 카메라와의 거리 비율에 따른 사물유형 크기로 조정한 상태에서 현재 사물의 크기와 비교 판단하여 유형분석 사물대상을 결정하고, 결정된 사물에 대하여 사물 특징이 되는 알지비(RGB) 분포도와 속도의 분석이 가능하도록 확대하며, 확대된 사물의 변화를 감지한 후 외각선 검출, 알지비(RGB) 분포도, 속도의 특징을 검출하여 기저장된 사물 유형 데이터베이스와 비교 판단해서, 기저장된 사물만을 추적 대상자로 선택하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템을 제공하는데 있다.

본 발명의 다른 목적은 사물의 유형을 통보하여 사물 유형별 대처 운용이 가능토록 하고, 사물의 움직임에 따른 행동분석으로 야외에서 카메라의 오작동 요인을 제거하며, 추적 사물의 이동방향 및 이동거리의 예측에 의해서 카메라가 사물을 계속 추적할 수 있도록 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템을 제공하는데 있다.

상술한 목적을 달성하기 위한 본 발명에 따른 유형별 인식에 의한 사물 추적 및 침입감지 시스템은, 카메라와, 상기 카메라의 감시구역에 설치되는 다수의 센서와, 상기 카메라의 팬, 틸트, 줌, 포커스 조정으로 사물의 위치 이동 또는 사물의 크기에 따라 카메라의 확대/축소, 수평, 수직을 제어하는 줌/팬/틸트제어부와, 고정지역을 감시하는 상시감시구역과, 상기 센서와 연동하는 센서감시구역을 카메라의 팬, 틸트, 줌, 포커스 조절로 설정하고 저장하는 프리셋 설정부 및 상기 센서의 감지 신호 입력시에 카메라를 상시감시구역에서 센서의 프리셋 위치인 센서감시구역으로 이동하도록 상기 줌/팬/틸트 제어부를 제어하는 프리셋 조정부를 포함하여 구성된다.

상술한 과제 해결 수단에 의하면, 첫째 센서 감시구역의 구분으로 센서를 추가하는 경우에 카메라를 추가로 설치하지 않고도 넓은 지역을 감시할 수 있다.

둘째 사물 유형별 대처 운용이 가능하고, 야외에서 카메라의 오작동 요인을 제거하며, 카메라가 사물을 계속 추적할 수 있다.

도 3은 본 발명에 따른 사물 추적과 침입 감지 시스템의 블록도이다.

도시된 바와 같이 설정/저장부(310), 1차 영상처리분석부(320), 2차 영상처리분석부(330), 사물추적부(340) 및 조정부(350)를 포함하여 구성된다.

설정/저장부(310)는 하나의 사물 유형별 판별이 가능한 최적의 크기를 정의한 오티에스(Object Track Best Size; OTS, 315)와, 하나 이상의 사물 유형별 거리에 따른 사물 크기를 설정한 오에스디(Object by Size Database; OSD, 313)와, 하나 이상의 상기 오티에스(OTS, 315) 크기에 따라 사물의 특징을 추출한 사물 유형별 오피디(Object by Pattern Database; OPD, 314), 카메라 영역 중에 일부 또는 전체 침입 감시영역인 오디제트(Object Detect Zone; ODZ, 316)와, 카메라의 팬, 틸트, 줌, 포커스 조정으로 사고다발지역, 취약지역 등의 고정지역을 감시하는 상시감시구역과, 센서(304)와 연동이 가능토록 센서별 위치를 카메라(301)의 팬, 틸트, 줌, 포커스 조절로 저장하여 센서 신호 발생시 센서 감시의 프리셋 위치로 이동할 수 있도록 하는 프리셋 설정부(311)와, 카메라(301)가 설치된 위치의 장소별 환경요소인 오에스디(OSD, 313), 오피디(OPD, 314), 오티에스(OTS, 315), 오디제트(ODZ, 316)를 설정하는 환경설정부(312)로 이루어진다.

1차 영상처리분석부(320)는 최초 상시감시구역에서 팬/틸트/줌 가능한 카메라(301)로부터 영상을 입력받아 오디제트(ODZ, 316) 감시영역 안의 사물에 대하여 움직임이 검출된 사물의 크기와 오에스디(OSD, 313)의 거리별 사물의 크기를 비교 판단함과 동시에 사물의 행동분석을 통하여 오작동 요인(나뭇잎, 수풀, 비, 눈, 야간 벌레)이 되는 부분을 예외 처리해서 얻어진 유형분석사물을 오티에스(OTS, 315)의 크기로 확대하여 원거리의 사물에 대해서도 패턴을 인식하고 추적이 가능토록 한다.

2차 영상처리분석부(330)는 오에스디(OSD, 313) 거리로 확대된 사물의 외각선(Shape), 알지비(RGB) 분포도, 속도에 대해 특징을 검출하고 상기 오피디(OPD, 314)와 비교 판단하여 사물의 유형을 확인하며, 침입자의 유형을 운영자에게 알려 유형별 감시운용이 가능하도록 한다.

사물추적부(340)는 사물의 이동방향 분석 및 이동거리 예측을 통해 줌/팬/틸트제어부(303)를 통해 카메라(301) 위치를 조정하여 사물을 자동으로 추적한다.

조정부(350)는 센서(304)의 감지신호시의 상태를 입력받아 센서(304) 작동시 센서의 프리셋 위치로 감시구역을 상시감시구역에서 센서감시구역으로 변경한다.

영상처리부(302)는 카메라(301)로부터 영상을 입력을 받아 영상 처리하고 이를 사물분석부(321), 유형분석부(331), 사물추적부(340)로 전송한다.

상기 1차 영상처리분석부(320)는 사물분석부(321), 패턴보정부(322), 사물확대부(323)로 이루어진다.

사물분석부(321)는 사물의 움직임을 검출하여 오에스디(OSD, 313)의 거리별 사물의 크기를 비교 판단한다.

패턴보정부(322)는 사물의 행동분석으로 오작동의 요인(나뭇잎, 수풀, 비, 눈, 야간 벌레)을 제거한다.

사물 확대부(323)는 오티에스(OTS, 315)의 크기로 사물을 확대한다.

상기 2차 영상처리분석부(330)는 유형분석부(331)와 유형출력부(332)로 이루어진다.

유형분석부(331)는 확대된 영상의 유형을 오피디(OPD, 314)로 비교 판단하고, 유형출력부(332)는 상기 유형분석부(331)에서 판단한 사물 유형을 출력하여 운영자에게 이를 알린다.

상기 조정부(350)는 센서(304)의 신호를 입력받아 처리하는 센서수신부(351)와, 수신된 센서(304)의 위치로 카메라(301)를 이동하는 프리셋 조정부(352)로 이 루어진다.

그리고 줌/팬/틸트 제어부(303)는 사물의 위치 이동 또는 사물의 크기에 따라 카메라의 확대/축소, 수평, 수직을 제어한다.

아래의 표 1은 카메라의 프리셋 설정 테이블을 나타낸 것이고, 도 4는 본 발명에 따른 카메라 프리셋 위치 이동에 의한 감시구역 변경을 나타내는 순서도이다.

먼저, 감시구역을 크게 상시감시구역과 센서감시구역으로 설정하여 저장한다(S401).

상시감시구역은 사고다발지역, 보안취약지역 등 고정지역을 상기 감시하기 위해 카메라(301)의 팬, 틸트, 줌, 포커스 조정으로 설정하여 저장한다.

센서감시구역은 카메라 감시구역에 설치되는 다수의 센서(304)와 연동할 수 있도록 센서(304)의 위치를 카메라(301)의 팬, 틸트, 줌, 포커스 기능을 이용해서 최적의 감시조건 상태로 조정하고, 상기 표 1과 같이 센서번호, 카메라번호와 팬, 틸트, 줌, 포커스의 값을 프리셋번호별로 설정하여 저장한다.

센서(304)의 작동 여부를 판단하여 센서(304)가 작동하는 경우에 센서감지 상태로 변경한다(S403).

상기 센서(304)가 작동하지 않는 경우에 상시감지 상태인지 판단하여(S404), 상시감지 상태가 아닌 경우(즉, 센서감지 상태인 경우)에 현재 프리셋번호와 센서 위치 프리셋번호를 비교하여 카메라(301) 위치를 조정한다(S406).

상기 상시감지 상태인 경우에 현재 상시감지 구역값과 센서 위치 상시감지 구역값을 비교하여 카메라(301) 위치를 조정한다(S407).

이와 같이 상시감시 구역과 센서 감시구역으로 카메라를 이동한 후 사물의 유형을 분석 및 추적하고(S408) 추적이 완료되면(S409) 상시감지상태로 변경한다(S410).

도 5a 내지 도 5c는 도 3에 나타낸 사물분석부의 사물 추출방법을 설명하기 위한 도면이다.

한대의 카메라로 사물을 인식하고 동시에 추적할 수 있는 시스템에서 카메라가 이동물체를 추적하는 것은 배경의 움직임이 있기 때문에 대단히 중요한 문제이다.

상기 이동물체를 추적하는 방법은 차영상을 이용한 방법과 광류(optical flow)를 이용한 방법이 널리 사용된다.

광류를 이용한 방법은 다음 프레임에서 이동물체가 한 지점으로 이동시 시공간벡터를 이용하여 물체을 인식하므로 계산량이 많아 처리속도가 느리기 때문에 실시간으로 영상을 감시하는 시스템에서는 적용할 수 없다.

차영상을 이용한 방법은 배경영상과 차영상을 이용하여 물체를 추적하므로 계산량이 적어 처리속도는 빠르지만 주위 환경의 변화에 많은 제약을 받아 오작동의 요인이 있다.

따라서 실시간 영상 처리에 연산속도가 빠르고 주변 환경의 변화에 제약에 덜 받도록 차영상을 보완하는 방법이 사용된다.

본 발명에서 상기 차영상을 보완하는 방법으로 도 5a의 이전 프레임과 도 5b의 현재 프레임 사이에 픽셀 간의 색상의 차가 픽셀차이기준(PCR)의 보다 큰 영상을 추출하여 도 5c와 같이 21 x 14 맵(블록)에 매핑하고, 한 블록의 움직임 감지량이 블록감지량기준(BFR)보다 큰 블록을 기준으로 블록과 블록 간의 인접 상태에 따라 사물별 라벨링하여 추출한다.

라벨링된 사물은 상하좌우의 극대/극소점의 연결로 사각의 크기와 화면상의 거리 검출로 오에스디(OSD, 313)의 거리별 사물 최대, 최소값과 비교 판단하여 최종 유형판단 사물을 대상으로 선택한다.

도 6a 내지 도 6g는 오작동 요인 사물의 움직임을 보여주는 화면의 예시도이다.

나뭇잎, 수풀의 움직임은 도 6a와 같이 연속적인 패턴을 이루지 않으며 도 6b와 같이 이동거리가 일정한 범위를 벗어나지 않음을 알 수 있다.

도 6c 및 도 6e와 같이 비 및 눈 또한 패턴이 일정하지 않으며, 유사 패턴일지라도 도 6d 및 도 6f와 같이 비 및 눈의 이동 속도가 사람, 동물, 차량보다 상대적으로 빠른 것을 알 수 있다.

도 6g와 같이 야간의 벌레는 패턴이 일정하지 않으며 벌레의 특성상 카메라의 불빛 근처에 운집한다.

상기와 같은 나뭇잎, 수풀, 비, 눈, 야간의 벌레가 카메라의 1M이내의 가까운 거리에서 이동시 오작동이 발생하므로, 이동 속도의 비교 판단의 제한으로 예외 처리한다.

상기 예외 처리는 후술하는 유형분석부(331)에서도 2차 유형분석으로 예외처리할 수 있지만, 사전에 오작동의 요인을 제거하여 사물확대부(323)와 유형분석부(331)의 불필요한 작동을 최소화해서 시스템의 부하를 덜어줌에 있다.

도 7은 도 3에 나타낸 패턴보정부의 설명을 돕기 위한 패턴보정을 나타내는 순서도로서, 오작동의 요인인 나뭇잎, 수풀, 비, 눈, 야간 벌레에 대한 패턴보정부(322)의 플로우 차트이다.

사물분석부(321)에서 움직이는 영상의 상/하/좌/우 극대, 극소점을 연결한 사각형의 크기를 오에스디(OSD, 313)와 비교 판단하여 추적사물을 얻는다(S702).

도 6에 도시된 바와 같이 오작동의 요인이 되는 사물은 일정한 패턴의 형태를 갖지 않는다는 것을 이용하여, 연속적인 일정 패턴 횟수를 기준 횟수(nCount)와 비교해서(S704). 기준 횟수 이하인 경우에 다시 상기 S702단계를 수행하여 이전에 얻은 사물은 무시한다.

상기 기준 횟수 이상인 경우에 이전 사물과 현재 사물의 수평 중심점의 차와 수직 중심점의 차로 수평 이동거리와 수직 이동거리를 계산한다(S706,S708).

상기 수평 이동거리를 사물의 수평값 * Rx와 비교하여(S710), 수평 이동거리가 사물의 수평값 * Rx(X축 기준 이동거리) 이상인 큰 경우에 다시 수직 이동거리를 사물의 수직값 * Ry(Y축 기준 이동거리)와 비교한다(S712).

상기 수직 이동거리가 사물의 수직값 * Ry 이상일 경우에만 사물유형인식 대상자로 선택한다(S714).

S710 단계에서 수평 이동거리가 사물의 수평값 * Rx 이하이거나, 수직 이동거리가 사물의 수직값 * Ry 이하인 경우에 상기 S702단계를 수행하여 이전에 얻은 사물은 무시한다.

도 8은 거리별로 사물 유형별 크기를 설정한 오에스디(OSD, 313) 정보의 예시도로서, 카메라 위치의 주변 환경요소가 계절이나 공간에 따라 달라지는 것을 고려하여 거리별로 사물의 유형별 크기를 설정한다.

예를 들어 계절에 따라 달라지는 요소로는 수풀 여부, 나무의 우거짐 여부, 눈/비와 같은 자연환경이 있고, 공간에 따라 달라지는 요소로는 주택가, 산속, 도로주변 등이 있다.

사물확대부(323)는 유형분석 대상 사물을 오티에스(OTS, 315)의 크기로 확대 표출하여 사물의 특징 추출이 가능한 최적의 크기를 유지할 수 있도록 한다.

사물이 이동물체일 경우 추적대상이 되는 피사체 영역이 화면의 가운데 부분에 위치하도록 카메라(301)를 이동시 카메라가 중앙으로 이동하는 속도보다 사물의 이동속도가 빠를 경우에 카메라의 수평, 수직 시야 범위의 이동거리가 짧아 카메라 시계 밖으로 사라져 추적에 실패할 수 있으므로 사물의 이동방향 및 이동속도 예측에 의한 거리계산으로 카메라의 이동 위치 좌표가 계산되어야 한다.

이동중인 사물의 영역이 화면의 가운데 부분에 위치하도록 하기 위해서는, 오티에스(OTS, 315)로 확대시의 카메라 줌배율값과, 추적대상이 되는 피사체 영역이 화면의 가운데 부분에 위치하도록 확대 표출시 소요되는 시간 동안에 사물의 이동할 거리를 계산하여 얻어진 이동거리를 중앙에 위치하도록 카메라 팬/틸트값을 구하여 카메라의 위치를 조정하여 표출할 수 있다.

아래의 표 2는 카메라 줌배율별 수평 최대시야 범위인 팬, 수직 최대시야 범위인 틸트, 이전 줌배율 대비 사물크기 확대비율, 수평 최대시야 범위에서의 좌에서 우로의 이동속도, 수직 최대시야 범위에서의 상에서 하로의 이동속도를 정의한 표이다.

사물확대부(323)는 먼저 추출 사물이 오티에스(OTS, 315)의 크기로 확대 표출시 카메라의 줌(Zoom)값을 현재 사물의 수평, 수직값과 오티에스(OTS, 315)의 수평, 수직값의 각각 확대 비율을 계산한 평균값과 표 2의 확대비율의 누적의 합값을 비교 판단하여 그 중 근삿값으로 얻는다.

추적대상이 되는 피사체 영역이 화면의 가운데 부분에 위치하도록 확대 표출시 카메라의 팬/틸트에 소요되는 시간은 상기에서 얻어진 오티에스(OTS, 315)의 확대 표출시 줌값에 따른 표 2에 해당하는 근삿값의 팬최대속도(Pt)와 틸트최대속도(Tt)로 각각 구한다.

사물의 중앙 이동시 소요되는 수평 이동시간(Tx)은 수학식 1에 나타낸 바와 같이, 상기 팬최대속도(Pt)에 사물 중심점(사물수평값/2)에서 화면의 중심점으로 이동한 수평이동값(Cx)의 곱에 영상의 수평해상도(W)를 나눈 값이다.

Tx = (Pt * Cx) / W

또한, 사물의 중앙 이동시 소요되는 수직 이동시간(Ty)은 수학식 2에 나타낸 바와 같이 상기 틸트최대속도(Tt)에 사물 중심점(사물수직값/2)에서 화면의 중심점으로 이동한 수직이동값의 곱에 영상의 수직해상도를 나눈 값이다.

Tx = (Tt * Cy) / H

또한, 오티에스(OTS, 315)의 확대 표출시의 이동거리를 얻기 위해, 사물의 임의의 이전 프레임과 현재 프레임 간의 비교로 수평/수직 중심점 간의 이동거리와 이때 이동 시간(Tm)을 구하고, 수평/수직 이동거리 중심점을 오티에스(OTS, 315)의 크기로 확대 표출시의 수평,수직 비율의 값을 각각 곱하여 확대후 사물의 수평이동값(X2)과 수직이동값(Y2)을 얻는다.

여기서 임의의 이전 프레임은 이동하는 사물의 평균 이동거리를 구하기 위한 것으로, 이동거리가 길수록 이동거리에 대한 오차의 범위가 줄어든다.

아래의 수학식 3과 수학식 4는 상기 계산에서 얻어진 확대 표출시의 카메라 이동속도와 사물의 이동거리로 피사체 영역이 화면의 가운데로 확대 표출시 카메라가 이동하는데 소유되는 시간 동안 사물의 이동할 거리를 얻는 계산식이다.

수평 예측 이동거리(X3)는 수학식 3에 나타낸 바와 같이 확대시의 수평이동값(X2)에 팬의 중심이동시 수평 이동시간(Tx)을 곱한 값을 프레임간의 시간차(Tm)로 나누어 얻는다.

X3 = (X2 * Tx) / Tm

수직 예측 이동거리(Y3)는 수학식 4에 나타낸 바와 같이 확대시의 수직이동위치(Y2)에 팬의 중심이동시 수직 이동시간(Ty)을 곱한 값을 프레임간의 시각차(Tm)로 나누어 얻는다.

Y3 = (Y2 * Ty) / Tm

다음 오티에스(OTS, 315)로 확대시의 줌배율값과 추적대상이 되는 피사체 영역이 화면의 가운데 부분에 위치로 확대 표출시 카메라가 소요되는 시간 동안에 사물이 이동한 거리의 위치를 화면의 가운데에 위치하도록 팬/틸트값을 구한다.

아래의 수학식 5와 수학식 6은 유형판단의 대상이 되는 피사체 영역이 화면 의 가운데 부분에 위치하도록 팬, 틸트 위치값을 얻는 계산식이다.

카메라 팬의 이동위치값(P1)은 수학식 5에 도시된 바와 같이, 사물 중심점(X3/2)에서 화면의 중심점으로 수평이동한 값(Cx)과 줌에 해당하는 팬(P)을 곱한 값을 영상의 수평해상도로 나누어 얻는다.

P1 = Cx * P / W

카메라 틸트의 이동위치값(T1)은 수학식 6에 도시된 바와 같이, 사물 중심점(Y3/2)에서 화면의 중심점으로 수직이동한 값(Cy)과 줌의 틸트(T)를 곱한 값을 영상의 수직해상도(H)로 나누어 얻는다.

T1 = Cy * T / H

이와 같이 하여 사물확대부(323)에서 얻어진 사물의 인식의 최적의 크기 오티에스(OTS, 315)로 사물을 확대 표출시의 줌/팬(P1)/틸트(T1)값을 구하고, 상기 구한 줌/팬(P1)/틸트(T1)값을 이용하여 줌/팬/틸트제어부(303)를 통해 카메라(301)를 제어함으로서 사물을 화면의 중앙에 위치시킬 수 있다.

도 9a 내지 도 9c는 도 3에 나타낸 사물확대부(323)를 통해 사물을 중앙으로 확대 표출하는 방법을 나타내는 도면으로서, 도 9b에서 9a의 사물을 중앙으로 확대 표출시(907) 카메라가 중앙으로 이동에 걸리는 시간 동안에 사물이 이동거리(908)를 계산하여 도 9c처럼 사물을 중앙에 위치시킨다.

도 10과 도 11은 추적할 모델의 특징점을 유형별로 정의한 오피디(OPD, 314)의 데이테베이스 이다.

오피디(OPD, 314)는 사전에 추적할 모델을 사물의 유형별로 정의한 것으로 외각선(Shape)의 최대/최소 형태, 알지비(RGB) 분포도, 최대/최소 이동속도의 사물 특징점을 포함하고 있다.

도 10에서 사람 유형(1001)을 더 정확히 분류하기 위해 추적대상물을 오티에스(OTS, 315) 크기로 확대표출시 사람의 외각선(1002) 형태와, 사람의 이동시 최소, 최대이동 속도(1003), 사람의 알지비(RGB) 분포도(1004,1006)를 정의한다.

여기서 상기 알지비(RGB) 분포도(1004,1006)는 주로 추적중인 사물의 구분으로 사용하지만, 전방 GOP 감시시스템에서의 동물, 군인구분과 특정 근무복 착용한 출입자에 대한 출입 통제 등으로 사용할 수도 있다.

도면 11에서 동물 유형(1101)을 더 정확히 분류하기 위해 추적대상물을 오티에스(OTS, 315) 크기로 확대표출시 동물의 외각선(1102) 형태와, 동물의 이동시 최소, 최대이동 속도(1103), 동물의 알지비(RGB) 분포도(1104,1106)를 정의한다.

다음 유형분석부(331)에 대해 설명하면, 사물 유형을 판단하기 위해서는 더욱 명확한 사물의 외각선 추출이 필요하다.

여기에서는 추적 사물을 사물 유형별 판별이 가능한 최적의 크기 오티에스(OTS, 315)로 확대 즉, 사물의 특징(외각선, 알지비(RGB) 분포도, 이동속도)을 구별할 수 있는 최적의 거리로 확대한다.

그리고 확대된 영상의 배경영상과의 차로 인해 사물을 추출하고 블록과 블록의 비교 판단으로 사물을 라벨링을 하며 라벨링된 사물의 특징 중 외각선(Shape)을 추출하기 위하여 널리 사용되는 이진화와 모폴로지(morphology) 영상처리를 이용하여 외각선을 추출한다.

상기 이진화와 모폴로지는 널리 사용되는 기술이기 때문에 자세한 설명은 생략하며, 모폴로지 기법 중 외각의 윤각 구분을 뚜렷하게 만들고 크기가 작은 잡음을 효과적으로 제거하는 침식(erosion) 연산를 사용한다.

도 12a 내지 도 12f는 도 3에 나타낸 유형분석부의 외각선 추출 과정을 설명하기 위한 도면으로서, 도 12a의 영상을 사물 유형별 판별이 가능한 최적의 크기 오티에스(OTS, 315)로 확대된 영상이 도 12b이다.

도 12b의 배경영상과의 차가 픽셀차이기준(PCR)보다 큰 영상을 도 12c에서와 같이 21x14 블록 등분하여 블록 내에서 블럭감지량기준(BFR)보다 클 블록은 1로, 그렇지 않은 블록을 0으로 할당하고, 할당된 값이 1인 블록과 블록간의 인접 상태에 따라 사물들을 라벨링(1201,1202)한다.

다음 라벨링된 사물의 외각선을 추출하기 위하여 이진화(도 12d)와 침식 연산을 수행하는 모폴로지(도 12e)를 사용하여 도 12f의 외각선을 추출한다.

유형분석부(331)는 또한 추적대상 모델을 사전 정의한 오피디(OPD, 314)를 이용하여 사물분석부(321)에서 선택된 유형분석 대상 사물의 특징점인 외각선, 알지비(RGB) 색상 분포도, 이동속도의 특징점을 비교 판단하여 사물의 유형을 구분한다.

이때 추적 사물의 외각선을 추출하여 오피디(OPD, 314)에 정의된 사물의 유형중 사물의 외각선 형태가 최소, 최대 크기에 포함되고 사물의 이동속도가 최대, 최소 이내에 포함되며 사물의 알지비(RGB) 색상 분포도률이 80% 이내일 경우에 동일한 유형의 사물로 판단한다.

도 13a 내지 도 13c는 도 3에 나타낸 사물추적부(340)의 사물 추적 과정을 설명하기 위한 도면으로서, 도 13a에서 도 13b로 사물이 이동하는 경우 도 13c에서처럼 사물 방향 및 속도 예측에 의한 이동거리에 의하여 사물의 위치를 화면의 중앙에 위치하게 줌/팬/틸트제어부(303)를 통해 카메라(301)를 조정하여 계속적인 추적이 가능하도록 한다.

사물의 이동 물체일 경우 추적대상이 되는 피사체 영역이 화면의 가운데 부분에 위치하도록 카메라(301)를 이동할 때, 카메라의 중앙으로 이동하는 속도보다 사물의 이동속도가 빠를 경우 추적시 사물이 카메라 시계 밖으로 사라져 추적에 실패할 수 있으므로, 사물의 이동방향 및 속도 예측에 의한 이동거리를 화면의 중앙에 위치하도록 카메라의 위치 좌표를 계산해야 하며, 이 계산 방법은 도 9a 내지 도 9c의 사물확대부(205)에서 설명하였으므로 여기서는 설명을 약한다.

또한, 사물추적부(340)는 추적중인 사물의 외각선, 이동속도, 알지비(RGB) 분포도를 저장한 상태에서 사물이 화면의 가운데 부분에 위치하도록 카메라를 위치 이동한 후 사물의 외각선, 이동속도, 알지비(RGB) 분포도의 비교 판단으로 동일 사물을 재추적한다.

도 14는 두 개의 사물(사람)에 있어서 알지비(RGB) 분포도를 이용하여 사물의 영역이 화면의 가운데 부분에 위치하도록 카메라의 위치를 이동 후 동일한 사물 추적이 가능한 것을 나타낸 도면이다.

도 14a의 사물(1401)의 추적사물이 이동으로 도 14b와 같이 사물의 영역이 화면의 가운데 부분에 위치하도록 카메라의 위치를 이동한 후, 동일 사물에 대한 재추적시 카메라의 시계에 진입한 추적 사물과 동일한 외각선 형태를 가진 제2의 사물(1403) 출현시 사물(1402)의 알지비(RGB) 분포도 도면 도 14c 및 제2의 사물(1403)의 알지비(RGB) 분포도 도면 도 14d와 비교하여 동일 사물을 재추적한다.

상기 알지비(RGB) 분포도는 사물의 색상별로 0~255까지의 빈도로 각각 저장되고, 오피디(OPD, 316)의 알지비(RGB) 분포도와 빈도의 오차를 계산한 합이 0에 가까울수록 사물이 유사하다.

도 1은 종래 사물 추적 시스템의 블록도,

도 2는 종래 외각선 추출에 의한 사물 인식 시스템의 블록도,

도 3은 본 발명에 따른 사물 추적과 침입 감지 시스템의 블록도,

도 4는 본 발명에 따른 카메라 프리셋 위치 이동에 의한 감시구역 변경을 나타내는 순서도,

도 5a 내지 도 5c는 도 3에 나타낸 사물분석부의 사물 추출방법을 설명하기 위한 도면,

도 6a 내지 도 6g는 카메라 오작동 요인인 사물의 움직임을 보여주는 화면의 예시도,

도 7은 도 3에 나타낸 패턴보정부의 설명을 돕기 위한 패턴보정을 나타내는 순서도,

도 8은 거리별로 사물 유형별 크기를 설정한 오에스디(OSD) 정보의 예시도,

도 9a 내지 도 9c는 도 3에 나타낸 사물확대부를 통해 사물을 중앙으로 확대 표출하는 방법을 나타내는 도면,

도 10과 도 11은 추적할 모델의 특징점을 유형별로 정의한 오피디(OPD)의 데이테베이스,

도 12a 내지 도 12f는 도 3에 나타낸 유형분석부의 외각선 추출 과정을 설명하기 위한 도면,

도 13a 내지 도 13c는 도 3에 나타낸 사물추적부의 사물 추적 과정을 설명하 기 위한 도면,

도 14a 내지 도 14d는 두 개의 사물에 있어서 카메라의 위치를 이동 후 알지비(RGB) 분포도를 이용하여 동일한 사물에 대한 추적이 가능한 것을 나타낸 도면.

Claims

카메라;

상기 카메라의 감시구역에 설치되는 다수의 센서;

상기 카메라의 팬, 틸트, 줌, 포커스 조정으로 사물의 위치 이동 또는 사물의 크기에 따라 카메라의 확대/축소, 수평, 수직을 제어하는 줌/팬/틸트제어부;

고정지역을 감시하는 상시감시구역과, 상기 센서와 연동하는 센서감시구역을 카메라의 팬, 틸트, 줌, 포커스 조절로 설정하고 저장하는 프리셋 설정부; 및

상기 센서의 감지 신호 입력시에 카메라를 상시감시구역에서 센서의 프리셋 위치인 센서감시구역으로 이동하도록 상기 줌/팬/틸트 제어부를 제어하는 프리셋 조정부;

상기 프리셋 설정부와, 하나의 사물 유형별 판별이 가능한 최적의 크기를 정의한 오티에스(Object Track Best Size; OTS)와, 하나 이상의 사물 유형별 거리에 따른 사물 크기를 설정한 오에스디(Object by Size Database; OSD)와, 하나 이상의 상기 오티에스(OTS) 크기에 따라 사물의 특징을 추출한 사물 유형별 오피디(Object by Pattern Database; OPD), 카메라 영역 중에 일부 또는 전체 침입 감시영역인 오디제트(Object Detect Zone; ODZ)와, 카메라가 설치된 위치의 장소별 환경요소인 오에스디(OSD), 오피디(OPD), 오티에스(OTS), 오디제트(ODZ)를 설정하는 환경설정부로 이루지는 설정/저장부;

상기 카메라로부터 영상을 입력받아 상기 오디제트(ODZ) 감시영역 안의 사물에 대하여 움직임이 검출된 사물의 크기와 상기 오에스디(OSD)의 거리별 사물의 크기를 비교 판단함과 동시에 사물의 행동분석을 통하여 오작동 요인이 되는 부분을 예외 처리해서 얻어진 유형분석사물을 오티에스(OTS)의 크기로 확대하는 1차 영상처리분석부;

상기 오에스디(OSD) 거리로 확대된 사물의 외각선(Shape)을 추출하고, 상기 외각선, 알지비(RGB) 분포도, 속도에 대해 특징을 검출하여 상기 오피디(OPD)와 비교 판단해서 사물의 유형을 확인하는 유형분석부와, 상기 유형분석부에서 판단한 사물 유형을 출력하여 운영자에게 알리는 유형출력부로 이루어지는 2차 영상처리분석부: 및

움직이는 사물의 이동방향 분석 및 이동거리 예측을 통해 줌/팬/틸트제어부를 통해 카메라의 감시위치를 조정하여 사물을 자동으로 추적하는 사물추적부; 를 포함하여 형성되는 것을 특징으로 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템.
삭제
제 1 항에 있어서,

상기 1차 영상처리분석부는 사물의 움직임을 추출하여 오에스디(OSD)의 거리별 사물의 크기를 비교 판단하는 사물분석부와, 사물의 행동분석으로 오작동의 요인을 제거하여 사물유형 인식대상자를 선택하는 패턴보정부와, 상기 사물유형 인식대상자를 오티에스(OTS) 크기로 확대 표출시의 줌/팬/틸트값을 구하고, 상기 구한 줌/팬/틸트값을 이용하여 카메라를 제어함으로서 사물유형 인식대상자를 화면의 중앙에 위치시키는 사물확대부로 이루어지는 것을 특징으로 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템.
제 3 항에 있어서,

상기 사물분석부는 이전 프레임과 현재 프레임 사이에 픽셀 간의 색상의 차가 픽셀차이기준(PCR)의 보다 큰 영상을 추출하여 블록에 매핑하고, 한 블록의 움직임 감지량이 블록감지량기준(BFR)보다 큰 블록을 기준으로 블록과 블록 간의 인접 상태에 따라 사물별 라벨링하여 추출하며, 라벨링된 사물은 상하좌우의 극대/극소점의 연결로 사각의 크기와 화면상의 거리 검출로 상기 오에스디(OSD)의 거리별 사물 최대, 최소값과 비교 판단하여 추적사물을 선택하는 것을 특징으로 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템.
제 4 항에 있어서,

상기 패턴보정부는 추적사물의 연속적인 일정 패턴 횟수를 기준 횟수와 비교해서 상기 기준 횟수 이상인 경우에 이전 사물과 현재 사물의 수평 중심점의 차와 수직 중심점의 차로 수평 이동거리와 수직 이동거리를 계산하고, 상기 수평 이동거리와 수직 이동거리를 수평 기준거리와 수직 거리와 비교하여 각각 기준거리보다 큰 경우에 사물유형 인식대상자로 선택하며, 상기 기준 횟수 이하이거나 기준거리 이하인 경우에 예외 처리하는 것을 특징으로 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템.
제 1 항에 있어서,

상기 유형분석부는 추적 사물을 오티에스(OTS) 크기로 확대한 후, 확대된 영상의 배경영상과의 차로 사물을 추출하고 블록과 블록의 비교 판단으로 사물을 라벨링하며, 라벨링된 사물을 이진화와 모폴로지 영상처리하여 외각선을 추출하는 것을 특징으로 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템.
제 6 항에 있어서,

상기 유형분석부는 추적 사물의 외각선을 추출하여 오피디(OPD)에 정의된 사물의 유형중 사물의 외각선 형태가 최소, 최대 크기에 포함되고 사물의 이동속도가 최대, 최소 속도 이내에 포함되며 사물의 알지비(RGB) 분포도률이 80% 이내일 경우에 동일한 유형의 사물로 판단하는 것을 특징으로 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템.
제 1 항에 있어서,

상기 사물추적부는 추적중인 사물의 외각선, 이동속도, 알지비(RGB) 분포도를 저장한 상태에서 사물이 화면의 가운데 부분에 위치하도록 카메라를 위치 이동한 후,

상기 저장된 사물의 외각선, 이동속도, 알지비(RGB) 분포도와 상기 카메라의 위치 이동후의 사물의 외각선, 이동속도, 알지비(RGB) 분포도를 비교 판단으로 동일 사물을 재추적하는 것을 특징으로 하는 유형별 인식에 의한 사물 추적 및 침입감지 시스템.