KR20060031832A - 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템 - Google Patents

Abstract

현재의 DVR(Digital Video Recording System)과 같은 영상 기반 감시 시스템에서는 실시간 영상 감시를 위해서는 획득하는 모든 영상을 24시간 모니터링 하는 모니터 요원이 있어야 한다. 그러나 이러한 영상 감시 시스템에서는 감시 영상이 많은 경우, 그 많은 감시 영상을 24시간 모니터 요원이 모니터링하기란 현실적으로 불가능하다. 따라서 모니터 요원이 일일이 감시 영상을 모니터링하지 않아도, 시스템이 획득한 영상을 실시간으로 분석하여 감시 구역 내에 출입하는 물체(사람, 차량 등)들을 실시간으로 탐지하고, 이를 추적하며 이들의 행위를 파악하여 위험 상황이 예측되는 경우(보안구역 침입, 폭발물 추정 물체 놓고 감, 쓰레기 투척, 보호 어린이 등에 접근 등)에 필요한 조처(경보 발생, 출입 통제 등)를 실시간으로 취할 수 있도록 하여 준다면 매우 효율적인 영상 감시 시스템 구축이 가능하다.

본 발명에서는 기존 영상 감시 시스템이 갖는 기본 기능인 획득 영상 디스플레이, 압축?저장, 검색 등의 기본 기능에 더하여 “행위 분석 및 상황 인지” 기능을 갖는 차세대 스마트 영상 보안 시스템을 제안한다.

기존의 영상 감시 시스템에서는 실시간으로 획득한 영상을 디스플레이하고 차후 검색을 위하여 압축?저장하였다. 또한, 감시 구역을 설정하여 전영상과 현재 영상에서 픽셀 값들의 차이가 일정 범위 이상이면, 움직임이 검출된 것으로 간주하여 이 경우에만 해당 영상을 압축?저장하고 필요시에 경보를 발생하도록 하였다. 그러나 이 경우에는 조명이 달라지거나, 배경의 물체(나무, 커튼 등) 등이 바람에 움직 이더라도 이를 움직임 검출로 간주하기 때문에 정말로 원하는 물체(사람, 차량 등)만을 검출하지 못하고 잘못된 경보를 발생하게 된다. 또한, 물체의 행위 분석 및 상황 분석을 수행하지 않으므로 위험한 행동을 발견하지 못한다.

본 발명에서는 배경 영상을 학습하고, 들어오는 현재의 영상에서 학습된 배경과 다른 픽셀들을 움직임 영역으로 추출한 후에 노이즈 영향을 줄이기 위하여 모폴로지 필터(morpolgy filter)를 적용하였다. 이 때 배경 영상의 학습은 바이노미얼 분포 기법, 혼합 가우시안(gaussian mixture) 기법 등을 활용하여 정적 배경뿐만 아니라, 동적 배경 등도 잘 학습되도록 하였다. 이후 움직임 영역에서 이동 물체를 추출한다. 움직임 영역에서 이동 물체를 추출하기 위해 1) 적응적 배경 빼기 기법과 3개 프레임 차이 기법 혼합 2) 잠시 멈췄다가, 다른 물체에 가려진 후 다시 움직이는 물체들을 잘 식별하기 위한 시간적 물체 계층(temporal object layer) 유지 기법을 적용하였다.

검출된 물체를 비디오 시퀀스의 프레임사이에서 서로 매칭하여 시간 경과에 따라 추적하며, 추출된 물체의 모양 분석 및 물체 추적 정보를 통해 물체를 분류하고 행위 분석을 수행한다. 물체의 분류는 사람, 사람 그룹, 차량, 일반 물체, 클러터의 5가지로 분류하고, 또한 이를 세분하여 차량 타입, 컬러 등을 구별하였다. 행위 분석은 물체 행동을 ‘나타남, 이동, 정지, 사라짐’ 등으로 분류하고, 물체간 상호 작용을 ‘근처, 멀리 떨어져 감, 다가옴, 상호작용 없음’ 등으로 분류하였다. 보통 물체 추적에는 칼만 필터를 많이 사용하나, 순수 칼만 필터는 unimodal gaussian densities 에 의존하고 있기 때문에 제한된 적용을 갖는다. 따라서 본 발 명에서는 다수 이동 물체 사이의 매칭 모호성이 있는 경우도 다루기 위해 확장된 칼만필터를 개발하여 사용하였다. 물체 추적 분석은 합법적 이동 물체와 잡음 또는 클러터와 구별하여 false alarm 줄이기 위해 도움이 된다.

상황 인지 분석은 설정 보안 구역에로의 침입, 폭발물 추정 물체 놓고 감, 쓰레기 투척, 보호 어린이 등에 접근이 검출된 추정 사람에 의해 이루어 지는 등의 상황을 분석하고 인지하는 것을 말하며 본 발명에서는 상황 인지 분석 후에 사용자가 설정한 보안 규칙을 위반하는 경우에 경보가 발생하도록 하였다.

물체 검출, 물체 추적, 물체 분류, 행위 분석, 상황 인지, 영상 감시

Description

실시간 행위분석 및 상황인지 기반 스마트 영상 보안 시스템 {A Smart Visual Security system based on Real-time Behavior Analysis and Situation Cognizance}

제 1 도는 실시간 행위분석 및 상황인지 스마트 보안 시스템 구성 및 동작 환경

제 2도는 발명 시스템에서의 지능적 영상 보안 처리 흐름도

제 3도는 기존 이동 물체 검출 기법(배경 빼기, 프레임 차이)의 문제점

제 4도는 본 발명 제안 혼합 물체 검출 기법에 의한 이동 물체 검출 결과 예

제 5도는 여러 가지 사건에 대한 픽셀 밝기값 프로파일 특성

본 발명이 속하는 기술 분야는 영상처리와 컴퓨터 비젼을 결합한 지능형 영상감시 기술 분야이다. 발명의 목적에서 기술한 바와 같이 본 발명은 기존 영상 감시 시스템이 갖는 기본 기능인 획득 영상 디스플레이, 압축?저장, 검색 등의 기본 기능에 더하여 스마트 영상 보안 시스템에 필요한 “물체 검출, 물체 추적, 물체 분류, 행위 분석 및 상황 인지” 등에 있어서의 효율적인 비젼 알고리즘 및 이들에 기반을 둔 “실시간 행위분석 및 상황인지 기반 스마트 영상 보안 시스템 ” 제안을 위한 것이다.

기존의 이동 물체 검출 방법에는 다음의 3가지 접근 방법이 있다. ①프레임 차이(frame differencing) ②배경 빼기(Background substraction) ③광류(optical flow). 이 가운데, 시간적 차이 기법은 동적 변화 환경에 잘 적응되나, 관련된 모든 특징 픽셀 추출에는 완전히 성공적이지는 않다. 배경 빼기 기법은 가장 완전한 특징 데이터를 제공하나, 조명 및 예외적 사건에 의한 동적 장면 변화에 매우 민감하다. 광류 기법은 독립적으로 움직이는 물체 탐지에 사용될 수 있으나, 계산량이 매우 많다. 본 발명에서는 이들 단점을 보완하기 위해 “적응적 배경 빼기 기법과 3개 프레임 차이 기법의 혼합 기법”을 개발하였다. 또한, 잠시 멈췄다가, 다른 물체에 가려진 후 다시 움직이는 물체들을 잘 식별하기 위한 시간적 물체 계층(temporal object layer) 유지 기법을 제안하였다.

물체 추적은 보통 칼만 필터를 많이 사용하나, 순수 칼만 필터는 unimodal gaussian densities 에 의존하고 있기 때문에 제한된 적용을 갖는다. 따라서 본 발명에서는 다수 이동 물체 사이의 매칭 모호성이 있는 경우도 다루기 위해 확장된 칼만필터를 개발하여 사용하였다.

기존 영상 감시 시스템에는 움직임 검출 및 이 경우에 경보할 수 있는 기능이 있다. 이 경우, 그러나, 이 경우에는 조명이 달라지거나, 배경의 물체(나무, 커튼 등) 등이 바람에 움직이더라도 이를 움직임 검출로 간주하기 때문에 정말로 원하는 물체(사람, 차량 등)만을 검출하지 못하고 잘못된 경보를 발생하게 된다. 또한, 기존 영상 감시 시스템에서는 물체를 검출하고 추적하고 분류한다든지, 물체 행위 분석 및 상황 인지를 하는 기능 등을 보유하고 있지 않다. 또한, 사용자 설정 보안 규칙 위반 여부 결정 및 경보 통보의 기능 또한 가지고 있지 못하다.

본 발명이 이루고자 하는 기술적 과제는 다음과 같다.

1) 강인한 이동 물체 검출 알고리즘 제안

- 조명의 변화나 배경 물체(나무, 커튼 등) 움직임이 잇는 경우에도 효과적인 이동 물체 검출

- 정지하였다가 다시 움직이는 이동 물체 검출, 합쳐진 후 다시 분리되는 이동 물체들의

효율적인 검출

2) 강인한 이동 물체 추적 알고리즘 제안

- 다수 이동 물체 사이의 매칭 모호성이 있는 경우도 다루기 위해 확장된 칼만필터

제안

3) 행위 분석 및 상황 인지 분석에 따른 실시간 자동 보안 알고리즘 제안

- 행위 분석 및 상황 인지 분석에 따라 사용자가 설정한 보안 규칙 위반 시

이를 모니터 요원 개입 없이 소프트웨어 자체적으로 자동적으로 검출하여 통보하는 알 고리즘 제안

4) 기존 영상 감시 시스템과 차별화된 차세대 실시간 자동 지능 영상 보안 시스템 제안

1) “실시간 행위분석 및 상황인지 기반 스마트 영상 보안 시스템” 의 구성 및 동작 환경

본 발명 시스템의 구성 및 동작 환경은 도면1 에 표시되어 있다. 도면1 에서 각 서브시스템의 역할은 다음과 같다.

- 도면1 의 점선부분 안쪽이 “차세대 스마트 영상 감시 시스템”을 나타내며, 이는 물리적 으로는 하나의 컴퓨터 장치이다.

- 영상 획득/처리 모듈은 CCTV 카메라에서 획득한 아날로그 영상을 디지털화하고 필요한 영상 처리를 수행하는 영상 캡쳐 및 처리 H/W 및 인터페이스 H/W, 장치 드라이버로 구성된다.

- 디스플레이 매니져는 지정된 디스플레이모드(1/4/9/16채널 디스플레이모드)로

모니터 화면에 디스플레이하는 것을 담당하는 부분이다.

- 영상 압축?저장 매니져는 영상을 압축?저장한다.

- 검색 및 재생 매니져는 검색조건에 맞는 영상을 찾고 이를 재생한다.

- 영상해석 매니져는 등록?구성된 정보에 따라 등록된 물체(사람, 차량, 가방 등)를 탐지

하고 이를 분류하며, 추적하는 일을 담당한다.

- 상황분석 매니져는 구성된 상황 및 사건에 따른 상황 분석 수행을 담당하며 이 결과를 결과 조치 매니져에게 전달한다.

- 결과조치 매니져는 구성된 담당자에게 경보(이메일, SMS 등)하고, 웹로그, 로깅 등의

작업을 수행한다.

- 위 도면 1에 안 나타나 있지만, 디지털 I/O 처리 및 전체 시스템 관리를 수행하는 모듈이 있다.

2) 지능적 영상 보안 처리 흐름

본 발명의 시스템에서 수행되는 지능적 영상 보안 처리의 흐름은 도면2 에 표시되어 있다.

본 발명의 시스템에서 수행되는 지능적 영상 보안 처리는 움직임 영역 검출, 물체 검출, 움직임 물체추적, 물체 분류, 상황 분석, 사용자 설정 보안 규칙 위반 유무 결정 및 경보 통보 부분으로 구성되어 있다.

3) 움직임 영역 및 물체 검출

○ 움직임 검출은 배경화면 등록, 움직임 검출, 움직임 영역 분리 과정으로 구성된다. 배경화면 등록은 배경화면을 정적 배경과 동적 배경으로 구분하고 정적 배경의 경우, 화면의 평균값과 변화정도의 표준편차를 학습하여 구하고 이를 등록한다. 등록된 배경 화면은 하루의 일기 변화에 따라 변화는 조명의 변화에 적응할 수 있게 moving average model을 사용하였다. 동적 배경의 경우, 혼합 가우시안 모델로 학습한다. 움직임 검출은 각 화소에서 수행되는데 현재의 화면의 화소 값과 등록된 배경화면의 화소 값의 차이가 등록된 표준 편차 값의 일정 배수 이상이 되면 해당 화소에 움직임이 있는 것으로 판정한다. 각 화소에서 움직임을 검출한 후에는 노이즈 영향을 줄이기 위하여 모폴로지 필터(morpolgy filter)를 적용한다.

○ 움직임이 검출되면 움직임 검출 영역에 대해 물체 검출을 수행한다. 움직임 검출 영역에 대해서만 물체 검출을 수행하는 것은 계산량을 줄여 실시간 물체 검출이 가능해진다. 이동 물체 검출 방법에는 보통 다음의 3가지 접근 방법이 있다. ①프레임 차이(frame differencing) ② 배경 빼기(Background substraction) ③광류 (optical flow). 시간적 차이 기법은 동적 변화 환경에 잘 적응되나, 관련된 모든 특징 픽셀 추출에는 완전히 성공적이지는 않다. 배경 빼기 기법은 가장 완전한 특징 데이터를 제공하나, 조명 및 예외적 사건에 의한 동적 장면 변화에 매우 민감하다. 광류 기법은 독립적으로 움직이는 물체 탐지에 사용될 수 있으나, 계산량이 매우 많다.

○ 본 과제에서는 이동물체 검출을 위해 다음의 2가지 방법을 개발한다.

첫째, 적응적 배경 빼기 기법과 3개 프레임 차이 기법 혼합

둘째, 잠시 멈췄다가, 다른 물체에 가려진 후 다시 움직이는 물체들을 잘 식별하기 위한 시간적 물체 계층(temporal object layer) 유지 기법

가) 이동 물체 검출을 위한 혼합 알고리즘(hybrid algorithm) 개발

○ 적응적 배경 빼기 기법과 3 프레임 차이 기법을 혼합한 알고리즘을 개발한다.

적응적 빼기 기법의 문제의 하나는 오랫동안 정지된 물체가 이동하는 경우, 잠시 동안 잘못된 이동 물체의 검출(여백을 이동 물체로 오인)이 이루어 질 수 있다(도 3(a)). 프레임 차이 기법은 이런 현상은 막을 수 있으나, 이동 물체의 완전한 모양을 추 출하기 어렵다(도 3(b)).

○ 이러한 문제점을 해결하기 위하여 본 발명에서 제안한 배경 빼기 기법과 프레임 차이 기 법을 혼합한 물체 검출 알고리즘은 다음과 같다.

○ 먼저 3 프레임 차이 기법을 해당 픽셀이 이동 픽셀인가를 판별한다.

다음의 규칙을 만족하면 이동 픽셀로 간주한다.

(여기서, 는 시간 t=n, 픽셀 위치 x 에서의 픽셀 밝기값, 는 픽셀 위치 x 에서 통계적으로 의미 있는 픽셀 밝기값의 변화를 기술하는 임계값(threshold) 을 나타낸다.)

프레임 차이 기법의 문제는 균일한 밝기값을 나타내는 물체 내부 픽셀은 이동 픽 셀로 검출되지 않는다는 것이다. 그러나 내부 이동 픽셀은, 이동 픽셀을 연결 영 역으로 클러스터링한 후 적응 배경 빼기 기법을 적용하여 연결 영역을 감싸는 사각형 안의 이동 픽셀을 추출함으로써, 채워질 수있다.

즉 다음의 규칙을 적용하여, 연결 연역내의 이동 픽셀들의 집합을 나타내는 브롭 (blob) 은 배경 모델 과 크게 다른 내의 모든 픽셀을 취함으로써 채워질 수 있다.

배경 모델 과 임계값 은 영상 프레임 시퀀스

로부터 관측되는 픽셀 밝기값의 통계적 특성들이다. 따라서 본 과제에서는 이들

, 이 시간에 따라 다음과 같이 업데이트되도록 하였다.

(여기서, 는 새 정보가 얼마나 옛 관측을 대체하는 가를 지정하는 시상수(time constant) 이다.)

○ 도면 4는 상기 물체 검출 알고리즘을 수행한 결과를 보여준다.

나) 시간적 물체 계층적 검출 기법

○ 강인한 물체 검출 기법은 물체가 정지하거나, 다른 물체에 가렸을 때도 동작하여 야 한다.

○ 계층적 검출은 픽셀 분석 및 영역 분석의 2개의 과정으로 이루어진다.

픽셀 분석은 경과시간에 대해 픽셀 강도를 관찰함으로써, 픽셀이 정지 상태 (stationalry) 인지, 지나가는 상태(transient) 인지를 결정한다. 영역 분석은 픽셀을 그룹핑하여 정지 영역 또는 움직임 영역으로 분리한다.

픽셀의 상태는 다음의 관찰을 고려하여 결정한다.

① 어떤 픽셀 위치를 물체가 이동하는 경우 픽셀 밝기의 급격한 변동이 생긴 후에, 시간이 지나면 해당 픽셀 위치의 배경 모델 픽셀 발기로 돌아간다(도 5(a)).

② 어떤 픽셀 위치에 이동 물체가 와서 정지하였다면, 픽셀 밝기의 급격한 변동후에 새로운 픽셀 밝기값으로 바뀐다(도 5(b)).

③ 조명 또는 기상학적 변동에 의한 해당 픽셀 밝기값의 변동은 완만하게 진행된 다(도 5(c)).

○ 상기 관찰을 통해 각 픽셀에 대해 배경 상태, 지나가는 상태, 정지상태로 분류한 다. 이후, 비배경 상태(지나가는 상태, 정지 상태)에 대해, 자나가는 상태 픽셀의 그룹은 이동 물체로, 정지상태 픽셀 그룹은 정지 물체로 분류한다.

○ 이를 시간대별로 분류하여 시간적 계층을 만들고 각 계층별로 물체를 분류한다.

4) 물체 추적

○ 물체 활동의 시간적 모델을 구축하기 위해, 움직임 검출에 의해 생성된 각 물체 브롭(blob)을 비디오 시퀀스의 프레임사이에서 서로 매칭하여 시간 경과에 따라 추적한다. 보통 물체 추적에는 칼만 필터를 많이 사용하나, 순수 칼만 필터는 unimodal gaussian densities 에 의존하고 있기 때문에 제한된 적용을 갖는다. 따라서 본 과제에서는 다수 이동 물체 사이의 매칭 모호성이 있는 경우도 다루기 위해 확장된 칼만필터를 개발한다. 물체 추적 궤도 분석은 합법적 이동 물체와 잡음 또는 클러터 와 구별하여 false alarm 줄이기 위해 도움이 된다.

5) 물체 분류 및 행위 분석

○ 스마트 카메라의 비젼의 중요 목적은 획득된 영상 데이터에서 각각의 물체를 식별 하는 것이다. 이를 위해 2개의 물체 분류 알고리즘을 개발한다. 첫째는 신경망 회 로이며 이때 사람, 사람 그룹, 차량, 일반 물체, 클러터의 5가지로 물체를 분류한다. 두 번째 방법은 LDA 를 사용하여 더 세분하여 차량 타입, 컬러 등을 구별한다. 이후 행위 분석을 수행하여 물체 행동을 ‘나타남, 이동, 정지, 사라짐’ 등으로 분류하고, 물체간 상호 작용을 ‘근처, 멀리 떨어져 감, 다가옴, 상호작용 없음’ 등으로 분류한다.

6) 상황 분석

○ 상황 분석은 응용에 따라 달라진다. 본 과제에서 고려하고 있는 상황분석의 예의 하나는 공항에서 테러범이 가방을 가지고 걷다가 임의의 장소에 가방을 놓고 계속 걸어가는 상황의 파악이다. 가방을 들고 운반할 경우에는 추출된 움직임 영역에서 사람과 가방에 해당하는 영역의 각 화소는 일정한 방향으로 움직임을 보여주고 있다. 가방과 사람이 분리하는 경우에는 배경화면과 현재의 화면의 차이에서 일체가 되어 움직이던 사람과 가방이 분리되고 사람은 계속 걸어가고, 가방은 정지됨을 알 수 있다. 이 경우 움직이는 하나의 물체가 둘로 분리되면서 하나는 계속 움직이고 다른 하나는 정지된 상태의 상황으로 인지된다.

7). 사용자 설정 보안 규칙 위반 여부 결정 및 경보 통보

○ 사용자 설정 보안 규칙 위반 여부 결정 및 경보 통보에서는 사용자가 요구한 보안 규칙 (예: 얼굴 검출, 침입자 탐지, 쓰레기 투척자 탐지, 공항에서 가방을 놓고 가 는 사람 탐지 등)을 위반한 경우가 적발되는 지의 여부를 결정한 후, 이를 다음 얼굴 확대 모듈, 압축 모듈 등에 알려 이에 따른 조처(검출된 얼굴 확대, 얼굴 검출된 영상만을 압축)를 취하게 하거나, 모니터 요원에게 이메일, 문자 메시지, 해당 영상 등을 전송하게 하는 등의 경보 통보 조처가 취해지게 한다.

기존 실시간 영상 감시를 위해서는 획득하는 모든 영상을 24시간 모니터링 하는 모니터 요원이 있어야 한다. 그러나 이러한 현재의 영상 감시 시스템에서는 감시 영상이 많은 경우, 그 많은 감시 영상을 24시간 모니터 요원이 모니터링하기란 현실적으로 불가능하다.

본 발명은 모니터 요원이 일일이 감시 영상을 모니터링하지 않아도, 시스템이 획득한 영상을 실시간으로 분석하여 감시 구역 내에 출입하는 물체(사람, 차량 등)들을 실시간으로 탐지하고, 이를 추적하며 이들의 행위를 파악하여 위험 상황이 예측되는 경우(보안구역 침입, 폭발물 추정 물체 놓고 감, 쓰레기 투척, 보호 어린이 등에 접근 등)에 필요한 조처(경보 발생, 출입 통제 등)를 실시간으로 취할 수 있도록 하기 때문에 매우 효율적인 실시간 영상 보안 시스템 구축이 가능하다.

Claims (3)

1. 행위 분석 및 상황 인지 기반 영상 감시 기능을 수행하는 실시간 지능 영상 감시 및 보안 시스템
2. 도면 1에 표시된 실시간 행위분석 및 상황인지 기반 스마트 영상 보안 시스템 구조.
3. 발명의 구성 및 작용 부분의 3)움직임 영역 및 물체 검출 기법

Images