KR101040049B1 - 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법 - Google Patents

Abstract

본 발명은 영상 기반 감시 시스템에서 효과적이며 신속하게 다수의 이동 물체를 추적하는 기법을 제공한다. 본 발명은 입력 영상으로부터 이동 물체를 탐지하는 단계; 및 상기 탐지된 이동 물체를 추적하는 단계를 포함하며, 상기 탐지하는 단계는 RGB 배경 모델링을 이용한 이동 물체의 움직임 영역을 추출하고, 모폴로지 기법을 이용한 잡음을 제거하고, Blob-labeling 기법을 이용한 그룹화를 통해 이동 물체 탐지를 수행하는 것을 특징으로 하고, 상기 이동 물체 추적하는 단계는 그룹화된 이동 물체의 이동 속도와 방향을 이용하여, 다음 프레임에서의 위치를 예측하고, 유클리디언(Eucleadian) 거리를 이용하여 동일 그룹을 식별함으로써 이동 물체를 추적하는 것을 특징으로 하는 다수 이동 물체 추적 기법을 제공한다.

Description

영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법{Fast and Robust Method for Tracking the Multiple Moving Objects in Video-based Surveillance System}

본 발명은 실외 환경에 설치된 영상 감시 카메라로부터 다수의 움직임 물체를 추출하고 추적하는 기법에 관한 것이다.

전통적인 영상기반 감시 시스템은 CCTV의 영상을 사람이 직접 감시하거나, DVR에 저장하여 사후에 검사하는 수동적인 시스템이다. 최근에는 감시 인력 운용의 비효율성, 실시간 감시의 필요성 등으로 사람에 의존하지 않고 실시간으로 영상의 감시와 분석이 가능한 지능형 영상 보안 시스템에 대한 요구가 증가하고 있다. 예를 들어, 도심지는 복잡한 교통상황에 대해 불법 주정차가 일어나고 있다. 이러한 불법주차는 원활한 교통흐름을 방해함으로서, 교통체증의 원인이 되고 있다. 이러한 불법주차를 막기 위해 무인 주정차 단속 시스템이 존재하는데 정확도 면에 있어서 아직 개선의 여지가 많은 실정이다. 하루 중 시간대에 따른 광량의 변화를 포함한 날씨의 변화, 그림자의 영향, 다른 물체에 가려진 경우와 같은 각종 예외 상황에 대처하는데 있어서 한계를 보이고 있다.

지능형 영상 감시는 입력 영상으로부터 이동 물체를 탐지 추적하여, 객체를 식별하고 행위 분석을 통해 잠재적 침입자의 이상 거동을 인식하는 기술이다. 물체추적시스템에서는 물체의 감지와 물체추적이 필요하다.

이동 물체를 효과적으로 탐지 추적하기 위해서는 빛의 산란, 새떼의 움직임, 나뭇잎의 흔들림 등 입력 영상에 혼재된 환경적인 영향을 제거하는 것이 중요하다. 이를 위해, Particle Filter(PF)나 Extended Kalman Filter (EKF)를 이용하여 이동 물체를 추적하는 Bayesian 방법, Gaussian Mixture Model (GMM)이나 Background Modeling (BM)을 이용하여 이동 물체를 추적하는 차분 영상 방법 등이 있다.

Bayesian 방법을 이용한 예로는, Parallel EKF로 Dynamic Mixture Model을 설계하고 PF를 적용하여 다수의 이동 물체를 추적하는 방법, Kernel PF를 이용해 다수의 이동 물체를 추적하는 방법이 있으나, 연산량이 많아 실시간 감시가 곤란하다.

기존의 물체감지를 위한 차영상법(background subtraction)은 인접 영상끼리의 배경 차를 이용하여 물체를 감지하게 된다. 차분 영상 방법으로는 흑백 영상의 배경 모델링을 이용해 이동 물체를 추적하는 기법, 흑백 영상으로 인한 정보 손실을 방지하기 위해 RGB 컬러를 이용한 배경 모델링 기법, 컬러 영상의 색조 왜곡 및 빛의 산란으로 인한 오인식을 방지하기 위해 GMM과 Expectation Maximization (EM)을 적용하여 추적 성능을 향상시키는 방법 등이 있으나, 이동 물체가 장애물에 전부 또는 부분적 가려질 경우 추적이 원활하게 수행되지 못한다. 또한, 나뭇가지의 떨림이나 수면의 잔잔한 움직임 같은 배경의 작은 움직임을 움직이는 물체로 인식하는 오류가 일어나기도 한다. 또한, 물체의 대상영역을 분할해 낼 수 없는 문제점이 있다.

물체감지의 또 다른 방법중 하나인 MoG(Mixture of Gaussian)는 배경영상 픽셀을 몇개의 가우시안 분포(Gaussian distribution)의 합 모델을 사용하여 모델링하는 기법이다. MoG기법은 측정오차 분포곡선인 가우시안 분포곡선에 기반, 다수의 가우시안 분포곡선을 이용하여 영상의 배경을 모델링한 후 물체와 배경을 분리함으로서 영상에서 물체를 추출해내는 방식이다. 기존의 가장 기본적인 배경모델링 기법 중 하나인 가우시안 분포곡선을 통한 배경모델링 기법에서는 영상 내의 전체 픽셀들을 하나의 특정 가우시안 분포곡선으로 모델링하였으나, MoG기법에서는 여러개의 가우시안 분포곡선을 사용하여 모델링함으로써, 배경의 분포곡선에 부합하지않는 픽셀들은 전경으로 판단하게 된다. 그러나, 이러한 MoG기법은 배경모델링에 있어서, 가우시안 분포곡선을 따른다는 가정에 기반 함으로 몇가지 문제점을 보이고 있다.

MoG기법은 영상 내 특정 위치에서의 픽셀값 분포가 가우시안 분포도를 따른 다는 가정에서만 성립하고, 배경모델링에 사용될 가우시안 분포도의 개수를 먼저 알아야 하므로 효과적인 적응적 물체 감지기법이라 할 수 없다. 또한, 적은 수의 가우시안 분포도로는 제대로 배경을 모델링 할 수 없고, 변화량이 큰 배경영상을 모델링하는데 한계가 있으며, 픽셀값이 넓은 범위의 구간에 걸쳐 퍼져서 분포되어 있을 경우 제대로 배경모델링이 이루어지지 않는 문제가 있다.

본 발명은 영상 기반 감시 시스템에서 효과적이며 신속하게 다수의 이동 물체를 추적하는 방법을 제공한다.

본 발명은 입력 영상으로부터 이동 물체를 탐지하는 단계; 및 상기 탐지된 이동 물체를 추적하는 단계를 포함하며, 상기 탐지하는 단계는 RGB 배경 모델링을 이용한 이동 물체의 움직임 영역을 추출하고, 모폴로지 기법을 이용한 잡음을 제거하고, Blob-labeling 기법을 이용한 그룹화를 통해 이동 물체 탐지를 수행하는 것을 특징으로 하고, 상기 이동 물체 추적하는 단계는 그룹화된 이동 물체의 이동 속도와 방향을 이용하여, 다음 프레임에서의 위치를 예측하고, 유클리디언(Eucleadian) 거리를 이용하여 동일 그룹을 식별함으로써 이동 물체를 추적하는 것을 특징으로 하는 다수 이동 물체 추적 기법을 제공한다.

본 발명에서 제안한 지능형 영상 기반 감시 시스템을 위한 신속하고 강인한 움직임 물체 추적 기법은 환경적 요인에 대해 강인하여 감시 카메라의 설치 장소에 구애받지 않으며, 처리 속도가 빨라 실시간 감시를 구현할 수 있다.

도1은 Gray-Level 배경모델링을 이용한 움직임 물체의 추출을 나타내는 도면.
도2는 파라메터에 따른 RGB 컬러 배경 모델링 결과를 나타내는 도면.
도3은 모폴로지에 의한 잡음 제거를 보여주는 도면.
도4는 개별 추적에 따르는 이동 물체의 움직임 영역 손실을 나타내는 도면.
도5는 Blob-Labeling 과정을 보여주는 도면.
도6은 Blob-Labeing에 의한 이동 물체의 그룹화를 보여주는 도면.
도7은 그룹의 위치와 예측 위치간의 상관관계를 보여주는 도면.
도8은 유클리디언 거리를 이용한 그룹의 동일성을 확인하는 것을 보여주는 도면.
도9는 새롭게 생성 소멸되는 그룹의 추적 방법을 나타내는 도면.
도10은 실험 환경을 나타내는 도면.
도11은 본 실시예에서 제안하는 이동 물체 추적 알고리즘을 나타내는 도표.
도12는 물체 추적 결과를 나타내는 도면.
도13은 위치 예측 오차를 나타내는 도면
도14는 처리 시간을 나타내는 도면.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.

본 발명은 지능형 영상 기반 감시 시스템의 핵심적인 기술인 이동 물체의 탐지 및 추적 방법을 다룬다. 본 발명은 연산량을 최소화하여 신속하고, 장애물에 의한 정보 손실에 강인한 다수의 이동 물체 추적 방법을 제안한다.

본 발명에서 제안하는 방법은 먼저 입력 영상으로부터 이동 물체를 탐지하고, 탐지된 이동 물체를 지속적으로 추적하는 두 부분으로 이루어져 있다. 이동 물체 탐지를 위해, RGB 배경 모델링을 이용한 이동 물체의 움직임 영역 추출, 모폴로지 기법을 이용한 잡음 제거, 그리고 Blob-labeling 기법을 이용한 그룹화를 통해 잡음이나 환경적 요인에 강인한 이동 물체 탐지가 가능하다. 이동 물체 추적은 그룹화된 이동 물체의 이동 속도와 방향을 이용하여, 다음 프레임에서의 위치를 예측하고, 유클리디언(Eucleadian) 거리를 이용하여 동일 그룹을 식별함으로써 이동 물체를 추적한다. 또한, 본 발명에서 제안하는 방법은 이전 영상에서 식별된 그룹과 현재 영상에서 생성된 그룹의 수를 비교하여, 영상에 새롭게 진입하거나 사라진 이동 물체와 합쳐지거나 분리된 그룹을 인식함으로써 신속하고 장애물에 의한 영향을 덜 받는 이동 물체 추적이 가능하다.

1. 이동 물체 탐지

본 발명에서 제안하는 방법의 첫 번째 단계는 이동 물체의 탐지에 관한 것이다. 제안하는 이동 물체 탐지 방법은 입력 영상에 RGB 배경 모델링과 모폴로지 기법을 적용한 이동 물체 추출과 Blob-labeling을 사용한 이동 물체 그룹화를 포함한다.

1.1 이동 물체 추출

수학식1과 같이 배경 모델링을 이용하여 연속된 입력 영상으로부터 움직임 영역을 추출하는 것이 일반적이다.

여기서,

는 Z번째 입력 영상의 해당 픽셀 위치

에서의 Gray Level,

와

는 모든 입력 영상의 해당 픽셀에서의 중간값 및 표준편차이다. 그러나 Gray Level을 이용한 배경 모델링은 RGB나 HSI 등을 이용한 방법에 비해 영상 정보의 손실이 크다. 도1은 Gray Level에 의한 배경 모델링의 예로서 추출된 움직임 영역이 지나치게 삭감되는 것을 보여준다.

RGB 컬러 모델을 사용하면 이러한 문제를 예방할 수 있으며 별도의 영상 변환이 필요하지 않으므로 수행 속도를 향상시킬 수 있다는 장점이 있으나, 빛의 반사와 산란 등 작은 변화에 민감해진다는 단점이 있다. 본 발명에서는 수학식 2와 같이 파라메터

를 도입하여 민감도를 조절하는 방법을 제안한다.

이러한 RGB 배경 모델링 결과로부터, 연속된 영상

의 각 픽셀 위치에서 최대 최소 조건을 만족하는 움직임 영역

를 수학식 3을 이용해 얻는다.

수학식3에 의해 추출된 이동 물체의 움직임 영역은 도2와 같이 민감도 파라메터

의 영향을 받는다. 감시 카메라가 설치된 곳의 환경에 따라

를 조절하여 최적의 영상을 얻을 수 있으며, 본 실험의 경우 그 값은

가량이다. 빛의 산란이나 반사에 의한 잡음은 제안하는 파라메터

를 이용해 효과적으로 제거할 수 있으나, 새떼의 움직임이나 나뭇잎의 흔들림과 같은 비추적 자연물에 의한 잡음은 제거할 수 없다. 물론, 도 2-(f)와 같이

값을 크게 하면 이러한 잡음을 어느 정도 제거할 수 있으나, 움직임 영역도 같이 삭감되는 문제가 있다.

이러한 자연물에 의한 잡음은 도 3-(a)의 화살표와 같이 군집된 픽셀들이 산개한 형태로 분포하므로 기하학적 영상 처리 기법인 모폴로지를 이용하여 제거할 수 있다. 모폴로지의 침식 연산을 통해 불규칙적으로 산개된 잡음을 제거하고, 이 과정에서 부분적으로 손실된 움직임 영역을 팽창 연상을 통해 복원한다. 도 3은 이 과정을 나타낸 것이다. 도 3-(a)와 같이 민감도 파라메터

를 조절하여 추출한 영상을 수학식 4를 이용하여 이진화하고, 이 결과에 침식과 팽창 연산을 적용하여 자연물에 의한 잡음을 제거한다.

1.2 이동 물체 그룹화

RGB 배경 모델링과 모폴로지를 이용해 추출된 이동 물체를 개별적으로 추적할 경우, 도 4의 점선 박스와 같이 장애물에 가려 움직임 영역이 손실되거나, 실선 박스와 같이 유사한 컬러에 묻혀 서로 다른 물체로 인식할 가능성이 있다. 또한, 근접해 있거나 겹쳐있는 이동 물체를 개별적으로 추적하는 것은 많은 연산이 필요하고 오류가 발생할 가능성이 크다.

본 발명에서는 이동 물체들을 개별적으로 추적하지 않고, 이들을 그룹화하여 추적하는 방법을 사용한다. 도 5과 같이, 구현이 용이하고 연산량이 적어 실시간 수행에 적합한 4-방향 Blob-labeling 기법을 이용해 이동 물체를 그룹화 한다. 추출된 이동 물체의 영역을 Labeling하여 각 영역을 식별하고, 일정한 크기를 넘지 못하는 것은 버림으로써 의미 없는 영역은 삭제한다. 도 6의 박스는 이동 물체를 그룹화한 결과이다. 도4 4와 비교했을 때, 장애물이나 유사한 컬러에 의한 오류를 방지하여 추적 성능을 향상시킬 수 있다.

2. 이동 물체 추적

본 발명에서 제안하는 방법의 두 번째 단계로서, 탐지된 다수의 이동 물체를 추적하기 위해, 각 그룹의 위치 예측, 매 프레임에서 각 그룹의 동일성 판별, 그리고 새롭게 진입하거나 사라진 그룹과 합쳐지거나 분리된 그룹을 인식하는 알고리즘을 다룬다. 이를 위해 수학식 5와 같이 용어를 정의한다.

는 현재 영상에서 생성된

개의 식별되지 않은 각 그룹의 위치,

은 이전에 생성된

개의 식별된 그룹에서

그룹의

개 프레임 중

번째 프레임에서의 위치를 의미한다. 이 때, 각 정보의 인덱스는

,

,

이다. 이 정보로부터

그룹의

번째 프레임에서의 예측 위치

와 변위

는 식 (5)를 이용하여 구한다. 여기서,

와

는 각 위치벡터의

축 값,

와

는 각 위치 벡터의

축 값을 의미하고,

와

는 각 변위 벡터의 속도와 방향을 의미한다. 도 7은 수학식5의 위치 벡터와 변위 벡터를 생성하는 방법을 도식적으로 나타낸 것이다.

이러한 예측 정보를 이용하여 이전 프레임에서 식별된 그룹과 현재 프레임에서 생성된 그룹이 동일한 그룹인 지 판별한다. 유클리디언 거리를 이용하여, 이전 프레임에서 식별한

개의 그룹 중

그룹의

번째 예측 위치

로부터 가장 가까이 있는 현재 그룹

을

그룹의 현재 위치로 판단한다. 도8은 이 과정을 도식적으로 표현한 것이다.

한편, 그룹이 새롭게 발생하거나 사라지는 경우, 이전 영상에서 식별된 그룹의 개수

와 현재 영상에서 생성된 그룹의 개수

이 일치하지 않는다. 도 9-(a)와 같이 새로운 그룹이 진입하거나 기존의 그룹이 분리되면, 현재 영상에서 식별되지 않은 그룹

개 만큼 새로운 ID를 부여한다. 도 9-(b)와 같이 그룹이 사라지거나 기존의 그룹이 합쳐지면, 현재 영상에서

개의 중복된 ID를 가지는 그룹이 존재한다. 중복된 ID를 갖는 현재 그룹은 대응하는 이전 그룹 중 유클리디언 거리가 가장 가까운 그룹의 ID를 상속 받고 나머지 ID는 폐기한다.

3. 시스템 구현 및 실험 결과

본 발명에서 제안하는 영상 기반 감시 시스템의 이동 물체 추적 기법을 구현하기 위해 그림 10과 같이 시스템을 구축한다. 감시 카메라는 33만 화소의 IP 카메라로서 영상의 크기는 704X480픽셀이며, 알고리즘 및 영상 신호 처리를 위해 2.66GHz와 4GRAM의 PC를 사용한다.

3.1 시스템 구현

본 발명에서 제안하는 이동 물체 추적 알고리즘 도 11과 같이 입력 영상으로부터 이동 물체를 탐지하고, 탐지된 이동 물체를 지속적으로 추적하는 두 부분으로 구성된다. 이동 물체 탐지을 위해, 도 11의 왼쪽 박스와 같이 RGB 배경 모델링을 이용한 움직임 영역 추출, 모폴로지 기법을 이용한 잡음 제거, 그리고 Blob-labeling 기법을 이용한 그룹화를 통해 이동 물체를 탐지한다. 이동 물체 추적은 그룹화된 이동 물체가 존재할 경우 활성화 되며, 도 11의 오른쪽 박스와 같이 이전 프레임에서 그룹의 위치

, 프레임 간 그룹의 변위

, 다음 프레임에서 그룹의 예측 위치

, 그리고 현재 프레임에서 그룹의 위치

정보를 사용한다.

와

의 유클리디언 거리를 이용하여 동일 그룹을 식별하고, 이전 영상에서 식별된 그룹의 수

와 현재 영상에서 생성된 그룹의 수

을 비교하여, 영상에 새롭게 진입하거나 사라진 이동 물체와 합쳐지거나 분리된 그룹을 인식함으로써 이동 물체를 추적한다.

3.2 실험 결과

제안하는 이동 물체 추적 알고리즘 도 11과 같이 입력 영상으로부터 이동 물체를 탐지하고, 탐지된 이동 물체를 지속적으로 추적하는 두 부분으로 구성된다. 이동 물체 탐지를 위해, 도 11의 왼쪽 박스와 같이 RGB 배경 모델링을 이용한 움직임 영역 추출, 모폴로지 기법을 이용한 잡음 제거, 그리고 Blob-labeling 기법을 이용한 그룹화를 통해 이동 물체를 탐지한다. 이동 물체 추적은 그룹화된 이동 물체가 존재할 경우 활성화 되며, 도 11의 오른쪽 박스와 같이 이전 프레임에서 그룹의 위치

, 프레임 간 그룹의 변위

, 다음 프레임에서 그룹의 예측 위치

, 그리고 현재 프레임에서 그룹의 위치

정보를 사용한다.

와

의 Euclidean 거리를 이용하여 동일 그룹을 식별하고, 이전 영상에서 식별된 그룹의 수

와 현재 영상에서 생성된 그룹의 수

을 비교하여, 영상에 새롭게 진입하거나 사라진 이동 물체와 합쳐지거나 분리된 그룹을 인식함으로써 이동 물체를 추적한다.

4. 시스템 구현 및 실험 결과

본 발명에서는 지능형 영상 기반 감시 시스템을 위한 신속하고 강인한 움직임 물체 추적 기법을 제안했다. 제안한 방법은 환경적 요인에 대해 강인하여 감시 카메라의 설치 장소에 구애 받지 않으며, 처리 속도가 빨라 실시간 감시를 구현할 수 있다. 본 발명의 설명에서는 고정된 감시 카메라인 경우에 대해 설명했지만, 본 발명을 Pan-tile-zoom (PTZ) 구동이 가능한 감시 카메라에 적용하여 소수의 카메라로 넓은 지역을 감시할 수 있는 시스템과 다수 이동 물체 중 특정 대상을 추적할 수 있는 시스템에 적용할 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (4)

1. 삭제
2. 입력 영상으로부터 이동 물체를 탐지하는 단계; 및
   상기 탐지된 이동 물체를 추적하는 단계를 포함하며,
   상기 탐지하는 단계는 RGB 배경 모델링을 이용한 이동 물체의 움직임 영역을 추출하고, 모폴로지 기법을 이용한 잡음을 제거하고, Blob-labeling 기법을 이용한 그룹화를 통해 이동 물체 탐지를 수행하는 것을 특징으로 하고,
   상기 이동 물체 추적하는 단계는 그룹화된 이동 물체의 이동 속도와 방향을 이용하여, 다음 프레임에서의 위치를 예측하고, 유클리디언(Eucleadian) 거리를 이용하여 동일 그룹을 식별함으로써 이동 물체를 추적하는 것을 특징으로 하며,
   상기 이동 물체 추적하는 단계는
   이전 영상에서 식별된 그룹과 현재 영상에서 생성된 그룹의 수를 비교하여, 영상에 새롭게 진입하거나 사라진 이동 물체와 합쳐지거나 분리된 그룹을 인식하는 단계를 포함하는 것을 특징으로 하는 다수 이동 물체 추적 기법.
   
3. 제 2 항에 있어서,
   상기 이동 물체를 그룹화하는 것은 4-방향 Blob-labeling 기법을 이용하며,
   추출된 이동 물체의 영역은 라벨링하여 각 영역을 식별하고, 일정한 크기를 넘지 못하는 것은 버림으로써 의미 없는 영역은 삭제하는 단계를 포함하는 것을 특징으로 하는 다수 이동 물체 추적 기법.
   
4. 제 2 항에 있어서,
   상기 탐지된 다수의 이동 물체를 추적하기 위해, 각 그룹의 위치 예측, 매 프레임에서 각 그룹의 동일성 판별, 그리고 새롭게 진입하거나 사라진 그룹과 합쳐지거나 분리된 그룹을 인식하는 단계를 포함하는 다수 이동 물체 추적 기법.
   

Images