KR100738522B1

KR100738522B1 - 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법

Info

Publication number: KR100738522B1
Application number: KR1020040109854A
Authority: KR
Inventors: 고병철; 강보현
Original assignee: 삼성전자주식회사
Priority date: 2004-12-21
Filing date: 2004-12-21
Publication date: 2007-07-11
Also published as: EP1677251A2; CN1848949A; KR20060070969A; US20060133785A1; JP2006180479A

Abstract

본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 그 방법은 물체의 움직임을 감지하여 침입자 발생 여부를 판단하는 무인 비디오 감시 시스템에서 물체의 움직임 발생으로 인한 침입자 발생과 카메라의 움직임 및 떨림 등으로 인한 잘못된 침입자 감지 발생의 경우를 구분해 주고 물체의 움직임으로 인한 침입자 발생으로 판단될 경우 해당 물체를 추출하는 것으로, 본 발명에 따르면, 입력 동영상으로부터 광류 흐름(Optical Flow)을 구한 후, 이것을 각도값으로 변형하여 분류하고, 그 각도값이 일정 임계값을 초과하게 되는 경우 물체의 움직임 검출로 판단하고, 각도값이 일정 임계값을 초과하지 않게 되는 경우 카메라의 움직임이나 떨림으로 판단하게 되는 것이다. 여기서, 물체의 움직임으로 판단되는 경우 물체의 광류 흐름에 대한 X-Y 투영을 통해 움직임이 발생된 부분만을 추출해 내는 작업을 통해 객체를 분할하고 이를 연속된 프레임에서 추적하여 물체의 이동 경로를 추적하는 것이다.

Description

비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 그 방법{APPARATUS AND METHOD FOR DISTINCTION BETWEEN CAMERA MOVEMENT AND OBJECT MOVEMENT AND EXTRACTING OBJECT IN VIDEO SURVEILLANCE SYSTEM}

도 1은 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치에 대한 기능 블록 구성을 나타낸 도면.

도 2는 이전 프레임과 현재 프레임 영상 및 이전 프레임과 현재 프레임간의 광류 흐름 분포를 나타낸 도면.

도 3a는 이전 프레임 영상, 도 3b는 현재 프레임 영상, 도 3c는 카메라는 고정되어 있고 물체만 움직인 경우의 광류 흐름 분포를 나타낸 영상, 도 3d는 물체만 움직인 경우의 광류 흐름에 대한 각도 히스토그램을 나타낸 도면.

도 4a는 이전 프레임 영상, 도 4b는 현재 프레임 영상, 도 4c는 물체의 움직임은 없고 카메라만 패닝 또는 틸트 형태로 움직인 경우의 광류 흐름 분포를 나타낸 영상, 도 4d는 카메라가 패닝 또는 틸트로 움직인 경우의 광류 흐름에 대한 각도 히스토그램을 나타낸 도면.

도 5a는 이전 프레임 영상, 도 5b는 현재 프레임 영상, 도 5c는 물체의 움직임은 없고 카메라의 떨림이 발생한 경우의 광류 흐름 분포를 나타낸 영상, 도 5d 는 카메라의 떨림이 발생한 경우의 광류 흐름에 대한 각도 히스토그램을 나타낸 도면.

도 6a 내지 도 6d는 카메라의 움직임이 없고 물체의 움직임만 발생한 경우 물체(객체)를 추출하는 과정을 설명하기 위한 영상 도면.

도 7은 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법에 대한 동작 플로우챠트를 나타낸 도면.

*도면의 주요 부분에 대한 부호의 설명*

100 : 영상 입력부 110 : 노이즈 제거부

120 : 광류 흐름 검출부 130 : 각도 히스트그램 생성부

140 : 제어부 150 : 객체 추출부

본 발명은 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 그 방법에 관한 것으로서, 특히 물체의 움직임을 감지하여 침입자 발생 여부를 판단하는 무인 비디오 감시 시스템에서 물체의 움직임 발생으로 인한 침입자 발생과 카메라의 움직임 및 떨림 등으로 인한 잘못된 침입자 감지 발생의 경우를 구분해 주고 물체의 움직임으로 인한 침입자 발생으로 판단될 경우 해당 물체를 추 출하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 그 방법에 관한 것이다.

종래의 비디오 감시 시스템에서는 물체의 움직임 감지를 위해 두 프레임간의 차 신호를 이용하는 방법과 움직임 벡터를 이용하는 방법으로 나뉘어질 수 있다.

차 영상 신호를 이용하는 방법은 이전 프레임과 현재 입력된 프레임에서 대응되는 좌표점의 화소값을 감산하는 방법으로서, 두 프레임 사이에 약간의 움직임이라도 발생했을 경우 해당 화소는 "0"이외의 값을 가지게 되는 원리를 이용하게 된다.

이러한 화소들이 설정된 기준치 이상이 될 경우 물체의 출현등으로 인한 화소값의 변화로 인식하고 침입자가 발생했다고 판단하는 방법인 것이다.

그리고, 움직임 벡터를 이용하는 방법은 전역 탐색(Full Search)과 같은 방법으로 현재 프레임과 이전 프레임사이의 움직임 벡터를 검출해 내고 움직임 벡터의 검출된 양이 설정된 기준치 이상일 경우 침입자 발생으로 판단하는 방법이다.

상기한 차 영산 신호를 이용하는 방법은 연산방법이 단순하여 빠른 시간안에 움직임 검출 여부를 판단할 수 있다라는 장점이 있는 반면에 조명 변화 및 노이즈에 민감한 단점이 있다. 또한, 카메라가 정지되어 있고 움직임이 발생하지 않는다면 모든 화소의 차이값은 "0"이 되지만 카메라가 이동하거나 흔들릴 경우 화소값의 변화가 크게 됨으로서 실제 물체의 움직임과 카메라의 움직임이나 떨림에 의한 물체의 움직임을 구분하지 못하게 되는 문제점이 있다.

한편, 상기한 움직임 벡터를 이용하는 방법은 상대적으로 상기한 차 영상 신 호를 이용한 방법에 비해 조명 변화나 노이즈에 덜 민감하고 움직임이 발생한 물체의 움직임 방향을 알 수 있다는 장점은 있지만 이 방법 역시 마찬가지로 물체의 움직임과 카메라의 움직임으로 인한 움직임 벡터 발생의 차이점을 구분해 주지 못하는 문제점이 있다.

또한, 상기한 방법 이외의 입력되는 영상 신호를 통하여 이동 물체를 추적하는 대표적인 방법들은, 코릴레이션(Correlation:Block Matching Algorithm)을 이용한 방법, 디스터번스 맵(Disturbance Map)을 이용하는 방법, 칼라 분포를 이용하는 방법 및 광류 흐름(Optical Flow)를 이용하는 방법등이 있을 수 있다.

이러한 방법들을 복합적으로 적용하여 상용화에 근접한 다중 이동 물체 추적 감시 시스템이 대한민국 공개 특허 출원번호 제10-2000-22818호에 개시되어 있다.

상기 특허 공개 공보에 게재된 기술 역시 카메라가 정지된 상태에서는 물체의 추출 성능이 우수하나 카메라가 움직이는 경우에는 그에 따른 영상 보정이 필수적으로 요구되어 그에 따른 카메라 보정 알고리즘을 이용하고 있는데 이는 그만큼 시스템에서 처리할 데이터양이 증가하게 되어 처리 속도에 부담이 되며 또한, 정확한 영상 보정이 이루어질 수 없는 문제점을 안고 있는 것이다.

또한, 상기 특허 공보에 게재된 기술에 이용되는 블록정합 알고리즘은 물체가 이동하면서 크기, 모양, 밝기 등이 변할 경우 그 추적 성능이 저하되어 블록의 크기가 커질수록 처리 속도가 떨어지는 문제점과 추적오차가 매 프레임 축적되어 결국에는 움직이는 물체가 블록 정합하는 기준 블록에서 벗어나게 되는 문제점이 발생하게 되는 것이다.

따라서, 본 발명은 상기한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 물체의 움직임을 감지하여 침입자 발생 여부를 판단하는 무인 비디오 감시 시스템에서 물체의 움직임 발생으로 인한 침입자 발생과 카메라의 움직임 및 떨림 등으로 인한 잘못된 침입자 감지 발생의 경우를 구분해 주고 물체의 움직임으로 인한 침입자 발생으로 판단될 경우 해당 물체를 추출하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 그 방법을 제공함에 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치의 일 측면에 따르면, 현재 입력 영상 프레임과 이전 영상 프레임간의 광류 흐름에 대한 움직임 벡터값을 추출하는 광류 흐름 추출부; 상기 광류 흐름 추출부에서 추출된 광류 흐름에 대한 움직임 벡터값의 각도 히스토그램을 생성하는 각도 히스토그램 생성부; 상기 각도 히스토그램 생성부로부터 생성된 각도 히스토그램을 이용하여 물체의 움직임, 카메라의 움직임의 종류를 판단하고, 물체의 움직임 발생의 경우 움직임 객체를 추출하는 제어부를 포함한다.

상기 현재 입력 영상 프레임과 이전 영상 프레임 각각에 포함된 노이즈를 제거한 후 노이즈가 제거된 현재 프레임 및 이전 프레임을 상기 광류 흐름 추출부로 제공하는 노이즈 제거부를 더 포함하고, 노이즈 제거부는, 가우시안 노이즈를 제거하는 가우시안 필터를 포함한다.

상기 각도 히스토그램 생성부는, 상기 광류 흐름 추출부에서 추출한 광류 흐름에 대한 벡터값을 각도 값으로 변화시킨 후 광류 흐름 벡터값에 대한 히스토그램을 생성한다.

상기 각도 히스토그램은, 라디안값(-π~ +)π을 각도 값(0 ~ 360)으로 변화시키고, 변화된 각도값을 0 ~ 35값으로 정규화시킨 후 각도 히스토그램을 생성한다.

상기 제어부는, 카메라의 움직임 및 물체의 움직임이 동시에 발생한 경우, 이전 프레임과 현재 프레임간의 광류 흐름에서 움직임이 가장 많은 각도에 해당하는 모든 광류 흐름을 제거한 후, 나머지 각도의 광류 흐름에 대하여 X-Y투영법을 이용하여 움직임 물체를 추출한다.

한편, 본 발명에 따른 비디오 감시 시스템에 카메라/물체 움직임 구분 및 객체 추출 방법의 일 측면에 따르면, 현재 입력 영상 프레임과 이전 영상 프레임간의 광류 흐름에 대한 움직임 벡터값을 추출하는 단계; 상기 추출된 광류 흐름에 대한 움직임 벡터값의 각도 히스토그램을 생성하는 단계; 상기 생성된 각도 히스토그램을 이용하여 물체의 움직임, 카메라의 움직임의 종류를 판단하고, 물체의 움직임 발생의 경우 움직임 객체를 추출하는 단계를 포함한다.

이하, 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 살펴보기로 하자.

도 1은 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치에 대한 기능 블록 구성을 나타낸 도면이다.

도 1에 도시된 바와 같이, 비디오 감시 시스템은, 영상 입력부(100), 노이즈 제거부(110), 광류 흐름 검출부(120). 각도 히스토그램 생성부(130), 제어부(140) 및 객체 추출부(150)를 포함할 수 있다.

영상 입력부(100)는 패닝/틸트 가능한 카메라로서 촬영한 현재 영상에 대한 영상 프레임을 노이즈 제거부(110)로 제공한다.

노이즈 제거부(110)는 영상 입력부(100)로부터 입력되는 현재 영상 프레임과 이전 영상 프레임에 대하여 각각 노이즈를 제거한다. 여기서, 노이즈 제거 필터로서 가우시안 노이즈를 저역 필터링하는 가우시안 필터(Gaussian Filter)를 이용할 수 있다.

광류 흐름 검출부(120)는 노이즈 제거부(110)에서 각각 가우시안 노이즈가 제가된 이전 프레임과 현재 프레임 간 사이에 광류 흐름을 검출하게 된다. 여기서, 광류 흐름이란, 명도 유형(brightness pattern)을 서서히 변화시킴으로써 발생하는 영상에서의 명백한 움직임의 속도 분포를 나타내는 것으로서, 이전 프레임과 현재 프레임간의 움직임 벡터값으로 표현할 수 있다.

각도 히스토그램 생성부(130)는 광류 흐름 검출부(120)에서 검출된 각 광류 흐름에 대한 광류 흐름의 벡터값을 각도(Degree)값으로 변화시키고, 각도 히스토그램을 생성한 후, 생성된 각도 히스토그램의 각도 0 ~ 360도 값을 0 ~ 36의 값으로 정규화시키게 되는 것이다.

제어부(140)는, 각도 히스토그램 생성부(130)에서 생성한 각도 히스토그램을 이용하여 영상의 화소값 변화가 물체의 움직에 의해 발생한 것인지, 아니면 카메라의 움직임(패닝, 틸트, 떨림)으로 인해 발생한 것인지 설정된 규칙에 의해 판별하게 되는 것이다. 여기서, 설정된 규칙에 따라 물체의 움직임 또는 카메라의 움직임 판별 방법에 대하여는 상세하게 후술하기로 한다.

객체 추출부(150)는 제어부(140)에서 영상에 대한 화소값의 변화가 물체의 움직임에 의해 발생한 것이라고 판단된 경우, 상기 광류 흐름 검출부(130)에서 검출한 광류 흐름에 대한 벡터값을 X-Y 방향으로 투영시켜 물체(객체)만을 배경영상으로부터 추출하게 되는 것이다.

이와 같은 구성을 갖는 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치의 동작에 대하여 상세하게 설명해 보기로 하자.

먼저, 노이즈 제거부(110)는 영상 입력부(100)로부터 입력되는 현재 영상 프레임과 이전 프레임에 대하여 각각 가우시안 필터를 이용하여 프레임에 부가된 가우시안 노이즈를 제거한 후, 노이즈가 제거된 현재 프레임과 이전 프레임을 광류 흐름 검출부(120)로 제공하게 된다.

광류 흐름 검출부(120)는, 노이즈 제거부(110)에서 제공되는 노이즈가 제거된 이전 프레임과 현재 프레임간에 광류 흐름을 검출하게 된다.

광류 흐름은 모션 벡터(Motion Vector)와 유사한 방법이지만 움직임 방향을 각 화소마다 측정할 수 있고 속도 면에서도 오히려 전역 탐색(Full Search) 방법 보다 빠른 검출 속도를 가지는 장점이 있다. 여기서, 광류 흐름을 검출하는 방법으로 본 발명에서는 Horn 과 Schunck가 제안한 광류 흐름 검출 방법을 사용한다.

이 방법은 일정한 영역내의 광류 흐름은 동일하다고 가정하여 인접한 8방향의 각 화소의 광류 흐름 구속식을 연립시켜 구속 조건을 만족시키는 최소치를 최소 자승법으로 계산하여 광류 흐름을 계산하는 방법이다. 이러한 방법을 통해 구해진 광류 흐름의 결과는 도 2에 도시되어 있다. 즉, 도 2a는 이전 프레임 영상이고, 도 2b는 현재 프레임 영상이며, 도 2c는 도 2a 및 도 2b와 같은 이전 프레임과 현재 프레임간 광류 흐름을 검출한 결과에 대한 프레임 영상을 나타낸 도면이다. 여기서, 도 2c에서 광류 흐름은 도 2a 및 도 2b의 프레임 영상에서 얼굴 부분의 움직임 변화에 따라 광류 흐름의 변화가 얼굴 부분에 나타남을 알 수 있다.

이와 같은 방법을 통해 이전 프레임과 현재 프레임간의 광류 흐름이 검출되면, 검출된 광류 흐름에 대한 벡터값을 각도 히스토그램 생성부(130)로 제공한다.

각도 히스토그램 생성부(130)는 광류 흐름 검출부(120)에서 검출한 광류 흐름에 대한 움직임 벡터값을 라디안(Radian) 각도의 값으로 변화시킨다.

라디안 값을 추정하기 위해 X축 이동량(dx)과 Y축 이동량(dy)를 radian = atan2(dx,dy) 함수에 적용시킬 경우, 그 값은 -π~ +π값을 갖게 되는데 이를 아래의 수학식 1을 통해 각도값으로 변형하고 그 결과 각도값(D)이 음수가 될 경우 아래의 수학식 2를 이용하여 다시 계산하게 된다.

이와 같은 경우 모든 광류흐름에 대한 벡터값들은 0~360 사이의 값으로 변형이 되는데 이것의 분석을 용이하게 하기 위하여 0 ~ 360값을 0 ~ 35값으로 정규화시킨다.

예를 들어, 0 ~ 9도 사이의 값은 "0"으로, 10 ~ 19도 사이의 값은 "1"로 각각 변형시키게 된다.

이와 같이 광류 흐름의 벡터 값을 각도 값으로 변형 시킨 결과는 도 3d, 도 4d, 도 5d에서 확인할 수 있다.

여기서, 도 3a는 이전 프레임 영상, 도 3b는 현재 프레임 영상, 도 3c는 카메라는 고정되어 있고 물체만 움직인 경우의 광류 흐름 분포를 나타낸 영상, 도 3d는 물체만 움직인 경우의 광류 흐름에 대한 각도 히스토그램을 나타낸 도면이고, 도 4a는 이전 프레임 영상, 도 4b는 현재 프레임 영상, 도 4c는 물체의 움직임은 없고 카메라만 패닝 또는 틸트 형태로 움직인 경우의 광류 흐름 분포를 나타낸 영상, 도 4d는 카메라가 패닝 또는 틸트로 움직인 경우의 광류 흐름에 대한 각도 히 스토그램을 나타낸 도면이다.

또한, 도 5a는 이전 프레임 영상, 도 5b는 현재 프레임 영상, 도 5c는 물체의 움직임은 없고 카메라의 떨림이 발생한 경우의 광류 흐름 분포를 나타낸 영상, 도 5d는 카메라의 떨림이 발생한 경우의 광류 흐름에 대한 각도 히스토그램을 나타낸 도면이다.

도 3c에 도시된 바와 같이 카메라의 움직임은 발생하지 않고 물체의 움직임만 발생한 경우 광류 흐름은 영상의 일정 부분에서만 국소적으로 발생하고 반대로 도 4c 및 도 5c에 도시된 바와 같이 카메라의 흔들림이나 카메라 움직임(패닝, 틸트)으로 인해 발생하는 광류 흐름의 경우 카메라가 움직임으로 인해 전체 영상에서 발생함을 알 수 있다.

카메라 움직임 중 패닝(panning)은 고정된 한대의 카메라가 수평으로 시각점(view point)를 이동시키는 것을 말하고 틸트(tilt)는 수직으로 이동 시키는 경우를 의미하는 것으로, 카메라의 패닝이나 틸트의 경우 도 4d와 같이 각도 히스토그램이 수평 또는 수직과 같이 한쪽 각도에서 크게 발생하지만, 카메라의 떨림의 경우 도 5d에 도시된 바와 같이 전체적인 각도에서 고르게 나타나는 특징을 가지게 된다. 이러한 특징을 이용하여 물체의 움직임, 카메라의 움직임(패닝, 틸트, 떨림)을 판단할 수 있게 되는 것이다.

도 1에 도시된 바와 같이, 제어부(10)는 상기와 같이 각도 히스토그램 생성부(130)에서 생성한 각도 히스토그램의 분석을 통해 물체의 움직임, 카메라의 움직임 등을 판단하게 되는 것이다.

즉, 제어부(140)는 각도 히스토그램 생성부(130)에서 각도 히스토그램이 구해지면 물체의 움직임과 카메라의 움직임간의 특성을 이용하여 아래와 같은 규칙을 생성하고 이를 이용하여 물체의 움직임과 카메라 움직임을 구분한다. 또한 카메라 움직임의 경우 떨림과 패닝 및 틸트를 구분해 낼 수 있는 것이다.

먼저, 제어부(140)는 각도 히스토그램을 분석하여 아래의 규칙 1을 통해 물체의 움직임 및 카메라의 움직임만을 먼저 검출하게 된다.

[규칙 1] 카메라의 움직임과 물체의 움직임 구분 규칙

물체의 움직임은 영상 내에서 국소적으로 광류 흐름이 발생하는 특징을 가지기 때문에 아래의 수학식 3을 이용하여 물체의 움직임을 검출하게 된다.

여기서, Mv는 실제로 발생한 광류 흐름의 수를 의미하고, TMv는 광류 흐름이 발생할 수 있는 전체 화소의 수를 의미한다. 광류 흐름이 발생한 개수가 전체의 30% 미만일 경우는 물체의 움직임으로 판단한다.

즉, 제어부(140)는 상기 수학식 3에서 θ값이 예를 들어 임계값 0.3(30%)보다 작은 경우 카메라의 움직임은 발생하지 않고 물체의 움직임만이 발생한 것으로 판단하고, θ값이 임계값 0.3(30%)보다 크거나 같은 경우 카메라는 움직임이 없고 물체의 움직임만이 발생한 것으로 판단하고, 물체의 움직임은 발생하지 않고 카메라의 움직임만이 발생한 것으로 판단하게 되는 것이다.

이와 같이 상기 수학식 3에서 θ값이 설정된 임계값보다 작은 경우, 즉, 실제로 광류 흐름이 발생한 수가 전체 화소의 30% 미만인 경우 제어부(140)는 물체의 움직임만이 발생한 것으로 판단하고, 움직임 객체를 추출하기 위하여 객체 추출부(150)로 광류 흐름 검출 영상을 제공하게 된다.

객체 추출부(150)는 이전 프레임과 현재 프레임간의 광류 흐름 발생 영역을 X-Y축으로 투영시키고, 투영된 히스토그램값을 이용하여 물체의 상하좌우 좌표값을 얻어 물체의 영역을 추출해 내는 것이다. 이와 같이 물체(객체)추출 과정은 도 6a 내지 도 6d에 도시되어 있다.

도 6a 내지 도 6d는 카메라의 움직임이 없고 물체의 움직임만 발생한 경우 물체(객체)를 추출하는 과정을 설명하기 위한 화면의 일예를 나타낸 도면으로서, 물체 추출 과정을 간단하게 요약해 보면, 도 6에 도시된 바와 같이 먼저 입력 영상(이전 프레임과 현재 프레임)에 대하여 광류 흐름을 검출하고, 검출된 광류 검출 영역에 대하여 x-y축 투영을 시킨 후, 투영된 히스토그램값을 이용하여 물체의 상하좌우 좌표값을 얻어 물체의 영역을 추출해 내는 것이다.

한편, 제어부(140)에서 상기 규칙 1의 수학식 3의 결과 θ값이 설정된 임계값 이상인 경우, 물체의 움직임을 발생하지 않고 카메라의 움직임만이 발생한 것으로 판단하게 된다.

그러나, 카메라의 움직임의 종류가 패닝, 틸팅, 떨림등으로 구분되기 때문에 이 역시 구분되어져야 할 것이다.

따라서, 카메라의 움직임 종류를 구분하기 위해서 제어부(140)는 설정된 아래와 같은 규칙 2를 적용하여 구분하게 된다.

[규칙 2] 카메라의 흔들림, 패닝, 틸팅 구분 규칙

카메라 흔들임의 경우 도 5d에 도시된 바와 같이 각도 히스토그램이 전체적인 히스토그램에서 고르게 나타나는 것에 비하여, 카메라의 패닝 및 틸팅의 경우는 도 4d에 도시된 바와 같이 상하좌우 방향중 한쪽 방향으로 카메라가 움직이기 때문에 한 각도에서 히스토그램이 두드러지게 나타나는 특징으로 가지고 있다.

따라서, 제어부(140)는 이러한 특징을 이용하여 아래의 수학식 4를 적용시켜 카메라의 흔들림, 패닝 및 틸팅을 구분하게 되는 것이다.

여기서, b는 각도 히스토그램(H)에서 누적 개수가 가장 많은 각도를 의미하며,

는 누적개수가 가장 많은 각도에서 히스토그램 누적 개수를 의미한다. 또한,

는 v각도에서의 히스토그램 누적 개수를 의미한다. 또한, T는 카메라 움직임을 구분하기 위한 임계값이다.

삭제

상기한 수학식 4는 패닝, 틸트의 경우, 한쪽 방향으로 카메라가 이동하는 특징을 가짐으로 각도 히스토그램이 특정방향으로 많이 나타나기 때문에 표준 편차가 작게 나타나고, 반대로 카메라 흔들림의 경우 한쪽 방향이 아닌 여러 방향에서 동시에 나타나는 특징을 가짐으로 표준 편차가 상대적으로 크게 나타나는 특징을 가지는 특성을 이용한 것이다. 일반적으로 수학식 4에서 b의 값이 0~1, 34~35 사이에 존재할 경우 카메라의 패닝이 발생한 경우이고, b의 값이 17~19, 26~27사이에 존재할 경우 카메라의 틸팅현상이 발생한 경우이다.

한편, 제어부(140)에서 카메라의 흔들림 현상, 패닝 및 틸팅 현상이 발생함과 동시에 물체의 움직임이 발생하는 경우의 수도 있을 것이다.

따라서, 제어부(140)에서는 아래의 규칙 3을 적용하여 카메라의 흔들림. 패닝 또는 틸팅이 발생함과 동시에 물체의 움직임을 검출할 수 있다.

[규칙 3]카메라의 흔들림, 패닝 또는 틸팅 발생과 물체의 움직임 동시발생

카메라 패닝이나 틸트 동작이 발생하는 중간에 물체의 움직임이 발생할 경우, 이를 구분할 필요가 있다. 이를 위해 도 1에 도시된 제어부(140)는 우선 상기한 규칙 1에서의 수학식 3과 규칙 2에서의 수학식 4를 이용하여 카메라의 패닝 또 는 틸트 현상이 발생한 경우, 각도 히스토그램(H)에서 누적 개수가 가장 많은 각도 b를 제외한 나머지 히스토그램들에 대해 다시 [규칙 1]의 수학식 3을 적용시킨다. 이렇게 하여 [규칙 1]의 수학식 3의 결과값이 기준 임계값을 초과할 경우 패닝 및 틸트와 함께 물체의 움직임이 동시에 발생한 것으로 판단하는 것이다.

이와 같이 물체의 움직임과 카메라 움직임을 검출한 후에 물체의 움직임으로부터 물체만을 추출하여 추적하는 과정이 필요하다.

물체를 배경으로부터 물체를 추출하기 위해서는 우선 광류 흐름 검출부(120)에서 검출한 광류 흐름 영역을 X-Y축으로 투영시키고 투영된 히스토그램 값을 이용하여 물체의 상하 좌우 좌표값을 얻어 물체의 영역을 추출한다. 이 과정은 도 6에 도시되어 있다.

만약, 카메라의 패닝 또는 틸트와 물체의 움직임이 동시에 발생한 경우, 광류 흐름에서 움직임이 가장 많은 b각도에 해당하는 모든 광류 흐름을 제거한 나머지 광류 흐름만을 이용하여 X_Y투영 방법으로 물체의 영역을 추출해 내는 것이다.

상기한 바와 같은 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치의 동작과 상응하는 본 발명에 따른 카메라/물체 움직임 구분 및 객체 추출 방법에 대하여 첨부한 도 7의 동작 플로우챠트를 이용하여 단계적으로 살펴보기로 하자.

도 7은 본 발명에 따른 비디오 감시 시스템에서 카메라/물체의 움직임 구분 및 객체 추출 방법에 대한 동작 플로우챠트를 나타낸 도면이다.

도 7에 도시된 바와 같이, 먼저 카메라를 통해 영상이 입력되면(S101), 입력 되는 영상의 현재 프레임의 가우시안 노이즈를 가우시안 필터를 이용하여 제거한다(S102, S103).

또한, 이전 프레임 영상에 대하여도 가우시안 필터를 적용하여 노이즈를 제거하게 된다(S104, S105).

노이즈가 제거된 이전 프레임 영상과 현재 프레임 영상간의 광류 흐름을 도 2에 도시된 바와 같이 추출한다(S106). 여기서, 광류 흐름은 모션 벡터(Motion Vector)와 유사한 방법이지만 움직임 방향을 각 화소마다 측정할 수 있고 속도 면에서도 오히려 전역 탐색(Full Search) 방법 보다 빠른 검출 속도를 가지는 장점이 있다. 여기서, 광류 흐름을 검출하는 방법으로 본 발명에서는 Horn 과 Schunck가 제안한 광류 흐름 검출 방법을 사용한다. 이 방법은 일정한 영역내의 광류 흐름은 동일하다고 가정하여 인접한 8방향의 각 화소의 광류 흐름 구속식을 연립시켜 구속 조건을 만족시키는 최소치를 최소 자승법으로 계산하여 광류 흐름을 계산하는 방법이다.

이전 프레임 영상과 현재 프레임 영상에 대하여 광류 흐름이 검출되면, 검출된 광류 흐름의 벡터값에 대하여 각도 히스토그램을 생성하게 된다(S107). 여기서, 각도 히스토그램 생성 방법에 대하여는 상기에서 구체적으로 설명하였기에 그 설명은 생략하기로 한다.

각도 히스토그램이 생성되면, 상기한 규칙 1의 수학식 3을 이용하여 물체의 움직임 및 카메라의 움직임을 구분하게 된다(S108).

즉, 수학식 3의 θ값과 임계값을 비교하여(S109) θ값이 설정된 임계값보다 작은 경우, 즉, 실제로 광류 흐름이 발생한 수가 전체 화소의 30% 미만인 경우 물체의 움직임만이 발생한 것으로 판단하여 이전 프레임과 현재 프레임간의 광류 흐름 발생 영역을 X-Y축으로 투영시키고(S115), 투영된 히스토그램값을 이용하여 물체의 상하좌우 좌표값을 얻어 물체의 영역을 추출해 내는 것이다(S116). 이와 같이 물체(책체)추출 과정은 도 6a 내지 도 6d에 도시되어 있다.

물체 추출 과정을 간단하게 요약해 보면, 도 6에 도시된 바와 같이 먼저 입력 영상(이전 프레임과 현재 프레임)에 대하여 광류 흐름을 검출하고, 검출된 광류 검출 영역에 대하여 x-y축 투영을 시킨 후, 투영된 히스토그램값을 이용하여 물체의 상하좌우 좌표값을 얻어 물체의 영역을 추출해 내는 것이다.

한편, 상기 S109 단계에서 상기 규칙 1의 수학식 3의 결과 θ값이 설정된 임계값 이상인 경우,물체의 움직임은 발생하지 않고 카메라의 움직임만이 발생한 것으로 판단하게 된다.

그러나, 카메라의 움직의 종류가 패닝, 틸팅, 흔들림등으로 구분되기 때문에 이 역시 구분되어져야 할 것이다.

따라서, 카메라의 움직임의 종류를 구분하기 위해서 상기한 규칙 2의 수학식 4를 적용하여 구분하게 된다(S110 S111).

즉, 카메라 흔들림의 경우 도 5d에 도시된 바와 같이 각도 히스토그램이 전체적인 히스토그램에서 고르게 나타나는 것에 비하여, 카메라의 패닝 및 틸팅의 경우는 도 4d에 도시된 바와 같이 상하좌우 방향중 한쪽 방향으로 카메라가 움직이기 때문에 한 각도에서 히스토그램이 두드러지게 나타나는 특징을 가지고 있다.

따라서, 아래의 수학식 4를 적용시켜 카메라의 흔들림, 패닝 및 틸팅을 구분하게 되는 것이다.

한편, 카메라의 흔들림 현상, 패닝 및 틸팅 현상이 발생함과 동시에 물체의 움직임이 발생하는 경우의 수도 있을 것이다.

따라서, 이러한 경우 상기한 규칙 3을 적용하여 카메라의 흔들림. 패닝 또는 틸팅이 발생함과 동시에 물체의 움직임을 검출할 수 있다(S112).

즉, 카메라 패닝이나 틸트 동작이 발생하는 중간에 물체의 움직임이 발생할 경우, 이를 구분할 필요가 있다. 이를 위해 먼저 상기한 규칙 1에서의 수학식 3과 규칙 2에서의 수학식 4를 이용하여 카메라의 패닝 또는 틸트 현상이 발생한 경우, 각도 히스토그램(H)에서 누적 개수가 가장 많은 각도 b를 제외한 나머지 히스토그램들에 대해 다시 [규칙 1]의 수학식 3을 적용시킨다. 이렇게 하여 [규칙 1]의 수학식 3의 결과값이 기준 임계값을 초과할 경우 패닝 및 틸트와 함께 물체의 움직임이 동시에 발생한 것으로 판단하는 것이다.

물체를 배경으로부터 물체를 추출하기 위해서는 우선 검출된 이전 프레임과 현재 프레임간의 광류 흐름 영역을 X-Y축으로 투영시키고 투영된 히스토그램 값을 이용하여 물체의 상하 좌우 좌표값을 얻어 물체의 영역을 추출한다. 이 과정은 도 6에 도시되어 있다.

만약, 카메라의 패닝 또는 틸트와 물체의 움직임이 동시에 발생한 경우, 광류 흐름에서 움직임이 가장 많은 b각도에 해당하는 모든 광류 흐름을 제거한 나머지 광류 흐름만을 이용하여 X_Y투영 방법으로 물체의 영역을 추출해 내는 것이다(S113, S114, S115, S116).

상기한 바와 같은 본 발명에 따른 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 그 방법은 물체의 움직임을 감지하여 침입자 발생 여부를 판단하는 무인 비디오 감시 시스템에서 물체의 움직임 발생으로 인한 침입자 발생과 카메라의 움직임 및 떨림 등으로 인한 잘못된 침입자 감지 발생의 경우를 구분해 주고 물체의 움직임으로 인한 침입자 발생으로 판단될 경우 해당 물체를 추출하는 것으로, 본 발명에 따르면, 입력 동영상으로부터 광류 흐름(Optical Flow)을 구한 후, 이것을 각도값으로 변형하여 분류하고, 그 각도값이 일정 임계값을 초과하게 되는 경우 물체의 움직임 검출로 판단하고, 각도값이 일정 임계값을 초과하지 않게 되는 경우 카메라의 움직임이나 떨림으로 판단하게 되는 것이다. 여기서, 물체의 움직임으로 판단되는 경우 물체의 광류 흐름에 대한 X-Y 투영을 통해 움직임이 발생된 부분만을 추출해 내는 작업을 통해 객체를 분할하고 이를 연속된 프레임에서 추적하여 물체의 이동 경로를 추적하는 것이다.

또한, 본 발명은 URC(Ubiquitous Robot Companion)에서 로봇의 무인 감시 시스템에 적용되어 침입자 검출에 사용될 수 있다. 현재의 움직임 감지 방법은 카메라가 고정되어 움직이지 않는다는 조건하에서 단순히 차 영상만을 이용하는 방법을 사용하고 있다. 하지만 로봇의 경우 계속 움직이면서 감시 지점을 이동해야 함으로 로봇의 움직임으로 인한 카메라 화소값의 변동과 실제 물체의 움직임으로 인한 화소값의 변동을 구분할 수 있어야 한다. 따라서 본 발명을 URC 감시 시스템에 적용할 경우 실제로 물체의 움직임이 발생한 경우를 구분하고 해당 물체만을 검출하여 추적하는데 적용 될 수 있는 것이다.

Claims

비디오 감시 시스템에 있어서,

현재 입력 영상 프레임과 이전 영상 프레임간의 광류 흐름에 대한 움직임 벡터값을 추출하는 광류 흐름 추출부;

상기 광류 흐름 추출부에서 추출된 광류 흐름에 대한 움직임 벡터값의 각도 히스토그램을 생성하는 각도 히스토그램 생성부;

상기 각도 히스토그램 생성부로부터 생성된 각도 히스토그램을 이용하여 물체의 움직임, 카메라의 움직임의 종류를 판단하고, 물체의 움직임 발생의 경우 움직임 객체를 추출하는 제어부를 포함하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제1항에 있어서,

상기 현재 입력 영상 프레임과 이전 영상 프레임 각각에 포함된 노이즈를 제거한 후 노이즈가 제거된 현재 프레임 및 이전 프레임을 상기 광류 흐름 추출부로 제공하는 노이즈 제거부를 더 포함하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제2항에 있어서,

상기 노이즈 제거부는, 가우시안 노이즈를 제거하는 가우시안 필터를 포함하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제1항에 있어서,

상기 각도 히스토그램 생성부는,

상기 광류 흐름 추출부에서 추출한 광류 흐름에 대한 벡터값을 각도 값으로 변화시킨 후 광류 흐름 벡터값에 대한 히스토그램을 생성하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제4항에 있어서,

상기 각도 히스토그램은,

라디안값(-π~ +)π을 각도 값(0 ~ 360)으로 변화시키고, 변화된 각도값을 0 ~35값으로 정규화시킨 후 각도 히스토그램을 생성하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제1항에 있어서,

상기 제어부는,

아래 수학식1의 결과값이 설정된 임계값보다 작은 경우 물체의 움직임으로, 아래 수학식 1의 결과값이 설정된 임계값 이상인 경우 물체의 움직임은 발생하지 않고 카메라의 움직임만이 발생한 것으로 판단하며,

아래의 수학식 2를 이용하여 카메라의 움직임 종류(흔들림, 패닝, 틸트)를 구분 판단하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.

(수학식 1)

여기서, Mv는 실제로 발생한 광류 흐름의 수를 의미하고, TMv는 광류 흐름이 발생할 수 있는 전체 화소의 수를 의미한다.

(수학식 2)

여기서, b는 각도 히스토그램(H)에서 누적 개수가 가장 많은 각도를 의미하며,
는 누적개수가 가장 많은 각도에서 히스토그램 누적 개수를 의미한다. 또한,
는 v각도에서의 히스토그램 누적 개수를 의미한다. 또한, T는 카메라 움직임을 구분하기 위한 임계값이다.
제6항에 있어서,

상기 임계값은 실제로 광류 흐름이 발생한 수가 대략 전체 화소의 30%(0.3)인 값을 가지는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제6항에 있어서,

상기 제어부는,

카메라의 움직임 없이 물체의 움직임만이 발생한 것으로 판단된 경우, 상기 광류 흐름 검출부에서 검출된 광류 흐름에 대하여 X-Y 투영을 통해 움직임 물체를 추출하는 객체 추출부를 포함하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
삭제
제6항에 있어서,

상기 제어부는,

상기 수학식 2의 b 값이 0~1, 34~35 사이에 존재할 경우 카메라의 패닝이 발생한 경우로 판단하고, b의 값이 17~19, 26~27사이에 존재할 경우 카메라의 틸팅 현상이 발생한 경우로 판단하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제6항에 있어서,

상기 제어부는,

상기한 수학식 2를 이용하여 카메라의 움직임 종류를 판단한 후, 생성된 각도 히스토그램(H)에서 누적개수가 가장 많은 각도 b를 제외한 나머지 각도 히스토그램값(θ)이 상기 수학식 1의 임계값(0.3) 이상인 경우 카메라의 움직임이 발생함과 동시에 물체의 움직임이 발생한 경우로 판단하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
제11항에 있어서,

상기 제어부는,

카메라의 움직임 및 물체의 움직임이 동시에 발생한 경우, 이전 프레임과 현재 프레임간의 광류 흐름에서 움직임이 가장 많은 각도에 해당하는 모든 광류 흐름을 제거한 후, 나머지 각도의 광류 흐름에 대하여 X-Y투영법을 이용하여 움직임 물체를 추출하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치.
비디오 감시 시스템에 카메라/물체 움직임 구분 및 객체 추출 방법에 있어서,

현재 입력 영상 프레임과 이전 영상 프레임간의 광류 흐름에 대한 움직임 벡터값을 추출하는 단계;

상기 추출된 광류 흐름에 대한 움직임 벡터값의 각도 히스토그램을 생성하는 단계;

상기 생성된 각도 히스토그램을 이용하여 물체의 움직임, 카메라의 움직임의 종류를 판단하고, 물체의 움직임 발생의 경우 움직임 객체를 추출하는 단계를 포함하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제13항에 있어서,

상기 광류 흐름에 대한 움직임 벡터값을 추출하는 단계는, 현재 입력 영상 프레임과 이전 영상 프레임 각각에 포함된 노이즈를 제거한 후 노이즈가 제거된 현재 프레임 및 이전 프레임간의 광류 흐름을 추출하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제14항에 있어서,

상기 노이즈 제거는 가우시안 필터를 이용하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제13항에 있어서,

상기 각도 히스토그램을 생성하는 단계는,

상기 추출한 광류 흐름에 대한 벡터값을 각도 값으로 변화시킨 후 광류 흐름 벡터값에 대한 히스토그램을 생성하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제16항에 있어서,

상기 각도 히스토그램은,

라디안값(-π~ +)π을 각도 값(0 ~ 360)으로 변화시키고, 변화된 각도값을 0 ~ 35값으로 정규화시킨 후 각도 히스토그램을 생성하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제13항에 있어서,

상기 객체를 추출하는 단계는,

아래 수학식1의 결과값이 설정된 임계값보다 작은 경우 물체의 움직임으로, 아래 수학식 1의 결과값이 설정된 임계값 이상인 경우 물체의 움직임은 발생하지 않고 카메라의 움직임만이 발생한 것으로 판단하며,

아래의 수학식 2를 이용하여 카메라의 움직임 종류(흔들림, 패닝, 틸트)를 구분 판단하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.

(수학식 1)

여기서, Mv는 실제로 발생한 광류 흐름의 수를 의미하고, TMv는 광류 흐름이 발생할 수 있는 전체 화소의 수를 의미한다.

(수학식 2)

여기서, b는 각도 히스토그램(H)에서 누적 개수가 가장 많은 각도를 의미하며,
는 누적개수가 가장 많은 각도에서 히스토그램 누적 개수를 의미한다. 또한,
는 v각도에서의 히스토그램 누적 개수를 의미한다. 또한, T는 카메라 움직임을 구분하기 위한 임계값이다.
제18항에 있어서,

상기 임계값은 실제로 광류 흐름이 발생한 수가 대략 전체 화소의 30%(0.3)인 값을 가지는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제13항에 있어서,

상기 객제를 추출하는 단계에서,

카메라의 움직임 없이 물체의 움직임만이 발생한 것으로 판단된 경우, 상기 검출된 광류 흐름에 대하여 X-Y 투영을 통해 움직임 물체를 추출하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
삭제
제18항에 있어서,

상기 객체를 추출하는 단계는,

상기 수학식 2의 b 값이 0~1, 34~35 사이에 존재할 경우 카메라의 패닝이 발생한 경우로 판단하고, b의 값이 17~19, 26~27사이에 존재할 경우 카메라의 틸팅 현상이 발생한 경우로 판단하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제18항에 있어서,

상기 객체를 추출하는 단계는,

상기한 수학식 2를 이용하여 카메라의 움직임 종류를 판단한 후, 생성된 각도 히스토그램(H)에서 누적개수가 가장 많은 각도 b를 제외한 나머지 각도 히스토그램값(θ)이 상기 수학식 1의 임계값(0.3) 이상인 경우 카메라의 움직임이 발생함과 동시에 물체의 움직임이 발생한 경우로 판단하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.
제23항에 있어서,

상기 객체를 추출하는 단계는,

카메라의 움직임 및 물체의 움직임이 동시에 발생한 경우, 이전 프레임과 현재 프레임간의 광류 흐름에서 움직임이 가장 많은 각도에 해당하는 모든 광류 흐름을 제거한 후, 나머지 각도의 광류 흐름에 대하여 X-Y투영법을 이용하여 움직임 물체를 추출하는 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 방법.