KR20000054784A - 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법 - Google Patents

Abstract

본 발명은 카메라로부터 촬상된 영상 신호 상에서 사람의 영역을 분리하는 객체영역 분할부와, 이 객체영역 분할부에 의해 분할 된 객체 영역 상에서 객체를 연속적으로 추적하는 객체추적부와, 이 객체추적부로부터 입력된 객체추적 데이터를 연속적으로 분석 판단하여 복수개의 객체 추적을 실행시키고 추적시스템의 기능을 전반적으로 제어하는 마이컴과, 이 마이컴의 추적결과 저장제어신호에 따라 추적되는 객체정보에 관한 데이터를 저장하는 추적결과 저장부를 포함하는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템을 제공한다.

상기와 같은 본 발명 시스템 및 그 제어방법은 시간적 가중치를 둔 시간적 색상 정보를 중간간격의 시간에 해당하는 복수개의 객체 움직임 추적에 적용하므로 객체가 완전히 겹치거나 시야 밖으로 잠시 사라지는 경우에도 안정적으로 추적함으로써 겹침이 발생된 객체들을 연속적으로 추적할 수 있어 그에 따라 시스템의 추적특성을 극대화시킬 수 있다.

Description

시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템 및 그 제어방법{system for tracking the movement of the multiple object using an Appearance Model Based on Temporal Color and controlling method therefore}

본 발명은 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템 및 그 제어방법에 관한 것으로, 특히 시간적 가중치를 둔 시간적 색상 정보를 중간간격의 시간에 해당하는 복수개의 객체 움직임 추적에 적용하므로 객체가 완전히 겹치거나 시야 밖으로 잠시 사라지는 경우에도 안정적으로 추적함으로써 겹침이 발생된 객체들을 연속적으로 추적할 수 있어 시스템의 추적특성을 극대화시킬 수 있는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템 및 그 제어방법에 관한 것이다.

일반적으로 객체 즉, 사람의 움직임을 추적하는 시스템들은 카메라의 형태에서부터 사람을 검출하는 세부적인 알고리즘까지 매우 다양한 특성들을 가지고 있다.

예를 들어, Darrell et al 특허는 스테레오 정보와 색상 정보를 이용하여 개별적인 사람들을 분할하고 추적하였다(T. Darrell, G. Gordon, M. Harville and J. Woodfill, "Integrated Person Tracking Using Stereo, Color, and Pattern Detection," Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Santa Barbara, California, pp. 601-608, June 1998.).

이 시스템은 스테레오 카메라와 각 사람들까지의 거리를 측정하여 얻을 수 있는 깊이 정보를 통해서 배경의 잡음을 제거하고 개별적인 사람들을 구분할 수 있었으며, 또한 조명의 영향을 받지 않는다는 장점은 있었으나 여러 사람이 겹친 상태로 이동하는 경우는 추적할 수가 없었다.

그런데, 최근에 Haritaoglu는 W4 시스템과 Hydra 시스템을 소개하고 여러 명의 사람들의 몸의 부분별로 검출 및 추적을 가능하게 했다(I. Haritaoglu, D. Harwood and L. S. Davis, "W4: Who? When? Where? What: A Real Time System for Detecting and Tracking People," Proc. of International Conference on Face and Gesture Recognition, Nara, Japan, pp. 222-227, April 1998., I. Haritaoglu, D. Harwood and L. S. Davis, "Hydra: Multiple People Detection and Tracking Using Silhouettes," Proc. of 2nd IEEE Workshop on Visual Surveillance, Fort Collines, Colorado, pp. 6-13, June 1999).

이와 같은 종래 W4 시스템은 사람의 움직임을 추적하는 통합된 시스템이고, Hydra 시스템은 통합 시스템에서 동작하는 하나의 모듈로서 머리 위치 탐색과 거리를 기반으로 한 변환을 통해서 여러 명의 겹쳐진 사람을 개별적으로 분할하는 기능을 가지고 있다.

KidsRoom 시스템은 closed-world 추적 기법의 응용으로 복잡한 복수개의 객체를 문맥 정보를 사용하여 동시에 추적할 수 있다(S. S. Intille, J. W. Davis and A. F. Bobick, "Real-Time Closed-World Tracking," Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Puerto Rico, pp. 697-703, 1997).

여기서, 상기 Closed-world 개념은 제한된 시간과 공간적인 영역에서 가지는 특정한 문맥 정보를 말하며, 상기 Pfinder 시스템은 사람과 배경에 대한 다중 클래스의 통계적 모델을 이용하여 움직임 추적 및 동작 인식을 할 수 있다(C. Wren, A. Azarbayejani, T. Darrell and A. Pentland, "Pfinder: Real-Time Tracking of the Human Body," Trans. on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, pp. 780-785, 1997).

이러한 모델은 통계적이고 지역에 기반한 정보, 예를 들면 blob이나 2차원 외곽선을 사용하며, 이 시스템은 새로운 모델 기반 움직임 추적 기법을 선보였지만 동시에 여러 명을 추적하지 못하는 결점이 있다.

상기와 같은 종래 추적시스템의 일례를 도 1을 참고로 살펴보면, 카메라(70)로부터 촬상된 영상신호를 검출하는 영상입력부(71)와, 이 영상입력부(71)로 입력된 영상 신호 상에서 객체 즉, 사람을 추적하고 추적시스템의 기능을 전반적으로 제어하는 객체 추적부(72)와, 이 객체 추적부(72)의 저장제어신호에 따라 영상신호 또는 처리데이터를 저장하는 메모리부(73)와, 상기 객체 추적부(72)에 의해 추적되는 상황을 모니터(74)에 표시해주는 화면표시부(75)와, 상기 객체 추적부(72)에 연결되어 사용자의 각종 제어명령신호를 입력시켜주는 제어입력부(76)와, 상기 부재들(70-78)에 온/오프 스위치(77)의 조작을 통하여 전원 전압을 공급 차단하는 전원부(78)로 구성된다.

한편, 상기와 같은 종래 추적시스템의 동작을 살펴보면, 먼저 전원부(78)의 온/오프 스위치(77)를 턴 온 시키면 시스템의 동작전원이 각 부재(70-76)로 공급되어 시스템이 정상 동작되고, 사용자가 제어입력부(76)의 제어입력 스위치(SW1-N)를 조작하여 객체추적을 실행시키게 된다.

이때, 사용자가 제어입력부(76)를 통해 객체추적명령신호를 입력시키면 객체 추적부(72)가 이를 인식하여 추적 기능을 실행하게 되는데, 먼저 객체 추적부(72)는 카메라(70)로부터 촬상된 영상신호를 영상 입력부(71)를 통해 입력받아 메모리부(73)에 저장시킨다.

그러면, 상기 객체추적부(72)는 메모리부(73)에 저장된 영상신호를 읽어들여 이 영상 신호 중에 포함된 객체 즉, 사람의 영역을 분할한 뒤 분할된 영역에 대한 사람 템플릿을 이용한 템플릿 정합을 이용하여 객체를 추적한다.

그리고, 이 객체추적부(72)는 그 추적되는 상황을 화면표시부(75)의 모니터(74)상에 표시를 해주는데 이때, 상기 객체 추적부(72)는 객체 영역에 대한 질감과 색상 히스토그램을 이용하여 객체추적을 실행한다.

그러나, 상기와 같은 종래 객체 추적시스템은 객체 추적시 객체 즉, 사람 영역에 대한 단순한 특징인 질감, 색상 히스토그램 등으로 구성된 형판을 사용하기 때문에 추적 간격이 짧을 경우에는 어느 정도 추적의 정확도를 보이나 추적 간격이 길어질 경우에는 그 정확도가 현저히 떨어짐은 물론 추적 대상이 되는 사람이 다른 사람에게 가려지거나 시야에서 잠깐 사라지는 경우 연속적으로 추적하지 못한다는 문제점이 있었다.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 시간적 가중치를 둔 시간적 색상 정보를 중간간격의 시간에 해당하는 복수개의 객체 움직임 추적에 적용하므로 객체가 완전히 겹치거나 시야 밖으로 잠시 사라지는 경우에도 안정적으로 추적함으로써 겹침이 발생된 객체들을 연속적으로 추적할 수 있어 시스템의 추적특성을 극대화시킬 수 있는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템 및 그 제어방법을 제공함에 그 목적이 있다.

본 발명의 다른 목적은, 복수의 객체에 대한 연속적인 추적이 가능하므로 카메라 입력을 통한 영상 또는 일반 동영상에서 보여지는 객체들의 동작 및 행동에 대한 인식을 용이하게 처리할 수 있어 시스템의 처리특성을 향상시키는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템 및 그 제어방법을 제공하는데 있다.

본 발명의 또 다른 목적은, 시각 기반 감시 시스템을 통한 제한된 환경 하에서의 인간의 행동 추적 및 인식을 가능하게 해주고 일반적인 동영상 데이터에서 사람들의 행동을 분석함으로써 비디오 내용 분석이나 검색을 위한 정보 획득이 용이하게 하므로 시스템의 기능성도 상당히 향상시키는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템 및 그 제어방법을 제공하는데 있다.

도 1은 종래 추적시스템의 블록도.

도 2는 본 발명 시스템의 블록도.

도 3은 본 발명의 플로우차트

도 4는 객체 추적시 인접 검사를 하는 경우를 설명하는 설명도.

도 5는 시간적 색상을 구성하는 2개의 요소, 즉 색상 값과 가중치를 구성하는 방법을 설명하는 설명도.

<도면의 주요 부분에 대한 부호의 상세한 설명>

1 : 카메라 2 : 영상 입력부

3 : 객체영역 분할부 4 : 객체 추적부

5 : 마이컴 6 : 메모리부

7 : 추적결과 저장부 8 : 모니터

9 : 화면표시부 10: 제어입력부

상기와 같은 목적을 달성하기 위한 본 발명은, 카메라로부터 촬상된 영상 신호 상에서 사람의 영역을 분리하는 객체영역 분할부와, 이 객체영역 분할부에 의해 분할 된 객체 영역 상에서 객체를 연속적으로 추적하는 객체추적부와, 이 객체추적부로부터 입력된 객체추적 데이터를 연속적으로 분석 판단하여 복수개의 객체 추적을 실행시키고 추적시스템의 기능을 전반적으로 제어하는 마이컴과, 이 마이컴의 추적결과 저장제어신호에 따라 추적되는 객체정보에 관한 데이터를 저장하는 추적결과 저장부를 포함하는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템을 제공한다.

본 발명의 다른 특징은, 추적시스템에서 객체영역이 없는 배경모델영상을 설정하는 배경모델영상 설정단계와, 상기 배경모델영상 설정 단계 후에 기 저장된 배경모델영상과 현재 입력된 다음 프레임의 배경모델영상과 차이가 나는지를 판단하는 차영상 판단단계와, 이 상기 차영상 판단 단계 중에 판단한 결과 현재 입력된 다음 프레임의 배경모델영상이 기 저장된 배경모델영상과 차이가 난다면 그 차이나는 영역을 객체로 판단하여 배경모델 영상 중 객체로 판단된 영역에서 객체의 머리영역을 검출한 다음 이 검출된 머리영역을 기준으로 객체를 분할하는 객체머리영역검출 및 분할단계와, 이 객체머리영역검출 및 분할 단계 후에 현재 분할된 객체가 몇 개인지를 판단하는 객체 개수 판단단계와, 이 객체 개수 판단 단계 중에 판단한 결과 만약 객체의 개수가 배경 모델 영상 속에 한사람만이 존재한다면 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체의 영역과의 위치정보를 비교 정합하는 영역움직임추적 및 정합단계와, 이 객체 개수 판단 단계 중에 판단한 결과 만약 객체의 개수가 복수개라면 즉, 배경 모델 영상 속에 한사람이상이 존재한다면 현재 추적된 복수개의 각 객체에 대한 색상 및 위치정보를 추출한 다음 비교 정합하는 색상 및 위치정보정합단계와, 상기 영역움직임추적 및 정합단계 중에 판단한 결과 현재 추적된 객체의 영역과 이전 프레임의 배경모델 영상 속의 객체의 영역과의 위치정보가 서로 일치할 경우는 현재 추적된 객체가 이전 객체와 동일한 객체임을 판단하고 현 영역에서 색상정보를 추출한 다음 현재 추출한 색상정보를 동일개인확인정보에 누적 저장하는 동일객체 확인정보저장단계와, 이 영역움직임추적 및 정합 단계 중에 판단한 결과 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체의 영역과의 위치정보가 서로 일치하지 않을 경우는 현재 추적된 하나의 객체가 이전 객체와 동일한 객체가 아님을 판단하고 현 영역 객체에 대한 영역움직임정보를 새로운 객체 확인 정보에 저장하는 새로운 객체 확인정보저장단계와, 상기 새로운 객체 확인 정보 저장 단계 후에 현재 추적된 복수개의 각 객체에 대한 색상 및 위치정보를 인접검사방식으로 비교하여 현재 추적되고 있는 복수개의 객체가 서로 겹쳤는지를 판단하는 색상 및 위치 정보 정합 단계 후에 겹침 발생 판단단계와, 상기 겹침 발생 판단 단계 중에 판단한 결과 만약 현재 추적된 복수개의 객체들이 서로 겹치지 않았을 경우는 현재 추적된 각 객체정보들과 기 저장된 각 개인확인정보와 일치하는 객체가 존재하는 지를 판단하는 동일객체일치 판단단계와, 이 동일객체일치 판단 단계 중에 판단한 결과 만약 현재 추적된 각 객체정보들과 기 저장된 각 객체확인정보와 일치하는 객체가 존재한다면 현재 추적된 각 객체들의 정보들을 각각의 해당 객체확인정보에 갱신하는 개인확인정보갱신단계와, 상기 동일객체일치 판단 단계 중에 판단한 결과 현재 추적된 각 객체정보들과 기 저장된 각 객체확인정보와 일치하는 객체가 존재하지 않을 경우는 현재 추적된 이전 객체확인정보와 일치하지 않는 객체정보를 새로운 객체확인정보로 저장하는 새로운 객체 개인확인정보추가단계와, 이 새로운 객체 개인 확인 정보 추가 단계 후에 각 객체영역에 대한 색상 군집화를 실행하는 객체 색상 군집화 단계와, 이 객체 색상 군집화 단계 후에 현재 군집화한 각 객체에 대한 색상정보를 기 저장된 이전 프레임의 색상정보와 비교하여 일치하는 정보가 있는지를 판단하고 일치하는 정보가 있다면 일치하는 해당 객체의 개인확인정보에 해당 색상에 대한 가중치 값을 가감하는 해당객체확인정보 가중치가감단계와, 상기 객체색상 군집화단계 후에 현재 색상군집화한 각 객체에 대한 색상정보가 기 저장된 이전 프레임의 색상정보와 일치하는 정보가 없다면 현재 추적된 객체의 색상정보를 해당 객체의 개인확인정보에 새로운 색상정보로서 추가 저장하는 새로운 색상 정보 추가 단계로 이루어진 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템의 제어방법을 제공한다.

이하, 본 발명을 첨부된 예시도면에 의거 상세히 설명한다.

본 발명의 시스템은 도 2에 도시된 바와 같이 카메라(1)로부터 촬상된 영상신호를 검출하는 영상입력부(2)와, 이 영상입력부(2)로부터 입력된 영상신호 상에서 객체 즉, 사람의 영역을 분리하는 객체영역 분할부(3)와, 이 객체영역 분할부(3)에 의해 분할 된 객체영역 상에서 객체를 연속적으로 추적하는 객체추적부(4)와, 이 객체추적부(4)로부터 입력된 객체추적 데이터를 연속적으로 분석 판단하여 복수개의 객체 추적을 실행시키고 추적시스템의 기능을 전반적으로 제어하는 마이컴(5)과, 이 마이컴(5)의 저장제어신호에 따라 각종 처리데이터를 저장하는 메모리부(6)와, 상기 마이컴(5)의 추적결과 저장제어신호에 따라 추적되는 객체정보에 관한 데이터를 저장하는 추적결과 저장부(7)와, 상기 객체 추적부(4)에 의해 추적되는 상황을 모니터(8)에 표시해주는 화면 표시부(9)와, 상기 마이컴(5)에 연결되어 사용자의 각종 제어명령신호를 입력시켜주는 제어입력부(10)와, 상기 부재들(1-10)에 온/오프 스위치(11)의 조작을 통하여 전원 전압을 공급 차단하는 전원부(12)로 이루어진다.

이와 같이 구성된 본 발명을 도 3을 참고로 하여 설명한다.

초기화 상태(S1)에서 배경모델 판단단계(S2)로 진행하여 현재 배경모델이 있는지를 판단한다.

그리고 상기 배경모델 판단단계(S2)중에 판단한 결과 만약 현재 배경모델이 없을 경우는 영상입력실행단계(S3)로 진행하여 배경모델로 사용할 영상신호를 입력받아 저장한다.

그러나 상기 상기 배경모델 판단단계(S2)중에 판단한 결과 만약 현재 배경모델이 있을 경우는 차영상 판단단계(S7)로 진행한다.

상기 영상입력실행단계(S3)후에 배경모델차이점 판단단계(S4)로 진행하여 현재 입력된 배경모델영상이 기 저장된 배경모델영상과 일정 값 이하로 차이가 나는지를 판단한다.

이때, 상기 배경모델차이점 판단단계(S4)중에 판단한 결과 만약 현재 입력된 배경모델영상이 기 저장된 배경모델영상과 일정 값 이상으로 차이가 날 경우는 배경모델영상 누적단계(S5)로 진행하여 현재 차이가 나는 배경모델영상을 다른 배경모델영상과 함께 누적시킨다.

그러나, 상기 배경모델차이점 판단단계(S4)중에 판단한 결과 만약 현재 입력된 배경모델영상이 기 저장된 배경모델영상과 일정 값 이하로 차이가 날 경우는 배경모델 저장단계(S6)로 진행하여 현재의 배경모델영상을 저장한 다음 프레임영상을 입력시킨다.

한편, 상기 배경모델 저장단계(S6)후에 차영상 판단단계(S7)로 진행하여 기저장된 배경모델영상과 현재 입력된 다음 프레임의 배경모델영상과 차이가 나는지를 판단한다.

이때, 상기 차영상 판단단계(S7)중에 판단한 결과 만약 현재 입력된 다음 프레임의 배경모델영상이 기 저장된 배경모델영상과 차이가 나지 않는다면 상기 영상입력실행단계(S3)로 복귀하여 루프를 반복 수행한다.

그러나, 상기 차영상 판단단계(S7)중에 판단한 결과 만약 현재 입력된 다음 프레임의 배경모델영상이 기 저장된 배경모델영상과 차이가 난다면 그 차이나는 영역을 객체로 판단하여 객체머리영역검출 및 분할단계(S8)로 진행하여 배경 모델 영상 중 객체로 판단된 영역에서 객체의 머리영역을 검출한 다음 이 검출된 머리영역을 기준으로 객체를 분할한다.

그리고 상기 객체머리영역검출 및 분할단계(S8)후에 객체 개수 판단단계(S9)로 진행하여 현재 분할된 객체가 몇 개인지를 판단한다.

여기서, 상기 객체 개수 판단단계(S9)중에 판단한 결과 만약 객체의 개수가 하나라면 즉, 배경 모델 영상 속에 한사람만이 존재한다면 영역움직임추적 및 정합단계(S10)로 진행하여 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체의 영역과의 위치정보를 비교 정합한다.

또한, 상기 객체 개수 판단단계(S9)중에 판단한 결과 만약 객체의 개수가 복수개라면 즉, 배경 모델 영상 속에 한사람이상이 존재한다면 색상 및 위치정보정합단계(S11)로 진행하여 현재 추적된 복수개의 각 객체에 대한 색상 및 위치정보를 추출한 다음 비교 정합한다.

한편, 상기 영역움직임추적 및 정합단계(S10)중에 판단한 결과 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체의 영역과의 위치정보가 서로 일치할 경우는 동일객체 확인정보저장단계(S13)로 진행하여 현재 추적된 객체가 이전 객체와 동일한 객체임을 판단하고 현 영역에서 색상정보를 추출한 다음 현재 추출한 색상정보를 동일개인확인정보에 누적 저장한다.

그러나, 상기 영역움직임추적 및 정합단계(S10)중에 판단한 결과 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체의 영역과의 위치정보가 서로 일치하지 않을 경우는 새로운 객체 확인정보저장단계(S14)로 진행하여 현재 추적된 하나의 객체가 이전 객체와 동일한 객체가 아님을 판단하고 현 영역 객체에 대한 영역움직임정보를 새로운 객체 확인 정보에 저장한다.

한편, 상기 색상 및 위치정보정합단계(S11)후에 겹침 발생 판단단계(S15)로 진행하여 현재 추적된 복수개의 각 객체에 대한 색상 및 위치정보를 비교하여 현재 추적되고 있는 복수개의 객체가 서로 겹쳤는지를 판단한다.

이때, 상기 겹침 발생 판단단계(S15)중에 판단한 결과 만약 현재 추적된 복수개의 객체들이 서로 겹치지 않았을 경우는 개인 확보 정보 갱신단계(S17)로 진행하여 정합된 객체에 대한 개인 확인정보를 갱신한다. 그러나 겹쳐졌을 경우는 동일객체일치 판단단계(S16)로 진행하여 현재 추적된 각 객체정보들과 기 저장된 각 개인확인정보와 일치하는 객체가 존재하는 지를 판단한다.

그리고 이 동일객체일치 판단단계(S16)중에 판단한 결과 만약 현재 추적된 각 객체정보들과 기 저장된 각 객체확인정보와 일치하는 객체가 존재한다면 개인확인정보갱신단계(S17)로 진행하여 현재 추적된 각 객체들의 정보들을 각각의 해당 객체확인정보에 갱신시킨다.

그러나 상기 동일객체일치 판단단계(S16)중에 판단한 결과 만약 현재 추적된 각 객체정보들과 기 저장된 각 객체확인정보와 일치하는 객체가 존재하지 않을 경우는 새로운 객체 개인확인정보추가단계(S18)로 진행하여 현재 추적된 이전 객체확인정보와 일치하지 않는 객체정보를 새로운 객체확인정보로 저장한다.

그리고 상기 새로운 객체 개인확인정보추가단계(S18)후에 객체 색상 군집화 단계(S19)로 진행하여 각 객체영역에 대한 색상 군집화를 실행한다.

한편, 상기 객체 색상 군집화 단계(S19)후에 객체색상 비교판단단계(S20)로 진행하여 현재 군집화한 각 객체에 대한 색상정보를 기 저장된 이전 프레임의 색상정보와 비교하여 일치하는 정보가 있는지를 판단하고 일치하는 정보가 있다면 해당객체확인정보 가중치가감단계(S21)로 진행하여 일치하는 해당 객체의 개인확인정보에 해당 색상에 대한 가중치 값을 가감하게 된다.

그러나, 상기 객체색상 비교판단단계(S20)중에 판단한 결과 현재 색상군집화한 각 객체에 대한 색상정보가 기 저장된 이전 프레임의 색상정보와 일치하는 정보가 없다면 새로운 색상정보 추가단계(S22)로 진행하여 현재 추적된 객체의 색상정보를 해당 객체의 개인확인정보에 새로운 색상정보로서 추가 저장한다.

환언하면, 먼저 전원부(12)의 온/오프 스위치(11)를 턴 온 시키면 시스템의 동작전원이 각 부재(1-10)로 공급되어 시스템이 정상 동작되고, 사용자가 제어 입력부(10)의 제어입력 스위치(SW1-N)를 조작하여 객체추적을 실행시키게 된다.

이때, 사용자가 제어 입력부(10)를 통해 객체추적명령신호를 입력시키면 마이컴(5)이 이를 인식하여 추적 기능을 실행하게 되는데, 먼저 마이컴(5)은 카메라(1)로부터 촬상된 영상신호를 영상 입력부(2)를 통해 입력받아 메모리부(6)에 저장시킨 다음 추적하고자하는 영역에 대한 배경 모델을 가지고 있는지 확인한다.

이때, 상기 마이컴(5)은 입력된 현재의 프레임에 대한 배경 모델영상이 존재하지 않을 때는 객체가 없는 영역이 존재하는 배경화면을 기준화면으로 활용하기 위해 일정 시간 동안 사람이 없는 배경 영상을 반복적으로 입력받아 배경 영상을 누적하여 평균 배경 모델을 만들고 저장하게 된다.

상기 마이컴(5)은 상기와 같은 단계를 거처 배경 모델영상을 생성한 뒤 실제 추적 과정을 수행하는데, 이때, 상기 추적과정을 화면표시부(9)를 통해 모니터(8)상에 모두 표시하게 된다.

그리고 상기 마이컴(5)은 상기 배경모델 설정 과정 후에 현재 입력된 배경모델영상과 기 저장된 프레임의 배경모델영상의 차영상 신호를 추출하여 객체 즉, 사람을 추적하게되는데, 이때 마이컴(5)은 영상 입력부(2)를 통해 다음 영상을 객체영역분할부(3)로 입력되게 한다.

그러면, 이 객체영역분할부(3)는 상기 마이컴(5)의 객체분할제어신호에 따라 입력된 배경 모델 영상 신호 중에 포함된 객체 즉, 사람의 영역을 분할한 뒤 그 분할된 영역신호를 객체추적부(4)로 입력시킨다.

그리고 이 객체추적부(4)는 분할된 사람영역에 예컨데, 수직투영기법을 이용하여 산출되는 피크 값을 이용하여 사람의 머리 부분정보를 추출하고 이 머리부분정보를 기준으로 사람을 분할하고 각 영역마다 사람이 몇 명이 포함되어있는지 계산한다.

여기서, 상기 추적과정에서 발생되는 객체추적정보는 모두 추적결과저장부(7)에 저장된다.

이때, 마이컴(5)의 기능에 따라 객체추적부(4)는 사람 영역이 복수 명으로 구성되어있지 않은 경우, 즉 사람 영역 안에 한사람만이 존재할 경우는 영역의 움직임 예측을 하고 예측된 영역과의 정합을 한다.

이때, 만약 정합 결과가 일치하지 않게 되면 새로운 사람으로써 수학식 1과 같이 객체의 개인 확인 정보에 추가하게 되며, 일치하는 경우는 현재 영역으로부터 색상 정보를 추출하여 개인 확인 정보에 누적하게된다.

여기서, 상기 객체의 개인 확인 정보는 시간적 색상을 주로 하는 외형 모델을 이용하며 그 상세 내용은 다음과 같다.

시간적 색상은 옷 색상의 정보를 개인 확인 정보로써 사용하는 것이다. 시간적 색상 F는 색상 값 C와 그 시간적 가중치 w의 집합으로 구성되어 다음과 같이 나타낼 수 있다.

한편, 상기 마이컴(5)의 기능제어신호에 따르는 객체 추적부(4)는 상기 전 과정에서 사람 영역이 복수 명으로 구성되어있는 경우는 사람 영역으로부터 색상 정보와 위치 정보를 추출한 뒤 위치와 색상 정보를 이용하여 도 4에 도시된 바와 같이 인접검사와 같은 정합을 실행한다.

여기서, 인접 함수로 활용되는 상기 인접검사를 도 4와 같이 정리해보면,

·고립 : 색상 정보를 누적한다.

·부분 겹침 : 새로 나타나거나 사라진 색상을 제외하고 색상 정보를 누적한다.

·완전 겹침 : 겹쳐진 사람에 대한 정보는 누적하지 않고 그렇지 않은 사람에 대한 정보는 누적시킨다.

한편, 마이컴(5)은 인접검사와 같은 방식으로 상기 사람영역의 겹침 과정 중에 판단한 결과 사람 영역에 겹침이 없다면 색상 정보를 기존의 저장되어 있는 객체의 개인 확인 정보와 비교하여 기존의 정보와 일치하는 사람이 존재하지 않으면 새로운 사람으로써 객체의 개인 확인 정보에 추가하게 되며, 일치하는 사람이 존재할 경우는 해당 개인 확인 정보를 갱신하게된다.

또한, 상기 마이컴(5)은 상기 전 과정에서 판단한 결과 사람 영역에 겹침이 없을 경우는 해당 사람에 대한 개인 확인 정보를 갱신하게된다.

한편, 상기 마이컴(5)은 도 5에 도시된 바와 같이 상기와 같은 시간적 가중치 계산 과정을 이용하는 추적과정을 거쳐 사람의 개인 확인 정보를 추가 또는 갱신한 뒤, 수학식 1에 결과를 산출하기 위해 수학식 2와 같이 해당 사람 영역을 구성하는 색상에 대한 가중치 가감을 수행한다.

여기서, 색상 군집화 방법으로 보통 한 사람에 대해서 둘 또는 세 개의 색상 군집을 얻는다. 그리고, 시간적 가중치는 연관된 색상 영역의 크기, 지속시간, 빈도수와 인접한 객체들의 존재 유무에 의해서 결정된다. 또한, 더 큰 크기, 더 긴 지속시간, 그리고 인접한 객체들이 없는 색상 정보가 좀더 높은 신뢰도를 가졌다고 볼 수 있다.

그리고 이러한 가중치 w와 크기 S, 지속시간과 빈도수 TA, 그리고 인접 함수 Γ 사이의 관계는 다음과 같이 나타낼 수 있다.

한편, 상기 추적과정에서 시간적 가중치의 값이 높을 수록 이와 연관된 색상 값에 대한 신뢰도는 높아진다.

상기 수학식 2의 S는 각 개별적인 사람마다 상수 값을 가지고, TA는 연속적으로 같은 색상 값이 검출될 때마다 증감된다.

여기서, 상기와 같은 관계를 컴퓨터 시스템에 적용하기 위해서 해당 색상 값을 가지는 화소가 출현하는 지속정도와 빈도수를 가중치 값으로 한다.

또한, 상기 군집화된 색상이 이전에 존재하던 색상이면 해당 개인 확인 정보의 해당 색상의 가중치 값을 증가하며, 존재하는 색상이 아닐 경우 새로운 색상을 해당 개인 확인 정보에 추가하게 된다.

상기 과정에서의 크기와 인접 정도는 단지 이 가중치의 증감 정도에 영향을 주도록 했다. 가중치는 연속된 프레임에서 연관된 색상이 출현하면 증가시키고 나타나지 않거나 자주 사라지는 경우에는 감소하는 것을 기본으로 하고 있다.

그리고 상기 형태의 크기에 따른 증가 정도 Di와 감소 정도 Dd는 다음의 수학식 3과 같이 계산한다.

상기 수학식 3에서 S^t는 시간 t에서 형태의 크기이고 S_m ^t는 시간 t까지의 형태의 평균 크기이다. TA가 증가하는 경우에는, Di만이 이용되고, TA가 감소하는 경우에는, Dd만이 사용된다.

한편, 상기 마이컴(5)은 상기와 같은 추적과정을 매 프레임마다 반복하며 사람 추적 과정을 수행하게 된다.

여기서, 상기 마이컴(5)에서 실행되는 시간적 가중치 계산 과정을 요약해 보면 다음과 같다.

· 시간 t = 0일 때, 각 색상 군집을 시간적 색상 값과 그와 연관된 가중치 값으로 표현하되 기본 가중치 값으로 초기치를 설정한다.

· 시간 t = n일 때, 가중치 값을 증가시킬지 감소시킬지를 인접 검사의 결과에 따라서 결정한다.

· 시간 t = n일 때, t = n - 1일 때 유사한 색상 정보가 있으면 가중치 값을 Di만큼 증가시키고, 그렇지 않으면 Dd만큼 감소시킨다.

이상 설명에서와 같이 본 발명은 시간적 가중치를 둔 시간적 색상 정보를 중간간격의 시간에 해당하는 복수개의 객체 움직임 추적에 적용하므로 객체가 완전히 겹치거나 시야 밖으로 잠시 사라지는 경우에도 안정적으로 추적함으로써 겹침이 발생된 객체들을 연속적으로 추적할 수 있어 시스템의 추적특성을 극대화시킬 수 있음은 물론 복수의 객체에 대한 연속적인 추적이 가능하므로 카메라 입력을 통한 영상 또는 일반 동영상에서 보여지는 객체들의 동작 및 행동에 대한 인식을 용이하게 처리할 수 있어 시스템의 처리특성을 향상시키게 된다.

또한, 시각 기반 감시 시스템을 통한 제한된 환경 하에서의 인간의 행동 추적 및 인식을 가능하게 해주고 일반적인 동영상 데이터에서 사람들의 행동을 분석함으로써 비디오 내용 분석이나 검색을 위한 정보 획득이 용이하므로 시스템의 기능성도 상당히 향상시킬 수 있는 효과가 있다.

Claims (3)

1. 카메라로부터 촬상된 영상 신호 상에서 사람의 영역을 분리하는 객체영역 분할부와, 이 객체영역 분할부에 의해 분할 된 객체 영역 상에서 객체를 연속적으로 추적하는 객체추적부와, 이 객체 추적부로부터 입력된 객체추적 데이터를 연속적으로 분석 판단하여 복수개의 객체 추적을 실행시키고 추적시스템의 기능을 전반적으로 제어하는 마이컴과, 이 마이컴의 추적결과 저장제어신호에 따라 추적되는 객체정보에 관한 데이터를 저장하는 추적결과 저장부를 포함하는 것을 특징으로 하는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템.
2. 제1항에 있어서, 상기 마이컴은 시간적 가중치 계산 과정에서 각 색상 군집을 시간적 색상 값과 그와 연관된 가중치 값으로 표현하되 기본 가중치 값으로 초기치를 설정하고, 일정시간이 경과한 시점에서 가중치 값을 증가시킬지 감소시킬지를 인접 검사의 결과에 따라서 결정하며, 유사 색상 정보가 있을 경우 상기 가중치 값을 일정값(Di)만큼 증가시키고 그렇지 않을 경우 일정값(Dd)만큼 감소시키도록 하는 것을 특징으로 하는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템.
3. 추적시스템에서 객체영역이 없는 배경모델영상을 설정하는 배경모델영상 설정 단계와, 상기 배경모델영상 설정 단계 후에 기 저장된 배경모델영상과 현재 입력된 다음 프레임의 배경모델영상과 차이가 나는지를 판단하는 차영상 판단단계와, 이 상기 차영상 판단 단계 중에 판단한 결과 현재 입력된 다음 프레임의 배경모델영상이 기 저장된 배경모델영상과 차이가 난다면 그 차이나는 영역을 객체로 판단하여 배경 모델 영상 중 객체로 판단된 영역에서 객체의 머리영역을 검출한 다음 이 검출된 머리영역을 기준으로 객체를 분할하는 객체머리영역검출 및 분할단계와, 이 객체머리영역검출 및 분할 단계 후에 현재 분할된 객체가 몇 개인지를 판단하는 객체 개수 판단단계와, 이 객체 개수 판단 단계 중에 판단한 결과 객체의 개수가 배경 모델 영상 속에 한사람만이 존재한다면 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체 영역과의 위치정보를 비교 정합하는 영역움직임추적 및 정합단계와, 이 객체 개수 판단 단계 중에 판단한 결과 객체의 개수가 배경 모델 영상 속에 한사람이상이 존재한다면 현재 추적된 복수개의 각 객체에 대한 색상 및 위치정보를 추출한 다음 비교 정합하는 색상 및 위치정보정합단계와, 상기 영역움직임추적 및 정합 단계 중에 판단한 결과 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체의 영역과의 위치정보가 서로 일치할 경우는 현재 추적된 객체가 이전 객체와 동일한 객체임을 판단하고 현 영역에서 색상정보를 추출한 다음 현재 추출한 색상정보를 동일개인확인정보에 누적 저장하는 동일객체 확인정보저장단계와, 이 영역움직임추적 및 정합 단계 중에 판단한 결과 현재 추적된 객체의 영역과 이전 프레임의 배경 모델 영상 속의 객체의 영역과의 위치정보가 서로 일치하지 않을 경우는 현재 추적된 하나의 객체가 이전 객체와 동일한 객체가 아님을 판단하고 현 영역 객체에 대한 영역움직임정보를 새로운 객체 확인 정보에 저장하는 새로운 객체 확인정보저장단계와, 상기 새로운 객체 확인 정보 저장 단계 후에 현재 추적된 복수개의 각 객체에 대한 색상 및 위치정보를 인접검사방식으로 비교하여 현재 추적되고 있는 복수개의 객체가 서로 겹쳤는지를 판단하는 색상 및 위치 정보 정합 단계 후에 겹침 발생 판단단계와, 상기 겹침 발생 판단 단계 중에 판단한 결과 현재 추적된 복수개의 객체들이 서로 겹쳐졌을 경우는 현재 추적된 각 객체정보들과 기 저장된 각 개인확인정보와 일치하는 객체가 존재하는 지를 판단하는 동일객체일치 판단단계와, 이 동일객체일치 판단 단계 중에 판단한 결과 현재 추적된 각 객체정보들과 기 저장된 각 객체확인정보와 일치하는 객체가 존재한다면 현재 추적된 각 객체들의 정보들을 각각의 해당 객체확인정보에 갱신하는 개인확인정보갱신단계와, 상기 동일객체일치 판단 단계 중에 판단한 결과 현재 추적된 각 객체정보들과 기 저장된 각 객체확인정보와 일치하는 객체가 존재하지 않을 경우는 현재 추적된 이전 객체확인정보와 일치하지 않는 객체정보를 새로운 객체확인정보로 저장하는 새로운 객체 개인확인정보추가단계와, 이 새로운 객체 개인 확인 정보 추가 단계 후에 각 객체영역에 대한 색상 군집화를 실행하는 객체 색상 군집화 단계와, 이 객체 색상 군집화 단계 후에 현재 군집화한 각 객체에 대한 색상정보를 기 저장된 이전 프레임의 색상정보와 비교하여 일치하는 정보가 있는지를 판단하고 일치하는 정보가 있다면 일치하는 해당 객체의 개인확인정보에 해당 색상에 대한 가중치 값을 가감하는 해당객체확인정보 가중치가감단계와, 상기 객체색상 군집화 단계 후에 현재 색상 군집화 한 각 객체에 대한 색상정보가 기 저장된 이전 프레임의 색상정보와 일치하는 정보가 없다면 현재 추적된 객체의 색상정보를 해당 객체의 개인확인정보에 새로운 색상정보로서 추가 저장하는 새로운 색상정보추가단계로 이루어진 것을 특징으로 하는 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의 움직임 추적시스템의 제어방법.