KR20070078451A - 네트워크 카메라를 이용한 다중 사람추적 시스템 - Google Patents

Abstract

기존의 CCTV 방식의 감시 시스템은 장소와 거리의 제한, 다수의 카메라 사이에서의 정보전달에 많은 제약이 있어서, 대부분 모니터링 감시만으로 제한되어 사용되어왔다. 본 발명에서는 CCTV방식의 감시 시스템과 사람 추적기술을 결합한 사람추적 감시시스템을 제안한다. 제안된 시스템은 고정된 다수의 비겹침 카메라를 서버에 네트워크로 연결하고 각 카메라에서 추적된 정보를 서버와 다른 카메라가 연결된 클라이언트에 전달하여 광범위한 지역에서 카메라들을 통해 사람을 추적한다. 사람은 추적되는 동안 6단계의 상태인 등장, 움직임, 겹침, 대기, 재등장, 퇴장 상태를 가질 수 있다. 제안된 시스템은 다양한 실내 동영상에 대해 실험되었으며, 91.2%의 평균추적율과 96%의 평균 상태율을 획득하였다.

감시 시스템, 카메라, 네트워크, 서버, 사람, 추적

Description

네트워크 카메라를 이용한 다중 사람추적 시스템{MULTIPLE PERSON SURVEILLANCE SYSTEM USING NETWORKED CAMERAS}

도 1은 본 발명의 실시예에 따른 네트워크 카메라를 이용한 다중 사람추적 시스템의 개략적인 구성도.

도 2는 도 1의 서버와 클라이언트 간의 정보전달 흐름도.

도 3은 도 2의 정보전달에 사용된 프로토콜.

도 4는 도 1의 네트워크 카메라의 내부 구성도.

도 5a 내지 도 5c는 도 1의 다중 사람추적 시스템에 채용된 계층적 사람모델을 설명하기 위한 도면.

도 6은 본 발명의 실시예에 따른 네트워크 카메라를 이용한 다중 사람추적 시스템에 채용된 추적대상의 상태정보 변화 과정을 나타내는 도면.

도 7a 및 도 7b는 본 발명의 실시예에 따른 네트워크 카메라를 이용한 다중 사람추적 시스템의 실험환경과 사람이동 FOV-Line을 나타내는 도면.

도 8은 도 7a 및 도 7b의 실험에 사용된 세 대의 카메라에서의 사람추적에 대한 평균 ROC를 나타내는 그래프.

* 도면의 주요 부분에 대한 부호의 설명 *

10 : 클라이언트

12, 14, 16 : 네트워크 카메라

20 : 서버

본 발명은 네트워크 카메라를 이용한 감시 시스템에 관한 것으로, 특히 네트워크 카메라를 이용하여 넓은 지역에서 다수의 사람을 추적할 수 있는 다중 사람추적 시스템에 관한 것이다.

어떤 특정 행위나 사건이 일어나는 것을 감지하는 감시시스템은 사람추적을 이용한 연구 분야 중에서도 가장 중요하게 인식되고 있다. 그 이유는 사회가 발전할수록 공공장소뿐 아니라 개인공간에서도 개인 및 시설물의 안전에 대한 중요성이 높이 인식되고 있기 때문이다. 특히, 현대사회가 정보화, 무인화, 자동화, 전산화의 성격이 증가함에 따라 자신과 사업장의 안전과 재산에 대한 안전성과 보안성의 문제점에 대한 경고가 지속적으로 대두하고 있다. 따라서 자신과 사업장의 재산과 안전을 보호, 관리하기 위한 노력이 계속되고 있으며, 주요 시설물 및 관공서, 학교, 기업, 가정에 이르기까지 보안의 중요성과 범위가 넓어져 가고 있어 감시 시스템의 중요성과 개발의 필요성이 요구되고 있다.

감시 시스템은 CCTV 카메라나 PC 카메라를 이용한 영상 감시 시스템, 네트워 크 카메라를 이용해 컴퓨터로 영상을 실시간으로 신속하게 전송하여 핸드폰, PDA, PC 등에서 손쉽게 감시할 수 있는 네트워크 감시 시스템, 그 외에 야간 감시에 적합한 적외선 감시 시스템 등으로 나눌 수 있다. 그 중에서도 CCTV나 PC 카메라 등을 이용한 영상 감시 시스템은 침입이나 파괴 행위가 일어난 후의 대책 수단으로서의 다른 감시 시스템과 달리 능동적으로 침입자를 구분할 수 있으며 침입이나 위법 행위를 사전에 찾아낼 수 있고 녹화가 가능하여 중요한 정보를 제공, 저장하는 가장 효과적인 감시 수단이다.

영상 감시 시스템은 한 대 혹은 다수의 카메라를 이용할 수 있다. 한 대의 카메라만을 이용할 경우에는 비용이 저렴하지만 여러 위험 지역에 대한 감시를 동시에 수행하기가 쉽지 않다. 따라서 영상 감시 시스템은 두 대 이상의 감시 카메라를 이용하여 한정된 시야를 넓힘으로써 여러 지역에 산재되어 있는 위험 요소를 감시하고 원하는 대상을 보호할 수 있다. 이와 같은 다수의 카메라를 이용하여 사람을 추적하는 감시 시스템은 각 카메라가 추적 지역의 일정 범위를 공유하느냐, 공유하지 않느냐에 따라 겹침(overlapping) 배치와 비겹침(non-overlapping) 배치로 나눌 수 있다. 카메라의 시야가 겹치는 배치는 여전히 시각적 범위가 한정되어 있으므로, 더 넓은 시야의 확보가 용이한 비겹침 배치를 이용하여 더욱 넓은 범위에서의 사람의 움직임의 방향, 경로나 움직임의 패턴을 추적할 수 있다. Omar Javed et. al이 'the IEEE International Conference Computer Vision, pp. 952-957, 2003'에 게재한 논문 "Tracking in Multiple Cameras wit Disjoint Views"에서는 세 대의 비겹침 배치 카메라 사이에서의 사람을 추적하기 위해 10여 분간의 객체의 반복적인 움직임을 이용하여 추적대상이 각 카메라에 들어오고 나가는 시간, 거리, 움직임의 방향을 학습시켜 계산하였다. Dimitrios Makris et. al이 'the IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR 2004, Washington DC, USA, June 2004'에 게재한 논문 "Bridging the Gaps between Cameras"에서는 카메라 여섯 대를 네트워크로 연결하여 실외에서 사람들의 입·출입의 링크 구조를 자동적으로 형성하였다. 또한 추적대상이 보이지 않은 지역으로 들어갔을 경우 추적대상이 어느 쪽 카메라에 나오는지에 대한 확률을 계산하기 위하여, 여섯 대의 카메라 사이의 입·출구 지역을 설정하여 각 지역에 대한 사람의 입·출입 통계를 구하였다.

그러나, 카메라에서 획득된 영상은 시간의 경과, 빛과 조명 등에 의해 끊임없이 변화되므로 추적 대상의 정보가 왜곡되거나 손실되기 쉽다. 또한 다수의 네트워크 카메라를 사용할 경우 각 카메라에 들어오는 잡음과 조명의 정도가 달라서 왜곡되는 정도의 차이가 심하므로, 추적에 실패하기가 쉽다. 이처럼, 종래의 네트워크 카메라를 이용하는 감시 시스템은 사람을 추적 감시하는데 적절히 이용할 수 없다는 한계가 있다.

따라서, 본 발명에서는 다수의 비겹침 카메라 간의 네트워크를 형성하고 카메라 간의 정보전달 양식을 규정하며 규정된 정보를 동기화하여 공유함으로써 다중적으로 사람을 추적할 수 있는 다중 사람추적 시스템을 제공하고자 한다.

본 발명의 주된 목적은 은행, 도서관, 공항, 주요 관공서, 건물 밖 등과 같은 넓은 지역에서 다수의 사람들의 움직임을 다수의 카메라가 순차적으로 인식하여 감시하고, 그 움직임을 끝까지 추적할 수 있는 다중 사람추적 시스템을 제공하는 데 있다.

상술한 목적을 달성하기 위하여 본 발명의 바람직한 측면에 의하면, 네트워크로 서로 연결되며, 획득한 영상으로부터 추적대상인 사람모델의 특징정보를 추출하고, 추출된 특징정보를 기 저장된 사람리스트 특징정보와 비교하며, 개개의 감시영역 상의 사람을 순차적으로 추적하는 복수의 카메라; 및 특징정보를 복수의 카메라로부터 각각 받아 저장하며, 저장된 사람리스트 특징정보를 복수의 카메라에 각각 제공하고, 복수의 카메라의 동기화를 수행하는 서버를 포함하는 다중 사람추적 시스템이 제공된다.

바람직하게, 상기 특징정보는 추적대상의 인체를 머리, 상체 및 하체로 구분하고, 상기 추적대상의 위치, 색상, 움직이는 방향, 중심점 및 인체를 구성하는 경계영역 중 적어도 하나의 정보를 포함하는 계층적 사람모델 정보이다.

상기 계층적 사람모델 정보는 조명 보정된 입력영상에서 분리된 전경영상에 대한 정보를 포함하며, 상기 전경영상에 대한 정보는 각 화소와 인접 화소 간의 밝기 유사도를 계산하여 여러 개의 색으로 구별된 색상의 집합인 블랍 정보를 포함한다.

상기 카메라의 제어부는 t번째 프레임에서 나타난 새로운 블랍과 이전 프레임에서 얻은 사람모델 사이의 최소거리가 미리 정해진 임계치보다 적으면, 상기 새로운 블랍을 새로운 사람모델 정보로써 상기 서버에 전달하고, 상기 서버는 상기 사람리스트를 저장되는 사람모델 정보를 상기 새로운 블랍의 중심과 불확실성을 다시 계산한 통계정보(평균과 표준편차)에 의해 갱신한다.

상기 카메라 및 상기 서버는 상기 사람모델에 대하여 등장, 움직임, 겹침, 대기, 재등장 및 퇴장의 상태정보를 갖는다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다. 이하의 실시예는 본 기술 분야에서 통상적인 지식을 가진 자에게 본 발명을 충분히 이해하도록 하기 위한 것이다.

도 1은 본 발명의 실시예에 따른 네트워크 카메라를 이용한 다중 사람추적 시스템의 개략적인 구성도이다. 도 1은 서버와 네트워크 카메라 간의 정보전달 및 사람추적 과정을 보여준다.

도 1을 참조하면, 한 카메라에서 인식된 사람의 특징 정보는 서버(20)를 통해 네트워크 상의 다른 카메라에 전달된다. 서버(20)는 각 카메라(12, 14, 16)의 클라이언트로부터 들어오는 카메라의 정보를 전달받아 처리한다. 또한 서버(20)는 추적된 사람(P1, P2)의 정보를 연결된 여러 대의 카메라(12, 14, 16)에 일치된 정보가 전달되도록 각 카메라 간의 동기화를 확인한다.

예를 들면, 제1 카메라(12)에서 추출되어 사람모델로 모델링된 사람1(P1)은 서버(20)의 사람 리스트(22)에 저장된다. 그 후 사람1이 제1 카메라(12)에서 나가 제2 카메라(14)에 다시 들어오면 서버(20)는 인식된 사람의 정보가 사람 리스트(22)에 등록이 되어 있는가를 살펴본다. 만약 인식된 사람이 사람 리스트(22)에 등록되어 있다면, 같은 사람(P1)이라 판단하여 계속 추적한다. 만약 인식된 사람이 사람 리스트(22)에 등록되어 있지 않은 사람이라면, 제2 카메라(14)에서는 새로이 인식된 사람을 새로운 사람(P2 또는 P3)라 판단하고 서버(20)의 사람 리스트(22)에 등록시킨다.

이와 같은 방법으로 각 카메라에서는 카메라에 들어오는 사람이 기존에 등록되어 있는 사람인가, 새로운 사람이 감시 영역의 비디오 프레임 안으로 들어오는가, 또 이전에 비디오 프레임에서 나갔던 사람이 다시 들어오는가를 계속해서 확인하여 추적할 수 있다.

이처럼, 본 발명에서는 다수의 비겹침 카메라(12, 14, 16)와 서버 컴퓨터(20)와의 네트워크 연결을 통하여, 넓은 지역에 걸쳐 사람의 추적정보를 전달하며 공유하는 방법을 제안한다. 이를 위하여 서버(20)는 서버에 연결된 여러 대의 카메라(12, 14, 16) 간에 실시간으로 정보를 전달하고 인식할 수 있도록 네트워크를 형성시키고, 각 클라이언트들은 연결된 카메라로부터 획득된 추적대상의 정보와 움직임을 인식하여 인식된 추적대상의 특징정보를 서버(20)로 넘겨준다. 한 카메라에서 인식된 추적대상의 정보는 서버(20)에 연결된 다른 카메라에 전달되고, 정보를 전달받은 카메라에서는 전달받은 정보를 이용하여 이전에 추적된 사람을 추적할 수 있다.

한편, 추적 대상의 정보를 전달하고, 전달받기 위해서 인식된 추적대상의 특징 정보를 모델링 하는 것이 매우 중요하다. 따라서, 본 발명에서는 추적 대상의 정보를 전달하고 다수의 사람을 추적하기 위하여 세 인체 부위(머리, 상체, 하체)로 구성되어 있는 계층적 사람모델을 이용하여 추적 대상의 정보를 전달한다. 사람추적은 추적되는 사람이 카메라에 처음 나타나기 시작할 때 사람모델을 초기화하는 것으로 시작된다. 계층적 사람모델은 인식된 사람의 위치, 색상, 움직이는 방향, 중심점, 인체를 구성하는 경계영역 등의 정보를 가지고 있다. 이렇게 생성된 사람모델의 정보는 각 카메라들(12, 14, 16)과 서버(20)와의 정보전달을 위하여 서버(20)의 인식된 사람의 정보를 저장하는 사람 리스트(22)에 등록된다. 사람리스트(22)에 저장된 사람모델의 정보는 매 프레임마다 사람의 움직임에 의해 변화되므로, 매 프레임마다 사람모델을 갱신시켜 추적대상의 정보변화의 손실을 최소화시킴으로써 정확한 추적을 할 수 있도록 하였다. 계층적 사람모델은 아래에서 상세히 설명될 것이다.

도 2는 도 1의 서버와 클라이언트간의 정보전달 흐름도이다.

도 2를 참조하면, 서버(20)가 구동이 되면 서버(20)는 서버 소켓을 생성하여 클라이언트(10)의 연결을 기다린다. 각 클라이언트(10)는 서버(20)와의 연결을 위해 서버에 연결요청을 보낸다. 서버(20)는 각 클라이언트(10)가 연결되는 순서대로 해당 카메라 간의 동기화를 위해 카메라 번호를 부여하고, 클라이언트(10)의 소켓과 스트림을 분산하여 처리하기 위한 커넥션 객체(20a)를 생성하고 클라이언트(10) 의 입장을 허가한다. 또한, 서버(20)는 각 클라이언트(10)의 상태를 항상 확인하고 제어하기 위하여 연결된 클라이언트(10)마다 Thread를 생성하여 데이터 스트림을 동기화시킨다. Thread를 사용하면 하나의 서버에 여러 개의 클라이언트가 각각 독립적으로 접속할 수 있고, CPU 점유율을 줄일 수 있다. Thread는 ThreadList에 저장되어 연결된 클라이언트와의 정보를 주고받는데 이용된다. 그리고 서버(20)가 클라이언트(10)의 정보전달을 허가하는 프로토콜을 클라이언트(10)에 전달하면 클라이언트(10)는 사람을 추적하기 위한 미디어데이터를 읽어 들여 이미지 처리를 시작한다. 만약 클라이언트(10)가 예기치 않게 해제될 경우 서버(20)는 클라이언트(10)의 변화 상태를 감지하여 연결이 해제되었다는 알림 메시지를 보내고, Thread를 중단시키고 각 클라이언트(10)는 서버(20)와의 통신을 각각의 커넥션 객체(20a)를 통해 접속하게 되며, 생성된 커넥션들은 접속된 클라이언트(10)들의 정보를 받아 커넥션리스트에 저장한다. 즉, 각 클라이언트(10)는 메시지 프로토콜을 사용하여 전송하고자하는 메세지를 커넥션 객체(20a)를 이용하여 서버(20)로 전송하고, 서버(20)는 이러한 클라이언트(10)의 요청을 프로토콜을 통해서 확인할 수 있으며, 각 카메라(12, 14, 16)에서 추적된 사람에 대한 정보는 매 프레임마다 갱신되고, 갱신된 정보는 커넥션 객체(20a)를 통하여 서버(20)에 지속적으로 전달된다.

커넥션 객체(20a)가 클라이언트(10)로부터 전달받은 메시지를 서버(20)에 보내면 서버(20)는 커넥션 객체(20a)로부터 넘겨받은 메시지와 프로토콜을 서버(20)의 Thread에 보내고 서버(20)는 생성된 ThreadList를 이용하여 ThreadList에 저장되어 있는 모든 클라이언트에게 데이터를 전송하게 된다. 전송하는 방법은 Thread 가 서버(20)에서 보내온 메세지를 해당 커넥션 객체(20a)에 넘겨주고, 커넥션 객체(20a)는 그 메세지를 클라이언트(10)에게 전달하게 된다. 이런 방법으로 서버(20)와 클라이언트(10)들은 연결된 Thread와 커넥션 객체(20a)를 이용하여 메시지 프로토콜과 함께 메시지를 전송하거나, 메시지를 어느 클라이언트로부터 전달받는지를 확인할 수 있다. 서버(20)와 클라이언트(10) 사이에서의 정보전달에 사용된 프로토콜은 도 3에 표로써 요약 정리하여 나타내었다.

앞서 설명한 바와 같이, 본 발명에서 제안된 네트워크 기반의 사람추적 시스템은 다수의 카메라로부터 인식된 추적대상의 정보를 효율적으로 전달하고, 전달받기 위한 네트워크 설계를 위하여 JMF(Java Media Framework) 기반의 RTP(Real-time Transfer Protocol) 기술을 이용한다. JMF는 Sun사에서 개발한 자바기반 멀티프로그래밍 기술로써 비디오 및 오디오의 캡쳐, 저장, 전송, 스트리밍 기술을 목적으로 개발된 멀티미디어 제어관련 API이다. JMF는 네트워크 환경에서 멀티미디어스트림 데이터를 효율적으로 처리하고 플랫폼의 독립성을 보장하기 때문에 화상회의나, 화상 의료 시스템과 같은 멀티미디어 시스템 개발에 적합하며, 현재 JMF에서는 MPEG, AVI, MOV등의 비디오 기술과 H.261, H.263등의 영상회의 코덱 표준과 G.721, G.723 등의 오디오 코덱도 제공하고 있다.

JMF에서의 실시간 미디어 전송 또는 비디오 스트림 참조를 인터넷이나 인트라넷에서 수행하기 위해 지원되는 RTP는 네트워크 상에서 영상 데이터를 전송을 지원하는 API이다.

RTP는 미디어 스트림에 대한 전송을 목적으로 설계되었기 때문에 기존의 TCP/IP 기반의 HTTP, FTP가 가지고 있던 처리 오버헤드, 네트워크 전송 지연, 멀티미디어 기능 부족 등과 같은 문제점을 어느 정도 해결할 수 있어 실시간이 요구되는 멀티미디어 데이터를 전송하기에 적합하다. 또한 RTP는 스트림내의 임의의 위치에서 다양한 미디어 타입이 서로 공존할 수 있어 각각의 데이터를 구분하기 위한 식별자를 이용하기 때문에 단일(유니) 캐스트와 다중(멀티) 캐스트 양측에 모두 사용가능하다. 이러한 RTP 기능을 이용하여 전송된 데이터의 구별과 패킷의 순서에 대한 결정, 다중 미디어에 대한 동기화 기능을 수행한다.

본 시스템에서는 서버(20)와 클라이언트(10) 간의 보다 빠른 미디어스트림처리를 위하여 음성데이터 전송은 고려하지 않는다.

또한, 본 시스템에서는 클라이언트(10)에 연결된 각 카메라(12; 14, 16)로부터 영상데이터를 얻기 위하여 JMF의 영상전송기능을 이용한다. 영상데이터를 순차적으로 획득하고 처리하기 위해서는 다수의 카메라들 사이에서 동기화가 이루어져야 하므로 서버에 연결된 카메라 순서대로 카메라 번호가 부여된다. 예를 들면, 미디어 스트림 전송을 위한 RTP 세션을 생성하기 위해 SyncVideo 객체는 해당 카메라 주소를 읽어 MediaLocator 객체를 생성한다. 클라이언트들은 SyncVideo 객체로부터 연결된 카메라의 DataSource 클래스를 넘겨받아, DataSource 클래스로부터 얻은 미디어스트림의 DataFormat 클래스의 정보를 카메라 주소와 포트번호, IP, 디바이스 정보와 함께 서버에 넘겨준다. 서버는 넘겨받은 DataFormat 클래스의 정보가 정당한지를 확인하며, 만약 정당하지 않은 DataFormat 클래스의 정보일 경우에는 서버는 클라이언트의 접근을 차단하고 에러메세지를 보낸다. 정당한 정보이면 서버는 클라이언트의 접근을 허가한다. 또한 서버는 클라이언트가 한꺼번에 많이 연결된 경우 발생되는 오버헤드를 제어하기 위하여 클라이언트가 연결되는 순서대로 커넥션 객체를 생성하여 각 클라이언트의 소켓과 스트림을 분산처리한다. 클라이언트가 모두 연결되면 서버는 동일한 TimeBase 객체를 이용하여 각 클라이언트들을 동기화 시킨 후 클라이언트로부터 들어온 순서대로 정보를 입력받아 처리한다. 서버와 연결된 클라이언트들은 자신과 연결된 카메라에서 추적된 사람의 특징 정보를 매 프레임마다 갱신하여 갱신된 정보를 서버를 통해 다른 클라이언트들에게 지속적으로 전달한다.

도 4는 도 1의 한 네트워크 카메라의 내부 구성도이다.

도 4를 참조하면, 촬상소자(31)는 CCD나 CMOS 등의 수광소자로 구현되며 렌즈를 통해 확대되어 투과된 피사체의 광원을 전기적 신호로 변환한다. 노이즈 제거부(32)는 촬상 소자(31)를 통해 변환된 전기적 신호의 노이즈를 제거한다. 디지털 신호 처리부(DSP)(33)는 노이즈 제거부(32)에 의해 노이즈가 제거된 신호를 화상 데이터로 처리한다. 제어부(37)는 디지털 신호 처리부(33)의 출력 신호를 연산하며, 시스템 전체의 정보를 저장하는 메모리(38)의 정보를 이용하여 시스템을 제어한다. 디코더 및 선택부(34)는 제어부(37)의 제어에 따라 디지털 신호 처리부(33)로부터의 영상 신호와 카메라(12)로부터의 외부 영상 신호를 입력하고 원하는 영상 신호를 선택하여 출력한다. 이때, 제어부(37)는 추적대상의 정보와 움직임을 인식하게 되며, 인식된 추적대상의 특징정보를 계층적 사람 모델링 방식으로 추출한다. 그리고 제어부(37)는 추출된 계층적 사람 모델과 서버로부터 전달받은 사람리스트 정보를 비교하여 추출된 사람모델이 기존에 등록되어 있는 추적대상인가 아니면 새로운 추적대상인가를 판단한 후, 그 판단 결과를 서버에 전달한다. 효율적인 정보전달을 위하여, 영상 신호 압축부(35)는 제어부(37)의 제어에 따라 디코더 및 선택부(34)로부터 출력된 영상 신호를 압축한다. 송수신부(36)는 외부로부터의 제어 신호, 예를 들어 서버의 제어 신호가 일반 전화선이나 통신선(미도시)을 통해 카메라(12) 또는 카메라의 제어부(37)로 전송되도록 하고, 영상 신호 압축부(35)에 의해 압축된 영상 신호가 일반 전화선이나 통신선을 통해 외부, 예를 들어 서버로 전송되도록 한다. 전원공급부(39)는 어댑터(미도시)를 통해 입력된 전압을 카메라(12) 내부에서 사용되는 여러 레벨의 전압으로 변환하여 공급한다.

도 5a 내지 도 5c는 도 1의 다중 사람추적 시스템에 채용된 계층적 사람 모델을 설명하기 위한 도면이다. 본 시스템에서는 블랍(BLOB)을 위치정보와 색상정보를 이용하여 세 인체 부위에 정합시켜 설계한 계층적 사람모델이 이용한다. 도 5a 내지 도 5c는 계층적 사람 모델링을 위한 입력영상(a), 전경영상(b) 및 결과영상(c)을 각각 나타낸다.

먼저, 카메라에서 획득된 영상은 시간의 경과, 빛과 조명 등에 의해 끊임없이 변화되므로 추적대상의 정보가 왜곡되거나 손실되기 쉽다. 또한 다수의 카메라를 사용할 경우 각 카메라에 들어오는 잡음과 조명의 정도가 달라서 왜곡되는 정도의 차이가 심하므로, 추적에 실패하기가 쉽다. 이렇게 서로 다른 조명 환경에서 사 람을 추적하는 것은 매우 어려우므로 각 카메라의 정보를 하나의 균일한 공간으로 매핑시켜 환경을 균일하게 만들기 위하여 적응적 조명 모델링 방법을 이용한다.

적응적 조명 모델링은 하나의 본래영상을 이용하여 예측가능한 조명을 모델링하고 예측된 조명을 영상에서 제거하는 방법이다. 현재영상의 조명은 이전 프레임에서 생성되었던 조명의 위치로부터 현재영상 내의 조명의 위치를 예측할 수 있으므로, 다음 프레임에서 나타날 조명과 음영을 현재의 프레임에서 예측하고, 예측된 조명을 제거할 수 있다. 적응적 조명 모델링의 초기 단계로 빛에 가장 영향을 받지 않은 영상을 본래 영상으로 정의하였다. 현재영상은 이전 프레임에서부터 예측 가능하며, 따라서 이전 프레임에서 존재하는 조명은 현재영상에서 존재 가능한 위치를 예상할 수 있으므로, 두 번째 프레임부터는 이전 프레임에서 계산된 조명의 값으로 현재영상을 보정한다.

본래 영상을 이용하여 조명 보정된 영상에서 배경영상을 분리하기 위해서 배경의 표준편차와 평균값을 계산하였다. 각 프레임들은 YCbCr공간의 각 Y,Cb,Cr 색상공간에서 소정 시간(t) 동안의 배경과 현재 영상과의 차이를 이차 판별함수인 마할라노비스 거리(Mahalanobis distance)를 이용하여 구한다. 새로운 프레임이 들어올 때마다, 배경과 전경으로 분리되고, 분리된 배경은 배경모델(평균과 표준편차)을 이용하여 갱신된다.

도 5a 내지 도 5c를 참조하면, 계층적 사람모델 및 모델기반 추적을 위하여 조명 보정된 입력영상(a)에서 분리된 전경영상(b)은 각 화소와 인접 화소 간의 밝기 유사도를 계산하는 연결요소 알고리즘을 사용하여 여러 개의 색으로 구별된 색 상의 집합인 블랍(BLOB)으로 분리한다. 각 블랍은 색상, 크기, 중심점, 위치, 인체를 구성하는 경계 등의 정보를 포함한다. 사람은 인체 부위에 대응되는 블랍의 부분집합으로 정의될 수 있으므로, 프레임 내의 블랍들은 다수의 사람들을 추적하기 위해 대응되는 인체에 할당되어야 한다. 분리된 블랍은 결과영상(c)에서와 같이 사람모델(P1)에서의 상대적인 위치에 따라 위치정보와 색상정보를 이용하여 각 사람의 인체를 머리, 몸통, 다리의 세 인체 부위로 나누었으며, 생성된 각 블랍은 세 인체 부위의 한 부분으로 할당된다.

이와 같이 본 시스템에서는 사람을 추적하기 위하여 신체 색상정보를 포함하는 계층적 사람모델을 이용하여 추적하였다. 설계된 사람모델을 이용하여 사람을 추적하기 위해, 사람모델의 정보는 다수의 사람을 추적하기 위해 저장된다. 한편, 사람의 모든 동작이 프레임마다 상대적으로 작기 때문에, 색상기반 모델에서의 큰 변화는 추적을 쉽게 실패하게 만드는 원인이 된다. 따라서, 본 시스템에서는 전술한 색상 모델이 가진 추적의 민감성을 해결하기 위해서, 프레임의 블랍들을 참조모델과 비교하여, 사람모델을 갱신한다. 사람모델의 정보는 소정 시간(t-1)까지 계산된 통계정보(평균과 표준편차)에 의해 표현된다. t번째 프레임에서 나타난 새로운 블랍과 사람모델 사이의 최소거리가 미리 정해진 임계치보다 적으면, 블랍을 사람모델에 추가하고 그들의 중심과 불확실성을 다시 계산하여 사람모델을 갱신함으로써 거의 정확하게 사람을 추적한다.

도 6은 본 발명의 실시예에 따른 네트워크 카메라를 이용한 다중 사람추적 시스템에 채용된 추적대상의 상태정보 변화 과정을 나타내는 도면이다.

도 6을 참조하면, 본 발명의 사람추적 시스템은 다수의 카메라를 이용하여 추적된 사람의 움직임을 카메라와 서버 간에 추적 대상의 정보전달을 통해 끝까지 추적한다. 따라서, 사람모델은 카메라에 들어오는 순간부터 완전히 사라질 때까지 다음과 같은 6단계의 상태정보를 가진다. 추적대상의 상태정보는 등장(Entering), 움직임(Moving), 겹침(Occluding), 대기 (Hiding), 재등장(Re-entering), 퇴장(Exiting)이다.

등장(Entering) : 새로운 블랍이 생성되고, 생성된 블랍으로부터 기존의 사람리스트에 새로운 사람모델이 생성된 경우.

움직임(Moving) : 생성된 사람모델이 카메라의 이전 프레임으로부터 일정 범위 안에서 지속적으로 매칭되고, 사람모델의 중심점이 일정 간격으로 지속적인 이동이 있는 경우.

겹침(Occluding) : 한 카메라 내에서 인식된 2개 이상의 사람모델이 이동이 있는 동안 일부의 사람모델이 잠시 사라졌다가 다시 나타났을 경우.

대기(Hiding) : 추적된 대상이 카메라 범위에서 벗어나 일정시간 동안 카메라간의 비겹침 지역(hide-zone)에 있는 경우.

재등장(Re-entering) : 대기 상태에서의 추적 대상이 다시 나타난 경우.

퇴장(Exiting) : 사람모델이 카메라로부터 일정시간 이상 벗어났으나 사람리스트에서 완전히 제거된 경우.

도 7a 및 도 7b는 본 발명의 실시예에 따른 네트워크 카메라를 이용한 다중 사람추적 시스템의 실험환경과 사람이동 FOV-Line을 나타내는 도면이다.

본 발명의 사람추적 시스템은 Pentium-IV 1.8GHz인 CPU와 512 MB 메모리 사양의 window2000 XP상에서 JAVA(JMF)를 이용하여 구현되었다. 연결된 UNIMO CCN-541 보안 카메라 세 대에서 획득된 영상(200×180)으로 6가지 시나리오를 가지고 실험하였으며, 초당 프레임은 9~15프레임이다. 제안된 사람추적 시스템은 고정된 다수의 비겹침 카메라와 컴퓨터를 통한 네트워크 기술을 이용하여 각 카메라의 화상데이터 정보전달과 상호 정보전달이 가능하다.

세 대의 비겹침 배치 카메라는 각 카메라의 시야가 겹치치 않는 배치구조의 특성상 카메라가 겹치치 않은 지역(hide-zone)이 존재한다. 도 7a는 실험환경에서의 FOV(Field of View)와 각 카메라(Camera1, Camera2, Camera3) 사이에 존재하는 비겹침 지역(hide-zone: h1,h2,h3,h4)을 보여주며, 도 7b는 실험공간에서 추적대상(Person1(P1), Person2(P2), Person3(P3))이 이동하는 FOV-Line을 보여준다.

도 7b를 참조하면, 3명의 추적대상(P1, P2, P3)은 FOV-Line을 따라 상태 (1),(2),(3),(4),(5),(6)과 같이 각 카메라에서 순차적으로 새로 등장(Entering), 움직이고(Moving), 겹치고(Occluding), 카메라에서 벗어나고(hiding), 재등장(Re-Enter)하고, 완전히 퇴장하는(Exiting) 시나리오를 따른다. 추적 대상들은 서로 다른 각 카메라에서 각각 나타날 수도 있고, 카메라 범위 내에서 이동하며, 다수의 사람이 한 카메라 내에 들어왔을 경우 겹침에 의해 일부의 사람이 잠시 사라질 수 있다.

또한 한 카메라에서 추적되어 나간 사람이 카메라 범위 내에서 벗어났을 경우, 연결된 다른 카메라 혹은 이전 카메라에서 재등장하거나 완전히 퇴장할 수 있다. 시나리오가 진행되는 동안 추적대상은 도 7b의 6단계 상태정보 중 하나를 항상 따르게 되며 각 카메라에서는 카메라에 들어오는 사람이 새로운 사람인가, 기존의 사람리스트에 등록되어 있는 사람인가, 이전에 비디오 프레임에서 나갔던 사람이 다시 들어오는가, 또는 완전히 제거됐는가를 계속해서 확인하여 추적한다.

예를 들면, 19프레임에서 제1 카메라(Camera1)에 사람1(Person1)이 처음 등장하고(새로운 사람 생성(Entering)), 72프레임에서 제1 카메라로부터 벗어난 사람1이 제2 카메라(Camera2)에 재등장하고(재등장(Re-entering)), 제3 카메라(Camera3)에 사람2(Person2)와 사람3(Person3)이 움직이고 있는 결과를 보여준다(움직임(Moving)). 그리고 88프레임일 때, 제3 카메라로부터 벗어났던 사람2가 제2 카메라에 재등장하여 사람1과 겹치게 된다(겹침(Occluding)). 그리고 116프레임에서 제2 카메라에서 퇴장한 사람1이 제3 카메라에 재등장하고, 사람2는 제2 카메라에서 퇴장한 결과를 보여준다(퇴장(Exiting)).

도 8은 도 7a 및 도 7b의 실험에 사용된 세 대의 카메라에서의 사람추적에 대한 평균 ROC(Receiver Operating Characteristic) 결과를 나타내는 그래프이다.

본 발명의 시스템에서는 ROC 그래프를 이용하여 추적된 사람에 대한 추적 정확도를 측정하였다. 추적 정확도는 각 추적 단계에서 사람으로 추적된 모델의 수를 세고 실제로 나타난 전체 사람 수에 대한 비율을 계산하였다.

도 8을 참조하면 평균 1~40프레임 구간에서 추적정확도의 기복이 심함을 볼 수 있다. 이는 초기의 사람모델 설계과정에서 들어오는 사람의 모델이 체계화되지 않았기 때문에 순간적으로 사람 추적률이 떨어졌음을 의미한다. 그러나 하락된 곡선이 바로 상승되어 안정된 그래프가 생성됨을 보여주므로 세 대의 카메라에서 추적된 사람모델이 안정되어 있음을 알 수 있다. ROC 그래프에서 나타난 추적정확도는 사람이 처음 들어와서 카메라에서 인식되어 퇴장하기까지 평균 481프레임에 대하여 91.2%의 평균 추적률을 보였다.

시스템에서 측정된 상태정보	퇴장						18
	재등장	2				66
	대기		278		5954
	겹침			47
	움직임		3565	12
	등장	16	78			31
		등장	움직임	겹침	대기	재등장	퇴장
	실제 사람의 상태정보

표 1은 본 발명의 실시예에 따라 구현한 시스템에서 인식된 사람모델의 6단계 상태정보를 추적한 결과이다. 표 1의 가로축은 6개의 시나리오에서의 각 카메라에 나타난 사람의 실제 6단계 상태정보이고, 세로축은 시스템에서 측정된 사람모델의 6단계 상태정보이다. 표 1의 결과에서 제안된 시스템에서 옳게 추적된 사람에 대한 상태 추적정확도는 96.01% 이다. 옳게 추적된 사람모델의 상태정확도는 새로운 사람(Entering) 상태에서 88.8%, 카메라 내에서 사람모델의 움직임(Moving) 상태에서 89.1%, 사람 모델간의 겹침(Occluding) 상태에서 79.6%이었으며, 카메라에서 나간 사람모델이 다시 재등장(Re-entering) 상태에서 68%, 카메라 범위에서 사람모델이 벗어나 비겹침 지역에 들어간 대기(Hiding) 상태와 사람모델의 완전히 퇴장(Exiting)상태에서 100%의 상태정확도를 보여주었다.

이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상술한 바와 같이, 본 발명에서는 다수의 카메라로부터 인식된 추적대상의 정보를 효율적으로 전달하고, 전달받기 위한 네트워크 기반의 사람추적 시스템을 제안하였다. 본 시스템에서는 JAVA로 다수의 미디어 데이터를 효율적으로 전송하고 처리하기 위해 JMF API와 RTP를 사용하여 카메라간의 네트워크 연결을 통해 추적대상의 정보전달이 가능하게 하였다. 본 발명에 의하면,카메라 내에서 사람을 추적하고 다른 카메라에 추적된 사람의 정보를 전달하기 위하여 계층적 사람모델을 이용하였으며, 모델링된 사람의 특징정보는 실시간으로 서버에 넘겨주고, 서버는 전달받은 정보를 연결된 각 클라이언트에 전달함으로써, 각 클라이언트들은 전달된 특징정보를 이용하여 추적대상을 검출, 인식하여 계속 추적할 수 있었다. 본 발명에 따른 사람추적 시스템은 앞으로 실내뿐 아니라 실외와 같은 다양한 환경에서 다수의 사람을 추적하고 추적된 사람들의 움직임의 궤도를 구하기 위한 가상공간으로의 구현에 용이하게 적용될 수 있다.

아울러, 기존의 모니터링 방식에서 벗어나 능동적으로 사람을 추적할 수 있 는 본 시스템은 앞으로 기존의 감시시스템에서 하기 힘들었던 넓고 복잡한 공간과 다수의 많은 사람들의 움직임을 추적할 수 있어 범인 및 특정 인사 위치추적, 보안시스템 등에 널리 이용할 수 있다.

Claims (5)

1. 네트워크로 서로 연결되며, 획득한 영상으로부터 추적대상인 사람모델의 특징정보를 추출하고, 상기 추출된 특징정보를 기 저장된 사람리스트 특징정보와 비교하며, 개개의 감시영역 상의 사람을 순차적으로 추적하는 복수의 카메라; 및

   상기 특징정보를 상기 복수의 카메라로부터 각각 받아 저장하며, 저장된 상기 사람리스트 특징정보를 상기 복수의 카메라에 각각 제공하고, 상기 복수의 카메라의 동기화를 수행하는 서버를 포함하는 다중 사람추적 시스템.
2. 제 1 항에 있어서,

   상기 특징정보는 추적대상의 인체를 머리, 상체 및 하체로 구분하고, 상기 추적대상의 위치, 색상, 움직이는 방향, 중심점 및 인체를 구성하는 경계영역 중 적어도 하나의 정보를 포함하는 계층적 사람모델 정보인 다중 사람추적 시스템.
3. 제 2 항에 있어서,

   상기 계층적 사람모델 정보는 조명 보정된 입력영상에서 분리된 전경영상에 대한 정보를 포함하며,

   상기 전경영상에 대한 정보는 각 화소와 인접 화소 간의 밝기 유사도를 계산 하여 여러 개의 색으로 구별된 색상의 집합인 블랍 정보를 포함하는 다중 사람추적 시스템.
4. 제 3 항에 있어서,

   상기 카메라의 제어부는 t번째 프레임에서 나타난 새로운 블랍과 이전 프레임에서 얻은 사람모델 사이의 최소거리가 미리 정해진 임계치보다 적으면, 상기 새로운 블랍을 새로운 사람모델 정보로써 상기 서버에 전달하고, 상기 서버는 상기 사람리스트를 저장되는 사람모델 정보를 상기 새로운 블랍의 중심과 불확실성을 다시 계산한 통계정보에 의해 갱신하는 다중 사람추적 시스템.
5. 제 1 항에 있어서,

   상기 카메라 및 상기 서버는 상기 사람모델에 대하여 등장, 움직임, 겹침, 대기, 재등장 및 퇴장의 상태정보를 갖는 다중 사람추적 시스템.

Images