KR100911121B1 - 영상 기반의 인간 블랍 추적방법 - Google Patents

Abstract

이 발명은 비디오 카메라에서 촬영된 영상 기반의 영상감시시스템에서, 연속되는 영상에서 화면에 등장하는 사람들의 블랍(blob)을 연속적으로 추적하는 시스템 및 방법에 관한 것이다.

이 발명에 따른 영상 기반 인간 블랍 추적시스템은, 동영상으로부터 프레임을 추출하는 프레임추출부와, 프레임별 블랍들에 관한 정보를 저장하는 블랍정보저장부와, 상기 프레임추출부에서 추출된 현재 프레임에서 사람 영역을 블랍들로 추출하는 블랍추출부와, 상기 현재 프레임에서 추출된 블랍들과 상기 블랍정보저장부에 저장된 이전 프레임에서 추출된 블랍들간 거리를 계산하는 거리계산부와, 상기 거리계산부에서 계산된 블랍들간 거리와 상기 블랍정보저장부에 저장된 이전 프레임에서의 블랍 정보를 이용하여 현재 프레임에서 추출된 블랍들의 상태를 분류하고 사람집합 정보를 할당하며 상기 블랍정보저장부에 저장하는 블랍상태파악부를 포함한다.

Description

영상 기반의 인간 블랍 추적방법 {Image-based human blob tracking method}

이 발명은 비디오 카메라에서 촬영된 영상 기반의 영상감시시스템에서, 연속되는 영상에서 화면에 등장하는 사람들의 블랍(blob)을 연속적으로 추적하는 시스템 및 방법에 관한 것이다.

영상 기반의 추적기술로서, 물체추적, 인간추적, 손추적 등의 기술 등이 제안되고 있다. 종래기술에서는 화면상에 나타나는 물체(손과 인간을 통칭)의 위치를 기준으로 이동경로를 예측하고 물체의 위치정보를 이용하여 물체를 추적하였다. 그래서, 화면상에서 여러 개의 물체가 겹쳐졌다가 떨어지는 경우에는 기존의 물체를 그대로 추적하지 못하고 추적 물체가 뒤바뀌는 문제점이 발생한다.

또한, 지금까지의 손추적이나 인간추적 기술의 경우에는 주로 한 사람만을 추적 대상으로 하고 있는 바, 한 사람이나 하나의 손을 추출하여 그 모양을 분석하는 연구는 많이 진행되었지만, 여러 사람을 동시에 추적하면서 블랍의 모양을 분석해 나가는 연구는 거의 진행된 바가 없다.

이 발명은 상기의 종래기술의 문제점을 해결하기 위한 것으로서, 비디오 카메라 영상을 기반으로 여러 사람이 등장하고 사라지고 겹치기도 하는 상황에서 여러 사람을 동시에 추적하면서 동시에 인간 블랍의 모양 정보까지 추출해 내는 시스템 및 방법을 제안한다.

상기한 목적을 달성하기 위한 이 발명에 따른 영상 기반의 인간 블랍 추적방법은, 동영상으로부터 프레임을 추출하는 프레임추출단계와, 상기 프레임추출단계에서 추출된 현재 프레임에서 사람 영역을 블랍들로 추출하는 블랍추출단계와, 상기 현재 프레임에서 추출된 블랍들과 이전 프레임에서 추출된 블랍들간 거리를 계산하는 거리계산단계와, 상기 거리계산단계에서 계산된 블랍들간 거리와 상기 이전 프레임에서의 블랍 정보를 이용하여 현재 프레임에서 추출된 블랍들의 상태를 분류하고 사람집합 정보를 할당하는 블랍상태파악단계와, 상기 현재 프레임에서 추출된 블랍정보를 저장하는 블랍정보저장단계를 포함한 것을 특징으로 한다.

삭제

이 발명에 따르면 동영상에 포함된 여러 사람의 행동 및 움직임을 동시에 정확하게 추적하여 행동인식에 사용할 수 있는 잇점이 있다.

이하, 첨부된 도면을 참조하면서 이 발명에 따른 영상 기반의 인간 블랍 추적시스템 및 방법을 보다 상세하게 설명한다.

도 1은 이 발명에 따른 영상 기반 인간 블랍 추적시스템의 기능 블록도이다.

이 영상 기반의 인간 블랍 추적시스템은 동영상을 획득하는 영상획득부(11)와, 상기 동영상으로부터 프레임을 추출하는 프레임추출부(12)와, 프레임별 블랍들에 관한 정보를 저장하는 블랍정보저장부(13)와, 프레임추출부(12)에서 추출된 현재 프레임에서 인간 블랍들을 추출하는 블랍추출부(14)와, 현재 프레임에서 추출된 블랍들과 블랍정보저장부(13)에 저장된 이전 프레임에서 추출된 블랍들간 거리를 계산하는 거리계산부(15)와, 거리계산부(15)에서 계산된 블랍들간 거리와 상기 블랍정보저장부(13)에 저장된 이전 프레임에서의 블랍 정보를 이용하여 현재 프레임에서 추출된 블랍들의 상태를 분류하고 현재 프레임에서 추출된 블랍들 및 각 블랍들의 상태를 블랍정보저장부(13)에 저장하는 블랍상태파악부(16)를 포함한다.

거리계산부(15)는 각 블랍들의 무게중심, 크기, 색조 히스토그램분포도를 구하고, 이를 이용하여 블랍들간 거리를 계산한다.

블랍상태파악부(16)는 블랍을 5가지 상태 즉, 등장(appearing), 퇴장(disappearing), 추적(tracking continuation), 병합(merging), 분리(splitting) 상태로 구분한다. 등장(appearing) 상태라 함은 블랍이 영상의 특정영역 내에 새롭게 들어오는 상태이고, 퇴장(disappearing) 상태라 함은 블랍이 영상의 특정영역을 벗어나는 상태이고, 추적(tracking continuation) 상태라 함은 블랍이 특정영역 내에서 이동하는 상태이고, 병합(merging) 상태라 함은 이전 프레임에서 두 개 이상의 블랍이 현재 프레임에서 하나의 블랍으로 합쳐지는 상태이고, 분리(splitting) 상태라 함은 이전 프레임에서 한 개의 블랍이 현재 프레임에서 두 개 이상의 블랍으로 분리되는 상태이다.

블랍상태파악부(16)는 현재 프레임에서 추출된 블랍들과 이전 프레임에서 추출된 블랍들간의 거리를 계산하여, 상호 매칭되는 블랍이 있는 지를 판단한다. 판단결과, 매칭되는 블랍이 있으면 해당 블랍이 특정 영역을 벗어나는 퇴장 상태인지를 판단한다. 해당 블랍이 특정 영역을 벗어나는 퇴장 상태이면 퇴장 상태로 판단하고 매칭되는 사람정보를 할당하여 저장하며, 특정 영역 내에 존재하면 추적 상태로 판단하여 매칭되는 사람정보를 할당하여 저장한다.

한편, 현재 프레임의 블랍과 이전 프레임의 블랍이 매칭되지 않으면 병합(merging), 분리(splitting), 등장(appearing) 상태인지를 순차적으로 확인한다. 병합 상태인 경우에는 이전 프레임의 병합 전 블랍들에 할당된 사람정보를 합하여 새로운 병합된 블랍 정보로서 저장한다. 또한, 분리 상태인 경우에는 이전 프레임의 블랍 정보를 이용하여 분리된 블랍에 적절한 사람정보를 할당하여 저장한다. 등장 상태인 경우에는 등장한 블랍에 새로운 사람정보를 할당하여 저장한다.

여러 사람이 동시에 움직이고 있을 때 개인별 행동들을 인식하기 위해서는 비디오카메라에서 촬영되는 순차적인 영상들에서 사람이라고 생각되는 블랍들을 구분하고, 순차적인 프레임에서의 블랍들 사이의 관계를 결정해야 한다. 여러 사람의 행동들을 인식하고자 하는 시스템에서 다수의 블랍들을 추적하는 문제를 단순화하기 위하여 다음과 같은 가정을 한다.

1. 동시에 두 사람 이상이 화면상에 나타나거나 사라지지 않는다. 화면상에 사람이 나타날 때는 한 사람씩 등장하고 사라진다.

2. 화면 중앙부분에서 갑자기 사람이 사라지지 않는다. 사람의 이동속도와 카메라의 시점을 고려할 때 화면의 중앙에 있던 사람이 화면밖으로 사라지는 일은 없다고 가정한다.

3. 태그와 같은 추가적인 정보없이 사람들을 구분해 내야 하기 때문에 사람들마다 다른 모습(색상)을 하고 있다고 가정하고 외관모델(appearance model)을 사용하여 사람들을 구분한다.

도 2를 참조하여, 이 발명의 한 실시예에 따른 영상 기반의 인간 블랍 추적방법을 설명한다.

먼저, 동영상획득부(11)는 동영상을 획득한다(단계 S21).

프레임추출부(12)는 획득된 동영상에 대해 영상 프레임을 추출한다(단계 S22).

블랍추출부(14)는 프레임추출부(12)에서 추출된 영상 프레임으로부터 사람의 영역을 블랍으로 추출한다(단계 S23).

영상 프레임 t에서의 블랍집합을 B_t라고 하면, 이 B_t는 수학식 1과 같이 표현된다.

B_t = { | i는 정수, 1≤i≤n-1}

여기서, n은 전체 블랍의 개수이며,

는 프레임 t에서의 i번째 블랍을 나타내며, 배경픽셀(background pixels)를 제외한 전경픽셀(foreground pixel)들의 하나의 연결성분(connected component)으로 구해진다. 보통 하나의 블랍

은 한 사람을 의미하지만(조명, 그림자 등의 잡음에 의해 분할된 블랍들은 모두 제거되었다고 가정한다), 두 사람 이상이 화면상에서 중첩되는 경우에는 하나의 블랍

이 두 사람 이상을 의미하기도 한다. 이와 같이 한 블랍이 의미하는 사람들의 집합을

로 표시한다.

거리계산부(15)는 순차적인 프레임들에서 각각의 블랍들의 관계를 결정하여야 각 블랍들이 의미하는 사람들을 구분할 수 있도록, 프레임 t의 블랍집합 B_t에 포 함된 모든 블랍들과, 이전 프레임 t-1의 블랍집합 B_{t -1}에 포함된 모든 블랍들 간의 거리

(여기서, 0≤i≤B_t의 원소의 개수, 0≤j≤ B_{t -1}의 원소의 개수이다.)를 계산한다(단계 S24). 두 블랍간 거리

는 아래의 수학식 2와 같이 구한다.

여기서, D_size는 두 블랍의 정규화된 크기 차이이고, D_cent는 두 블랍의 무게중심간의 정규화된 거리이고, D_hue는 두 블랍의 색조(hue) 히스토그램의 정규화된 거리를 나타낸다. 또한,

는 각 요소의 가중치를 나타내며, 0≤

≤1, 0≤

≤1, 0≤

≤1,

의 조건을 만족한다.

블랍상태파악부(16)는 프레임 t의 블랍집합의 각 블랍의 상태를 파악하고 사람을 할당하는데(단계 S25), 블랍상태파악루틴을 도 3의 흐름도를 참조하여 상세하게 설명한다.

프레임 t에서의 임의의 한 블랍

에 대해

가 최소가 되는 j를 구하여 j_min이라 하고(단계 S31),

이 임계값보다 작으면(단계 S32), 두 블랍(

,

)을 매칭하고(단계 S33), 블랍

에 할당된 사람집합

을 블랍

에 할당한다(단계 S34).

이 블랍

이 영상의 특정영역 내에 존재하면(단계 S35), 이 블랍

를 추적(tracking continuation) 상태로 판단하고(단계 S36), 이 블랍

이 영상의 특정영역 내에 존재하지 않으면(단계 S35) 퇴장(disappearing) 상태로 판단한다(단계 S37).

한편, 단계 S32에서

이 임계값보다 작지 않으면, 프레임 t에서의 임의의 한 블랍

와 매칭되는 프레임 t-1에서의 블랍이 없는 것으로 인지한다. 이 경우, 블랍

은 병합(merging) 상태, 분리(splitting) 상태, 등장(appearing) 상태 중 한 상태가 된다. 아래에서는 블랍

을 병합 상태, 분리 상태, 등장 상태로 판단하는 과정을 설명한다.

도 4는 블랍들의 병합 및 분리를 판단시

와 B_{t -1}의 관계를 도시한 도면이다.

프레임 t의 블랍

와 프레임 t-1의 블랍 집합 B_{t -1}의 겹치는 블랍들의 집합을 구하여 그 중 한 원소를 b^x라고 가정한다(단계 S38). 이를 수식으로 표현하면 수학식 3과 같다.

b^x ∈ {B_{t -1} ∩ }

이때,

와 B_t-1이 관련이 있는 지를 판단하는데(단계 S39), 도 4와 같이 b^x가

와 유사하면

를 병합상태로 판단하고 b^x가

와 유사하면

를 분리상태로 판단한다(단계 S40). 여기서, 두 블랍의 유사에 대한 판단은, 참조논문 [K. Smith 외 3인, "Evaluating multi-object tracking", in Proc. IEEE CVPR Workshop on Empirical Evaluation Methods on Computer Vision, San Diego, Jun. 2005.]에 게시된 바와 같이, 두 블랍의 영역을 중첩시켜 겹쳐진 화소의 개수와 임계치를 비교함으로써 이루어지는데, 겹쳐진 화소의 개수가 임계치보다 크면 유사로 판단하고 겹쳐진 화소의 개수가 임계치보다 크지 않으면 유사하지 않은 것으로 판단한다.

가 병합상태로 판단된 경우에는,

가 의미하는 사람집합은 프레임 t-1의 병합전 각 블랍들에 할당된 사람들의 집합의 합집합으로 구한다.

가 분리상태로 판단된 경우에는,

가 의미하는 사람집합은 사람들의 외관모델들을 이용하여 모든 확률을 계산하여 가장 높은 확률을 가지는 사람을 할당한다.

단계 S39에서 블랍

가 B_{t -1}과 관련이 없으면, 이 블랍

를 등장 상태로 판단한다(S41). 이 경우에는 새로운 식별자를 가지는 새로운 사람집합을 할당한다.

이상에서 이 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 이 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

이 발명은 영상감시시스템(Visual Surveillance System)의 시각처리 소프트웨어에 해당하는 기술로서, 유비쿼터스 컴퓨팅(Ubiquitous Computing), 휴먼-로봇인터랙션(Human-robot Interaction), 차세대 인터페이스 등의 기술분야에 활용할 수 있다.

도 1은 이 발명에 따른 영상 기반 인간 블랍 추적시스템의 기능 블록도,

도 2는 이 발명에 따른 영상 기반의 인간 블랍 추적방법의 개략적인 동작 흐름도,

도 3은 이 발명에 따른 블랍상태파악루틴의 상세한 동작 흐름도,

도 4는 블랍들의 병합 및 분리를 판단시

와 B_{t -1}의 관계를 도시한 도면이다.

< 도면의 주요 부분에 대한 부호의 간단한 설명 >

11 : 영상획득부 12 : 프레임추출부

13 : 블랍정보저장부 14 : 블랍추출부

15 : 거리계산부 16 : 블랍상태파악부

Claims (12)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 동영상으로부터 프레임을 추출하는 프레임추출단계와, 상기 프레임추출단계에서 추출된 현재 프레임에서 사람 영역을 블랍들로 추출하는 블랍추출단계와, 상기 현재 프레임에서 추출된 블랍들과 이전 프레임에서 추출된 블랍들간 거리를 계산하는 거리계산단계와, 상기 거리계산단계에서 계산된 블랍들간 거리와 상기 이전 프레임에서의 블랍 정보를 이용하여 현재 프레임에서 추출된 블랍들의 상태를 분류하고 사람집합 정보를 할당하는 블랍상태파악단계와, 상기 현재 프레임에서 추출된 블랍정보를 저장하는 블랍정보저장단계를 포함하고,

   상기 블랍상태파악단계는,

   상기 현재 프레임의 임의의 블랍에 대해, 상기 이전 프레임의 블랍들 중 상기 현재 프레임의 블랍과의 거리가 최소인 최소 거리의 블랍을 구하는 제1단계와,

   상기 제1단계에서 구해진 상기 현재 프레임의 블랍과 상기 최소 거리의 블랍과의 거리가 임계값 이하이면, 상기 현재 프레임의 블랍의 위치를 판단하는 제2단계와,

   상기 제2단계에서 상기 현재 프레임의 블랍의 위치가 특정 영역 내에 존재하면 상기 현재 프레임의 블랍 상태를 추적상태로 판단하고 상기 현재 프레임의 블랍의 위치가 상기 특정 영역 내에 존재하지 않으면 상기 현재 프레임의 블랍 상태를 퇴장상태로 판단하는 제3단계와,

   상기 제1단계에서 구해진 상기 현재 프레임의 블랍과 상기 최소 거리의 블랍과의 거리가 임계값 이하가 아니면, 상기 이전 프레임의 블랍들 중 상기 현재 프레임의 블랍과 위치가 겹치는 겹침 블랍을 구하는 제4단계와,

   상기 제4단계에서 적어도 하나의 겹침 블랍이 존재하고 상기 적어도 하나의 겹침 블랍과 상기 최소 거리의 블랍이 유사하면 상기 현재 프레임의 블랍을 병합 상태로 판단하고, 상기 적어도 하나의 겹침 블랍과 상기 현재 프레임의 블랍이 유사하면 상기 현재 프레임의 블랍을 분리상태로 판단하는 제5단계와,

   상기 제4단계에서 겹침 블랍이 존재하지 않으면 상기 현재 프레임의 블랍을 등장상태로 판단하는 제6단계를 포함한 것을 특징으로 하는 영상 기반의 인간 블랍 추적방법.
8. 제 7 항에 있어서, 상기 거리계산단계는 상기 블랍들의 무게중심, 크기, 색조 히스토그램분포도에 각각 가중치를 부여한 후 블랍들간 거리를 계산하는 것을 특징으로 하는 영상 기반의 인간 블랍 추적방법.
9. 제 7 항에 있어서, 상기 제3단계에서 상기 현재 프레임의 블랍 상태가 추적 상태 또는 퇴장 상태로 판단되면, 상기 최소 거리의 블랍에 할당된 사람들의 집합을 상기 상기 현재 프레임의 블랍에 할당하는 것을 특징으로 하는 영상 기반의 인간 블랍 추적방법.
10. 제 7 항에 있어서, 상기 제5단계에서, 상기 현재 프레임의 블랍 상태가 병합 상태로 판단되면, 상기 이전 프레임의 병합 전 각 블랍들에 할당된 사람들의 집합의 합집합을 상기 현재 프레임의 블랍의 사람집합으로 할당하는 것을 특징으로 하는 영상 기반의 인간 블랍 추적방법.
11. 제 7 항에 있어서, 상기 제5단계에서, 상기 현재 프레임의 블랍 상태가 분리 상태로 판단되면, 사람들의 외관모델을 이용하여 가장 높은 확률을 가지는 사람을 상기 현재 프레임의 블랍의 사람집합으로 할당하는 것을 특징으로 하는 영상 기반의 인간 블랍 추적방법.
12. 제 7 항에 있어서, 상기 제5단계에서, 상기 현재 프레임의 블랍 상태가 등장 상태로 판단되면, 새로운 식별자를 가지는 새로운 사람을 상기 현재 프레임의 블랍의 사람집합으로 할당하는 것을 특징으로 하는 영상 기반의 인간 블랍 추적방법.

Images