KR100612858B1 - 로봇을 이용하여 사람을 추적하는 방법 및 장치 - Google Patents

Abstract

로봇을 이용하여 사람을 추적하는 방법 및 장치가 개시된다. 본 발명의 사람 추적 방법은 현재 입력 영상에서 사람의 피부색을 이용하여 제1윈도우에서 사람을 검출하는 단계; 및 다음 입력 영상에서 복수의 제2윈도우를 설정하고, 제1윈도우와 제2윈도우들의 각 상관 결과로부터 상기 단계에서 검출된 사람을 다음 입력 영상에서 추적하는 단계를 포함한다.

Description

로봇을 이용하여 사람을 추적하는 방법 및 장치{Method and apparatus for tracking human using robot}

도 1은 본 발명에 따른 사람 추적 장치에 대한 블록도를 도시한 것이다.

도 2는 본 발명에 따른 사람 추적 방법에 대한 흐름도를 도시한 것이다.

도 3은 사람 검출 동작에 대한 상세 흐름도이다.

도 4a는 입력 영상이고, 도 4b는 입력 영상의 RGB색상이 정규화된 결과를 도시한 것이다.

도 4c는 입력 영상에서 후보 영역으로 검출된 영역을 도시한 것이다.

도 5a는 후보 영역의 무게 중심을 기준으로 후보 영역을 1차 정규화하는 것을 도시한 것이다.

도 5b, 도 5c 및 도 5d는 입력 영상을 각각 정규화한 예를 도시한 것이다.

도 6a, 6b 및 6c는 각각 도 5b, 5c 및 5d의 그레이 영상에 대한 마할라노비스 맵으로 나타낸 결과이다.

도 7a 내지 도 7d는 입력 영상으로부터 사람을 검출하는 과정을 간략하게 예시한 것이다.

도 8은 입자 필터 방법에 대한 흐름도이다.

도 9a는 (t-1)시간의 정규화 윈도우 영상이고, 도 9b는 각 샘플을 중심으로 얻은 정규화 윈도우 영상을 도시한 것이다.

도 10은 움직이는 사람을 추적하는 과정을 도시한 것이다.

본 발명은 로봇을 이용하여 사람을 추적하는 방법 및 장치에 관한 것으로, 특히 로봇에서 입력 영상으로부터 사람을 검출하고, 검출된 사람의 움직임을 추적하는 방법 및 장치에 관한 것이다.

근래 들어 사람이 직접 작업하기 어려운 곳이나 가정에서의 단순한 노동을 대신 처리해 줄 수 있는 시스템으로 로봇이 각광받고 있다. 이러한 로봇의 기능은 현재 단순한 반복 작업을 수행하는 정도이며, 로봇이 보다 지능적인 작업을 사람 대신 수행하기 위한 첫번째 조건은 로봇을 사용하는 사람과의 상호작용이다. 원활한 상호작용을 위하여 로봇은 사용자의 위치를 파악할 필요가 있으며, 사용자가 움직임에 따라 사용자와 근거리에 있도록 사용자의 위치를 추적할 필요가 있다.

기존의 대부분의 얼굴검출장치에서는 일반적으로 배경영상을 저장한 다음, 입력영상으로부터 배경영상을 뺀 차영상을 이용하여 물체의 움직임을 검출하는 방법을 사용하거나, 사람의 형태정보만을 이용하여 실내 또는 실외에서 사람의 위치를 파악하였다. 입력영상과 배경영상간의 차영상을 이용하는 방법은 카메라가 고정되어 있는 경우에는 매우 효율적이지만, 카메라가 계속 움직이는 로봇과 같은 경우에는 배경영상이 계속 바뀌기 때문에 매우 비효율적인 단점이 있다. 한편, 사람 의 형태정보를 이용하는 방법은 복수개의 사람형태와 비슷한 모델영상을 이용하여 사람을 검출함에 있어서 영상 전체에 대하여 모델영상을 매칭시켜 사람의 위치를 검출하기 때문에 시간이 많이 소요되는 단점이 있다.

본 발명에 이루고자하는 기술적 과제는 입력영상으로부터 피부색을 이용하여 사람을 검출하고, 검출된 사람을 추적하는 사람 추적 장치 및 방법을 제공하는데 있다.

상기 기술적 과제를 이루기위한, 본 발명의 사람 추적 방법은 현재 입력 영상에서 사람의 피부색을 이용하여 제1윈도우에서 사람을 검출하는 단계; 및 다음 입력 영상에서 복수의 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우들의 각 상관 결과로부터 상기 단계에서 검출된 사람을 상기 다음 입력 영상에서 추적하는 단계를 포함함을 특징으로한다.

상기 기술적 과제를 이루기위한, 본 발명의 사람 추적 장치는 연속되는 영상을 출력하는 영상 입력부; 상기 영상 입력부로부터 입력되는 현재 입력 영상에서 사람의 피부색을 이용하여 제1윈도우에서 사람을 검출하는 사람 검출부; 및 상기 현재 입력 영상에 이어서 입력되는 다음 입력 영상에서 복수의 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우들의 각 상관 결과로부터 상기 단계에서 검출된 사람을 상기 다음 입력 영상에서 추적하는 추적부를 포함함을 특징으로한다.

이하에서 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하기로 한 다.

도 1은 본 발명에 따른 사람 추적 장치에 대한 블록도를 도시한 것이다. 도시된 사람 추적 장치는 영상 입력부(13), 사람 검출부(10), 추적 대상 결정부(11) 및 추적부(12)를 포함한다.

영상 입력부(13)는 소정 촬상수단을 통해 촬상된 영상을 출력하는 것으로, 사람의 움직임을 촬상할 수 있는 어떠한 형태의 카메라도 허용된다. 사람 검출부(10)는 영상 입력부(13)로부터 입력되는 영상에서 사람의 피부색을 이용하여 사람을 검출한다. 추적 대상 결정부(11)는 사람 검출부(10)에서 복수의 사람이 검출된 경우, 검출된 사람들중 하나, 예를 들어 검출된 사람들에 대한 영상에서의 무게 중심을 구하고 무게 중심에 해당하는 사람을 추적대상으로 결정한다. 여기서, 무게 중심은 검출된 피부색 픽셀들중 가장 많은 피부색 픽셀을 차지하는 사람에 대응된다. 추적대상이 결정되면, 로봇은 추적대상의 위치 및 거리 정보를 이용하여 추적대상에 대해 일정 거리만큼 접근한다. 추적부(12)는 추적대상에 접근한 위치에서 추적대상의 움직임을 추적한다.

도 1에 도시된 사람 추적 장치의 동작을 도 2에 도시된 흐름도를 참조하여 보다 상세하게 설명하면 다음과 같다.

먼저, 사람 검출부(10)는 입력 영상으로부터 사람을 검출한다. 도 3은 사람 검출 동작에 대한 상세 흐름도이다. 먼저, 입력 영상에 대해 색정보를 변환한다. 색정보 변환은 입력 영상에 반영된 조명의 영향을 줄이고 피부색 영역을 강조하기 위한 것으로, 입력 영상의 RGB 색상을 다음 식과 같이 정규화된 rgb 도메인으로 변환한다.

도 4a는 입력 영상이고, 도 4b는 입력 영상의 RGB색상이 정규화된 결과를 도시한 것이다.

다음으로, 복수개의 피부색 모델의 색상 r 및 g의 평균(m_r, m_g)과 색상 r 및 g의 표준편차(σ_r,σ_g)를 이용하여 rgb영상에 대해 다음 식과 같이 가우시안(Gaussian) 모델링을 수행하고, 모델링된 값이 소정 임계치, 예를 들어 240보다 큰 영역을 피부색에 대한 후보 영역으로 검출한다(31단계).

도 4c는 입력 영상에서 후보 영역으로 검출된 영역을 도시한 것이다. 후보영역은 흰색으로 나머지 영역을 검은색으로 이진화되어 표시되었음을 알 수 있다.

한편, 32 및 33단계에서는 각각 입력 영상에 대한 그레이 영상(gray image)과 에지 영상(edge image)을 얻는다. 에지 영상은 소벨 에지 검출(Sobel edge detection) 방법 또는 캐니 에지 검출(Canny edge detection) 방법으로 얻을 수 있다.

그레이 영상 및 에지 영상에 대해 31단계에서 검출된 후보 영역에 대응하는 영역을 각각 추출하고, 후보 영역의 무게 중심 및 크기 정보를 이용하여 정규화 한 다(34단계).

도 5a는 후보 영역의 무게 중심(50)을 기준으로 후보 영역을 1차 정규화하는 것을 도시한 것이다. 각 후보 영역에 대해 무게 중심(50)을 기준으로 a ×a 의 정사각형을 구한 다음, 가로길이보다는 세로길이를 길게 정규화한다. 예를 들어, 가로 방향에 대해서는 무게중심(50)을 기준으로 좌, 우 각각 (2×a)만큼 즉, 전체 2×(2×a), 세로 방향에 대해서는 무게중심(50)을 기준으로 위쪽으로 2×a, 아래쪽으로 3.5×a 즉, 전체 2×a + 3.5×a 의 크기로 1차 정규화를 수행한다. 여기서, a는 크기정보의 근 즉,

임이 바람직하다.

1차 정규화가 수행된 각 피부색영역은 예를 들면 30 ×40 픽셀 크기로 2 차 정규화가 수행된다. 정규화는 양선형 보간법(bilinear interpolation)을 통해 이루어진다. 도 5b, 도 5c 및 도 5d는 정규화가 완료된 예를 도시한 것이다.

다음으로, 정규화된 그레이 영상을 이용하여 후보 영역이 사람인지 아닌지를 판별한다(35단계). 사람인지 아닌지에 대한 판별은 정규화된 그레이 영상에 SVM(Support Vector Machine)을 적용하여 이루어진다. 이를 보다 상세하게 설명하면 다음과 같다. 먼저, 정규화된 그레이 영상에 대해 5x5 크기의 블록 단위로 마할라노비스 거리(Mahalnobis distance)를 구한다.

각 블록의 픽셀값의 평균은 다음 식과 같이 구할 수 있다.

여기서, p, q는 각 블록의 가로방향 및 세로방향 픽셀수를 나타내며, X_l은 전체 블록, x는 하나의 블록내에 포함된 픽셀값을 나타낸다.

한편, 각 블록의 분산은 다음 수학식 4와 같이 나타낼 수 있다.

여기서, T는 전치(transpose)이다.

상기 각 블록의 평균과 각 블록의 분산을 이용하여 마할라노비스 거리(d_{( i,j )} ) 및 마할라노비스 거리 맵(D)을 각각 다음 수학식 5 및 6과 같이 구할 수 있다.

여기서, M과 N은 정규화된 그레이 영상에 대한 가로 및 세로 블록 수를 나타낸다. 정규화된 그레이 영상은 30x40 크기의 영역을 5x5의 블록으로 나누는 경우, 마할라노비스 거리 맵(D)은 48×48 의 매트릭스 형태가 된다.

도 6a, 6b 및 6c는 각각 도 5b, 5c 및 5d의 그레이 영상에 대한 마할라노비스 맵으로 나타낸 결과이다. 도시된 바에 따르면, 사람의 얼굴에 해당하는 그레이 영상의 경우 좌측 상단 꼭지점에서 우측 하단 꼭지점에 이르는 대각선을 중심으로 대칭이 이루어짐을 알 수 있다. 그러나 사람의 얼굴이 아닌 그레이 영상에 대해서는 대칭이 이루어지지 않는다.

이러한 사람 얼굴 영상의 특징을 미리 학습한 것이 SVM이다. SVM은 각 피부색 영역을 기준으로 정규화된 영상으로부터 구한 수학식 6에 따른 마할라노비스 거리 맵에 대해 사람 얼굴인지 아닌지에 대한 판별여부를 학습한 것이다.

따라서 입력 영상에 대한 정규화된 그레이 영상으로부터 얻은 마할라노비스 거리 맵을 SVM에 적용하여 사람 얼굴 영상인지 아닌지를 판별하게 된다.

한편, 정규화된 에지 영상에 대해서는 사람의 모델 영상과의 하우스도프 거리(Hausdorff distance)를 구하여 유사성을 판별한다(36단계). 여기서, 사람의 모델 영상은 적어도 하나 이상의 모델영상에 대한 에지영상을 의미하는 것으로, 바람직하게는 정면을 향한 사람 모델영상의 에지영상, 좌측으로 소정 각도 회전한 사람 모델영상의 에지영상과 우측으로 소정 각도 회전한 사람 모델영상의 에지영상 중 적어도 하나 이상을 저장한다.

하우스도프 거리는 에지영상에서 하나의 특징점과 모델영상의 모든 특징점간의 유클리디안 거리를 구하고, 그 반대로도 구하여 다음 식에 따라 유사성을 판별할 수 있다. 즉, 에지영상(A)이 m개의 에지로 이루어지고, 모델영상(B)이 n개의 에지로 이루어지는 경우, 하우스도프 거리(H(A,B))는 다음 식과 같이 나타낼 수 있 다.

여기서,

,

이다.

h(A,B)는 입력 에지영상(A)의 한 에지와 모델영상(B)의 모든 에지간의 유클리디안 거리 중 최소값을 구하고, 에지영상의 m개의 에지에 대하여 구해진 최소값들 중에서 최대값을 h(A,B)로 생성하고, 이와는 반대로 모델영상(B)의 한 에지와 입력 에지영상(A)의 모든 에지간의 유클리디안 거리 중 최소값을 구하고, 모델영상의 n개의 에지에 대하여 구해진 최소값들 중에서 최대값을 h(B,A)로 생성한다. 한편, H(A,B)는 h(A,B)와 h(B,A) 중 최대값으로 결정한다. 이와 같은 H(A,B)의 값을 살펴보면 두 집합간에 얼마나 많은 미스매칭(mismatching)이 존재하는지를 알 수 있다. 입력 에지영상(A)에 대해서 모든 모델영상, 예를 들면 정면모델영상, 좌측모델영상과 우측모델영상에 대하여 각각 하우스도프 거리를 산출하고, 그 중 최대값을 최종 하우스도프 거리로 출력한다. 최종 하우스도프 거리(H(A,B))를 소정 임계치와 비교하여, 하우스도프 거리(H(A,B))가 임계치보다 작으면 해당 후보 영역을 사람으로 판단하고, 임계치보다 크면 해당 후보 영역을 사람이 아닌 배경으로 판단 한다.

35단계의 SVM 및 36단계의 하우스도프 거리 계산 결과를 이용하여 입력 영상에 대해 최종으로 사람을 검출하게된다(37단계).

도 7a 내지 도 7d는 입력 영상으로부터 사람을 검출하는 과정을 간략하게 예시한 것이다. 도 7a와 같은 입력 영상에 대해 칼라 정보를 변환하고, 변환된 칼라정보로부터 도 7b와 같은 사람 후보 영역을 검출한다. 또한 도 7a의 입력 영상에 대해 그레이 영상과 도 7c의 에지영상을 얻는다. 그레이 영상과 에지영상 각각에서 도 7b에서 검출된 사람 후보 영역에 대해 30x40픽셀 크기의 정규화된 영상들을 각각 얻는다. 정규화된 그레이 영상에 대해서는 마할라노비스 거리 맵과 SVM을 이용한 사람인지를 판별한다. 정규화된 에지 영상에 대해서는 정면, 좌우측면 얼굴에 대한 모델영상들과의 하우스도프 거리를 구하고 구해진 하우스도프 거리를 임계치와 비교하여 사람얼굴인지를 판별한다. 도 7d는 복수의 사람들이 검출된 결과를 나타낸 것이다.

도 1의 추적 대상 결정부(11)는 입력 영상에서 복수의 사람들이 검출된 경우(21단계), 추적 대상을 다음과 같이 결정한다(22단계). 먼저 입력 영상의 가로축에 대한 중심값을 결정한다. 예를 들어, 입력 영상이 320x240의 크기라면 가로축의 중심 픽셀을 160으로 한다. 다음으로 검출된 사람들에 대한 무게 중심의 위치 및 크기를 구한다. 무게 중심의 위치 및 크기는 검출된 사람들에 해당하는 도 7b의 피부색 픽셀들의 위치를 피부색 픽셀들의 개수로 평균하여 구할 수 있다. 구해진 무게 중심의 위치가 영상의 가로축 중심에서 가장 가깝게 위치한 사람을 측정대상으로 결정한다. 예를 들어, 도 도 7d에서 검출된 사람들중 참조번호 70으로 표시된 사람이 측정대상으로 결정될 수 있다.

측정대상을 결정하면, 로봇은 측정대상 주위의 일정한 위치까지 이동하고(23단계), 그 위치에서 측정대상을 추적한다(24단계). 추적은 도 8에 도시된 바와 같은 입자 필터 방법을 이용하여 이루어진다.

본 발명에서 추적은 소정 측정치에 대한 사람의 위치를 확률로써 나타낼 수 있다. t시간의 샘플 세트를

로 나타내고, 샘플의 상태밀도(state density)인 가중치(weight)를

로 나타내기로 하면, (t-1)시간의 사후확률

에 대한 가중 샘플 세트는 80단계와 같이

로 표현할 수 있다. 여기서, Z_t-1은 (t-1)시간에 측정된 특징값이다. 81단계에서는

로부터 N번의 샘플링을 하여

를 생성하고, 생성된 샘플들을 움직인다(drift). 샘플링은

을 참조하여 이루어진다. 즉, 가중치가 큰 샘플에 대해서는 여러번의 샘플링이 이루어지고, 가중치가 상대적으로 작은 샘플의 경우에는 샘플링이 일어나지 않을 수도 있다.

샘플의 움직임(drift)은 샘플의 새로운 상태(state)는 바로 이전 상태에 의해 직접 영향을 받도록 조건 밀도함수(conditional density)

를 반영하는 소정 동력학(dynamics) 식에 따라 결정된다. 움직여진 샘플들은 82단계에서 확산되어 t시간의 샘플 세트

가 생성된다. 샘플값은 움직여진 샘플과 표준 정규 랜덤 편차 벡터(vector of standard normal random variates)의 가중합에 의해 결정된다.

샘플들의 가중치는 샘플 위치에서의 측정 밀도(observation density)

에 의해 다음 식과 같이 결정된다(83단계).

상술한 과정에 따라 84단계에서는 t시간의 가중된 샘플 세트

를 얻는다.

본 발명에서는 칼라 히스토그램(color histogram) 정보를 이용한 유사도를 측정 특징으로 사용한다. 유사도를 보다 상세하게 설명하면 다음과 같다.

유사도는 (t-1)시간의 정규화 윈도우의 영상 m₁과 t시간의 각 샘플을 중심으로 결정되는 정규화 윈도우의 영상 m₂ 간 측정함수의 상관에 의해 결정된다. 도 9a는 (t-1)시간의 정규화 윈도우 영상이고, 도 9b는 각 샘플을 중심으로 얻은 정규화 윈도우 영상을 도시한 것이다. 도시된 도 9a의 영상과 도 9b의 영상의 각각에 대한 유사도를 계산하고, 계산결과 최대값을 갖는 윈도우 영상에 대한 샘플을 현재 프레 임에서의 추적 위치로 결정한다. 유사도는 다음 식과 같이 결정된다. 정규화 영상의 크기는 (2n+1)x(2m+1)이다.

여기서, I₁, I₂는 각각 m₁, m₂의 칼라 히스토그램이고, (u ₁,v₁), (u₂,v₂)는 각각 m₁, m₂의 중심 픽셀 위치이다.

수학식 9에서 m₁, m₂의 평균 칼라 히스토그램

및 그 분산

은 다음 식과 같이 계산될 수 있다.

다음으로, 현재 샘플에 대한 CDF를 구하고, 다음 프레임에 대해 80 내지 84단계를 반복수행한다.

도 10은 걸어들어와서 의자에 앉는 사람을 추적하는 과정을 도시한 것이다. 도시된 바에 따르면, 추적이 잘 이루어짐을 알 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명에 따르면, 사람의 피부색 및 형태 정보를 이용하여 영상에서 사람을 검출하여 추적대상을 설정하고 칼라 히스토그램 정보를 이용하여 추적대상을 추적함으로써 사람의 앞, 좌우 방향에 관계없이 검출 및 추적이 가능하다.

또한 이전 프레임의 정규화 영상과 각 샘플을 중심으로하는 정규화 영상들간의 상관관계를 이용함으로써 사람의 움직임을 감지하기가 용이하다.

본 발명은 특정인을 계속적으로 추적 및 감시할 수 있으며, 따라서 특정인을 추적하면서 촬영이 가능하므로 방송국의 무인 카메라에 적용할 수도 있다.

또한 가정에서 사람의 위치 및 거리 정보를 이용한 가전 제품의 지능화를 실 현할 수도 있다.

본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (18)

1. 현재 입력 영상에서 사람의 피부색을 이용하여 제1윈도우에서 사람을 검출하는 단계; 및

   다음 입력 영상에서 복수의 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우들의 각 상관 결과로부터 상기 단계에서 검출된 사람을 상기 다음 입력 영상에서 추적하는 단계를 포함함을 특징으로하는 사람 추적 방법.
2. 제1항에 있어서, 상기 제2윈도우들은

   상기 다음 입력 영상에서 선택된 제1샘플들의 위치를 중심으로 상기 제1윈도우의 크기와 동일한 크기로 상기 다음 입력 영상에서 설정되는 것을 특징으로하는 사람 추적 방법.
3. 제2항에 있어서, 상기 제1샘플들은

   상기 제1윈도우에 포함된 제2샘플들에 대해 상기 제2샘플이 갖는 가중치를 반영하여 상기 다음 입력 영상에서 샘플링하는 단계; 및

   상기 단계에서 샘플링된 샘플들을 상기 제2샘플들의 위치를 반영하여 움직이고(drift), 움직여진 샘플들의 위치를 반영하여 상기 제1샘플들의 위치를 결정하는 단계를 포함함을 특징으로하는 사람 추적 방법.
4. 제1항 내지 제3항중 어느 한 항에 있어서, 상기 상관은 다음 식과 같은 유사도

   [수학식]

   

   여기서, I₁, I₂는 각각 제1 및 제2윈도우의 칼라 히스토그램이고, (u₁,v ₁), (u₂,v₂)는 각각 제1 및 제2윈도우의 중심 픽셀 위치, (2n+1)x(2m+1)은 제1 또는 제2윈도우의 크기

   에 따라 계산되는 것을 특징으로하는 사람 추적 방법.
5. 제1항에 있어서,

   상기 사람 검출단계에서 검출된 사람이 복수인 경우, 상기 입력 영상의 가로축 중심 위치를 구하는 단계; 및

   상기 중심 위치에서 가장 가까운 위치에서 검출된 사람을 추적 대상으로 결정하는 단계를 더 포함함을 특징으로하는 사람 추적 방법.
6. 제1항에 있어서, 상기 사람 검출단계는

   상기 입력 영상에 대한 피부색 정보를 이용하여 적어도 하나 이상의 피부색 영역을 검출하는 단계;

   상기 각 피부색 영역이 사람후보영역에 해당하는지를 판단하는 단계; 및

   상기 단계에서 사람후보영역으로 판단된 각 피부색 영역이 사람인지를 사람의 형태정보를 이용하여 판단하는 단계를 포함함을 특징으로하는 사람 추적 방법.
7. 제6항에 있어서, 상기 피부색 영역을 검출하는 단계는

   상기 입력 영상의 각 화소의 색상을 정규화시키는 단계;

   상기 정규화된 영상을 가우시안 모델링하여 피부색과 유사한 화소들을 강조하는 단계; 및

   강조된 피부색과 유사한 화소들 중 소정의 임계치 이상인 계조값을 갖는 화소들에 대하여 이진화를 수행하여 적어도 하나 이상의 피부색 영역을 검출하는 단계를 포함함을 특징으로하는 사람 추적 방법.
8. 제6항에 있어서, 상기 사람후보영역으로 판단하는 단계는

   상기 각 피부색영역의 크기를 상기 제1윈도우의 크기로 정규화하는 단계; 및

   정규화된 각 피부색영역이 사람후보영역인지를 판단하는 단계를 포함하는 것을 특징으로 하는 사람 추적 방법.
9. 제8항에 있어서, 상기 사람후보영역인지를 판단하는 단계는

   상기 제1윈도우 영상에 대한 그레이 영상을 구하는 단계;

   상기 그레이 영상을 소정 블록단위로 나누고, 각 블록간의 마할라노비스 거리를 구하여 마할라노비스 거리 맵을 생성하는 단계; 및

   생성된 마할라노비스 거리 맵을 이용하여 상기 정규화된 각 피부색 영역이 사람후보영역인지를 판단하는 단계를 포함함을 특징으로하느 사람 추적 방법.
10. 제8항에 있어서, 상기 사람후보영역인지를 판단하는 단계는

    상기 제1윈도우 영상에 대한 에지 영상을 구하는 단계;

    모델 영상에 대한 에지 영상과 상기 에지 영상간의 유사도를 구하는 단계; 및

    상기 유사도에 따라 상기 정규화된 각 피부색 영역이 사람후보영역인지를 판단하는 단계를 포함함을 특징으로하느 사람 추적 방법.
11. 제10항에 있어서, 상기 유사도는

    하우스도프 거리에 의해 측정되는 것을 특징으로하는 사람 추적 방법.
12. 제10항에 있어서, 상기 모델 영상은

    정면모델영상, 좌측모델영상과 우측모델영상 중 적어도 하나 이상으로 이루어지는 것을 특징으로 하는 사람 추적 방법.
13. 현재 입력 영상에서 사람의 피부색을 이용하여 제1윈도우에서 사람을 검출하 는 단계; 및

    다음 입력 영상에서 복수의 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우들의 각 상관 결과로부터 상기 단계에서 검출된 사람을 상기 다음 입력 영상에서 추적하는 단계를 포함함을 특징으로하는 사람 추적 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
14. 연속되는 영상을 출력하는 영상 입력부;

    상기 영상 입력부로부터 입력되는 현재 입력 영상에서 사람의 피부색을 이용하여 제1윈도우에서 사람을 검출하는 사람 검출부; 및

    상기 현재 입력 영상에 이어서 입력되는 다음 입력 영상에서 복수의 제2윈도우를 설정하고, 상기 제1윈도우와 상기 제2윈도우들의 각 상관 결과로부터 상기 단계에서 검출된 사람을 상기 다음 입력 영상에서 추적하는 추적부를 포함함을 특징으로하는 사람 추적 장치.
15. 제14항에 있어서, 상기 제2윈도우는

    상기 다음 입력 영상에서 선택된 제1샘플들의 위치를 중심으로 상기 제1윈도우의 크기와 동일한 크기로 상기 다음 입력 영상에서 설정되는 것을 특징으로하는 사람 추적 장치.
16. 제15항에 있어서, 상기 제1샘플들은

    입자필터를 이용하여 상기 제1윈도우에 포함되는 제2샘플들로부터 선택되는 것을 특징으로하는 사람 추적 장치.
17. 제14 내지 제16항중 어느 한 항에 있어서,

    상기 상관은 다음 식과 같은 유사도

    [수학식]

    

    여기서, I₁, I₂는 각각 제1 및 제2윈도우의 칼라 히스토그램이고, (u₁,v ₁), (u₂,v₂)는 각각 제1 및 제2윈도우의 중심 픽셀 위치, (2n+1)x(2m+1)은 제1 또는 제2윈도우의 크기

    에 따라 계산되는 것을 특징으로하는 사람 추적 장치.
18. 제14항에 있어서,

    상기 사람 검출부에서 복수의 사람이 검출된 경우,

    상기 입력 영상의 가로축 중심 위치를 구하고, 상기 중심 위치에서 가장 가까운 위치에서 검출된 사람을 추적 대상으로 결정하는 추적 대상 결정부를 더 포함함을 특징으로하는 사람 추적 장치.

Images