KR20080072394A - 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그시스템 - Google Patents

Abstract

본 발명은 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것으로 더욱 상세하게는 스테레오 카메라를 이용하여 인물들 간의 겹침 현상을 효율적으로 구분하고 부분영역 단위로 적분 히스토그램을 이용하여 연산비용을 최소화한 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것이다.

본 발명에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법은 스테레오 카메라를 이용하여 배경의 영상을 일정한 초당 프레임으로 촬영하는 단계, 상기 프레임에 움직이는 인물의 영상이 촬영되어 상기 인물의 색상 정보가 추출되는 색상 정보 추출 단계, 상기 추출된 인물의 색상 정보를 이용하여 상기 배경과 상기 인물이 분리되는 단계, 상기 촬영된 인물의 영상을 이용하여 영상 시차를 검출하는 단계, 상기 분리된 인물을 일정한 개수의 부분영역들로 분할하는 단계, 상기 부분영역들 별로 적분 히스토그램을 연산하는 단계, 상기 부분영역들의 히스토그램을 이용하여 객체 모델을 도출하는 단계, 상기 도출된 객체에 이름을 부여하는 레이블링 단계 및 상기 레이블링된 객체를 추적하는 객체 추적 단계를 포함한다.

복수 인물 추적, IHLS, Disparity, 적분 히스토그램, Segmentation

Description

스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템{Multiple People Tracking Method Using Stereo Vision and System Thereof}

도 1 은 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법을 보여주는 흐름도,

도 2 는 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템의 구성도,

도 3 은 본 발명의 일실시예에 따른 객체 모델의 부분영역을 보여주는 도면,

도 4 는 본 발명의 일실시예에 따른 객체 추적 결과를 보여주는 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100:스테레오 카메라 200:인물 분리 수단

300:영상 시차 검출 수단 400:객체 모델 도출 수단

500:객체 모델 레이블링 수단 600:객체 추적 수단

본 발명은 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것으로 더욱 상세하게는 스테레오 카메라를 이용하여 인물들 간의 겹침 현상을 효율적으로 구분하고 부분영역 단위로 적분 히스토그램을 이용하여 연산비용을 최소화한 스테레오 시각 정보를 이용한 복수 인물 추적 방법 및 그 시스템에 관한 것이다.

동적인 영상에서 사람들을 찾고 추적하는 것은 보안, 인간의 행동분석, 로봇비전 및 인간과 컴퓨터 간의 상호작용 분야의 비전 어플리케이션 시스템들 중 가장 중요한 모듈 중의 하나이다.

또한, 원격 보안시스템, 수화 및 제스처 인식 시스템, 원격 교육시스템, 자동 기록 시스템 등 카메라를 이용하여 지능적으로 인간의 동작 상황을 인식하여 응용하려는 모든 시스템 중 하나의 기술 요소로 활용이 가능하다.

그러나 객체의 움직임을 판단하는 것과 추적된 객체들의 정확한 상호 정보를 유지하는 것은 본 발명이 속하는 기술분야에서 도전과제로 남아 있고, 일반적인 환경에서는 객체의 겹침 현상 및 특징이 비슷한 객체의 구별 등은 다양한 동적인 상황 때문에 발생하는 여러 가지 문제점을 내재하고 있다.

또한, 객체 모델을 추출하고 추적하는 과정상의 연산비용을 감소시키기 위한 노력이 있어 왔다.

본 발명은 상기의 문제점들을 해결하기 위해 창안된 것으로 본 발명의 목적은 인물과 인물 간의 또는 인물과 사물 간의 겹침 현상에 강인한 시각 정보를 이용한 복수 인물 추적 방법을 제공하는 데 있다.

또한, 본 발명의 목적은 인물을 객체로 도출하고 추적하는 과정상의 연산 비용을 줄임으로써 빠르게 상기 객체를 추적하는 복수 인물 추적 방법을 제공하는 데 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법은 스테레오 카메라를 이용하여 배경의 영상을 일정한 초당 프레임으로 촬영하는 단계, 상기 프레임에 움직이는 인물의 영상이 촬영되어 상기 인물의 색상 정보가 추출되는 색상 정보 추출 단계, 상기 추출된 인물의 색상 정보를 이용하여 상기 배경과 상기 인물이 분리되는 단계, 상기 촬영된 인물의 영상을 이용하여 영상 시차를 검출하는 단계, 상기 분리된 인물을 일정한 개수의 부분영역들로 분할하는 단계, 상기 부분영역들 별로 적분 히스토그램을 연산하는 단계, 상기 부분영역들의 히스토그램을 이용하여 객체 모델을 도출하는 단계, 상기 도출된 객체에 이름을 부여하는 레이블링 단계 및 상기 레이블링된 객체를 추적하는 객체 추적 단계를 포함한다.

바람직한 실시예에 있어서, 상기 배경과 인물을 분리하는 단계는 특정 프레임의 색상 정보가 상기 특정 프레임의 이전 프레임의 색상 정보와 동일할 경우 배 경으로 정의되고 동일하지 않을 경우 인물으로 정의되어 상기 배경과 상기 인물을 분리한다.

바람직한 실시예에 있어서, 상기 영상 시차를 검출하는 단계는 상기 스테레오 카메라에 촬영된 인물의 좌 영상 및 우 영상을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출한다.

바람직한 실시예에 있어서, 상기 객체 추적 단계 이후에 상기 움직이는 객체의 부분영역 적분 히스토그램 값을 갱신하는 단계를 포함하며, 상기 갱신된 부분영역 적분 히스토그램 값이 상기 갱신되기 전의 부분영역 적분 히스토그램 값과 가장 유사하거나 비 유사한 히스토그램을 검출하여 객체별로 추적을 유지한다.

또한 상기의 목적을 달성하기 위한 본 발명에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템은 배경 및 인물을 촬영하는 스테레오 카메라, 상기 촬영된 배경과 인물을 분리하는 인물 분리 수단, 상기 스테레오 카메라에 의해 촬영된 영상들을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출하는 영상 시차 검출 수단, 상기 인물 분리 수단과 영상 시차 검출 수단에 의해 검출된 인물을 일정한 크기의 부분영역으로 나누고 상기 부분영역들의 적분 히스토그램을 구하여 객체 모델을 도출하는 객체 모델 도출 수단, 상기 도출된 객체에 이름을 부여하는 객체 모델 레이블링 수단 및 상기 레이블링된 객체의 움직임을 추적하는 객체 추적 수단을 포함한다.

바람직한 실시예에 있어서, 상기 객체는 다수개의 객체를 포함하며, 상기 객체 추적 수단은 상기 레이블링된 객체의 적분 히스토그램 값과 가장 유사한 적분 히스토그램을 확률적으로 연산하여 가장 높은 확률을 가지는 객체에 대해 추적한다.

바람직한 실시예에 있어서, 상기 확률정보는 상기 부분영역의 적분 히스토그램에 기반한다.

이하, 첨부한 도면을 참조하여 실시예를 상세히 설명한다.

도 1 은 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법을 보여주는 흐름도이다.

도 1을 참조하면 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 방법은 먼저 스테레오 카메라를 이용하여 배경 영상을 초당 30프레임으로 촬영한다(S100).

또한, 상기 스테레오 카메라는 고정되어 좌.우 영상을 촬영할 수 있는 두 대의 카메라로 구비되고 컴퓨터로 영상정보를 송신한다.

또한, 상기 스테레오 카메라는 인물의 영상 시차를 구하기 위해 좌.우 영상을 촬영하며, 상기 영상 시차를 이용하여 인물의 크기를 도출하는데 이용된다.

따라서 하나의 카메라 영상을 이용하여 인물을 촬영하는 것에 비해 인물들의 크기 변화를 잘 표현할 수 있고 합쳐지거나 부분적으로 겹친 객체들의 깊이를 용이하게 도출할 수 있다.

본 발명의 일실시예에서는 좌.우 영상을 촬영하였지만, 다수개의 영상을 촬영하여 영상 시차를 구할 수도 있다.

다음, 상기 영상 프레임에 움직이는 인물이 촬영되고 상기 인물의 색상정보를 추출한다(S200).

상기 인물의 색상 정보 추출은 IHLS(Improved Hue Lightness Saturation)에 기반한다. 또한, 상기 IHLS정보는 단순한 색상정보 추출 방법에 비해 부가적인 채도(Saturation) 정보를 추가함으로써 보다 안정적으로 배경과 인물을 분리해 낼 수 있는 색상정보를 제공한다.

따라서, 배경과 인물을 효과적으로 분리해낼 수 있는 정보를 제공한다.

다음, 상기 추출된 인물의 색상정보를 이용하여 배경과 인물을 분리한다(S300).

이때, 상기 IHLS 색상정보를 사용한 가우시안 믹스쳐 모델(GGM:Gsussian Mixture Model)을 사용한다. 따라서 화면 내의 움직이는 모든 객체가 인물이라고 가정하고 분류할 수 있는 간단하고 매우 신뢰할만한 방법을 제공할 수 있다.

다음, 상기 촬영된 좌.우 영상들을 이용하여 영상 시차를 검출한다(S210).

이 단계는 객체 모델을 도출하는데 있어서, 더 강인하고 다양한 정보를 제공하기 위한 단계이므로 적분 히스토그램 산출 전에 이루어지면 충분하다.

또한, 상기 영상 시차 검출단계는 궁극적으로 객체의 크기를 구하여 객체 모델 도출에 정보를 제공하며 상기 객체의 크기는 아래의 수학식 1에 의해 구할 수 있다.

여기서, 상기 s(scale)는 객체의 크기, d는 시차 값이고 k는 단순한 교정 상수이다.

따라서, 상기 영상 시차를 이용하여 인물의 크기를 간단하게 산출할 수 있다.

다음, 상기 분리된 인물을 일정한 개수의 부분영역들로 분할하고(S400), 상기 부분영역별로 적분 히스토그램을 산출한다(S500). 상기 적분 히스토그램은 하나의 부분영역의 히스토그램 값만으로도 다른 부분영역의 히스토그램을 도출해 낼 수 있으므로 연산속도를 빠르게 개선할 수 있다.

또한, 이미지 픽셀의 모든 위치(x,y)에서 이미지 적분 값을 저장하는 구조를 가지고 있다.

또한, 상기 부분영역들로 분할하는 이유는 인물의 움직임에 따라 오류가 생기는 것을 최소화하기 위한 것이다.

상기 부분영역들의 적분히스토그램은 상기 IHLS 정보를 이용하여 도출되며 아래의 수학식 2로 표현된다.

여기서

와

는 각각 픽셀 x의 색상과 채도 값이고,

는 크로네커(Kronecer) 델타 함수이다. 따라서 상기 수학식 2로 도출되는 일차원 히스토그램으로 상기 부분영역 및 객체의 컬러 정보를 알 수 있다.

또한, 상기 히스토그램의 정보를 이용함으로써 상기 부분영역들 사이의 유사성을 평가하는 시간을 줄일 수 있다.

다음, 상기 부분영역들의 모임인 객체 모델을 도출하고(S600) 상기 객체 모델에 이름을 부여하는 레이블링 단계를 거친다(S700).

상기 레이블링 단계는 각각의 인물들로부터 도출된 객체들 간의 구분을 용이하게 하도록 해준다.

다음, 상기 레이블링된 객체 모델의 추적이 개시된다(S800).

상기 객체 추적 단계(S800)는 추적 개시 이후에 움직이는 객체의 부분영역들의 적분 히스토그램 값을 갱신하는 단계를 포함한다.

상기 갱신되는 히스토그램의 구조와 깊이는 아래의 수학식 3으로 표현된다.

상기 α는 갱신 비율이고 κ는 히스토그램의 빈(bin)이다. 깊이와 컬러 히스토그램은 서로 다른 α를 가진다. 왜냐하면 각각 서로 다른 비율로 변화하기 때문이다.

또한, 상기 갱신된 부분영역의 적분 히스토그램 값이 갱신되기 전의 부분영 역 적분 히스토그램 값과 가장 유사한 객체에 추적이 유지된다.

상기 유사성 판단은 보트 맵을 이용하는데 엘엠이디에스 타입 에스티매이터(LMedS-Type Estimator)를 이용한 통계를 사용한다.

따라서 상기 부분영역들의 히스토그램을 비교할 때 적은 연산 비용으로 빠르게 객체의 추적이 가능하다.

도 2 는 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템의 구성도이다.

도 2 를 참조하면, 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템은 스테레오 카메라(100), 인물 분리수단(200), 영상 시차 검출수단(300), 객체 모델 도출 수단(400), 객체 모델 레이블링 수단(500) 및 객체 추적 수단(600)을 포함한다.

상기 스테레오 카메라(100)는 두 대의 카메라를 포함하며, 배경을 초당 30프레임의 속도로 촬영한다. 또한 인물 분리 수단(200) 및 영상 시차 검출 수단(300)과 연결되어 영상 데이터를 송신한다.

또한, 상기 스테레오 카메라(100)를 사용함으로써, 상기 배경에 움직이는 인물이 촬영되면 상기 스테레오 카메라(100)와 상기 인물 간의 거리를 구할 수 있고, 상기 거리를 바탕으로 상기 인물의 크기를 구할 수 있는 것이다.

상기 인물 분리수단(200)은 상기 스테레오 카메라(100)로부터 영상 데이터를 수신하며, 상기 영상 데이터의 픽셀 중 색상의 변화가 있는 픽셀의 정보를 추출하여 상기 인물에 대한 색상정보만을 남겨두고 배경에 대한 영상 데이터는 삭제한다.

이때, IHLS(Improved Hue Lightness Saturation)를 이용한 가우시언 믹스쳐 모델(GMM:Gaussian Mixture Model)을 사용하여 배경을 삭제하고 상기 인물에 대한 색상 정보만 남겨둔다.

상기 영상 시차 검출 수단(300)은 상기 스테레오 카메라(100)에 촬영된 좌.우 영상들을 이용하여 시차 정보와 상기 시차 정보를 이용하여 도출된 인물의 크기를 객체 모델 도출 수단(400)으로 전송한다.

상기 객체 모델 도출 수단(400)은 상기 인물 분리 수단(200)으로 부터 전송된 인물의 색상정보와 상기 영상 시차 검출 수단(300)으로부터 전송된 시차 정보로부터 하나의 객체 모델을 도출한다.

또한, 상기 인물을 다수개의 조각들로 구분하고 상기 구분된 부분 영역(fragment)별로 적분 히스토그램을 구하여 상기 부분 영역들의 모임인 객체 모델을 도출하게 된다.

따라서, 상기 객체 모델 도출은 상기 적분 히스토그램을 사용하여 연산비용 및 시간을 절감시킬 수 있다. 또한 영상 시차 정보가 포함되므로 강인한 객체 모델을 도출할 수 있는 것이다.

상기 객체 모델 레이블링 수단(500)은 상기 도출된 객체 모델에 이름을 부여한다. 또한 상기 객체 모델에 기준이 되는 값이 설정되는 것이다.

본 발명의 일실시예에서는 정수 형태 (1,2,3....n)의 이름을 부여하였다. 그러나 다른 형태의 이름을 부여할 수도 있다.

상기 객체 추적 수단(600)은 상기 레이블링된 객체 모델의 움직임에 따라 상 기 객체 모델의 적분 히스토그램을 갱신하고 이전의 적분 히스토그램과 비교하여 가장 유사한 객체 모델을 추적한다.

상기 적분 히스토그램의 비교는 상기 부분영역을 기준으로 행해진다. 따라서 공간 정보와 형상정보를 동시에 활용할 수 있어 객체와 객체의 겹침, 물체가 사람을 가리는 경우 등 종래에는 불가능하였던 복잡 상황에서의 인물추적이 가능하게 된다.

또한, 상기 유사성 판단은 보트 맵을 이용하는데 엘엠이디에스 타입 에스티매이터(LMedS-Type Estimator)를 이용한 통계를 사용한다.

도 3 은 본 발명의 일실시예에 따른 객체 모델의 부분영역을 보여주는 도면이다.

도 3 을 참조하면 배경(800)과 인물(700)이 부분영역(900a)에 기반한 객체(900)로 분리됨을 알 수 있다.

따라서, 상기 본 발명의 스테레오 시각 정보를 이용한 복수 인물 추적 시스템은 상기 객체(900)의 추출이나 추적 과정이 상기 부분영역(900a)에 기반하므로 시스템의 오차를 최소화할 수 있다.

도 4 는 본 발명의 일실시예에 따른 객체 추적 결과를 보여주는 도면이다.

도 4 를 참조하면 본 발명의 일실시예에 따른 스테레오 시각 정보를 이용한 복수 인물 추적 시스템이 레이블링(500a)된 객체들(900)을 추적하고 있다.

또한, 상기 사진 c를 참조하면 1로 레이블링된 객체와 2로 레이블링된 객체의 겹침 현상이 발생 되었다.

따라서 다수의 사람을 인식하는 방법이 개선된 것을 알 수 있고 지속적인 레이블링과 객체 추적이 가능하다.

이상에서, 본 발명의 구성 및 동작을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다

상술한 바와 같이 본 발명에 따르면, 본 발명은 상기의 문제점들을 해결하기 위해 창안된 것으로 본 발명은 인물과 인물 간의 또는 인물과 사물 간의 겹침을 구분할 수 있는 복수 인물 추적 방법을 제공할 수 있는 효과가 있다.

또한, 본 발명은 부분영역 단위에 기반하여 적분 히스토그램을 이용한 복수 인물 추적 시스템을 제공함으로써 객체의 히스토그램 연산비용을 줄이고 객체의 움직임에 따른 계산오류를 최소화할 수 있는 효과가 있다.

또한, 본 발명은 스테레오 시각 정보를 이용하여 객체 추적시에 객체 히스토그램의 유사성 비교를 효과적으로 할 수 있는 효과가 있다.

또한, 본 발명은 객체 추적시에 보트 맵을 활용하여 최적의 유사성 비교를 할 수 있으므로 추적의 정확도는 늘리고 시간비용을 줄일 수 있는 복수 인물 추적 시스템을 제공할 수 있는 효과가 있다.

Claims (7)

1. 스테레오 카메라를 이용하여 배경의 영상을 일정한 초당 프레임으로 촬영하는 단계;

   상기 프레임에 움직이는 인물의 영상이 촬영되어 상기 인물의 색상 정보가 추출되는 색상 정보 추출 단계;

   상기 추출된 인물의 색상 정보를 이용하여 상기 배경과 상기 인물이 분리되는 단계;

   상기 촬영된 인물의 영상을 이용하여 영상 시차를 검출하는 단계;

   상기 분리된 인물을 일정한 개수의 부분영역들로 분할하는 단계;

   상기 부분영역들 별로 적분 히스토그램을 연산하는 단계;

   상기 부분영역들의 히스토그램을 이용하여 객체 모델을 도출하는 단계;

   상기 도출된 객체에 이름을 부여하는 레이블링 단계; 및

   상기 레이블링된 객체를 추적하는 객체 추적 단계를 포함하는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 방법.
2. 제 1 항에 있어서,

   상기 배경과 인물을 분리하는 단계는 특정 프레임의 색상 정보가 상기 특정 프레임의 이전 프레임의 색상 정보와 동일할 경우 배경으로 정의되고 동일하지 않 을 경우 인물으로 정의되어 상기 배경과 상기 인물이 분리되는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 방법.
3. 제 1 항에 있어서,

   상기 영상 시차를 검출하는 단계는 상기 스테레오 카메라에 촬영된 인물의 좌 영상 및 우 영상을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출하는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 방법.
4. 제 1 항에 있어서,

   상기 객체 추적 단계 이후에 상기 움직이는 객체의 부분영역 적분 히스토그램 값을 갱신하는 단계를 포함하며,

   상기 갱신된 부분영역 적분 히스토그램 값이 상기 갱신되기 전의 부분영역 적분 히스토그램 값과 가장 유사하거나 비 유사한 히스토그램을 검출하여 객체별로 추적이 유지되는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 방법.
5. 배경 및 인물을 촬영하는 스테레오 카메라;

   상기 촬영된 배경과 인물을 분리하는 인물 분리 수단;

   상기 스테레오 카메라에 의해 촬영된 영상들을 이용하여 상기 스테레오 카메라와 상기 인물 간의 거리를 검출하는 영상 시차 검출 수단;

   상기 인물 분리 수단과 영상 시차 검출 수단에 의해 검출된 인물을 일정한 크기의 부분영역으로 나누고 상기 부분영역들의 적분 히스토그램을 구하여 객체 모델을 도출하는 객체 모델 도출 수단;

   상기 도출된 객체에 이름을 부여하는 객체 모델 레이블링 수단; 및

   상기 레이블링된 객체의 움직임을 추적하는 객체 추적 수단을 포함하는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 시스템.
6. 제 5 항에 있어서,

   상기 객체는 다수개의 객체를 포함하며,

   상기 객체 추적 수단은 상기 레이블링된 객체의 적분 히스토그램 값과 가장 유사한 적분 히스토그램을 확률적으로 연산하여 가장 높은 확률을 가지는 객체에 대해 추적하는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 시스템.
7. 제 6 항에 있어서,

   상기 확률정보는 상기 부분영역의 적분 히스토그램에 기반하는 것을 특징으로 하는 스테레오 시각 정보를 이용한 복수 인물 추적 시스템.

Images