KR20060116236A - 강한 정보 퓨전을 사용함으로써 다중-모델 성분에 기초하여대상을 추적하기 위한 방법 및 시스템 - Google Patents

Abstract

대상을 추적하기 위한 시스템 및 방법이 개시되어 있다. 다수의 영상 프레임들을 포함하는 비디오 시퀀스가 수신된다. 대상 외형 분포의 샘플-기초 표현이 유지된다. 대상은 하나 이상의 성분들로 분할된다. 각각의 성분에 대해서, 샘플-기초 표현에 관련하여 그것의 위치 및 불활성이 추정된다. VBDF(Variable-Bandwidth Density Fusion)가 가장 우세한 움직임을 결정하기 위해서 각각의 성분에 적용된다. 움직임 추정이 대상의 추적을 결정하기 위해 사용된다.

Description

강한 정보 퓨전을 사용함으로써 다중-모델 성분에 기초하여 대상을 추적하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR MULTI-MODAL COMPONENT-BASED TRACKING OF AN OBJECT USING ROBUST INFORMATION FUSION}

본 출원은 2004년 2월 20일에 미국 가출원된 제 60/546,232호의 우선권을 청구하며, 상기 미국 가출원은 참조로서 포함된다.

본 발명은 대상의 움직임을 추적하기 위한 시스템 및 방법에 관한 것으로서, 더 자세히는 강한 정보 퓨전(robust information fusion)을 사용함으로써 다중-모델 성분(multi-modal component)에 기초하여 대상을 추적하기 위한 시스템 및 방법에 관한 것이다.

대상을 가시적으로 추적하는데 발생되는 한 가지 문제점은 목표물 움직임 및/또는 카메라 움직임으로 인해 본래 발생하는 변화들을 처리하기에 충분해 강해야 하는 목표물 외형의 표현을 유지하는 능력이다. 템플릿 매칭(template matching)에 기초하는 방법들은 목표물을 성공적으로 추적하기 위해서 모델 템플릿을 적응시켜야만 한다. 상기 적응이 없다면, 상기 추적은 외형이 상당히 변하지 않는 단시간에 걸쳐서만 신뢰적일 수 있다.

그러나, 대부분의 경우에는, 장시간 동안에 목표물의 외형이 시점, 조명 또 는 어쿨루젼(occlusion)의 변화로 인해 구조에 있어 상당한 변화들이 발생한다. 모델이 이전 프레임에 적응되는 움직임 추적에 기초하는 방법들은 그러한 외형 변화들을 처리할 수 있다. 그러나, 축적된 움직임 오차 및 급속한 가시적인 변화들은 모델이 추적된 목표물로부터 벗어나게 만든다. 대상 특정 서브스페이스 제약들을 부과하거나 또는 모델의 통계적인 표현을 유지함으로써 추적 성능이 개선될 수 있다. 이러한 표현은 선험적으로 결정될 수 있거나 또는 즉시 계산될 수 있다. 외형의 변화는 이상적으로 즉시 습득되는 확률 분포 함수로서 모델링될 수 있다.

시각에 기초한 추적의 본질적인 특징은 추적 중인 목표물의 외형 및 백그라운드가 비록 점진적이지만 부득이하게 변하고 있다는 점이다. 강한 추적을 위해 일반적인 불변 특징들은 찾기 힘들기 때문에, 현재 방법들 중 대부분은 추정 중인 목표물 및/또는 백그라운드의 외형 변동을 처리할 필요가 있다. 모든 추적 방식들은, 비록 명확히 언급되지 않지만, 대상의 2차원(2D) 영상 외형에 대한 정해진 표현을 포함한다.

3 가지 성분, 즉 스테이블 성분(stable component), 원더링 성분(wondering component) 및 어쿨루션 성분(occlusion component)을 포함하는 생성 모델을 사용하는 한 가지 방법이 공지되어 있다. 스테이블 성분은 움직임 추정을 위한 가장 신뢰적인 구조를 식별하고, 원더링 성분은 외형의 변동을 나타낸다. 그 둘 모두는 가우시안 분포로서 제시된다. 데이터 아웃라이어들(data outliers)을 나타내는 어쿨루젼 성분은 가능한 강도 레벨에 균일하게 분포된다. 상기 방법은 조종가능한 웨이블릿 계수들(steerable wavelet coefficients)의 위상 파트들을 특징으로서 사 용한다.

대상을 추적하는 것은 감독 응용분야나 또는 생산 라인 응용분야와 같은 많은 응용분야를 갖는다. 대상을 추적하는 것은 또한 심장의 심근 벽 움직임을 분석하기 위한 의료 응용분야에서 사용될 수 있다. 좌심실의 심근 벽 움직임에 대한 정확한 분석은 심장 기능을 평가하는데 있어서 중요하다. 이러한 작업은 심장 근육의 빠른 움직임 및 호흡 곤란들로 인해 어렵다. 이는 초음파 영상 시퀀스들이 사용되는 경우에는 더 나쁘다.

심근 벽을 추적하기 위한 몇 가지 방법들이 제안되었었다. 모델-기초 변형가능 템플릿, Markov 랜덤 필드, 광학 플로우 방법들 및 이러한 방법들의 결합들이 2차원 영상 시퀀스들로부터 좌심실을 추적하는데 사용되었었다. 형상 추적 구성에 모델 제약들을 부과하는 것이 일반적으로 실행된다. 대부분의 경우에, 서브스페이스 모델이 형상 추적에 적합한데, 그 이유는 주요 형상 변동을 포착하는 다수의 모드들이 제한되며 또한 그 형상을 설명하기 위해 사용되는 특징 성분들의 본래 개수보다 일반적으로 훨씬 더 적기 때문이다. 간단한 처리는 PCA(Principal Component Analysis) 서브스페이스에 추적된 형상을 투영하는 것이다. 그러나, 이러한 해결법은 측정 불확실성을 이용할 수 없으며, 따라서 완벽하지 않다. 많은 경우에, 측정 잡음은 사실상 이분산(heteroscedastic)적이다(즉, 이방적이면서 또한 비균질적이다). 따라서, 다중-외형 모델들로부터의 움직임 추정들을 융합할 수 있으면서 또한 불확실성을 효과적으로 고려할 수 있는 대상 추적 방법이 필요하다.

본 발명은 대상을 추적하기 위한 시스템 및 방법에 관한 것이다. 다수의 영상 프레임들을 포함하는 비디오 시퀀스가 수신된다. 대상 외형 분포의 샘플-기초 표현이 유지된다. 대상은 하나 이상의 성분들로 분할된다. 각각의 성분에 대해서, 샘플-기초 표현에 대한 그것의 위치 및 불확실성이 추정된다. 가변-대역폭 밀도 기초 퓨전(VBDF : Variable-Bandwidth Density Based Fusion)이 가장 우세한 움직임을 결정하기 위해서 각각의 성분에 적용된다. 움직임 추정은 대상의 추적(track)을 결정하는데 사용된다.

본 발명은 또한 다수의 영상 프레임들을 포함하는 의료 비디오 시퀀스에서 후보 대상을 추적하기 위한 방법에 관한 것이다. 그 대상은 라벨이 정해진 다수의 제어 포인트들에 의해서 표현된다. 각각의 제어 포인트에 대한 위치 및 불확실성이 추정된다. 다중 외형 모델들이 유지된다. 각각의 제어 포인트가 하나 이상의 모델들과 비교된다. VBDF 추정기가 각 제어 포인트의 가장 가능한 현재 위치를 결정하기 위해 사용된다. 제어 포인트들 모두에 대해서 후보들이 연관된다. 제어 포인트들 세트가 자신들을 가장 근접하게 닮은 모델과 융합된다.

본 발명의 바람직한 실시예들이 첨부 도면을 참조하여 아래에서 상세히 설명되는데, 도면들에서는 동일한 참조번호들이 동일한 엘리먼트들을 나타낸다.

도 1은 본 발명에 따라 대상의 움직임을 추적하기 위한 시스템의 시스템 블록도.

도 2는 본 발명에 따라 다중-모델 성분 기반 추적기를 사용하여 대상을 추적 하기 위한 방법을 나타내는 도면.

도 3은 본 발명에 따라 대상을 추적하기 위한 방법을 나타내는 흐름도.

도 4는 본 발명의 방법에 따라 얼굴이 추적되는 영상 프레임들의 시퀀스를 나타내는 도면.

도 5는 도 4의 얼굴 추적 영상들에 대한 중앙 잉여 오차를 나타내는 그래프.

도 6은 본 발명에 따라 몸체가 추적되는 영상 프레임들의 시퀀스를 나타내는 도면.

도 7은 도 6의 몸체 추적 영상들에 대한 중앙 잉여 오차를 나타내는 그래프.

도 8은 본 발명에 따라 측정 및 필터링 처리를 사용하는 강한 추적기의 블록도.

도 9는 단일 모델 추적 방법을 사용한 결과 대 다중 모델 추적 방법을 사용한 결과를 나타내는 다수의 영상 프레임들을 도시한 도면.

도 10은 본 발명의 퓨전 해결법 대 직교 투영 해결법에 대한 비교를 나타내는 일련의 영상 프레임들을 도시한 도면.

도 11은 본 발명에 따른 퓨전 방법을 사용함으로써 획득되는 두 세트의 영상 시퀀스들을 예시하는 일련의 영상 프레임들을 나타내는 도면.

도 12는 본 발명에 따른 추적 포인트들 및 지상검증 자료 사이의 평균 거리들을 나타내는 그래프.

본 발명은 대상의 움직임을 추적하기 위한 시스템 및 방법에 관한 것이다. 도 1은 본 발명에 따라 강한 정보 퓨전을 사용하여 대상을 다중-모델 성분에 기초하여 추적하기 위한 시스템의 예시적인 고도의 블록도를 나타낸다. 이러한 시스템은 예컨대 사람이나 또는 얼굴 특징부의 움직임을 추적하기 위한 것과 같은 감독 응용분야를 위해 사용될 수 있다. 본 발명은 또한 조립 라인에서 대상들을 추적하기 위해서도 사용될 수 있다. 의료 응용분야에서 인간의 기관들을 추적하기 위해 다른 애플리케이션들이 생성될 수 있다. 당업자라면 본 발명이 다른 환경에서도 사용될 수 있다는 것을 알 것이다.

본 발명은 영상 프레임들로 이루어진 비디오 시퀀스를 획득하기 위해서 하나 이상의 카메라들(102, 104)을 사용한다. 각각의 카메라는 목표 영역의 커버리지를 최대화시키기 위해서 상이한 투시들로부터 영상들을 획득할 목적으로 여러 상이한 위치들에 배치될 수 있다. 목표 대상은 식별되고, 그것의 속성이 프로세서(106)와 연결된 데이터베이스(10)에 저장된다. 예컨대, 만약 목표물(예컨대, 사람)이 카메라(102)를 직접적으로 직시하고 있다면, 그 사람은 정면에 나타날 것이다. 그러나, 카메라(104)에 의해 포착되는 동일한 사람의 영상은 측면에 나타날 수 있다. 이러한 데이터는 추가적인 조치가 이루어질 필요가 있는지를 결정하기 위해서 추가적으로 분석될 수 있다. 데이터베이스(110)는 대상의 움직임 추적을 돕기 위해서 목표물과 연관된 성분들의 예들을 포함할 수 있다. 부스팅(boosting)과 같은 습득 기술이 부정적인 예들과 긍정적인 예들을 구별할 수 있는 분류기들을 제작하기 위해서 프로세서(106)에 의해 이용될 수 있다.

본 발명의 일실시예에 따르면, 외형 변화성은 시간에 걸쳐 수 개의 모델들을 유지함으로써 모델링된다. 외형 모델링은 시간에 걸쳐 픽셀들의 강도들을 모니터링함으로써 이루어질 수 있다. 시간이 지나면서, 대상의 외형(예컨대, 대상의 강도)은 시간에 걸쳐 변한다. 이러한 강도의 변화는 심내막 벽과 연관된 제어 포인트들과 같은 제어 포인트들을 추적하는데 사용될 수 있다. 이는 대상 외형을 특징으로 하는 확률 밀도 함수의 비파라미터적인 표현을 제공한다.

개별적으로 처리되는 수 개의 영역들로 목표 대상을 분할하는 성분-기초 해결법이 사용된다. 추적은 광학 플로우를 통해 움직임 추정 및 그것의 불확실성을 각각이 모델로부터 독립적으로 획득함으로써 수행된다. VBDF(Variable Bandwidth Density Fusion)으로 공지된 강한 퓨전 기술이 각각의 성분에 대한 최종 추정을 계산하기 위해서 사용된다. VBDF는 변위 밀도 함수의 가장 중요한 모드를 계산하는 동시에 밀도들의 불확실성을 고려한다.

VBDF 방법은 움직임 추정에 있어서 다중 데이터 소스들 및 아웃라이어들을 관리한다. 이러한 구성에 있어서, 어쿨루젼은 많은 잉여 오차들에 대한 추정 불확실성을 통해서 자연스럽게 처리된다. 추정의 공분산 행렬에 대한 스케일을 계산하기 위해서 정렬 오차(alignment error)가 사용되고, 그럼으로써 비신뢰적인 변위들의 영향을 감소시킨다.

도 2는 본 발명에 따른 다중-모델 성분-기초 추적기를 사용하여 추적하기 위한 방법을 도시한다. 추적 동안의 변화들을 모델링하기 위해서, 대상 외형에 대한 수 개의 표본들이 시간에 걸쳐 유지된다. 각각의 영상에서 각각의 픽셀의 강도들이 유지되는데, 이는 외형 분포의 비파라미터적인 표현과 동일하다.

도 2의 상단에는 현재의 표본들(208, 210, 212)을 모델 세트로 나타내고 있는데, 각각은 연관되는 한 세트의 오버레핑 성분들을 갖는다. 성분-기초 해결법은 글로벌 표현보다 더 강하여, 조명 변화 및 자세에 덜 민감하다. 다른 장점은 매칭 가능성을 분석함으로써 그 성분에서 부분적인 어쿨루젼이 처리될 수 있다는 점이다.

각각의 성분은 독립적으로 처리되는데, 모델 템플릿 모두에 대해 상기 성분의 위치 및 공분산 행렬이 현재 영상에서 추정된다. 예컨대, 각각의 모델에 대해서 영상 프레임(202)에 대해 회색 직사각형으로 도시된 성분들(220) 중 하나와 그것의 위치 및 불확실성이 I_new로 도시되어 있다. VBDF 강한 퓨전 절차는 직사각형(204)에 도시된 바와 같이 연관된 불확실성을 갖는 가장 우세한 움직임(즉, 모드)을 결정하기 위해서 적용된다. 어쿨루젼 또는 외형으로 인한 각각의 성분의 추정된 위치에서의 분산이 변한다는 것을 주시하자. 현재 프레임(206)에서 성분의 위치는 글로벌 파라메트릭 움직임 모델에 의해서 추가적으로 제약된다. 유사도 변환 모델 및 그것의 파라미터들이 각각의 성분 위치에 대한 신뢰 스코어를 사용하여 추정된다. 그러므로, 신뢰적인 성분들은 글로벌 움직임 추정에 더욱 기여한다.

현재 프레임(206)은 기준 외형에 대한 잉여 오차가 비교적 낮은 경우에는 모델 세트(208, 210, 212)에 추가된다. 중요한 어쿨루젼을 갖는 영상들이 추가되지 않도록 하기 위해서 임계치가 선택된다. 모델에서 템플릿의 수는 고정되고, 따라서 가장 오래된 것은 폐기된다. 그러나, 당업자라면 모델 세트에서 어떤 영상이 유지되어야 하는지를 결정하기 위해 다른 방식들이 사용될 수 있다는 것을 알 것이다.

VBDF 추정기는 적응성 커넬 대역폭들을 갖는 비파라미터적인 밀도 추정에 기초한다. VBDF 추정기는 초기 데이터 분포의 비파라미터적인 추정으로 인한 입력 데이터의 아웃라이어들이 존재하는 경우에 잘 동작하며 동시에 그것의 불확실성을 조사한다. VBDF 추정기는 밀도 함수의 가장 중요한 모드의 위치로서 정해진다. 모드 계산은 다중스케일 최적화 구성에서 가변 대역폭 평균 시프트 기수를 사용하는 것에 기초한다.

이 가변적인 d-차원 추정이라고 하고, 그 각각은 공분산 행렬(C_i)에 의해 주어지는 연관된 불확실성을 갖는다. 밀도 함수의 가장 중요한 모드는 다중스케일 형태로 반복해서 결정된다. 대역폭 행렬

은 각각의 포인트(

)와 연관되는데, 여기서 I는 단위 행렬이고, 파라미터(

)는 분석의 스케일을 결정한다. 위치(

)에서의 샘플 포인트 밀도 추정기는 다음과 같이 주어지고:

(1)

여기서, D는

와

사이의 마할라노비스 거리(Mahalanobis distance)를 나타낸다:

(2)

위치(

)에서의 가변 대역폭 평균 시프트 벡터는 다음과 같이 주어지고:

(3)

여기서,

는 데이터-종속 가중치들(

)에 의해 가중되는 대역폭 행렬들의 조화 평균(harmonic mean)을 나타낸다:

(4)

현재 위치(

)에서 계산되는 데이터 종속 가중치들은 다음과 같은 표현을 갖고:

(5)

그것은

을 충족시킨다는 것을 주시하자.

포인트(

)에 상응하는 밀도가

에 상응하는 것보다 항상 더 높거나 또는 동일하다는 것이 확인될 수 있다. 그러므로, 평균 시프트 벡터를 사용하여 현재의 위치를 반복해서 갱신하는 것은 기초가 되는 밀도의 고정 포인트까지 커버하는 힐-클라이밍 절차(hill-climbing procedure)를 산출한다.

VBDF 추정기는 몇 가지 스케일로 적응성 평균 시프트 절차를 반복해서 적용함으로써 가장 중요한 모드를 찾는다. 그것은 포인트들(

)의 확산에 대해서 파라미터(

)를 크게 선택함으로써 큰 스케일로부터 시작한다. 이 경우에, 상기 밀도 표면은 유니모델이며 따라서 결정된 모드는 글로벌적으로 가장 밀집한 영역에 상응할 것이다. 이러한 절차는 반복되는 동시에 파라미터(

)의 값을 감소시키고 또한 이전 스케일로 결정된 모드로부터 평균 시프트 반복들을 시작한다. 최종 단계에서는, 각각의 포인트와 연관된 대역폭 행렬이 공분산 행렬, 즉

과 동일하다.

VBDF 추정기는 다중 소스 모델들을 처리할 수 있는 능력을 갖는 정보 퓨전을 위한 강력한 도구이다. 이는 국부적인 이웃의 포인트들이 여러 움직임들을 나타낼 수 있기 때문에 움직임 추정에 있어 중요하다. 가장 중요한 모드는 가장 관련된 움직임에 상응한다.

본 발명에 따르면, 다중 성분 모델들은 동시에 추적된다. 다중 성분 모델들이 어떻게 추적되는지에 대한 예가 이제 설명될 것이다. n 개의 모델들(M₀, M₁,...,M_n)이 존재한다고 가정된다. 각각의 영상에 대해서, c 개의 성분들이

(i=1...c, j=1...n)으로 표현되는 그들의 위치를 가지고 유지된다. 새로운 영상이 이용가능할 경우, 각각의 성분 및 각각의 모델에 대한 불확실성 및 위치가 추정된다. 이러한 단계는 영상 상관성, 공간 경사도 또는 공간-시간 에너지의 재조정에 기초하는 것들과 같은 몇 가지 기술들을 사용하여 이루어질 수 있다. 본 발명에 따르면, D.Comaniciu의 "Nonparametric information fusion for motion estimation"(CVPR 2003, Vol.1, pp.59-66)에 설명되어 있는 강한 광학 플로우 기술이 사용되고, 상기 문헌은 참조문헌으로서 포함된다.

그 결과는 각각의 성분에 대한 움직임 추정(

) 및 그것의 불확실성(C_{i ,j})이다. 따라서,

는 모델(i)에 대한 성분(j)의 위치 추정을 나타낸다. 공분산 행렬의 스케일이 또한 일치하는 잉여 오차들로부터 추정된다. 이는 각각의 성분이 어쿨루딩될 때(occluded) 공분산 행렬의 크기를 증가시킬 것이고, 따라서 어클루젼이 성분 레벨로 처리된다.

VBDF 강한 퓨전 기술이 현재 프레임의 성분(j)에 대한 가장 관련된 위치(

)를 결정하기 위해서 적용된다. 스케일에 걸친 모드 추적은 (5)에 정의된 가중치들(

)을 가지고 다음과 같은 식을 유도한다:

(6)

각각의 성분의 위치 계산에 이어서, 가중된 직사각형 설정이 추정들의 공분산 행렬에 의해 주어지는 가중치들을 통해 실행된다. 영상 패치들(image patches)이 4 개의 파라미터들에 의해 정해지는 유사도 변환(T)에 의해서 관련된다. 다이내믹한 성분 위치(

)의 유사도 변환이 다음의 식으로 특징될 수 있고:

(7)

여기서,

는 트랜스레이셔널 파라미터들이고, a, b는 2D 회전 및 스케일링을 파라미터화한다.

최소화된 기준은 기준 위치(

)와 추정된 위치들(

)(현재 프레임의

성분 위치)사이의 마할라노비스 거리들의 합이다.

(8)

최소화는 표준 가중화 최소 제곱들을 통해 이루어진다. 각각의 성분에 대한 공분산 행렬이 사용되기 때문에, 높은 불확실성을 갖는 포인트들의 영향이 감소된다.

직사각형이 추적된 성분들에 적합된 이후에는, 다이내믹한 성분 후보가 그 직사각형 내에서 균일하게 재샘플링된다. 직사각형에 대해 각각의 성분의 상대적인 위치는 많이 변하지 않는다고 가정된다. 만약 재샘플 위치와 일부 성분의 광학 플로우에 의해 계산되는 추적 위치의 거리가 허용가능한 임계치보다 크다면, 추적 위치는 아웃라이어로 간주되어 재샘플링된 포인트로 대체된다. 현재 영상은 만약 충분한 성분들이 낮은 잉여 오차를 갖는다면 모델 세트에 추가된다. 모델들과 현재 프레임 사이의 중앙 잉여 오차는 미리 결정된 임계치(T_h)와 비교된다.

대상 추적을 위한 방법에 대한 요약이 이제 도 3을 참조하여 설명될 것이다. 위에서 설명된 바와 같이, 성분(i)에 대한 한 세트의 모델들(M₀, M₁,...,M_n)이 새로운 영상(I_f)에 대해서 획득된다(단계 302). 성분(i)은 영상 프레임(j)의 위치(

)에 있다. 새로운 영상(I_f)에 대해서 성분(i)에 대한 위치들이 광학 플로우 기술을 사용하여 영상 프레임(j)의 위치(

)에서 계산된다. 계산들은 이전 프레임에서 추정되었던 성분(i)의 위치인

에서 시작한다. 영상 프레임들의 시퀀스(j=1...n)에 대해서, 성분(i)의 위치(

)가 VBDF 추정기를 사용하여 추정된다(단계 306). 그 성분의 위치는 식(8)을 최소화함으로써 계산된 변형을 사용하여 제약 된다(단계 308). 만약 새로운 외형의 중앙 잉여 오차가 미리 결정된 임계치(T_h)보다 작다면 상기 새로운 외형이 모델 세트에 추가된다(단계 310).

본 발명의 다중-템플릿 구성은 형상 추적이 상황에 직접적으로 적용될 수 있다. 만약 추적된 포인트들이 스플라인들(splines)에 의해 모델링된 형상의 제어 포인트를 나타낸다면, 다중 위치 추정들의 강한 퓨전을 사용함으로써 형상의 위치 추정에 대한 신뢰도가 증가된다. 그것은 또한 형상 공간이 습득된 서브스페이스 제약들에 의해 제한되는 경우에 더 작은 정정을 유도한다. 만약 윤곽이 이용가능하다면, 추적에 사용되는 모델 템플릿들은 형상들 사이의 거리에 기초하여 모델 세트로부터 즉시 선택될 수 있다.

본 발명의 방법을 적용하는 일예가 이제 도 4를 참조하여 설명될 것이다. 도 4는 중요한 클러터(clutter) 및 어쿨루젼이 존재한 다수의 영상 프레임들에 걸쳐 얼굴 추적 결과를 나타낸다. 본 예에서는, 20 개의 모델 템플릿들이 사용되었고, 성분들은 경계 직사각형에 의해 결정된 그들의 수치(c)를 갖는 적어도 5 개의 픽셀들 거리이다. 모델 세트에 추가될 새로운 영상에 대한 임계치(T_h)가 강도 범위의 1/8 이었다. 그 값은 어쿨루젼이 검출되도록 데이터로부터 습득되었다.

도 4에서 영상 프레임들로부터 알 수 있는 바와 같이, 수 개의 얼굴들이 존재함으로서 중요한 클러터가 존재한다. 또한, 추적되는 영역을 방해하는 여러 어쿨루젼(예컨대, 페이퍼들)이 존재한다. 도 5는 모델 갱신을 위해 사용되는 시간에 걸친 중앙 잉여 오차를 나타내고 있는 그래프를 도시한다. 그래프에서의 피크들은 목표물이 완전히 어쿨루딩되는 영상 프레임들에 상응한다. 모델 갱신은 상기 오차가 수평 라인에 표시된 임계치 T_h=32를 통과하는 경우에 발생한다.

도 6은 본 발명에 따른 인간 몸체를 추적하는데 사용되는 다수의 영상 프레임들을 나타낸다. 본 발명은 사람의 팔이 움직이는 것과 같은 외형 변화를 처리할 수 있으며, 나무에 의해 어쿨루딩된 이후에 추적 중인 목표물(예컨대, 몸체)을 복원할 수 있다. 도 7은 시간에 걸친 중앙 잉여 오차를 나타내는 그래프이다. 피크(702)는 나무에 의해 몸체가 어쿨루딩되었을 때에 상응하는 반면 피크(704)는 몸체가 회전되고 그것의 영상 크기가 정해진 성분 크기에 비해 더 작게 되었을 때를 나타낸다.

본 발명의 방법은 또한 영상 프레임들의 시퀀스에서 심내막 벽의 움직임을 추적하는 것과 같은 의료 응용분야에서 사용될 수 있다. 도 8은 심내막 벽이 어떻게 추적될 수 있는지를 나타낸다. 본 발명의 방법은 다음의 두 양상에서 강력하다: 측정 처리에서, VBDF 퓨전이 다중 외형 모델들로부터의 매칭 결과들을 결합하기 위해 사용되고, 필터링 처리에서, 잡음의 이분산 특성을 이용하는 동안에 측정, 사전 지식 및 모델들로부터의 정보를 결합하기 위해 형상 스페이스에서 퓨전이 수행된다.

추적 동안에 변화들을 모델링하기 위해서, 대상 외형의 몇 가지 예들이 외형 분포의 비파라미터적인 표현과 동일한 시간에 걸쳐 유지된다. 도 8은 외형 모델들, 즉 모델 세트의 현재 표본들(exemplars)을 나타내는데, 각각은 연관된 한 세트 의 오버래핑 성분들을 갖는다. 심내막 벽의 형상과 같은 형상들은 제어 또는 경계 포인트들(즉, 성분들)에 의해서 표현된다. 상기 포인트들은 사용자에게 보여지기 이전에 스플라인들에 의해 적합된다. 성분-기초 해결법은 글로벌한 표현보다 더욱 강해서, 구조적인 변화들에 덜 민감하고 따라서 고정되지 않은 형상 변형을 처리할 수 있다.

각각의 성분은 개별적으로 처리되고, 그것의 위치 및 공분산 행렬이 모델 템플릿들 모두에 대해서 현재 영상에서 추정된다. 예컨대, 성분들 중 하나가 직사각형(810)으로 도시되어 있고, 각 모델에 대한 그것의 위치 및 불확실성이 루프들(812 및 814)로서 움직임 추정 스테이지에서 도시되어 있다. VBDF 강한 퓨전 절차가 연관된 불확실성을 갖는 가장 우세한 움직임(모드)을 결정하기 위해 적용된다.

현재 프레임에서 성분들의 위치는 사전-트레이닝된 형상 모델들을 사용하여 서브스페이스 형상 제약들을 부과함으로서 더욱 적응된다. 강한 형상 추적이 시스템 다이내믹들, 이분산 측정 잡음 및 서브스페이스 형상 모델로부터 불확실성을 최적으로 해결하여 달성된다. 각각의 성분 위치에 추정된 신뢰도를 사용함으로써, 신뢰적인 성분들이 글로벌 형상 움직임 추정에 더욱 기여한다. 현재 프레임은 기준 외형에 대한 잉여 오차가 비교적 낮은 경우에 모델 세트에 추가된다.

도 9는 다중 외형 모델들을 사용하는 장점을 나타낸다. 연관된 윤곽을 갖는 초기 프레임이 도 9a에 도시되어 있다. 단일 모델을 사용함으로써 부정확한 추적 결과(도 9b)가 산출되고, 다중 모델 해결법은 외형 변화(도 9c)를 정확히 처리한다.

필터링 처리는 영상에서 모든 제어 포인트들의 좌표를 연결시킴으로써 형성되는 벡터들에 기초한다. 통상적인 추적 구성은 다이내믹 처리에 의해 정해진 예측으로부터의 정보와 잡음성 측정들로부터의 정보를 융합한다. 형상 추적을 위해서, 추가적인 글로벌 제약들이 가능한 범위 내의 전체 형상을 안정화하기 위해서 필요하다.

심장 내막을 추적하기 위해서, 일반적인 심장 대신에 현재 심장의 통계적인 형상 모델이 필요하다. 강력하게 적응된 원리 제어 분석(SA-PCA:strongly-adapted Principal Control Analysis) 모델이 PAC 모델 및 초기화된 윤곽이 현재 상황의 변동들을 공동적으로 나타낸다고 가정함으로써 적용된다. SA-PCA를 통해서, 상기 구성은 4 개의 정보 소스들, 즉, 시스템 다이내믹, 측정, 서브스페이스 모델 및 초기 윤곽을 포함한다.

본 발명의 퓨전 방법과 직교 투영 방법 간의 비교에 대한 예가 도 10에 도시되어 있다. 상기 퓨전 방법은 완벽하게 오차를 정정하지 못하지만, 그 정정 단계는 축적되기 때문에, 긴 시퀀스에서 나중의 영상 프레임은 매우 중요할 수 있다.

아래에서는 매우 잡음이 많은 초음파 심장도 데이터(echocardiogrpahy data)를 사용하여 심장 윤곽들을 추적하는데 사용되는 본 발명의 예를 설명한다. 그 예에서 사용되는 데이터는 18 개의 프레임들 내지 90 개의 프레임들의 길이에서 변하는 시퀀스를 가짐으로써 정상 심근증뿐만 아니라 여러 타입의 심근증을 나타낸다. 트레이닝 및 테스팅을 위해서 2방 단면도 또는 4방 단면도(apical two- or four-chamber view)(17 개의 윤곽 포인트들을 갖는 개방 윤곽) 모두 및 흉골연 단축 단 면도들(parasternal short axis views)(17 개의 윤곽 포인트들을 갖는 폐쇄 윤곽)이 사용되었다. PCA가 수행되었고, 34 및 36의 본래의 디멘션이 7 및 8로 각각 감소되었다. 외형 모델들을 위해서, 20 개의 템플릿들이 외형 변화도를 포착하기 위해 유지된다. 계통적인 평가를 위해서, 32 개의 초음파 심장 진단도 시퀀스들로 이루어진 세트가 18 개의 흉골연 단축 단면도들 및 14개의 2방 단면도들 또는 4방 단면도들을 가짐으로써 테스팅을 위한 트레이닝 데이터의 밖에 있고, 전문가들 모두는 지상검증자료 데이터 윤곽들에 주석을 달았다.

도 11은 두 개의 추적되는 시퀀스들로부터의 스냅숏들을 나타낸다. 심장 내막이 가장 강한 에지에 항상 존재하지는 않다는 것을 알 수 있다. 때때로, 심장 내막은 엷은 괘선에 의해서만 드러나고, 때로는 심장 내막은 완전히 볼 수 없거나 큰 잡음 속에 묻히고, 때로는 심장 내막은 어떤 에지도 존재하지 않는 경우에 유두근들(papillary muscles)의 뿌리를 절단할 것이다. 다른 방법들의 성능을 비교하기 위해서, MSSD(Mean Sum of Squared Distance) 및 MAD(Mean Absolute Distance)가 사용된다. 본 발명의 방법은 형상 제약이 없는 추적 알고리즘(Flow로 지칭됨) 및 직교 PCA 형상 스페이스 제약들을 갖는 추적 알고리즘(FlowShapeSpace)에 비교된다. 도 12는 두 거리 측정치들을 사용한 비교를 나타낸다. 본 발명은 더 낮은 평균 거리들 및 그 거리들에 대한 더 낮은 표준 편차들을 가짐으로써 다른 두 방법들보다 성능이 훨씬 우수하다.

비록 강한 정보 퓨전을 사용하여 대상을 추적하기 위한 방법의 실시예들이 설명되었지만, 변형들 및 변경들이 위의 교시를 통해 당업자에 의해서 이루어질 수 있다는 것이 주시된다. 따라서, 첨부된 청구항들에 의해 정의되는 본 발명의 범위 및 사상 내에서 개시된 발명의 특정 실시예들에 대한 변경이 이루어질 수 있다는 것을 알아야 한다. 따라서, 본 발명이 특허법에서 요구하는 상세한 설명을 통해 상세하게 설명되었고, 청구하는 바와 특허에 의해 보호받고자 하는 바가 첨부된 청구범위에 기술되어 있다.

Claims (27)

1. 대상(object)을 추적하기 위한 방법으로서,

   다수의 영상 프레임들을 포함하는 비디오 시퀀스를 수신하는 단계;

   대상 외형 분포의 샘플-기초 표현을 유지하는 단계;

   대상을 하나 이상의 성분들로 분할하는 단계;

   각각의 성분에 대해, 상기 샘플-기초 표현에 관하여 상기 성분의 위치 및 불확실성(uncertainty)을 추정하는 단계;

   가장 우세한 움직임을 결정하기 위해서 VBDF(Variable-Bandwidth Density Based Fusion)를 각각의 성분에 적용하는 단계; 및

   상기 대상의 추적을 결정하기 위해서 움직임 추정을 사용하는 단계를 포함하는,

   추적 방법.
2. 제 1항에 있어서, 상기 대상의 추적은 상기 대상을 포함하고 있는 각각의 후속 영상 프레임에 대해 수행되는, 추적 방법.
3. 제 1항에 있어서, 상기 성분들의 상대적인 위치는 글로벌 파라메트릭 움직임을 사용하여 제약될 수 있는, 추적 방법.
4. 제 1항에 있어서, 상기 성분들 위치와 연관된 잉여 오차(residual error)가 모델 템플릿들과 관련하여 측정되는, 추적 방법.
5. 제 4항에 있어서, 만약 상기 잉여 오차가 미리 결정된 임계치보다 아래에 있다면, 현재 프레임이 모델 템플릿에 추가되는, 추적 방법.
6. 제 5항에 있어서, 높은 잉여 오차는 상기 대상이 적어도 부분적으로 어클루딩된다(occluded)는 것을 나타내는, 추적 방법.
7. 제 5항에 있어서, 높은 잉여 오차는 상기 대상이 조명 상태의 변화에 의해서 영향을 받는다는 것을 나타내는, 추적 방법.
8. 제 1항에 있어서, 추적되고 있는 대상은 얼굴인, 추적 방법.
9. 제 1항에 있어서, 추적되고 있는 대상은 인간의 몸체인, 추적 방법.
10. 제 1항에 있어서, 상기 대상 외형 분포의 샘플-기초 표현은 영상 프레임들로부터 간접적으로(offline) 획득되는 모델 템플릿들을 포함하는, 추적 방법.
11. 제 1항에 있어서, 상기 대상 외형 분포의 샘플-기초 표현은 영상 프레임들로 부터 직접적으로(online) 획득되는 모델 템플릿들을 포함하는, 추적 방법.
12. 제 1항에 있어서, 상기 성분들의 상대적인 위치는 형상 모델을 사용하여 제약될 수 있는, 추적 방법.
13. 다수의 영상 프레임들을 포함하는 의료 비디오 시퀀스에서 후보 대상을 추적하기 위한 방법으로서,

    상기 대상은 다수의 라벨지정된 제어 포인트들에 의해 표현되고,

    상기 방법은,

    각각의 제어 포인트에 대한 위치 및 불확실성을 추정하는 단계;

    다중 외형 모델들을 유지하는 단계;

    각각의 제어 포인트를 하나 이상의 모델들과 비교하는 단계;

    각각의 제어 포인트의 가장 가능한 현재 위치를 결정하기 위해서 VBDF 추정기를 사용하는 단계;

    모든 제어 포인트들에 대한 좌표들을 연결시키는 단계; 및

    상기 제어 포인트들 세트를 가장 근접하게 닮은 모델과 융합시키는(fusing) 단계를 포함하는,

    추적 방법.
14. 제 13항에 있어서, 상기 제어 포인트들은 심내막 벽(endocardial wall)의 윤 곽과 연관되는, 추적 방법.
15. 제 14항에 있어서, 상기 방법은 심내막 벽의 변형가능한 움직임을 추적하는, 추적 방법.
16. 대상을 추적하기 위한 시스템으로서,

    영상 프레임들을 포함하는 비디오 시퀀스를 포착하기 위한 적어도 하나의 카메라; 및

    상기 적어도 하나의 카메라와 연결된 프로세서를 포함하고,

    상기 프로세서는,

    ⅰ) 대상 외형 분포의 샘플-기초 표현을 유지하는 단계;

    ⅱ) 대상을 하나 이상의 성분들로 분할하는 단계;

    ⅲ) 각각의 성분에 대해, 상기 샘플-기초 표현에 관하여 상기 성분의 위치 및 불확실성을 추정하는 단계;

    ⅳ) 가장 우세한 움직임을 결정하기 위해서 VBDF(Variable-Bandwidth Density Based Fusion)를 각각의 성분에 적용하는 단계; 및

    ⅴ) 상기 대상의 추적을 결정하기 위해서 움직임 추정을 사용하는 단계를 수행하는,

    추적 시스템.
17. 제 16항에 있어서, 상기 대상의 추적은 상기 대상을 포함하고 있는 각각의 후속 영상 프레임에 대해 수행되는, 추적 시스템.
18. 제 16항에 있어서, 상기 성분들의 상대적인 위치는 글로벌 파라메트릭 움직임을 사용하여 제약될 수 있는, 추적 시스템.
19. 제 16항에 있어서, 상기 성분들 위치와 연관된 잉여 오차가 모델 템플릿들과 관련하여 측정되는, 추적 시스템.
20. 제 19항에 있어서, 만약 상기 잉여 오차가 미리 결정된 임계치보다 아래에 있다면, 현재 프레임이 모델 템플릿에 추가되는, 추적 시스템.
21. 제 20항에 있어서, 높은 잉여 오차는 상기 대상이 적어도 부분적으로 어클루딩된다는 것을 나타내는, 추적 시스템.
22. 제 20항에 있어서, 높은 잉여 오차는 상기 대상이 조명 상태의 변화에 의해서 영향을 받는다는 것을 나타내는, 추적 시스템.
23. 제 16항에 있어서, 추적되고 있는 대상은 얼굴인, 추적 시스템.
24. 제 16항에 있어서, 추적되고 있는 대상은 인간의 몸체인, 추적 시스템.
25. 제 16항에 있어서, 상기 대상 외형 분포의 샘플-기초 표현은 영상 프레임들로부터 간접적으로 획득되는 모델 템플릿들을 포함하는, 추적 시스템.
26. 제 16항에 있어서, 상기 대상 외형 분포의 샘플-기초 표현은 영상 프레임들로부터 직접적으로 획득되는 모델 템플릿들을 포함하는, 추적 시스템.
27. 제 16항에 있어서, 상기 성분들의 상대적인 위치는 형상 모델을 사용하여 제약될 수 있는, 추적 시스템.

Images