KR20170015299A

KR20170015299A - 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치

Info

Publication number: KR20170015299A
Application number: KR1020167033141A
Authority: KR
Inventors: 또마 엉리끄 크리벨리; 쥐앙 마뉘엘 뻬레 뤼아; 빠트릭 뻬레
Original assignee: 톰슨 라이센싱
Priority date: 2014-05-28
Filing date: 2015-05-26
Publication date: 2017-02-08
Also published as: JP2017522647A; US10249046B2; EP3149707A1; US20180247418A1; CN106462975A; WO2015181179A1

Abstract

오브젝트를 추적하는 방법은 먼저 현재 프레임에서의 오브젝트(12)를 확정하는 것에 의해 시작된다. 그 후, 현재 프레임에서의 오브젝트를 포위하는 배경 영역(202)이 확정된다. 오브젝트(12)에 대한 위치가 그리고 나서 다음 프레임에서 추정된다. 다음으로, 배경 영역(202)의 확대가 결정된다. 마지막으로, 오브젝트는 배경 영역의 확대에 기초하여 자신의 배경으로부터 분할되고, 그렇게 함으로써 프레임에서 프레임으로의 오브젝트의 추적을 허용한다.

Description

배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치{METHOD AND APPARATUS FOR OBJECT TRACKING AND SEGMENTATION VIA BACKGROUND TRACKING}

<상호 참조들>

본 출원은 2014년 5월 28일자로 출원된 유럽 출원 번호 제14305799.0호에 대한 우선권을 주장하며, 이는 그 전부가 본 명세서에 참조로서 통합된다.

<기술 분야>

본 발명은 오브젝트를 추적하고 이를 배경으로부터 분할하는 것에 관련된다.

오브젝트의 추적은 제1 프레임에서 또는 오브젝트 검출기의 출력으로서 수동으로 정의되는 오브젝트와의 연속적 인스턴스들에서 오브젝트의 위치를 찾는 것을 수반한다. 일반적으로, 오브젝트 추적은 오브젝트의 하나 이상의 특유의 특징들(모션, 색상, 형상, 외형)을 추출하는 것과, 이러한 특유의 특징(들)을 사용하여, 현재 이미지 프레임에서의 오브젝트의 위치에 기초하여, 다음 이미지 프레임에서의 오브젝트의 위치를 추정하는 것에 의존한다. 예를 들어, 최적의 필터링, 지점 추적(point-tracking), 검출에 의한 추적(tracking-by-detection), 광학 흐름(optical-flow), 및 배경 제거(background subtraction)를 포함하는, 오브젝트 추적을 위한 다수의 기술들이 존재한다.

오브젝트 추적을 개량하기 위한 제안들은 전경(추적되는 오브젝트)과 배경을 모델링하고, 이러한 정보를 사용하여 가장 배경에 속하는 것으로 추정되는 오브젝트 위치들을 제거하는 것에 의해 이점을 얻는 것을 제의하였다. 이러한 모델링에 대한 기본 접근방식은, 예를 들어, 제1 프레임에서 학습되는 색상 분포들을 사용하여 배경 외형의 모델을 추출하는 것과, 일련의 이미지들을 따라 이러한 분포를 업데이트하는 것을 수반한다. 그러나, 이러한 모델링은, 오브젝트의 외관을 정확하게 학습하기 위해, 배경과 오브젝트에 대한 사전 지식을 요구한다. 이러한 이유로, 전경/배경 분할은 최근 최고의 실적을 올리는 추적 디바이스들에서 핵심 컴포넌트가 되었다. 더욱이, 오브젝트와 배경 사이의 분할을 정확하게 초기화하더라도, 현재의 모델들은 종종 오브젝트를 엄격하게 추적하기에 충분히 오브젝트와 배경 사이를 구별하지 못한다. 마지막으로, 예를 들어, 회전, 조명, 그림자, 및/또는 자체 가림(self-occlusions)으로부터 초래되는 오브젝트의 완전 또는 부분적 가림 및 오브젝트의 외형의 변화는 성공적인 모델 적응 전략을 확정하는 어려움을 증가시킨다.

따라서, 종래 기술의 전술한 단점들을 극복하는 오브젝트 추적을 위한 기술에 대한 필요성이 존재한다.

간략하게, 본 원리에 따르면, 오브젝트를 추적하는 방법은 먼저 현재 프레임에서의 오브젝트(12)를 확정하는 것으로 시작한다. 그 후, 현재 프레임에서의 오브젝트를 에워싸는 배경 영역(202)이 확정된다. 다음 프레임에서의 오브젝트(12)에 대한 위치가 다음으로 추정된다. 다음으로, 배경 영역(202)의 확대가 결정된다. 마지막으로, 오브젝트는 배경 영역의 확대에 기초하여 자신의 배경으로부터 분할되고, 그렇게 함으로써 프레임에서 프레임으로의 오브젝트의 추적을 허용한다.

도 1은 본 원리에 따라 오브젝트를 추적하는 시스템의 블록 개략도를 도시한다.
도 2는 도 1의 시스템에 의해 추적되는 오브젝트; 배경의 스크린 뷰를 도시한다.
도 3은 도 2에 도시된 오브젝트를 추적하는 도 1의 시스템에 의해 실행되는 방법의 단계들을 흐름도 형태로 도시한다.
도 4a-4d는 프레임에서 프레임으로의 오브젝트의 이동을 보여주는 연속적 이미지 프레임들을 도시한다.
도 5a-5d는, 각각, 이미지 배경으로부터 분할된 추적된 이미지를 보여주는, 도 4a-4d에서의 이미지들에 대응하는 추적 윈도우들을 도시한다.

도 1은 본 원리에 따라 오브젝트(12)를 추적하는 시스템(10)의 블록 개략도를 도시하는데, 비록 이러한 오브젝트는 촬영을 당할 수 있는 사실상 임의의 물품을 포함할 수 있더라도, 자동차로 예시된다. 도 1의 시스템(10)은 이하 설명되는 오브젝트 추적 및 오브젝트 흐름 알고리즘들을 사용하여 이미지를 추적하는 소프트웨어로 프로그램되는 범용 또는 특수 목적 컴퓨터를 포함할 수 있는 그래픽 처리 유닛(14)을 포함한다. 실제로, 이러한 소프트웨어는 동작 동안 그래픽 처리 유닛(14)에 의해 생성되는 데이터를 또한 저장할 수 있는 저장 디바이스(15), 예를 들어, 하드 디스크 드라이브 등에 상주한다. 비록 프로그래밍되는 컴퓨터로서 설명되더라도, 그래픽 처리 유닛(14)은 이하 설명되는 오브젝트 추적 및 오브젝트 흐름 알고리즘들을 실행하는 오브젝트를 추적할 수 있는 별개의 회로를 대안적으로 포함할 수 있다. 오브젝트(12)를 추적하기 위해, 시스템(10)은 텔레비전 카메라에 의해 캡처되는 오브젝트(12)의 이미지로 표현되는 비디오 신호들을 그래픽 처리 유닛(14)에 공급하는 텔레비전 카메라의 형태인 이미지 취득 디바이스(16)를 포함한다.

오퍼레이터(도시되지 않음)는 키보드(18) 및/또는 마우스(20)를 통해 그래픽 처리 유닛(14)과 상호작용한다. 키보드(18) 및 마우스(20)는 잘 알려진 오퍼레이터 데이터 입력 디바이스들의 예들을 구성하고, 시스템(10)은 이러한 키보드 및 마우스 대신에, 또는 이에 추가적으로, 다른 이러한 데이터 입력 디바이스를 사용할 수 있다. 통상적으로 관련분야에 잘 알려진 종류의 모니터인 디스플레이 디바이스(20)는 오퍼레이터에 의한 관찰용으로 그래픽 처리 유닛(14)에 의해 생성되는 정보를 디스플레이한다.

시스템(10)은, 인터넷으로 예시되는 바와 같은, LAN(Local Area Network) 또는 광역 네트워크(Wide Area Network)와 같이, 그래픽 처리 유닛(14)을 네트워크에 접속하는 관련분야에 잘 알려진 바와 같은, 네트워크 인터페이스 유닛(22)을 또한 통상적으로 포함한다. 비록 도시되지는 않지만, 시스템(10)은, 프린터 및 또는 플로터와 같은, 하나 이상의 주변 디바이스들을 마찬가지로 포함할 수 있다.

본 원리에 따르면, 이미지 프레임으로부터 이미지 프레임으로의 오브젝트의 개선된 추적은, 오브젝트를 추적하는 것에 의해서 뿐만 아니라, 오브젝트를 에워싸는 배경의 영역(예를 들어, 일 그룹의 픽셀들)을 추적하는 것에 의해서 발생하는데, 이는 오브젝트 위치의 더 우수한 추정 뿐만 아니라 배경으로부터의 오브젝트의 분할을 가능하게 한다. 따라서, 본 원리에 의해 달성되는 오브젝트 추적은 오브젝트 추적과 배경 추적의 조합을 포함하는 오브젝트 흐름을 포함한다. 논의된 바와 같이, 오브젝트를 추적하는 것은 현재 이미지 프레임에서 오브젝트의 초기 위치가 주어지면 다음 이미지 프레임에서의 오브젝트의 위치를 추정하는 것을 포함한다. 한편, 한 쌍의 프레임들 사이의 광학 흐름은 제1 이미지의 각 픽셀에 대한 변위 벡터를 찾는 것을 필요로 한다.

오브젝트를 이미지로부터 분할하기 위해, 도 1의 시스템(10)의 그래픽 처리 유닛(14)은 이하 "슈퍼픽셀 흐름(superpixel flow)"이라고 지칭되는 슈퍼 픽셀 매칭 기술을 이용한다. 슈퍼 픽셀 흐름 기술은, 전반적 흐름형 거동(global flow-like behavior)을 유지하면서, 제1 프레임에서의 모든 슈퍼픽셀 p에 대한 다음 프레임에서의 슈퍼픽셀(p')와의 최상의 매치를 찾는 것을 자신의 목적으로서 갖는다. 따라서, 이러한 슈퍼픽셀화는 단일 프레임 내에서 일정 크기의 동질성을 유지해야한다. 일부 기존 픽셀 흐름 기술들은 이러한 요건에 대처할 수 없다. 바람직하게는, 관련분야에 잘 알려진 SLIC 픽셀 흐름 방법이 슈퍼픽셀화의 크기 동질성 및 소형화 면에서 우수한 결과들을 제공한다. 다수의 광학 흐름 및 스테레오 기술들에 의해 영감을 받아서, 본 원리의 슈퍼픽셀 흐름은 쌍을 이루는 마르코프 랜덤 필드(Markov Random Field)로 모델링된다. 매칭은 라벨링 l에 대한 MAP(maximum-a-posteriori) 추론을 통해 수행되는데, 이는 다음과 같은 형태의 에너지 함수의 최소화와 동등하다:

여기서 l은 I _o 에서의 슈퍼픽셀들의 라벨들의 집합을 나타내며, 이는 I _l 에서의 것과 매칭된다.

Nr은 슈퍼픽셀 p의 반경 r의 이웃을 정의한다. 수학식 1에서의 항들 D 및 S는, 각각, 데이터 항 및 공간적 매끄러움(spatial smoothness) 항을 나타낸다. 첫번째 항은 측정된 데이터(색상, 형태 등)와의 일관성의 면에서 라벨링이 얼마나 정확한지 결정한다. 수학식 1의 등가적인 고전적 광학 흐름에서, 데이터 항은 픽셀 휘도 보존에 대응한다. 그러나, 슈퍼픽셀들은 유사한 (예를 들어, 동질의) 픽셀들의 세트를 구성하기 때문에, 적절한 외관 기반 특징은 (N 개의 빈들(N bins)을 갖는) 저 차원의 색상 히스토그램이다. 수학식 1과 관련하여, 히스토그램들 사이의 헬링거 거리(Hellinger distance) D는 다음과 같이 주어진다:

여기서, h(p)와 h(p')는 제2 프레임 I _l 에서의 슈퍼픽셀 p와 이에 대응하는 슈퍼픽셀의 색상 히스토그램들이다.

경험적으로, 색상 당 N=3개의 빈들을 갖는 RGB 색상 히스토그램이 만족스러운 것이 증명되었다. 이러한 저 차원의 히스토그램은 노이즈에 대한 확실한 강건함을 제공하고, 프레임들 사이에서 색상들을 서서히 변경한다는 점에 주목하자. 다른 한편, 공간 항은 이웃하는 슈퍼픽셀들 사이의 변위 벡터들의 공간적 차이에 대한 패널티 함수를 구성하는데, 여기서 변위 벡터는 제1 프레임의 슈퍼 픽셀의 중심에 자신의 출발점을 두고 제2 프레임의 슈퍼픽셀의 중심에 자신의 종점을 둔다.

여기서,

임.

연산자 ρ는 데이터 항에 사용되는 바와 같이 헬링거 거리(2)를 구성한다. 그럼에도 불구하고 히스토그램 거리는 제1 이미지에 속하는 인접한 슈퍼픽셀들 p와 q 사이에서 계산된다. 슈퍼픽셀들 중심들은 q _c 및 p _c 로 표기되고, u* 및 v*는 중심들 사이의 수평 및 수직 변경들이다. 이러한 항은 동일한 오브젝트에 속하는 슈퍼픽셀들에서의 매끄러움 효과(smoothing effect)를 갖는다. 실제로, 2개의 가까운 슈퍼픽셀들이 상이하고, 따라서, 이미지 내의 상이한 오브젝트들이 아마도 속할 때, 항 λ는 동일한 강도로 이전에는 매끄러움을 유지하지 못하는 매칭들을 이들이 갖게 한다. 도 1의 그래픽 처리 유닛(14)은, QPBO(Quadratic Pseudo-Boolean Optimization)를 사용하여, 제안된 에너지 함수를 최소화하는데, 이는 제1 프레임에서의 모든 슈퍼픽셀에 대한 후보 매칭들의 세트를 병합하는 것에 의한다. 후보 매칭들은 이전 근접성을 전제로 하여 생성된다. 이것은, 모든 가능한 매칭이 제2 프레임에서의 검색 반경 내에 있어야 한다는 것을 의미한다.

오브젝트 흐름은 이미지 시퀀스를 통해 관심의 오브젝트에 대한 모션 필드를 계산하는 것으로 시작된다. 가장 일반적인 접근방식은 전체 시퀀스를 통해 이용 가능한 광학 흐름 기술들 중 일부를 구현하고 흐름 통합을 수행하는 것이다. 그러나 이렇게 하는 것은 높은 수준의 모션 드리프트를 초래할 것이며, 일반적으로 관심 오브젝트의 모션은 전반적 정규화(global regularization)의 영향을 받는다. 일부 극단적인 경우들에서, 관심 오브젝트 모션은 완전히 흐릿해질 수 있고, 다른 기술들이 통합되어야 한다. 더욱이, 자연스러운 비디오 시퀀스들의 다양성은, 전문화된 데이터베이스들이 현재 사용될 때조차 어떠한 단일의 방법도 이용가능한 데이터세트들 모두에서의 강력한 성능을 달성할 수 없기 때문에, 다른 것에 대해 하나의 기술을 선택하는 것을 어렵게 한다. 대부분의 이러한 방법들은 2개의 항들로 에너지 함수를 최소화한다. 데이터 항은 상이한 접근방식들 사이에 대부분 공유되지만, 이전 또는 공간 항은 상이하고, 어떠한 조건들 하에서 광학 흐름 매끄러움이 유지되어야 하거나 또는 그렇치 않은지 진술한다. 그러나, 전반적 접근방식에서, 이것은 정의하기 어렵다. 대부분의 이러한 매끄러움 항들은 외형 차이들 또는 그라디언트들에 의존한다. 따라서, 일부 방법들이 일부 경우들에 대해서는 더 신뢰될 수 있지만 다른 경우들에 대해서는 더 약할 수 있다. 이러한 거동은 대부분의 기술들이 이러한 매끄러움을 이전에 어디에 정확히 적용하는지 식별하는 방식으로 카운트하지 않기 때문에 초래될 수 있다.

본 원리에 따르면, 도 1의 그래픽 처리 유닛(14)은 추적되는 윈도우들 내에서 분할 마스크를 고려하여 광학 흐름 계산을 개량할 수 있다. 도 1의 그래픽 처리 유닛(14)은, 오브젝트 영역 내에서 모션이 실제로 매끄럽다고 가정하여, 분할 한계들을 신뢰할만한 매끄러운 경계들로 고려하여, 이러한 개량을 착수한다. 이것은 주어진 관심의 오브젝트에 대한 대부분의 장면들에 대해 유효한 가정이다. 물론, 오브젝트 흐름은 빠른 모션들에 대해 광학 흐름보다 더 강건하여야 한다. 따라서, 전체 모션은, 이하 설명되는 바와 같은, 추적기 윈도우에 의해 주어지는 장거리 모션과, 타겟이 되는 광학 흐름에 의해 주어지는 정밀도 부분으로 2개로 나뉠 것이다. 오브젝트 흐름에 대한 제1 근사화로서, 도 1의 그래픽 처리 유닛(14)에 의해 사용되는 단순 흐름(Simple Flow) 기술은 더 높은 해상도들로의 확장성 및 오브젝트 흐름의 개념에 대한 전문성으로 인해 코어 베이스(core base) 역할을 한다. Simple Flow 파이프 라인을 사용하는 것에 의해, 도 1의 그래픽 처리 유닛(14)은 계산 마스크들을 통해 매끄러움 위치화를 용이하게 명시할 수 있다. 보다 구체적으로, 도 1의 그래픽 처리 유닛(14)은 이전 단계로서 수행되는 분할로부터 초기 계산 마스크를 도출할 것이다. 도 1의 그래픽 처리 유닛(14)은 마스크 제한들 내에서만 결과 흐름을 필터링하여 정밀도를 강화하고 구현을 촉진한다. 그래프 기반 최소화 접근방식을 사용하여, 도 1의 그래픽 처리 유닛(14)은 배경 픽셀들로부터 전경 픽셀들을 단절시켜 정규 제약들을 정밀하게 타겟으로 할 수 있다.

전술한 설명과 함께, 도 1의 시스템(10)의 그래픽 처리 유닛이 오브젝트(12)(예를 들어, 자동차)를 추적하는 방법은 도 2를 참조하여 가장 잘 이해될 수 있다. 그래픽 처리 유닛(14)은 이하 추적 윈도우로서 지칭되는 제1 경계 상자(200)로 오브젝트를 둘러싸는 것에 의해 도 2에서의 오브젝트(12)(예를 들어, 자동차)의 위치를 초기에 확정할 수 있다. 종래의 오브젝트 추적 알고리즘을 사용하여, 그래픽 처리 유닛(14)은 다음 프레임에서의 도 2의 오브젝트(12)의 위치를 추정할 수 있고, 추적 윈도우(200)의 새로운 위치를 제공한다.

본 원리에 따르면, 도 1의 그래픽 처리 유닛(14)은 추적 윈도우(200)를 이하 배경 영역으로서 지칭되는 제2 경계 상자(202)로 둘러싼다. 배경 영역(202)은 추적 윈도우(202)보다 크고, 추적 윈도우를 에워싸지만 추적 윈도우 자체는 아닌 이미지 배경의 부분을 포함하는 배경 영역(예를 들어, 일 그룹의 픽셀들)을 결정한다. 도 2에 도시되는 바와 같이, 픽셀들의 세트는 배경 영역(202) 내부에 놓여지고, 따라서 배경의 일부를 구성한다. 다음 프레임에서, 이러한 픽셀들은 배경 영역(202)의 확대로 인해, 변위 화살표 (204)에 의해 표시되는 바와 같이, 추적 윈도우(200) 내에 들어간다. 배경 영역의 모션(예를 들어, 오브젝트를 에워싸는 위에 설명된 픽셀들)을 추정하는 것에 의해, 도 1의 그래픽 처리 유닛(14)은 후속 프레임에서의 추적 윈도우 내에 어떠한 픽셀들이 들어가는지를 결정할 수 있다. 도 1의 그래픽 처리 유닛(14)은 배경 영역(202)에 이전에 존재하였지만 이제 다음 프레임에서의 추적 윈도우에 들어가는 픽셀들이 배경에 실제로 속한다고 안전하게 가정할 수 있다(이들은 처음에는 추적 윈도우 외부에 존재했음). 따라서, 그래픽 처리 유닛(14)은 이러한 픽셀을 따라서 적절하게 지정한다. 따라서, 추적 윈도우에 진입하는 새로운 픽셀들이 이제 배경의 일부가 된다. 다음 프레임에서, 오브젝트(12)의 새로운 위치가 주어지면, 도 1의 그래픽 처리 유닛(14)은 이전에 배경의 일부로 간주된 픽셀들을 새로 진입하는 픽셀들과 함께 추적한다. 배경 픽셀이 추적 윈도우에 들어가지 않고 에워싸는 배경 영역 내에 머무르면, 도 1의 그래픽 처리 유닛(14)은 이러한 픽셀들이 추적 윈도우에 진입하거나 도는 배경 영역으로부터 탈출할 때까지 추적 윈도우에 진입하기를 대기하는 픽셀들을 추적한다. 이러한 방식으로, 본래 배경 영역(202)으로 제한되는 배경 마스크는 추적 윈도우(200)와 함께 확대되어, 이하 설명되는 바와 같이 도 5a-5d에서 관찰되는 분할을 더 잘 묘사한다.

도 3은 위에 논의된 바와 같은 오브젝트 추적을 달성하기 위해 도 1의 그래픽 처리 유닛(14)에 의해 실행되는 프로세스(300)의 단계들을 흐름도 형태로 도시한다. 프로세스(300)는 단계 300 동안 현재 프레임에서의 도 1의 오브젝트(12)의 위치를 먼저 확정하는 것으로 시작된다. 이미 논의된 바와 같이, 도 1의 그래픽 처리 유닛(14)은 도 2에 도시된 바와 같이 추적 윈도우(200)로 오브젝트를 처음 둘러싸는 것에 의해 오브젝트(12)의 위치를 확정한다. 다음으로, 단계 302 동안, 도 1의 그래픽 처리 유닛(14)은 도 2에서의 배경 영역(202)에 의해 표현된 바와 같이 배경 영역을 확정한다. 도 3의 단계 304 동안, 도 1의 그래픽 처리 유닛(14)은 다음 프레임에서의 오브젝트의 위치를 추정한다. 위에 논의된 바와 같이, 예를 들어, 최적의 필터링, 지점 추적(point-tracking), 검출에 의한 추적(tracking-by-detection), 광학 흐름(optical-flow), 및 배경 제거(background subtraction)와 같은, 다양한 오브젝트 추적 기술들 중 임의의 것이 이러한 단계를 달성할 수 있다. 단계 306 동안, 도 1의 그래픽 처리 유닛(14)은 다음 프레임에서의 배경 영역의 확대를 결정한다. 단계 306 동안의 배경 영역의 확대에 기초하여, 도 1의 그래픽 처리 유닛(14)은 단계 308 동안 배경으로부터 오브젝트를 분할하여, 오브젝트의 추적을 촉진할 수 있다.

이미지 분할을 이해하기 위해, 도 4a-4d 및 도 5a-5d를 참조하자. 도 4a-4d는, 우측으로부터 좌측으로, 움직이고 있는 오브젝트(예를 들어, 자동차)의 시퀀스 이미지들을 도시한다. 도 5a-5d는 각각 도 4a-4d에 도시된 이미지들 중 대응하는 것에 나타나는 배경으로부터의 오브젝트의 분할들을 각각 도시한다.

위에 논의된 본 원리의 추적 방법은 다음 특징 중 하나 이상을 포함할 수 있다. 예를 들어, 모든 배경 픽셀들을 추적하는 것은 다양한 잘 알려진 밀집 지점 추적 방법들 중 하나를 사용하여 발생할 수 있다. 또한, 도 1의 그래픽 처리 유닛(14)은 다양한 덜 밀집한 지점 추적 방법들 중 임의의 하나에 의해 픽셀들의 덜 밀집한 세트를 추적할 수 있고, 다음으로 다른 지점들에 대한 분할을 추정할 수 있다. 위에 논의된 추적 방법에 대한 다른 수정으로서, 도 1의 그래픽 처리 유닛(14)은 먼저 배경에 슈퍼픽셀화를 적용하고 다음으로 슈퍼픽셀들을 추적할 수 있는데, 이는 보다 효율적이고 강건하며 이러한 슈퍼픽셀들이 오브젝트 테두리들에 일반적으로 첨부된다는 이점을 갖는다.

더욱이, 도 1의 그래픽 처리 유닛(14)은 설명된 바와 같이 획득되는 분할을 사용하여 전경 및 배경의 외형 모델을 더 잘 추출하고 초기화하고, 표준 색상 기반 분할 기술을 통해 분할을 개량할 수 있다. 또한, 도 1의 그래픽 처리 유닛(14)은 배경 마스크의 보완, 즉, 전경 마스크를 사용하여, 예를 들어, 질량 중심 계산 또는 얼룩 분석(blob analysis)에 의해 타겟의 위치를 조절할 수 있다. 도 1의 그래픽 처리 유닛(14)은 또한 배경까지 더 먼 지점을 취하거나 또는 거리 변환을 사용하여 더 가까운 위치를 추출하는 것에 의해 타겟 위치를 계산할 수 있다. 또한, 도 1의 그래픽 처리 유닛(14)은 추적된 배경을 사용하여 오브젝트 위치를 제거할 수 있고, 그렇게 함으로써 표준 추적기 방법들, 특히 검출에 의한 추적 방법의 출력을 향상시킨다.

도 1의 그래픽 처리 유닛(14)은 타겟 오브젝트 위치들의 가림 및 제거를 더 잘 취급하기 위해 추적 윈도우에 진입하는 비-관심 오브젝트들을 분석하기 위해서 배경에서의 타겟 오브젝트들 근처에서 여러 오브젝트 추적 방법들을 조합할 수 있다. 또한, 도 1의 그래픽 처리 유닛(14)은 역방향으로의 추적을 구현할 수 있는데, 이는 오프라인 또는 지연된 처리를 달성하기 위해 추적 윈도우를 벗어나는 배경의 영역들을 검출하는 것과 동등하다.

전술한 설명들은 개선된 분할로 오브젝트를 추적하는 기술을 설명한다.

Claims

오브젝트(12)를 추적하는 방법으로서,
현재 프레임에서의 오브젝트(12)를 확정하는 단계;
상기 현재 프레임에서 상기 오브젝트를 포위하는 배경 영역(202)을 확정하는 단계;
다음 프레임에서의 상기 오브젝트(12)에 대한 위치를 추정하는 단계;
상기 배경 영역(202)의 확대를 결정하는 단계; 및
상기 배경 영역의 확대에 기초하여 상기 오브젝트를 자신의 배경으로부터 분할하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 현재 프레임에서의 상기 오브젝트를 확정하는 상기 단계는 제1 경계 상자로 상기 오브젝트를 둘러싸는 단계를 포함하는 방법.
제2항에 있어서,
상기 배경 영역을 확정하는 상기 단계는, 상기 오브젝트를 에워싸는 배경의 적어도 일부에 상기 오브젝트를 포위시키는, 상기 제1 경계 상자보다 더 큰 제2 경계 상자로, 상기 오브젝트를 둘러싸는 단계를 포함하는 방법.
제1항에 있어서,
상기 배경 영역의 상기 확대를 결정하는 상기 단계는, 상기 현재 프레임 내에서는 상기 오브젝트 외부에 그러나 추적 윈도우 내부에 본래 존재하지만 상기 다음 프레임 내에서는 상기 오브젝트를 포위하는 추적 윈도우 내부로 이동하는 픽셀들을 검출하는 단계를 포함하는 방법.
제1항에 있어서,
상기 오브젝트의 가장자리들에 첨부되는 슈퍼 픽셀들을 산출하는 슈퍼픽셀화를 상기 배경에 적용하는 단계; 및
이러한 슈퍼픽셀들을 추적하는 단계
를 더 포함하는 방법.
제1항에 있어서,
이미지를 분할하는 상기 단계는 표준 색상 기반 분할 기술을 통해 상기 분할을 개량하는 단계를 포함하는 방법.
제1항에 있어서,
상기 배경 영역(202)의 확대를 결정하는 상기 단계는 밀집 지점 추적 방법을 사용하여 모든 배경 픽셀들을 추적하는 단계를 포함하는 방법.
오브젝트(12)를 추적하는 시스템(10)으로서,
추적을 당하는 오브젝트의 이미지들을 캡처하는 이미지 취득 디바이스(16); 및
상기 이미지 취득 디바이스에 의해 캡처되는 상기 이미지를 처리하여, 현재 프레임에서의 상기 오브젝트(12)를 확정하고; (b) 상기 현재 프레임에서의 상기 오브젝트를 포위하는 배경 영역(202)을 확정하고; (c) 다음 프레임에서의 오브젝트(12)에 대한 위치를 추정하고; (d) 상기 배경 영역(202)의 확대를 결정하고; (e) 상기 배경 영역의 확대에 기초하여 상기 오브젝트를 자신의 배경으로부터 분할하는 프로세서(14)
를 포함하는 시스템(10).
제8항에 있어서,
상기 프로세서는 제1 경계 상자로 상기 오브젝트를 둘러싸는 것에 의해 상기 현재 프레임에서의 상기 오브젝트를 확정하는 시스템.
제9항에 있어서,
상기 프로세서는, 상기 오브젝트를 에워싸는 배경의 적어도 일부에 상기 오브젝트를 포위시키는, 상기 제1 경계 상자보다 더 큰 제2 경계 상자로, 상기 오브젝트를 둘러싸는 것에 의해 상기 배경 영역을 확정하는 시스템.
제8항에 있어서,
상기 프로세서는, 상기 현재 프레임 내에서는 상기 오브젝트 외부에 그러나 추적 윈도우 내부에 본래 존재하지만 상기 다음 프레임 내에서는 상기 오브젝트를 포위하는 추적 윈도우 내부로 이동하는 픽셀들을 검출하는 것에 의해 상기 배경 영역의 상기 확대를 결정하는 시스템.
제8항에 있어서,
상기 프로세서는 상기 오브젝트의 가장자리들에 첨부되는 슈퍼 픽셀들을 산출하는 슈퍼픽셀화를 상기 배경에 적용하고 그 후 이러한 슈퍼픽셀들을 추적하는 시스템.
제8항에 있어서,
이미지를 분할하는 단계는 표준 색상 기반 분할 기술을 통해 분할을 개량하는 것을 포함하는 시스템.
제8항에 있어서,
상기 프로세서는, 밀집 지점 추적 방법을 사용하여 모든 배경 픽셀들을 추적하는 것에 의해 상기 배경 영역(202)의 확대를 결정하는 시스템.