KR20090016673A - 비디오 객체의 멀티-트래킹 - Google Patents

Abstract

비디오 객체의 트래킹을 위한 본 발명의 방법은 객체를 선택하는 단계; 객체에 대한 객체 타입을 선택하는 단계, 및 선택된 객체 타입에 대해 응답하여 다수의 객체 트래킹 프로세스들 중 하나를 인에이블하는 단계를 포함한다. 바람직한 실시예에서 객체를 선택하는 단계는 영역을 사용함으로써 객체를 분할하는 단계, 객체의 경계 상의 포인트들을 선택하는 단계, 영역을 모으는 단계 또는 선택된 영역과 객체의 경계 상의 선택된 포인트들을 조합하는 단계 중 하나를 포함한다. 객체 트래킹 프로세스는 새롭게 생성된 객체 타입에 적합한 트래킹 프로세스를 포함하도록 확장될 수 있다.

트래킹, 비디오 객체, 객체 분할, 다수의 객체 트래킹 프로세스, 트래킹 알고리즘

Description

비디오 객체의 멀티-트래킹{MULTI-TRACKING OF VIDEO OBJECTS}

본 발명은 일반적으로 비디오 객체의 분할 및 트래킹에 관한 것으로, 보다 구체적으로는 비디오 객체를 멀티-트래킹하는 것에 관한 것이다.

비디오 객체의 분할 및 트래킹은 컴퓨터 비젼의 수많은 어플리케이션, 및 객체 기반의 코딩 및 비디오 포스트프로덕션 같은 비디오 처리 어플리케이션을 갖는다. 현재 비디오 객체의 분할 및 트래킹은 제1 비디오 프레임에서, 다음의 프레임 내에서의 객체를 트래킹함으로써, 후속하는 객체 분할을 포함한다. 트래킹은 제1 프레임을 분할하는데 사용되는 분할 방법에 따라 좌우된다.

현재의 분할 기술은 영역 기반, 경계 기반 또는 영역 및 경계의 조합 기술 중 하나이다. 영역 기반 분할은 픽셀을 근접도 및 동질성에 기반하는 영역으로 그룹화한다. 영역 기반의 분할은 임의의 기준이 충족될 때까지 분할 및 병합함으로써 그룹화를 행한다. 영역 기반의 알고리즘은 객체를 과도하게 분할하는 경향이 있고 복잡하게 텍스쳐화된 객체가 갖는 어려움을 갖는다. 경계 기반의 분할은 객체의 경계를 추적하며, 예를 들면, 객체 경계의 곡선을 매핑(map)한다. 경계 기반의 방법은 객체의 내용을 고려하지 않는다. 이 방법은 양호한 초기의 윤곽 프로세싱을 필요로하고 영역 경계 내에 전체적으로 포함되는 분리 영역이 갖는 문제를 갖 는다. 영역 및 경계 분할 기술의 조합은 객체 경계 근처에서 영역이 증가하는 것을 제한한다. 일반적으로, 영역 및 경계 조합 기술은 양호한 결과를 생산하지만 시간 소비적이다. 현재의 트래킹 알고리즘은 제1 프레임 내에 사용된 분할 방법에 높게 의존한다. 영역 기반의 분할 트래킹은 다음 프레임 내의 영역의 움직임을 추정하는 것으로 되어 있다. 만약 경계 또는 곡선 기반의 분할이 사용된다면, 트래킹은 다음 프레임 내의 곡선 위치를 찾는 것으로 구성된다.

현재의 비디오 객체의 분할 및 트래킹은 객체 타입의 지식을 활용하지 않는다. 이 분할 및 트래킹 기술은 제한된 기능성을 갖고 객체의 특정 클래스만을 작업한다. 다수의 현재 방법들은 사용자가 관심 객체를 식별하고 부정확성을 수동으로 수정할 필요가 있다는 점에서 반자동이다.

(발명의 요약)

비디오 객체의 트래킹을 위한 본 발명의 방법은 객체를 선택하는 단계; 객체에 대한 객체 타입을 연관시키는 단계, 및 연관된 객체 타입에 대해 응답하여 다수의 객체 트래킹 프로세스들 중 하나를 인에이블하는 단계를 포함한다. 바람직한 실시예에서 객체를 선택하는 단계는 영역을 사용함으로써 객체를 분할하는 단계, 객체의 경계 상의 포인트들을 선택하는 단계, 영역을 모으는 단계 또는 선택된 영역과 객체의 경계 상의 선택된 포인트들을 조합하는 단계 중 하나를 포함한다. 객체 트래킹 프로세스는 새롭게 생성된 객체 타입에 적합한 트래킹 프로세스를 포함하도록 확장될 수 있다.

본 발명의 대안적인 실시예에서, 비디오 객체 트래킹 방법은 비디오 장면으 로부터 객체를 선택하는 단계, 객체에 대한 객체 타입을 정의하는 단계, 및 정의된 객체 타입에 응답하여 복수의 객체 트래킹 중 하나를 선택하는 단계를 포함한다.

본 발명의 이점, 성질, 및 다양한 부가적인 특징들은 첨부한 도면들과 관련하여 지금부터 상세히 기술되는 예증적인 실시예들을 고려하여 더 충분히 나타날 것이다.

도 1은 본 발명에 따라 다수의 영역들로 분할된 비디오 객체를 나타낸다.

도 2는 본 발명에 따른 다수의 객체 분할 및 트래킹 알고리즘의 프로세스의 도면이다.

도 3은 본 발명에 따라 각 비디오 객체가 개별 트래킹 알고리즘을 어떻게 트리거하는지를 나타낸 도면이다.

도면들은 본 발명의 개념을 설명하기 위한 것이며, 반드시 본 발명을 설명하기 위한 유일한 가능 구성은 아니라는 것을 이해해야 한다.

본 발명의 비디오 포스트프로덕션에서 객체의 분할, 트래킹 및 다른 어플리케이션들은 많은 알고리즘을 실행함으로써 성능을 향상시킨다. 다른 알고리즘은 인간의 안면 또는 자동차와 같은 각 공통 객체 타입에 사용된다. 각 알고리즘은 객체 타입의 지식을 이용하여 시스템의 분할 및 트래킹 성능을 향상시킨다. 만약 관심 객체가 목록에 포함되어 있지 않다면, 시스템은 디폴트 범용 알고리즘을 실행한다. 본 발명의 방법은 더 많은 공통 객체들이 식별되는 만큼 새로운 알고리즘들이 추가된다는 점에서 사실상 적응성이다. 본 발명은 완성한 비디오 객체 대신하여 일정한 특징을 갖는 분할된 영역을 트래킹하는 것을 지향해왔던 현존 객체 분할 및 트래킹의 한계를 뛰어넘은 중대한 향상이다.

도 1의 도면(100)을 참조하면, 비디오 객체(101)는 다수의 R1, R2 및 R3 영역(103, 104 및 102)으로 분할된다. 트래킹될 객체를 식별하는 것에 더하여, 객체의 타입은 프로세스 시작 시에 사용자에 의해 요구되는 입력이다.

본 발명의 프로세스의 플로우챠트(200)은 도 2에 도시된다. 도면에서, 트래킹될 객체는 단계(201)에 의해 사용자에 의해 식별되거나 선택된다. 사용자는 영역을 사용, 객체의 경계 상의 포인트들을 선택, 영역 및 경계를 혼합함으로써 객체를 분할하거나 영역들을 모아서 비디오 객체를 형성한다(202). 예를 들면, 포인트들의 선택은 트래킹될 객체 주위에 윤곽을 만들기 위해 사용될 수 있다. 사용자는 예를 들면 풀 다운 목록으로부터 객체의 타입을 또한 식별한다(203). 목록은 인간과 같이 포스트프로덕션 내에서 공통적으로 트래킹되는 객체를 포함할 수 있다. 만약 객체 타입이 목록 상에 있지 않다면(204), 상기 제안된 방법은 분할된 객체를 트래킹하기 위한 범용 방법을 사용한다(205). 그렇지 않으면, 객체 타입에 기반하는 트래킹 알고리즘이 사용된다(206).

트래킹될 객체의 타입을 제공하는 것에 더하여, 사용자는 트래킹 프로세스를 잘 보조하기 위해 부가적인 단서들을 또한 제공할 수도 있다. 예를 들면, 상기 조작자는 비디오 및 객체 타입 모델 모두에 대해 현저한 특징을 선택함으로써 선택된 객체의 오리엔테이션(orientation)을 제공할 수도 있다. 다른 예로서, 사용자는 객체 반영의 트래킹을 개선하기 위해 발생할 수 있는 왜곡 변형의 일부 및 반영된 표면의 특성을 제공할 수도 있다.

많은 경우에서 객체의 트래킹은 장면에서 제2 객체를 트래킹함으로써 보조될 수도 있다. 다수의 객체를 트래킹하는 것은 트래킹될 객체가 다른 객체들에 가깝게 종종 존재하기 때문에 유용할 수 있다. 다수의 객체를 트래킹하는 것은 객체가 다른 객체와 접촉하고, 맞물리며, 상호작용할 수 있고 이미지를 접속 또는 남길 수 있기 때문에 실행하기가 더 어렵다. 사용자는 트래킹할 제2 객체를 선택할 수 있다. 사용자는 만약에 있다할지라도 맞물려있는 객체 특성에 대한 정보를 또한 제공할 수 있다. 이는 트래킹을 더 용이하게 하고 더 나은 트래킹 결과를 낳는다.

사용자가 객체 트래킹 리스트(306)로부터 객체를 선택하고 어떤 적절한 부가 정보를 제공하면, 새로운 트래킹 알고리즘은 도 3에서의 도면(300)으로 도시된 바와 같이 트리거될 것이다. 도시된 대표적인 공(301), 인간(302), 차량(303), 셔츠(304) 및 나무(305) 알고리즘은 본 발명의 객체 분할 및 트래킹의 다양성 및 적응성의 예증이 된다. 본 발명은 보다 정확한 객체 트래킹을 수행하기 위해 객체 타입의 이점을 취한다. 트래킹될 객체 타입은 공같이 간단하거나 차량같이 더 복잡할 수 있다. 복잡한 객체의 서브클래스에 대하여, 3차원 3D 모델이 트래킹을 보조하는데 사용될 수 있다. 3D 모델은 객체의 기하학 구조 및 그것의 움직임과 같은 객체의 가능한 동적 특성 둘 다를 기술하는데 사용될 수 있다.

시스템은 새로운 객체 타입이 필요에 따라 목록에 추가될 수 있게 하여, 분할되고 트래킹될 새로운 비디오 객체 타입을 변경하거나 부가할 수 있게 한다. 예를 들면, 새로운 기술은 셔츠와 같이 변형할 수 있는 표면들을 트래킹하기 위해 추가로 활용될 수 있기 때문에, 새로운 객체 타입 및 알고리즘은 부가될 수 있다.

본 발명은 분할 정확성을 향상시키기 위해 객체 타입을 이용한다. 부가적인 사용자 입력은 요구되나 큰 부담은 되지 않는다. 본 발명의 연산 요구는 유일무이한 하나의 객체 트래킹 알고리즘이 객체마다 트리거되기 때문에 간단하다. 본 발명의 프로세스는 객체 트래킹 알고리즘의 동적 연결이 효율성을 향상시키고 새로운 타입이 필요에 따라 쉽게 부가될 수 있게 한다.

본 발명은 주로 비디오 스트림의 컨텍스트에 대해 논의되었다 할지라도, 깊이 정보(depth information)의 포함은 객체 트래킹의 결과를 현저하게 향상시킬 수 있다. 트래킹될 객체에 관한 3차원 3D 정보는 3D 모델의 신속한 전개와 이미지의 더 정확한 프로세싱을 가능하게 한다. 깊이 정보는 예를 들면 레이저 또는 스테레오 이미지를 이용한 획득 시 얻어질 수 있다. 2D 이미지로부터의 일부 성공과 함께 또한 얻어질 수 있다.

본 발명은 객체 분할 및 트래킹에 대한 모델 기반의 방법에 관한 것이다. 본 발명의 방법은 객체를 식별시 사용자로부터의 제한된 상호작용을 필요로 한다. 본 발명은 사용자가 가능한 객체 목록으로부터 트래킹될 객체의 타입을 식별하는 것을 필요로 한다. 목록은 인간, 차, 얼굴 등과 같이 가장 일반적 객체에서부터 만들어진다. 추가적인 객체들이 필요에 따라 모델로 될 수 있고 목록에 추가될 수 있다. 임의의 객체 타입을 선택하는 것은 객체 타입의 지식을 이용하여 객체의 분할 및 트래킹의 정확도를 향상시키는 알고리즘을 트리거할 것이다.

비디오 스트림 어플리케이션에서의 객체 분할 및 트래킹에 대한 다수의 트래킹 방법에 대한 바람직한 실시예를 기술하였지만 당업자들에 의해 상술한 교시 내용에 비추어 변형 및 변경이 이루어질 수 있음에 유의해야 한다. 그러므로, 첨부한 청구 범위에 의해 요약된 바와 같이 본 발명의 범주 및 사상 내에 있는 개시된 본 발명의 특정 실시예들로부터 변경이 이루어질 수도 있음을 이해해야 한다. 본 발명을 상세히 기술하였고 특히 특허법에 의해 요구되고 있지만, 특허증에 의해 청구되고 보호되는 것은 첨부한 청구 범위에 설정된다.

Claims (19)

1. 비디오 객체 트래킹 방법으로서,

   객체를 선택하는 단계;

   상기 선택된 객체에 대한 객체 타입을 연관시키는 단계; 및

   상기 연관된 객체 타입에 응답하여 다수의 객체 트래킹 프로세스들 중 하나를 실행하는 단계를 포함하는 비디오 객체 트래킹 방법.
2. 제1항에 있어서, 상기 객체를 선택하는 단계는 영역을 사용함으로써 상기 객체를 분할하는 단계, 객체의 경계 상의 포인트들을 선택하는 단계, 영역들을 모으는 단계, 및 선택된 영역과 객체의 경계 상의 선택된 포인트들을 조합하는 단계 중 하나를 포함하는 비디오 객체 트래킹 방법.
3. 제2항에 있어서, 상기 경계 상의 포인트들을 선택하는 단계는 트래킹될 객체 주변에 윤곽을 생성하기 위한 포인트들의 선택을 포함하는 비디오 객체 트래킹 방법.
4. 제1항에 있어서, 상기 객체 타입을 선택하는 단계는 상기 선택된 객체와 관련된 공지의 객체 타입의 목록에서부터인 비디오 객체 트래킹 방법.
5. 제4항에 있어서, 상기 다수의 객체 트래킹 프로세스 중 하나는 상기 객체 타입이 선택될 수 없을 때 범용 객체 트래킹 프로세스를 포함하는 비디오 객체 트래킹 방법.
6. 제1항에 있어서, 상기 다수의 객체 트래킹 프로세스는 이전에 식별되지않은 객체 타입에 대한 객체 트래킹 프로세스를 포함하도록 확장되는 비디오 객체 트래킹 방법.
7. 제1항에 있어서, 상기 다수의 객체 트래킹 프로세스는 공 객체, 인간 객체, 차량 객체, 셔츠 객체 및 나무 객체 중 하나에 대한 프로세스를 포함하는 비디오 객체 트래킹 방법.
8. 제1항에 있어서, 상기 객체를 선택하는 단계는 다수의 객체를 선택하는 단계를 포함하고 각각의 객체 트래킹 프로세스는 상기 각 객체에 대해 인에이블되는 비디오 객체 트래킹 방법.
9. 제1항에 있어서, 상기 객체 타입은 기하학 구조 및 동적 특성으로 기술되는 비디오 객체 트래킹 방법.
10. 비디오 객체 트래킹 방법으로서,

    비디오 장면으로부터 객체를 선택하는 단계;

    영역에 대한 객체 타입을 정의하는 단계; 및

    상기 정의된 객체 타입에 응답하여 복수의 객체 트래킹 중 하나를 선택하는 단계를 포함하는 비디오 객체 트래킹 방법.
11. 제10항에 있어서, 상기 객체 트래킹은 새롭게 정의된 객체 타입에 적합한 부가적인 객체 트래킹 프로세스를 포함하도록 확장될 수 있는 다수의 객체 트래킹 프로세스 중 하나인 비디오 객체 트래킹 방법.
12. 제10항에 있어서, 상기 객체 트래킹은 다른 객체 타입에 대해 각각 선택할 수 있는 다수의 객체 트래킹 프로세스 중 하나인 비디오 객체 트래킹 방법.
13. 제10항에 있어서, 상기 객체의 영역을 선택하는 단계는 비디오 장면 내에서 영역을 선택함으로써 상기 객체를 분할하는 단계를 포함하는 비디오 객체 트래킹 방법.
14. 제10항에 있어서, 상기 객체의 영역을 선택하는 단계는 비디오 장면 내에서 객체의 경계 상의 포인트들을 선택하는 단계를 포함하는 비디오 객체 트래킹 방법.
15. 제10항에 있어서, 상기 객체의 영역을 선택하는 단계는 비디오 장면 내에서 영역을 모으는 단계를 포함하는 비디오 객체 트래킹 방법.
16. 제10항에 있어서, 상기 객체의 영역을 선택하는 단계는 비디오 장면 내에서 선택된 영역과 비디오 장면 내에서 객체의 경계 상의 선택된 포인트들을 조합하는 단계를 포함하는 비디오 객체 트래킹 방법.
17. 제10항에 있어서, 상기 객체 타입을 정의하는 단계는 공지된 객체 타입의 목록에서부터 객체 타입을 선택하는 단계를 포함하는 비디오 객체 트래킹 방법.
18. 제10항에 있어서, 상기 객체는 기하학 구조 및 동적 특성으로 정의될 수 있는 비디오 객체 트래킹 방법.
19. 제10항에 있어서, 상기 선택된 객체 트래킹은 상기 정의된 객체 타입에 적합한 비디오 객체 트래킹 방법.

Images