KR20110073367A - 모델 기반의 플레이 필드 레지스트레이션 - Google Patents

모델 기반의 플레이 필드 레지스트레이션 Download PDF

Info

Publication number
KR20110073367A
KR20110073367A KR1020100132829A KR20100132829A KR20110073367A KR 20110073367 A KR20110073367 A KR 20110073367A KR 1020100132829 A KR1020100132829 A KR 1020100132829A KR 20100132829 A KR20100132829 A KR 20100132829A KR 20110073367 A KR20110073367 A KR 20110073367A
Authority
KR
South Korea
Prior art keywords
video image
key points
estimation
extracted
tracking
Prior art date
Application number
KR1020100132829A
Other languages
English (en)
Other versions
KR101232509B1 (ko
Inventor
시아오펭 통
웬롱 리
이민 장
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20110073367A publication Critical patent/KR20110073367A/ko
Application granted granted Critical
Publication of KR101232509B1 publication Critical patent/KR101232509B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

모델 기반 플레이필드 레지스트레이션에 대한 방법, 장치 및 시스템이 설명된다. 입력 비디오 이미지가 처리된다. 비디오 이미지를 처리하는 것은 비디오 이미지에 관하여 키 포인트들을 추출하는 것을 포함한다. 또한, 비디오 이미지에 대하여 충분한 키 포인트들이 추출되었는지가 판정되고, 충분한 키 포인트들이 추출되었다면 비디오 이미지의 직접 추정이 수행되고, 그 후 직접 추정에 기초하여 최종 비디오 이미지의 호모그래프 매트릭스가 생성된다.

Description

모델 기반의 플레이 필드 레지스트레이션{MODEL-BASED PLAY FIELD REGISTRATION}
본 분야는 일반적으로 컴퓨팅 과학, 특히 비디오 이미징에 관한 것이다.
이미지 레지스트레이션 문제는 비디오 시퀀스들에 일반적이다. 전형적으로, 이미지 레지스트레이션은 두 개 이상의 비디오 시퀀스들을 상이한 센서들로부터 또는 상이한 관점들로부터 상이한 시각들에 매치하는 이미지 처리에 이용된다. 그러나, 이 이미지 레지스트레이션 영역에서의 이러한 진보에도 불구하고, 이미지들에서 왜곡이 남아 있다. 이들 왜곡은 미스레지스트레이션(예를 들면, 이미지들의 오정렬)을 포함한다. 이러한 상습적인 왜곡들을 제거할 수 없다는 점 외에도, 이들 종래의 이미지 레지스트레이션 알고리즘들은 다량의 검색 공간을 소비하는 반면, 아주 조금만 달성한다. 또한, 종래의 이미지 레지스트레이션 알고리즘들에 의해 수행되는 검색들은 안정적이지 않다.
본 발명의 실시예들은 예로서 설명되는 것으로, 첨부하는 도면들의 모양들에 제한을 위해 예시되는 것은 아니며, 유사한 참조번호들은 유사한 구성요소들을 나타낸다.
도 1은 필드 레지스트레이션을 수행하는 프로세스를 도시한다.
도 2는 실제 포인트와 가상 포인트를 갖는 필드 모델의 호모그래프 매트릭스(homograph matrix)의 실시예를 도시한다.
도 3은 필드 모델과 스크린 이미지들 사이의 호모그래픽 매핑, 및 한층 나아가서 스크린 이미지들 사이의 움직임 전환의 실시예를 도시한다.
도 4는 허프 라인 검출 및 교차점 추출의 실시예를 도시한다.
도 5a-5g는 스포츠 비디오에서의 모델 기반의 플레이 필드 레지스트레이션의 실시예를 도시한다.
도 6은 증대된 상호작용의 분산형 파티클 필터에 기초한 다중 객체 추적을 위한 프로세스의 실시예를 도시한다.
도 7은 증대된 상호작용의 분산형 파티클 필터의 실시예를 도시한다.
도 8은 그룹(예를 들면, 그룹 G)을 형성하며 서로와 상호작용하는 객체들을 도시한다.
도 9는 해상도 720×576 및 960×544의 2개의 비디오 클립들 상에서 구현이 수행될 때 본 발명의 실시예들의 구현의 추적 결과들의 실시예를 도시한다.
도 10은 본 발명의 실시예들의 구현의 추적 결과들의 다른 실시예를 도시한다.
도 11은 소프트웨어 및 하드웨어 컴포넌트들의 하이브리드로서 구현된 본 발명의 실시예들을 갖는 컴퓨팅 시스템의 실시예를 도시한다.
일 실시예에서, 필드 레지스트레이션 기술은 스크린 이미지와 필드 모델 사이의 기하학적 대응관계를 검색하고, 그 다음에 스크린 이미지로부터의 플레이필드(playfield)를 표준 필드 모델에 매핑하는 것이 개시된다. 일반적으로 스포츠, 특히 축구는 본 문서 전체에 걸쳐 단지 예로서, 그리고 간결함과 명확성을 위해 사용된다. 본 문서에 개시된 실시예들이 그들의 내용에 관계없이 임의의 비디오 이미지들에 적용될 수 있다는 것이 고려된다. 스포츠 예시를 계속하면, 스포츠 비디오에서의 키 컴포넌트는 볼과 플레이어들의 움직임 궤적을 필드 모델에 매핑하는 것이다. 그러한 매핑을 수행하는데 있어서, 필드 좌표계 내의 각각의 플레이어의 상대적인 포지션들은 등록된 필드로부터 취득할 수 있다. 이 상대적인 포지션들은 플레이어의 이동 방향, 대략의 속도 및 움직임을 포함한다. 그러한 단서들은 시각적 컴퓨팅 및 컴퓨터 그래핑의 분야에서, 팀 기반의 라인업 및 전술 분석, 움직임 기반의 장면 복구, 비디오 컨텐트 확장 및 편집, 쌍방향의 몰입형 게이밍, 증강 현실(augmented reality) 등을 용이하게 하는 것을 도울 수 있다.
일 실시예에서, 관련된 필드 레지스트레이션 하드웨어 컴포넌트들에 기초한 새로운 필드 레지스트레이션 알고리즘이 제공되어 비디오 이미지들의 효과적이고 실제적인 필드 레지스트레이션을 제공한다. 이 새로운 접근은 우선적으로 뷰 타입(view-type) 분류를 수행하고, 그 다음에 허프 변환(Hough Transform)을 적용하여 필드 라인 마크들(line-marks) 및 그들의 대응하는 교차점들을 검출한다. 이 교차점들은 필드 레지스트레이션을 위한 키 포인트들로서 채택된다. 충분한 키 포인트들이 있는 경우에는(예를 들면, 4 키 포인트들 이상), 최적의 매핑을 검색하기 위한 직접 매칭이 수행된다. 효율적인 검색을 위해, 거리 변환에 의해 생성된 거리 맵을 사용하여 매칭 오류를 계산한다. 또한, 검색을 가속화하기 위해, 몇 개의 고속 거부 기준이 조사되고 이용되어 프로세스의 속도를 빠르게 한다. 키 포인트들의 개수가 충분하지 않은 경우에는(예를 들면 4 키 포인트들 미만), 호모그래피 매트릭스를 직접적으로 취득하지 못할 수 있으나, 그 대신에, 연속적인 프레임들 사이에서 전역적 움직임을 추정하고 현재의 움직임 전환을 임의의 이전의 필드 모델 매핑 매트릭스와 결합하여 현재의 호모그래피 매핑 매트릭스를 유추함으로써 간접적으로 취득할 수 있다. 이 기술 및 그의 효과와 실용성은 이전 단락들에서 더 기술된다.
이 신규하고 실용적인 필드 레지스트레이션 기술은 충분한 키 포인트들을 갖는 임의의 유형들 및 개수의 비디오 이미지들, 및 충분한 키 포인트들을 갖지 않는 임의의 유형들 및 개수의 비디오 이미지들의 경우들을 대상으로 한다. 이러한 개선되고 합리적인 해결책은 필드 레지스트레이션의 임무를 수행하는 어려움을 단순화시킨다. 필드 레지스트레이션 기술은 매칭 오류를 측정하기 위해 거리 변환을 채용하며, 이것은 그 오류가 연속적이게 하고 검색을 더욱 안정되게 하며, 또한, 그것은 몇 개의 고속 거부 기준을 만들어내어 검색 공간을 감소시켜 프로세스를 가속화시킨다.
도 1은 필드 레지스트레이션을 수행하는 프로세스를 도시한다. 처리 블록(102)에서, 프로세서를 포함하는 컴퓨팅 시스템을 갖는 카메라와 같은 비디오 디바이스에 접속된 물리적 인터페이스를 통해 비디오 입력이 수신된다. 처리 블록(104)에서, 수신된 비디오의 사전 처리가 수행된다. 사전 처리는 처리 블록(106)에서 우세 컬러(dominant color) 학습 및 뷰 유형 분류를 수행하는 것을 포함한다. 비디오에서의 우세 컬러는 HSV(Hue-Saturation-Value) 컬러 히스토그램을 축적함으로써 수행되며, 이것은 플레이필드의 잔디 색에 대응한다. 전술한 바와 같이, 스포츠는 (그리고 특히 축구는) 간결함과 명확함을 위해 단지 예로서 이용되는 것으로, 본 발명의 실시예는 스포츠 비디오로 한정되는 것은 아니라는 것을 또다시 유의한다. 예를 들면, (본 명세서에서 이용된) 플레이필드의 잔디 색 대신에, 컬러는 정치적 논쟁 중인 미국 국회의 바닥 색이거나 또는 랠리 중의 잔디의 색이거나 또는 솝 오페라(soap opera) 또는 영화 중의 거실의 색일 수 있다. 그 다음에 접속 컴포넌트(connect-component) 분석을 따라 우세 컬러 세분화 및 형태론적 필터링이 이용되어 플레이필드를 추출한다. 그 후에, 각각의 뷰는 4가지 뷰 유형들:(1) 글로벌 뷰; (2) 중간 뷰; (3) 클로즈업 뷰; 및 (4) 아웃 오브 뷰(out of view) 중 하나로 분류되는 한편, 글로벌 뷰는 추가의 계산을 위해 필드 레지스트레이션 모듈에 제공될 수 있다.
처리 블록(108)에서, 허프 라인 검출 및 교차점 추출이 수행된다. 허프 변환이 수행되어 플레이필드 영역을 추출하고, 그 다음에 플레이필드 영역 내의 우세 컬러에 일치하지 않는 임의의 픽셀들을 남겨두고 그것을 바이레벨(bi-level)(이진) 이미지로 만듦으로써 라인 마크를 검출한다. 그 후에, 이진 이미지에 허프 변환이 적용되어 수평 및 수직 라인 마크들을 검출하고 그러면 그것의 교차 키 포인트들이 얻어진다. 또한, 실제적인 교차점 및 가상 교차점들 양쪽이 검출되고 이용된다. 이것은 도 4에 도시된다.
판정 블록(110)에서, 충분한 키 포인트들이 있는지의 여부에 대한 판정이 행해진다. 포인트들이 충분하게 있으면, 처리 블록(112)에서 새로운 직접 매핑 추정이 수행된다. 이 새로운 직접 매핑 추정은 처리 블록(114)에서 가설 생성 매칭을 통해 수행되고, 후속하여 처리 블록(116)에서 가설 평가 및 최적 대응 검색이 따른다. 포인트들이 충분하지 않으면, 처리 블록(118)에서 간접 매핑 추정이 수행된다. 간접 매핑 추정은 처리 블록(120)에서 키 포인트들 검출, 필터링 및 전역적 움직임 추정을 포함하고, 후속하여 처리 블록(122)에서 현재 매핑 트랜잭션이 수행된다. 어느 경우(즉, 직접 매핑 추정 또는 간접 매핑 추정)에도, 프로세스는 호모그래프 매트릭스(Ht)을 생성하는 것으로 계속된다(124).
전술한 바와 같이, 스크린 이미지와 필드 모델 간에 포인트들이 충분한 경우에는(예를 들어 4개보다 더 많은 대응 포인트들, 그 결과로서 적어도 2개의 수평 라인들과 적어도 2개의 수직 라인들의 교차), 처리 블록(112)에서 직접 추정이 수행되어 호모그래프 매트릭스를 추정한다. 이 직접 추정은 어느 포인트들의 쌍이 서로 대응하고 필드 모델 및 이들 가능한 경우들이 열거되는지를 결정하는 것을 포함하고, 에러 추정을 통해 최적의 것에 대한 검색이 수행된다. 일 실시예에서, 필드 모델은 이들 실시예들이 수행되고 있는 비디오 이미지의 임의의 배경 또는 필드를 지칭한다. 그러나, 축구 테마로 계속해보면, 본 실시예에서는 필드 모델로서 국제 축구 연맹(FIFA)에 의해 정의된 표준 스포츠 축구 필드가 이용된다. 일 실시예에서, 실제적인 교차점들(수평 라인 및 수직 라인과 같은 2개의 실제 라인들의 교차 등) 및 임의의 가상적인 교차점들(하나의 실제 라인과 하나의 연장된 실제 라인의 교차, 또는 2개의 연장된 실제 라인들의 교차 등)이 필드 모델에서 이용된다. 이들 가상 교차점들은 또한 필드 모델의 키 포인트들이며, 비디오 디바이스(예를 들면, 카메라)를 교정하는데 이용될 수 있다.
또한, 매핑 가설 생성(mapping hypothesis generation)에 대하여, 매핑 절차를 단순화하기 위해, 각각의 교차 키 포인트 대응을 가이드하는 데에 라인 마크들이 이용된다. 필드 모델에서 Lh는 수평 라인들의 수를 나타내며, Lv는 수직 라인들의 수를 나타낸다(예를 들면, Lh=10 수평 라인들, 및 Lv=7 수직 라인들). m개의 수평 라인들(Lh=m) 및 n개의 수직 라인들(Lv=n)이 있다고 가정하면,
Figure pat00001
(C(n,k)는 조합 연산이며,
Figure pat00002
임)개의 가능한 조합들이 있으며, 예를 들면, 4쌍의 포인트 대응 및 4쌍의 포인트 대응의 가능한 조합들이 있다. 각각의 조합은 가설로서 지칭될 수 있으며 검출된 이미지 라인들과 필드 모델 라인 마크들 사이의 가능한 대응을 반영한다.
각각의 가설 평가에 있어서, 세계 좌표로부터 이미지 평면으로 매핑 매트릭스 H가 취득된다. 각각의 가설에 대한 신뢰를 평가하기 위하여, 이미지 평면으로 필드 모델을 매핑하고, 매핑된 이미지와 원래 이미지 사이의 거리가 계산된다. 검출된 라인들에 기초하여, 거리 변환 기술이 이용되어 임의의 오류를 측정하기 위한 거리 맵을 얻는다. 거리 맵이 "D"와 동일하면, 오류는
Figure pat00003
이다. 여기서 N은 비제로(non-zero) 픽셀들의 총 수이고, τ는 최대 오류를 제한하기 위한 상수이다. 오류 및 매핑은 서로 역으로 비례할 수 있는데, 예를 들면, 오류가 더 적어질수록, 매핑은 더 우수하다. 최적의 가설은 최종 매칭으로서 이용된다.
검색 공간이 거대하기 때문에, 가설 평가는 계산 전력 요건의 견지에서 요구할 수 있다. 일 실시예에서, 검색 공간을 감소시키기 위해, 아래의 조건 중 하나 이상이 이용되어 일부의 가설을 고속 제거한다: (1) 검출된 라인들(특히, 수직 라인들)의 각도들에 기초하여, 필드 사이드(예를 들면, 왼쪽, 오른쪽, 또는 중앙쪽 사이드)가 추정될 수 있다. 예를 들면, 플레이 포지션이 왼쪽 필드사이드이면, 필드 모델 내에서 매치되어질 라인들은 오른쪽에 있는 것이 아니다. 마찬가지로, 오른쪽 사이드는 그 반대로 처리된다. 이 조건을 사용하여 몇 가지 가설들이 필터링된다: (2) 2개 이상의 수평 라인들 또는 2개 이상의 수직 라인들이 필드 모델과 주어진 모델 사이에서 매칭되었다면, 필드 모델의 크기가 추정된다. 또한, 추정된 크기가 표준 필드 모델과 매우 상이하면, 이 가설은 제거될 수 있고 상이한 조건을 갖는 다른 가설이 이용될 수 있으며, (3) 또 다른 고속 제거는 호모그래피 매트릭스 자체를 평가할 것이다. 호모그래피 매트릭스는 몇 개(예를 들면, 8개)의 자유도를 갖지만, 실제 이미지 형성 프로세스는, 카메라 위치에 대해서 3, 카메라 회전에 대해서 3, 그리고 초점 거리에 대해 1과 같이 상이한 수의 파라미터들(예를 들면, 7)을 가질 수 있다. 나머지 자유도는, 수평 및 수직 방향들로 동일하지 않은 스케일링을 지칭하는 (통상적으로 현실 세계에서 "1"인) β(비-등방성 스케일링)를 포함한다. 이 값은 카메라 교정 이론에 기초하여 취득될 수 있다. 또한, 완전하게 정확하지는 않으며 그의 산출이 수적으로 민감한 이러한 추정된 카메라 파라미터들에 대해서, 0.5 < β < 2의 파라미터 수용 범위가 설정된다.
전술한 바와 같이, 현재 프레임 내에 충분한 키 포인트가 없는 경우(예를 들면, 4보다 작은 경우), 처리 블록(118)에서, 이전 프레임으로부터 현재 프레임으로 카메라 움직임 전환을 수행함으로써 간접 맵핑 추정이 수행되어, 처리 블록(124)에서 현재의 호포그래피 맵핑 매트릭스를 추론한다. 하나의 실시예에서, 이러한 간접 맵핑 추정 절차는 피처(feature) 포인트 검출, 두 개의 연속하는 이미지들 사이의 포인트 매칭, RANSAC(random sample consensus)를 통한 포인트 상 필터링, 및 최소 제곱 추정을 이용한 전역적 움직임 산출 중 하나 이상을 포함한다. 제1 프로세스는 키 포인트를 검출하는 것을 포함하며, 여기에서 코너(corner) 포인트, 해리스(Harris) 포인트, SURF(Speed Up Robust Features) 등이 이용될 수 있다. 또한, SIFT(Scale Invariant Feature Transform) 피처가 키 포인트들을 특징짓는데 이용될 수 있다.
이전 및 현재 프레임들에서 각각 키 포인트들을 검출한 후에, 이전 및 현재 프레임들 사이에 대응이 설정된다. 이전 프레임의 각각의 포인트에 대해, 이전 프레임의 각각의 포인트로부터 현재 프레임의 각각의 포인트로의 거리가 산출되며, 가장 가까운 포인트들 또는 가장 짧은 거리가 그의 대응으로서 취해진다. 키 포인트 대응의 세트는 또한 잡음 또는 잘못된 짝들과 같은 일부 데이터 아웃라이어(outlier)를 포함할 수 있다. 그러한 경우에, 그러한 아웃라이어를 걸러내기 위해 RANSAC 알고리즘이 적용된다. RANSAC 알고리즘은 데이터 아웃라이어들에 직면한 필드 모델들을 로버스트 피팅(robust fitting)하면서 임의의 수의 데이터 아웃라이어들을 다루기 위한 알고리즘을 칭한다. 그 후, 전역적 움직임 파라미터들은 최소 제곱 추정을 이용하여 보존된 불변 포인트 대응과 함께 투시 모델 하에서 계산된다. 예를 들면, 시간 t에서의 호모그래피 맵핑 매트릭스가 Ht이면, 시간 t-1 내지 t의 움직임 전환 매트릭스는 Mt -1이다. 일단 이들 값들이 알려지면, 호모그래피 맵핑 매트릭스는 식: Ht = Mt -1 * Ht -1을 이용하여 획득될 수 있다.
도 2는 실제 포인트(202) 및 가상 포인트(204)를 갖는 필드 모델의 호모그래피 매트릭스(200)의 실시예를 나타낸다. 하나의 실시예에서, 동차 좌표들(homogenous coordinates)을 갖는 3-D 포인트는 P=[X,Y,Z,1]'로 표시되고, 평면 상의 3D 포인트의 Z 요소는 0이어서, P=[X,Y,1]'로 표시된다. 망막 상의 2-D 포인트는 p=[x,y,1]'이다. 핀홀 카메라의 경우에, 실세계 좌표 시스템에서의 3-D 포인트 P와 이의 대응하는 2-D 이미지 포인트 p는 다음의 관계 : p = H * P를 가지며, 여기에서 H는 내재적 및 외재적 파라미터들의 항으로 파라미터화되는 3×3 매트릭스이다. 이는 실세계의 평면과 스크린 이미지 사이의 호모그래프 매트릭스로 불린다.
또한, 매트릭스 H는 몇몇(예를 들면, 8)의 독립 파라미터들을 갖는 스케일 팩터까지 정의된다. 예를 들면, 여덟 개의 파라미터들의 값들을 판정하기 위해, 이미지 위치들 및 필드 모델 위치들 사이의 포인트 대응의 적어도 네 개의 쌍들이 이용된다. 필드가 통상적으로 명확한 포인트-피처들을 갖지 않기 때문에, 포인트-대응을 추정하기 위한 플레이필드 내의 교선들이 이용된다. 실제 선들 및 실제 선들의 연장(예를 들면 가상 선들)에 의해 교차되는 임의의 실제 교차점들(202) 및 가상 교차점들(204)은 키 포인트들로서 여겨지고, 이들 양쪽 모두는 카메라를 교정하는 데에 이용될 수 있다.
도 3은 필드 모델(302)과 스크린 이미지들(304-308) 사이의 호모그래픽 맵핑(310-314), 및 또한 스크린 이미지들(304-308) 사이의 움직임 전환들(316-318)의 실시예를 나타낸다. 축구 예시를 계속 참조하면, 카메라가 근처 골문 앞 영역에 초점을 맞추면, 네 개보다 많은 대응하는 포인트들의 쌍들을 찾는 것은 용이할 것이다. 그러나, 미드 필드 영역 또는 흐리거나 (예를 들면, 고속 카메라 이동에 기인한) 불명료한 이미지의 경우에, 이용가능한 대응하는 키 포인트들이 충분히 존재하지 않을 수 있기 때문에 라인들을 검출하는 것이 약간 어려울 수 있다. 이러한 문제점을 해결하기 위해, 하나의 실시예에서, 전역적 움직임 전환 및 이전 프레임의 호모그래피 매트릭스가 현재 호모그래피 매트릭스(310-314)를 근사하게 추론하는 데에 이용된다. 필드 모델(302)과 스크린 이미지들(304-308) 사이의 (화살표(310-314)에 의해 표시된 바와 같은) 호모그래피 매트릭스(310-314)뿐만 아니라 연속하는 스크린 이미지들(304-308) 사이의 (화살표(316-318)에 의해 표시된 바와 같은) 움직임 전환(316-318)이 여기에 예시된다.
전역적 움직임 모델이, 변환이 또한 3×3 매트릭스인 투시 모델이라고 가정하면, 이전 프레임 It -1 및 전역적 움직임 변환 Mt - 1으로부터의 현재 프레임의 추정(도 5A-5G)은 다음의 식 1을 이용하여 구성될 수 있다: It = Ht * F (식 1). 필드 모델을 F로 표시하면, 필드 모델로부터 이미지까지의 맵핑은 다음의 식 2 및 3이다: It -1 = Ht -1 * F (식 2) 및 It = Mt -1 * It -1 (식 3). 수학식 2를 수학식 1로 치환하면, 이하의 식 4가 얻어진다: It = Mt -1 * Ht -1 * F (식 4). 이제, 수학식 1을 수학식 4와 비교하면, 다음의 식이 된다: Ht = Mt -1 * Ht -1 = Mt -1 * Mt -2 * Ht -2 = … = Mt-1 … Mt -k * Ht -k.
도 4는 허프 라인 검출 및 교차점 추출(400)의 실시예를 나타낸다. 하나의 실시예에서, 허프 변환은 라인 마크(line-mark)를 검출하는 데에 이용된다. 우선, 플레이필드 영역이 추출되고(402), 그 후 우세 색상과 일치하지 않는 픽셀들이 플레이필드 내에서 보존되고(402) 바이레벨 이미지로 만들어진다(404). 그 후, 임의의 수평 및 수직 라인 마크들을 검출하기 위해 이진 이미지에 대해 허프 변환된다(406). 마지막으로, 수평 및 수직 라인들의 교차점들이 얻어지며 실제 및 가상 교차점들 양쪽 모두가 검출되고 이용된다(408).
도 5A-5G는 스포츠 비디오(500)에서의 모델-기반 플레이 필드 레지스트레이션의 실시예를 나타낸다. 컬럼들은 프레임 넘버(501), 원본 스크린 이미지(502), (수직 및 수평 라인들을 갖는) 허프 라인 검출 결과(504), 필드 모델을 실제 이미지로 맵핑한 결과(506), 및 필드 레지스터링된(registered) 결과(508)를 포함한다. MPEG2 포맷(예를 들면, 720×576 프레임 사이즈 및 25 프레임/초)의 비디오 클립에 대해 필드 레지스트레이션을 수행한 결과가 제공된다.
회색 지역은 카메라 초점 영역이다. 리스트된 프레임들에서, 도 5A-5B, 프레임 2-26은 필드 모델의 왼쪽 필드이고, 도 5C-5E, 프레임 120-180은 필드 모델의 좌중간 필드이고, 도 5F-5G, 프레임 1200-1250은 필드 모델의 오른쪽 필드이다. 프레임들(2, 26, 120, 180, 1200 및 1250)의 결과들은 직접 추정에 의해 수신되는 반면, 프레임(130)의 결과는 간접 추정에 의해 획득된다. 또한, 도시된 바와 같이, 허프 라인 이미지는 프레임(130)에서 빠져있는데, 그 이유는 오염되거나 또는 초점이 맞지 않은 이미지(540)로 인해 충분한 수의 키 포인트들이 획득되지 못했기 때문이다.
도 6은 증대된 상호작용의 분산형 입자 필터에 기초한 다중-객체 추적을 위한 프로세스의 실시예를 예시한다. 입력 비디오는 처리 블록(602)에서 수신된다. 입력 비디오는, 하나의 비디오 디바이스로부터 또 다른 비디오 디바이스로의(각각의 디바이스가 소프트웨어 어플리케이션을 가짐), 또는 동일한 비디오 디바이스 내의(예를 들면, 프로세서/CPU를 갖는 카메라) 비디오/버스 인터페이스를 통해 수신될 수 있다. 프로세스 블록(604)에서, 입력 비디오의 배경 모델링 및 전경 추출이 수행된다. 하나의 실시예에서, 증대된 객체 검출(608) 및 상호작용의 분산형 입자 필터(610)가 통합되어, 처리 블록(606)에서 강건하고 효과적인 다중-객체 추적을 수행한다. 이것을 달성하기 위해, BIDPF(boosted interactively distributed particle filter) 소프트웨어 및 하드웨어가 다양한 애플리케이션(예를 들면, 축구 선수 추적 애플리케이션과 같은 스포츠 선수 추적 애플리케이션)에서 자동 다중-객체 추적(MOT: multi-object tracking)의 문제점을 해결하도록 제공된다. 처리 블록(612)에서, 이미지들의 객체 추적 정보(예를 들면, 포지션 및 넘버)가 획득되고 제공된다. 다시, 축구는 단지 여기에서 예로써 그리고 간결함 및 명료함을 위해 이용되며, 본 발명의 실시예들은 임의의 수의 애플리케이션들과 함께 이용될 수 있으며 스포츠 또는 스포츠 애플리케이션들에 제한되지 않는다고 생각된다.
하나의 실시예에서, IDPF(interactive distributed particle filter) 기법(처리 블록(610))은 다양한 타깃들 사이에서 상호 겹침들(occlusions)을 다루기 위해 채택되었다. 동적 모델 및 증대된 검출로부터 정보를 통합한 혼합 모델을 이용하는 제안된 분산은 IDPF 프레임워크 안으로 도입된다. 처리 블록(608)에서, 증대된 제안 분산은 빠른 검출 타깃을 허용하면서, IDPF 프로세스가 상호 겹침들 동안 그러한 타깃들의 아이덴티티를 유지하는 것을 가능하게 한다. 스포츠 비디오에서, 처리 블록(604)에서, 전경이 주어진 플레이필드의 자동 학습 색상 모델을 이용함으로써 추출되어, 증대된 검출의 속도를 높이고 잘못된 경보들을 줄인다. 전경은 또한 데이터-구동 잠재적 모델을 전개하는데에 이용되어 IDPF 성능을 개선시킨다. 몇몇 비디오 시퀀스들에 대해 수행되는 이러한 신규한 접근방법의 결과들 중 일부는 (이전 도면에서 예시된 바와 같이) 다양한 수의 객체들을 추적하는 것을 논증하고, 카메라 움직임 및 상호 겹침들을 갖는 동적 장면에서 그들의 아이덴티티들을 올바르게 유지한다.
도 7은 증대된 상호작용의 분산형 입자 필터의 실시예를 나타낸다. 필드의 색상 모델은 HSV 색상 히스토그램들을 축적함으로써 학습된다. 필드는 그 후 우세 색상 임계처리(thresholding), 형태학적 필터링, 및 접속-컴포넌트 분석을 통해 추출된다(702). 필드의 전경은 우세 색상 모델을 이용하여 필드 색상을 필터링함으로써 획득된다(704). 그 후, 증대된 검출기는 다중 스케일에서 전경 이미지에 걸쳐 스캔한다(706). 이러한 프로세스는 검출을 가속하고 임의의 잘못된 경보들을 감소시킨다. 또한, 타깃들 사이의 상호작용을 다루기 위해, 상호작용의 분산형 접근 방법이 채택된다; 이러한 접근 방법에서, 각 객체에 대한 조건부 밀도 전파는 분산형 스킴으로 객체들의 관측들 중에서 상호작용을 모델링함으로써 공식화된다. 입자 필터링 구현에서, 임의의 겹침 문제점들은 각 파티클의 가중치를 조절함으로써 다루어진다.
하나의 실시예에서, 시간 t에서의 타깃 i의 상태 및 대응하는 관측은
Figure pat00004
및
Figure pat00005
로 표시된다. 시간 t까지 설정된 상태는
Figure pat00006
이며, 여기에서
Figure pat00007
은 초기 상태이고, 시간 t까지 설정된 관측은
Figure pat00008
이다. 시간 t에서의
Figure pat00009
의 상호작용 관측은
Figure pat00010
로 표시되며, 여기에서 Jt의 성분은 그의 관측이
Figure pat00011
와 상호작용하는 객체들의 지수이다. 추적의 목적은 모든 관측
Figure pat00012
에 기초한 경험적 확률(posterior)을 추정하는 것이다. yi가 다른 객체들과 상호작용을 하지 않을 때,
Figure pat00013
, 이 식은 규칙적인 입자 필터 접근 방법과 일치한다. 조건부 임피던스 특성들을 이용하면, 각 상호작용 트래커(tracker)는 다음과 같이 공식화된다 :
Figure pat00014
, 여기에서
Figure pat00015
는 국지적 우도(local likelihood)이고,
Figure pat00016
는 상태 전환 밀도이며, 이는 베이지안(Bayesian) 추적 접근 방법과 유사하다. 식
Figure pat00017
는 상호작용 우도로 알려져 있으며, 이는 타깃들 사이의 상호작용을 특징짓는다. 타깃들 사이에 어떠한 적분도 없는 경우, 이 식은 다수의 독립 베이지안 트래커들로 디그레이드(degrade)된다.
입자 필터 구현에서, 경험적 확률
Figure pat00018
는 가중화된 샘플들
Figure pat00019
의 세트에 의해 특징지어지며, 여기에서
Figure pat00020
이다(N은 샘플들의 개수임). 중요부 샘플링 이론(importance sampling theory)에 따르면, 가중치들은
Figure pat00021
로 업데이트된다.
도 8은 그룹(예를 들면 그룹 G)을 형성하는 서로 상호작용하는 객체들(802-806)을 나타낸다. 데이터-구동(data-driven) 잠재적 모델은 입자들의 가중치들을 조정하기 위해 상호작용 우도
Figure pat00022
를 추정하도록 전경 관측에 기초하여 제안된다. 또한, G는 상호작용 객체들에 의해 형성된 이미지 그룹으로써 표시되고, FG(802)는 이미지 전경으로써 표시되고, SG(804)는 G의 모든 선수들의 이미지 지역의 결합으로서 표시되며, p 11 은 선수 지역의 픽셀이 전경에 속할 확률이고, p 10 은 선수 지역의 픽셀이 전경에 속하지 않을 확률이고, p 01 은 선수 밖의 픽셀이 전경에 있을 확률이고, p 00 은 선수 밖의 픽셀이 배경에 있을 확률이며, 여기에서 p 11 +p 10 =1, p 11 >p 10 , p 01 +p 00 =1, 및 p 01 <p 00 이다.
픽셀들이 독립이라고 가정하면, 이하의 우도를 얻는다:
Figure pat00023
여기에서, CG는 표준화 상수이고, λ 10 및 λ 01 은 p 10 및 p 01 에 각각 의존하는 두 개의 계수이고, ∩은 두 지역의 공통 부분이다. 우도는 N 10 및 N 01 에 의존한다. 806에 도시된 바와 같이, 직사각형(808) 외부의 백색 픽셀들은 N10을 형성하고, 직사각형(810) 내부의 흑색 픽셀들은 N01을 형성한다. 제안된 잠재적 모델을 활용함으로써, 상호작용 우도
Figure pat00024
는 객체들의 추정들이 관측들을 잘 해석하지 못하는 확률을 감소시키며; 이에 따라, 관측을 겹침에서 분리시켜 병합 문제를 해결할 수 있다.
레이블링(labeling) 문제점을 해결하기 위해, 하나의 실시예에서, 상태 전환 확률
Figure pat00025
는 다음과 같이 추정된다:
Figure pat00026
, 여기에서,
Figure pat00027
는 전통적 상태 전환 밀도이고 이는 등가속도 모델을 이용함으로써 추정될 수 있다. 또한, 내적 가중치
Figure pat00028
는 다음과 같이 정의된다:
Figure pat00029
, 여기에서, σ θ , σ γ 는 각각 움직임 벡터의 방향 및 속도의 허용가능한 변화를 특징짓는 프라이어(prior) 상수이다.
Figure pat00030
은 i번째 객체의 n번째 입자
Figure pat00031
의 움직임 벡터이고;
Figure pat00032
는
Figure pat00033
로부터
Figure pat00034
까지의 기준 움직임 벡터를 나타낸다.
Figure pat00035
는
Figure pat00036
과
Figure pat00037
사이의 각도이다.
Figure pat00038
는 L 2 평균을 나타낸다.
입자 필터링 효과를 유지하는데 있어서의 문제점은 어떻게 제안 분산을 설계할지이다. 하나의 실시예에서, 동적 프라이어 및 증대 방향들 양쪽 모두를 결합하는 가우시안 모델의 혼합은 다음과 같다:
Figure pat00039
. 파라미터들 σ q는 증대 검출의 가우시안 분산과 동적 프라이어 사이의 겹침에 의해 동적으로 업데이트된다. 최근접 이웃 알고리즘(Nearest Neighbor algorithm)은 현존 트랙들에 증대 방향들을 할당하는 것의 데이터 연계를 위해 이용된다.
국지적 우도
Figure pat00040
에 관하여, 타깃의 관측은 위치 xi t에 중심이 있는 지역 R(xi t)로부터 추출된 색 분산의 커널(kernel) 밀도 추정에 의해 표현된다. 바타차야(Bhattacharyya) 계수가 현재 관측 K(xt) 및 기준 모델
Figure pat00041
,
Figure pat00042
Figure pat00043
사이의 유사도를 평가하기 위해 적용된다. 또한, 관측의 공간 정보를 인코딩하기 위해, 다중 파트 색상 모델이 채택되며, 이는 객체를 수직으로 두 개의 파트로 분할한다. 따라서, 타깃 I의 국지적 우도는 다음과 같이 정의된다:
Figure pat00044
.
도 9는 해상도 720 × 576 및 960 × 544의 두 개의 비디오 클립들에 대하여 구현이 수행된 경우의 본 발명의 실시예의 추적 결과들의 실시예를 나타낸다. 예시들 중 행(902-906)은 장면에 진입한 새로운 선수에 특히 초점을 맞춘다. 하나의 실시예에서, 진입하는 선수는 비교적 과한 겹침들을 갖더라도 빠르게 검출되고 강건하게 추적된다. 예시된 바와 같이, 행(904)은 행(902)의 제1 이미지에서 레이블링된 타원 영역의 클로즈-업 뷰를 도시한다. 하나의 기법에서, 각 선수에 대한 둘러싼 박스(예를 들면, 트래커)(908-912)의 색상은 선수가 다른 선수들과 상호작용을 하지 않는다면 유일할 것이다. 그렇지 않은 경우, 트래커들의 색상은 흑색으로 변경될 수 있다. 정확한 아이덴티티들은 겹침 동안에 유지되며, 이는 상호작용 우도를 통해 입자들에 대한 제안된 가중치 조정 스킴에서 이익을 받는다. 행(904)은 (세 개의 트래커들(914-918)로부터 두 개의 트래커들(914-916) 등으로 가는 것과 같은) 트래커들이 가까워질 때 함께 병합되는 트래커들을 예시한다. 또한, 겹침 후에 동일한 타깃의 레이블이 달라질 수 있도록 단일 트래커가 두 개의 트래커로 분할될 수 있다면 새로운 트랙이 생성될 수 있다.
도 10은 본 발명의 실시예들의 구현의 추적 결과들의 또 다른 실시예를 예시한다. 실시예에서, 행들(1002-1008)은 선수들의 추적 결과들을 예시한다. 각 선수(1010-1019)는 대응하는 트래커(1020-1029)를 이용하여 개별적으로 추적되고, 도시된 바와 같이, 각 선수(1010-1019)는 개별적으로 추적되고 그의 아이덴티티는 임의의 부분적 또는 완전한 겹침에 관계없이 정확히 유지된다.
도 11은 소프트웨어 및 하드웨어 컴포넌트들의 하이브리드로써 구현된 본 발명의 실시예들을 갖는 컴퓨팅 시스템(1100)의 실시예를 나타낸다. 실시예들의 특정 기능성들은 하드웨어로 구현되며, 특정한 그외의 기능성들은 소프트웨어로 구현된다. 예시된 바와 같이, CPU 칩(1102)은 비디오 코프로세서(1110)와 함께 작동하도록 설계된다. 비디오 코프로세서(1110)는 GPU(graphics processing unit)와 같은 그외의 처리 유닛들을 갖는 비디오 디바이스(예를 들면, 비디오 카메라)의 일부분일 수 있다. 일 실시예에서, 비디오 코프로세서(1110)는 임의의 종래의 동작들과 협력하여 본 발명의 실시예들을 수행하기 위해 그외의 종래의 소프트웨어 및 하드웨어 로직과 함께 작동하는 임의의 수의 신규한 소프트웨어 로직 및 하드웨어 로직(1100)을 이용한다.
RAM(random access memory)(1106)는 객체 정보를 갖는 애플리케이션 데이터베이스를 포함한다. 메모리 컨트롤러(1104)는 RAM(1106)에서 데이터를 액세스하고 처리하기 위해 CPU(1102) 및/또는 비디오 코프로세서(1110)로 전달한다. RAM(1106)은 DDR RAM(double data rate RAM), EDO RAM(extended data output RAM) 등을 포함할 수 있다. 임의의 데이터(예를 들면, 비디오 이미지들 또는 처리될 그외의 입력 데이터)는 메모리(1108)에 저장될 수 있고, 나중에, 임의의 결과적인 데이터(예를 들면, 최종 비디오 이미지들 및 임의의 관련 정보)(1212)가 그 후 디스플레이 디바이스(1112)로 전송된다. 대안으로, 비디오 컨트롤러가 CPU(1102)와 동일한 다이 상에 있을 수 있고 캐시를 공유할 수 있으며 메모리 컨트롤러가 이용될 수 있다. 디스플레이(1112)는 CRT(Cathode Ray Tube), TFT(Thin Film Transistor), LCD(Liquid Crystal Display), DLP 등과 같은 다양한 유형의 것일 수 있다.
하나의 실시예에서, 전술한 바와 같은 그래픽 파이프라인 중 일부 프로세스들이 소프트웨어로 구현되는 반면, 나머지 것들이 하드웨어로 구현된다. 메모리(208)는 사전 할당된 지역의 버퍼를 포함할 수 있지만; 본 발명은 그것에 제한되지 않으며, 더 낮은 그래픽 파이프라인에 액세스가능한 임의의 메모리가 이용될 수 있다는 것이 본 기술 분야에 통상의 지식을 가진자들 중 하나에 의해 이해될 것이다. 컴퓨터 시스템(1100)은 입/출력(I/O) 제어 허브(ICH), 하나 이상의 I/O 디바이스 등을 더 포함할 수 있다.
CPU(1102)는 컴퓨팅 시스템을 구현하는 임의의 소프트웨어 루틴들을 수행하기 위한 명령어들을 실행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 명령어들은 데이터에 대해 수행되는 일종의 동작을 자주 포함한다. 데이터 및 명령어들 양쪽 모두는 시스템 메모리(1108) 및 임의의 연관된 캐시에 저장된다. 캐시는 일반적으로 시스템 메모리(1108)보다 더 짧은 레이턴시 시간을 갖도록 설계되며; 예를 들면, 캐시는 프로세서(들)와 동일한 실리콘 칩(들) 상에 통합될 수 있고 및/또는 더 빠른 SRAM(static RAM) 셀들로 구성될 수 있는 반면, 시스템 메모리(1108)는 더 느린 DRAM(dynamic RAM) 셀들로 구성될 수 있다. 시스템 메모리(1108)에 대립되는 것으로서 캐시에 더욱 자주 이용되는 명령어들 및 데이터를 저장하도록 시도함으로써, 컴퓨팅 시스템(1100)의 전체 성능 효율이 개선된다.
시스템 메모리(1108)는 고의로 컴퓨팅 시스템(1100) 내의 그외의 컴포넌트들에 이용가능하게 만들어진다. 예를 들면, 다양한 인터페이스들(예를 들면, 키보드 및 마우스, 프린터 포트, LAN(Local Area Network) 포트, 모뎀 포트 등)로부터 컴퓨팅 시스템(1100)에 수신되거나 또는 컴퓨팅 시스템(1100)의 내부 저장 엘리먼트(예를 들면, 하드 디스크 드라이브)로부터 검색된 데이터(예를 들면, 입력 그래픽 데이터)는 종종 소프트웨어 프로그램의 실행으로 하나 이상의 프로세서(들)에 의해 그것이 동작되기 전에 시스템 메모리(1108)로 임시적으로 큐잉된다(queued). 마찬가지로, 컴퓨팅 시스템 인터페이스들 중 하나를 통해 컴퓨팅 시스템(1100)으로부터 외부 엔티티로 보내져야 하거나, 또는 내부 저장 엘리먼트로 저장되어야 하는 것으로 소프트웨어 프로그램이 판정한 데이터는 종종 그것이 송신되거나 또는 저장되기 전에 시스템 메모리(1108)에 임시로 큐잉된다.
ICH는 그러한 데이터가 시스템 메모리(1108)와 그의 적절한 대응하는 컴퓨팅 시스템 인터페이스(및 컴퓨팅 시스템이 그렇게 설계된 경우 내부 저장 디바이스) 사이에서 올바르게 통과되는 것을 확실하게 하는 데에 이용될 수 있으며, 그 자신과 관찰된 I/O 디바이스 사이에서 양방향 포인트 대 포인트 링크들을 가질 수 있다. 메모리 컨트롤러(1104)는, 서로에 관하여 대략 때맞춰 증가할 수 있는, CPU(1102), 인터페이스들 및 내부 저장 엘리먼트들 사이에서의 시스템 메모리(1108) 액세스들에 대한 다양한 경합하는 요청들을 관리하는 데에 이용될 수 있다.
하나 이상의 I/O 디바이스들은 또한 컴퓨팅 시스템(1100)에 및/또는 그로부터 데이터를 전송하기 위해 구현될 수 있거나(예를 들면, 네트워킹 어댑터); 또는, 컴퓨팅 시스템(1100) 내의 큰 스케일의 비휘발성 저장 장치(예를 들면 하드 디스크 드라이브)에 대해 구현될 수 있다.
본 발명의 다양한 실시예들 중 일부분들은 컴퓨터 프로그램 제품으로써 제공될 수 있으며, 상기 컴퓨터 프로그램은 컴퓨터 프로그램 명령어가 저장된 컴퓨터-판독가능 매체를 포함할 수 있고, 상기 컴퓨터 프로그램 명령어는 본 발명의 실시예에 따른 프로세스를 수행하도록 컴퓨터(또는 그외의 전자 디바이스들)를 프로그램하는 데에 이용될 수 있다. 머신-판독가능 매체는 플로피 디스켓, 광학 디스크, CD-ROM(compact disk read-only memory), 및 자기-광학 디스크, ROM, RAM, EPROM(erasable programmable read-only memory), EEPROM(electrically EPROM), 자기 또는 광학 카드, 플래시 메모리, 또는 그외의 유형의 전자 명령어들을 저장하기에 적합한 매체/머신-판독가능 매체를 포함할 수 있으나, 이에 제한되는 것은 아니다.
상기 명세서에서, 본 발명은 그의 특수한 예시적인 실시예들을 참조하여 설명되었다. 그러나, 첨부된 청구항들에서 진술한 바와 같은 본 발명의 넓은 정신 및 범주로부터 벗어나지 않고 다양한 수정들 및 변경들이 그에 행해질 수 있다는 것은 명백하다. 따라서, 명세서 및 도면들은 제한하는 것보다는 오히려 예시적인 것으로 간주되어야 한다.

Claims (25)

  1. 입력 비디오 이미지를 처리하는 단계 ― 상기 처리하는 단계는 상기 비디오 이미지에 관하여 키 포인트들을 추출하는 단계를 포함함 ―;
    상기 비디오 이미지에 관하여 충분한 키 포인트들이 추출되었는지를 검출하는 단계;
    충분한 키 포인트들이 추출되었다면 상기 비디오 이미지의 직접 추정을 수행하는 단계; 및
    상기 직접 추정에 기초하여 최종 비디오 이미지의 호모그래프 매트릭스(homograph matrix)를 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 직접 추정은, 적어도 두 개의 수직 포인트들을 가로지르는 적어도 두 개의 수평 라인들에 관하여 상기 키 포인트들을 검출하고 평가함으로써 맵핑 가설(hypothesis)을 생성하는 것을 포함하는 방법.
  3. 제1항에 있어서,
    충분한 키 포인트들이 추출되지 않았다면 상기 비디오 이미지의 간접 추정을 수행하는 단계를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 간접 추정은 두 개의 연속적인 이미지들 사이의 포인트 매칭을 포함하는 전역적 움직임 추정을 수행하는 것을 포함하는 방법.
  5. 제1항에 있어서,
    상기 비디오 이미지를 사전 처리하는 단계를 더 포함하고, 상기 사전 처리하는 단계는 상기 비디오 이미지의 뷰-유형(view-type) 분류를 수행하는 단계를 포함하는 방법.
  6. 제1항에 있어서, 디스플레이 디바이스 상에 상기 최종 비디오 이미지를 디스플레이하는 단계를 더 포함하는 방법.
  7. 입력 비디오 이미지를 수신하는 단계;
    상기 비디오 이미지 내의 다수의 객체를 추적하는 단계 ― 각 객체는 각 객체가 개별적으로 추적되도록 트래커(tracker)가 할당됨 ―; 및
    상기 다수의 객체의 추적으로부터 발생한 추적 정보를 획득하는 단계
    를 포함하는 방법.
  8. 제7항에 있어서,
    상기 추적하는 단계는 증대된 객체들을 검출하는 단계 및 상호작용의 분산형 입자 필터링을 수행하는 단계를 포함하는 방법.
  9. 제7항에 있어서,
    상기 비디오 이미지의 배경 모델링 및 배경 추출을 수행하는 단계를 더 포함하는 방법.
  10. 저장 매체 및 상기 저장 매체에 결합된 프로세서를 갖는 데이터 처리 시스템으로서,
    상기 프로세서는,
    입력 비디오 이미지를 처리하고 ― 상기 처리하는 것은 상기 비디오 이미지에 관하여 키 포인트들을 추출하는 것을 포함함 ―;
    상기 비디오 이미지에 관하여 충분한 키 포인트들이 추출되었는지를 검출하고;
    충분한 키 포인트들이 추출되었다면 상기 비디오 이미지의 직접 추정을 수행하고;
    상기 직접 추정에 기초하여 최종 비디오 이미지의 호모그래프 매트릭스를 생성하는 데이터 처리 시스템.
  11. 제10항에 있어서,
    상기 직접 추정은 적어도 두 개의 수직 포인트들을 가로지르는 적어도 두 개의 수평 라인들에 관하여 상기 키 포인트들을 검출하고 평가함으로써 맵핑 가설을 생성하는 것을 포함하는 데이터 처리 시스템.
  12. 제10항에 있어서,
    상기 프로세서는 충분한 키 포인트들이 추출되지 않았다면 상기 비디오 이미지의 간접 추정을 더 수행하는 데이터 처리 시스템.
  13. 제12항에 있어서,
    상기 간접 추정은 두 개의 연속하는 이미지들 사이의 포인트 매칭을 포함하는 전역적 움직임 추정을 수행하는 것을 포함하는 데이터 처리 시스템.
  14. 제10항에 있어서,
    상기 프로세서는 상기 비디오 이미지를 더 사전 처리하고, 상기 사전 처리하는 것은 상기 비디오 이미지의 뷰-유형 분류를 수행하는 것을 포함하는 데이터 처리 시스템.
  15. 저장 매체 및 상기 저장 매체에 결합된 프로세서를 갖는 데이터 처리 시스템으로서,
    상기 프로세서는,
    입력 비디오 이미지를 수신하고;
    상기 비디오 이미지 내의 다수의 객체를 추적하고 ― 각 객체는 각 객체가 개별적으로 추적되도록 트래커가 할당됨 ―;
    상기 다수의 객체의 추적으로부터 발생한 추적 정보를 획득하는 데이터 처리 시스템.
  16. 제15항에 있어서,
    상기 추적하는 것은 증대된 객체들을 검출하는 것과 상호작용의 분산형 입자 필터링을 수행하는 것을 포함하는 데이터 처리 시스템.
  17. 제15항에 있어서,
    상기 프로세서는 상기 비디오 이미지의 배경 모델링 및 배경 추출을 더 수행하는 데이터 처리 시스템.
  18. 명령어들을 포함하는 머신-판독가능 매체로서,
    상기 명령어들은, 실행될 때, 머신으로 하여금,
    입력 비디오 이미지를 처리하고 ― 상기 처리하는 것은 상기 비디오 이미지에 관하여 키 포인트들을 추출하는 것을 포함함 ―;
    상기 비디오 이미지에 관하여 충분한 키 포인트들이 추출되었는지를 검출하고;
    충분한 키 포인트들이 추출되었다면 상기 비디오 이미지의 직접 추정을 수행하고;
    상기 직접 추정에 기초하여 최종 비디오 이미지의 호모그래프 매트릭스를 생성하게 하는 머신-판독가능 매체.
  19. 제18항에 있어서,
    상기 직접 추정은 적어도 두 개의 수직 포인트들을 가로지르는 적어도 두 개의 수평 라인들에 관하여 상기 키 포인트들을 검출하고 평가함으로써 맵핑 가설을 생성하는 것을 포함하는 머신-판독가능 매체.
  20. 제18항에 있어서,
    상기 명령어들은, 실행될 때, 상기 머신으로 하여금 충분한 키 포인트들이 추출되지 않았다면 상기 비디오 이미지의 간접 추정을 더 수행하게 하는 머신-판독가능 매체.
  21. 제20항에 있어서,
    상기 간접 추정은 두 개의 연속하는 이미지들 사이의 포인트 매칭을 포함하는 전역적 움직임 추정을 수행하는 것을 포함하는 머신-판독가능 매체.
  22. 제18항에 있어서,
    상기 명령어들은, 실행될 때, 상기 머신으로 하여금 상기 비디오 이미지를 더 사전 처리하게 하고, 상기 사전 처리하는 것은 상기 비디오 이미지의 뷰-유형 분류를 수행하는 것을 포함하는 머신-판독가능 매체.
  23. 명령어들을 포함하는 머신-판독가능 매체로서,
    상기 명령어들은, 실행될 때, 머신으로 하여금,
    입력 비디오 이미지를 수신하고;
    상기 비디오 이미지 내의 다수의 객체를 추적하고 ― 각 객체는 각 객체가 개별적으로 추적되도록 트래커가 할당됨 ―;
    상기 다수의 객체의 추적으로부터 발생한 추적 정보를 획득하게 하는 머신-판독가능 매체.
  24. 제23항에 있어서,
    상기 추적하는 것은 증대된 객체들을 검출하는 것과 상호작용의 분산형 입자 필터링을 수행하는 것을 포함하는 머신-판독가능 매체.
  25. 제23항에 있어서,
    상기 명령어들은, 실행될 때, 상기 머신으로 하여금 상기 비디오 이미지의 배경 모델링 및 배경 추출을 더 수행하게 하는 머신-판독가능 매체.
KR1020100132829A 2009-12-23 2010-12-22 모델 기반의 플레이 필드 레지스트레이션 KR101232509B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/646,807 2009-12-23
US12/646,807 US8553982B2 (en) 2009-12-23 2009-12-23 Model-based play field registration

Publications (2)

Publication Number Publication Date
KR20110073367A true KR20110073367A (ko) 2011-06-29
KR101232509B1 KR101232509B1 (ko) 2013-02-12

Family

ID=43859766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132829A KR101232509B1 (ko) 2009-12-23 2010-12-22 모델 기반의 플레이 필드 레지스트레이션

Country Status (7)

Country Link
US (1) US8553982B2 (ko)
EP (1) EP2357611A3 (ko)
JP (1) JP5335762B2 (ko)
KR (1) KR101232509B1 (ko)
CN (1) CN102110293B (ko)
RU (1) RU2480832C2 (ko)
TW (1) TWI512683B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150021351A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011772B (zh) 2011-10-19 2017-02-15 克朗设备公司 基于识别和跟踪图像场景中的多个对象来控制车叉
US20130335635A1 (en) * 2012-03-22 2013-12-19 Bernard Ghanem Video Analysis Based on Sparse Registration and Multiple Domain Tracking
US8849041B2 (en) 2012-06-04 2014-09-30 Comcast Cable Communications, Llc Data recognition in content
US20130335579A1 (en) * 2012-06-15 2013-12-19 Palo Alto Research Center Incorporated Detection of camera misalignment
US8873845B2 (en) 2012-08-08 2014-10-28 Microsoft Corporation Contextual dominant color name extraction
CN106899311B (zh) 2012-09-24 2023-11-03 华为技术有限公司 混合极性码的生成方法和生成装置
CN103065311A (zh) * 2012-12-26 2013-04-24 中国土地勘测规划院 基于基准影像库的卫星影像自动配准方法
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
US10664687B2 (en) * 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
JP6456244B2 (ja) * 2015-05-25 2019-01-23 Kddi株式会社 カメラキャリブレーション方法および装置
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
JP6583923B2 (ja) * 2016-08-19 2019-10-02 Kddi株式会社 カメラのキャリブレーション装置、方法及びプログラム
GB2590034B (en) 2017-04-21 2021-12-22 Zenimax Media Inc Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
US10210411B2 (en) * 2017-04-24 2019-02-19 Here Global B.V. Method and apparatus for establishing feature prediction accuracy
CN110033476A (zh) * 2018-01-11 2019-07-19 富士通株式会社 目标速度估计方法、装置和图像处理设备
RU2705423C1 (ru) * 2019-01-17 2019-11-07 Общество с ограниченной ответственностью "РАСТР ТЕХНОЛОДЖИ" Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона
CN113574866B (zh) * 2019-02-28 2024-08-02 斯塔特斯公司 校准捕捉广播视频的移动相机的系统及方法
JP7297720B2 (ja) * 2020-07-28 2023-06-26 Kddi株式会社 カメラキャリブレーション方法、装置およびプログラム
US11468578B2 (en) 2020-09-14 2022-10-11 Amazon Technologies, Inc. Systems and methods for video-based sports field registration

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
JP4036328B2 (ja) 2002-09-30 2008-01-23 株式会社Ｋｄｄｉ研究所 動画像データのシーン分類装置
JP2006309529A (ja) 2005-04-28 2006-11-09 Fujitsu Ltd 画像抽出方法、装置、および証明書用写真生成装置
JP4712487B2 (ja) * 2005-08-25 2011-06-29 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
GB2431717A (en) 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US7877706B2 (en) * 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
CN101681433B (zh) 2007-03-26 2014-01-08 汤姆森特许公司 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置
JP5084374B2 (ja) * 2007-07-06 2012-11-28 株式会社トプコン 位置計測装置及び位置計測方法
JP2009251940A (ja) 2008-04-07 2009-10-29 Sony Corp 情報処理装置および方法、並びにプログラム
JP5040796B2 (ja) * 2008-05-09 2012-10-03 大日本印刷株式会社 室内調度品購入支援システム、方法、プログラム、媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150021351A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법

Also Published As

Publication number Publication date
JP5335762B2 (ja) 2013-11-06
CN102110293B (zh) 2014-12-31
TW201142750A (en) 2011-12-01
RU2480832C2 (ru) 2013-04-27
JP2011134322A (ja) 2011-07-07
US20110150275A1 (en) 2011-06-23
TWI512683B (zh) 2015-12-11
RU2011101370A (ru) 2012-07-20
EP2357611A2 (en) 2011-08-17
EP2357611A3 (en) 2012-03-07
US8553982B2 (en) 2013-10-08
CN102110293A (zh) 2011-06-29
KR101232509B1 (ko) 2013-02-12

Similar Documents

Publication Publication Date Title
KR101232509B1 (ko) 모델 기반의 플레이 필드 레지스트레이션
Hodan et al. Bop: Benchmark for 6d object pose estimation
Sinha et al. Feature tracking and matching in video using programmable graphics hardware
CN103325112B (zh) 动态场景中运动目标快速检测方法
US7756296B2 (en) Method for tracking objects in videos using forward and backward tracking
Srivatsa et al. Salient object detection via objectness measure
JP2008519357A (ja) データ駆動確率伝播を伴う人間の姿勢推定
CN106228544A (zh) 一种基于稀疏表示和标签传播的显著性检测方法
Wang et al. Robust edge-based 3D object tracking with direction-based pose validation
Romero-Ramirez et al. Tracking fiducial markers with discriminative correlation filters
CN112489088A (zh) 一种基于记忆单元的孪生网络视觉跟踪方法
Tsai et al. Vision-Based Obstacle Detection for Mobile Robot in Outdoor Environment.
Giannarou et al. Affine-invariant anisotropic detector for soft tissue tracking in minimally invasive surgery
CN109711445B (zh) 目标跟踪分类器在线训练样本的超像素中智相似加权方法
Chen et al. High Precision ORB-SLAM Dense Reconstruction Based on Depth Visual Odometer in Dynamic Environments
Yoshimoto et al. Cubistic representation for real-time 3D shape and pose estimation of unknown rigid object
Zhou et al. Orb-based template matching through convolutional features map
Ma et al. Robust automatic camera calibration in badminton court recognition
Southey et al. Object discovery through motion, appearance and shape
Elafi et al. Fuzzy chromatic co-occurrence matrices for tracking objects
Jiang et al. Discriminative metric preservation for tracking low-resolution targets
EP4198895A1 (en) Planar object tracking method and system, computer program, computer-readable storage medium
Gan et al. Ar3dHands: A Dataset and Baseline for Real-Time 3D Hand Pose Estimation from Binocular Distorted Images
Zheng et al. Estimation of video sequence homography based on a first-order estimation method
Chen et al. SamSLAM: A Visual SLAM Based on Segment Anything Model for Dynamic Environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 7