KR20070083575A - 이미지 기반 움직임 트래킹 - Google Patents

이미지 기반 움직임 트래킹 Download PDF

Info

Publication number
KR20070083575A
KR20070083575A KR1020077006321A KR20077006321A KR20070083575A KR 20070083575 A KR20070083575 A KR 20070083575A KR 1020077006321 A KR1020077006321 A KR 1020077006321A KR 20077006321 A KR20077006321 A KR 20077006321A KR 20070083575 A KR20070083575 A KR 20070083575A
Authority
KR
South Korea
Prior art keywords
image
objects
area
stereo
tracking
Prior art date
Application number
KR1020077006321A
Other languages
English (en)
Inventor
폴케 이작손
요한 보그
Original Assignee
사브 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사브 에이비 filed Critical 사브 에이비
Publication of KR20070083575A publication Critical patent/KR20070083575A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

본 발명은 특정 영역에서 다수의 대상에 대한 이미지 기반의 움직임 트래킹에 관한 것이다. 다수의 이미지 등록 수단이 상기 영역의 내부에서 발생하는 이벤트의 동시적인 다수의 표현에 대한 데이터를 반복적으로 기록한다. 특히, 카메라(101a, 101b )의 하나 이상의 스테레오-쌍은, 데이터 프로세싱 유닛(110)이 각각의 대상에 대한 각각의 포지션을 반복적으로 결정하는 것을 바탕으로 하여, 스테레오-이미지 데이터(D1', D1")를 반복적으로 기록한다. 본 발명에 따라서, 스테레오-쌍에서 제 1 카메라(101a)와 제 2 카메라(101b)가 기본 거리만큼 이격되어 있다. 덧붙이자면, 카메라(101a, 101b)는 평행으로 영역을 향하고 있으며, 제 1 카메라(101a)의 제 1 이미지 평면이, 제 2 카메라(101b)의 제 2 이미지 평면에 의해 등록되는 영역의 일부분과 겹치는 영역의 일부분을 등록한다.

Description

이미지 기반 움직임 트래킹{IMAGE-BASED MOVEMENT TRACKING}
본 발명은 일반적으로 복잡한 장면(complex scene)의 이미지 기반 움직임 트래킹(image-based movement tracking)에 관한 것이다. 더욱 세부적으로는, 본 발명은 청구항 제 1 항의 전제부에 따르는 배열에 관한 것이며, 청구항 제 13 항의 전제부에 따르는 컴퓨터 프로그램에 관한 것이며, 청구항 제 26 항에 따르는 컴퓨터 판독가능한 매체에 관한 것이다.
오늘날의 이미지 프로세싱 기법은 복잡한 장면으로부터의 데이터의 실시간 추출을 갖는다. 예를 들어, 비디오 카메라에 의해 기록된 이미지를 바탕으로 하여 서로 다른 종류의 차가 구별되고 트래킹(tracking)된다. 국제 특허 출원 WO 90/13023은 제어국, 가령 통행료 시설에서 이뤄지는 차의 식별을 위한 장치를 기술하고 있다. 본원에서, 특정 조명 장치 하에서, 하나 이상의 비디오 카메라가 차량 프로파일을 등록한다.
또한 적정 이미지 프로세싱 설비와 연계되어 있는 카메라를 이용하여, 개인이 자동으로 트래킹될 수 있다. 문서 US 6,359,647은 다중 카메라 감시 시스템 내의 여러 다른 카메라의 시계 사이에서, 표적 대상을 트래킹할 수 있는 자동화 카메라 핸드오프 시스템(automated camera handoff system)에 관한 것이다. 결과적으 로, 표적 대상이 제 1 카메라의 시계를 떠나서, 제 2 카메라의 시계로 들어간 것으로 추정될 때, 제 2 카메라가 이미지를 발생시키는 책임을 넘겨받는다.
그 밖의 다른 적용예에서, 둘 이상의 카메라를 이용하여, 동일한 장면의 이미지를 등록하는 것이 관련이 있을 수 있다. 스포츠 이벤트가 이러한 하나의 예가 된다. 왜냐하면, 게임의 이벤트에 따라 서로 다른 시각이 흥미로울 수 있기 때문이다. 따라서 제 1 카메라가 특정 이벤트를 등록할지라도, 제 1 카메라로부터 제 2 카메라로의 전환이 바람직할 수 있다. 국제 특허 출원 WO 03/056809는 운동 경기의 움직임, 가령 축구장에서 뛰고 있는 축구 선수를 실시간 모니터링하기 위한 시스템을 기술하고 있다. 이러한 시스템은, 경기장에서 특정 이벤트의 필름에 담는 것을 수행하기 위해 가장 바람직하게 위치하고 있는 카메라가 다수의 카메라 중 어느 카메라인지를 자동으로 결정한다. 따라서 시스템은 축구 경기 등의 TV 녹화/전송을 담당하는 프로듀서를 보조한다.
그럼에도 불구하고, 많은 스포츠에서, 개별 스포츠 참가자가 취하는 동작의 관점에서, 다양한 종류의 통계적이고, 분석적인 정량 데이터(quantitative data)를 생산하는 것이 바람직하다. 예를 들어, 축구, 미식축구, 농구, 배구, 하키, 테이스 등의 게임에서, 코트 점유율, 총 주행 거리, 최대 주행 속도, 평균 주행 속도, 볼 점유 시간, 경기장에 대한 특정 선수의 공간적인 분포, 또는 다른 선수에 대한 공간적인 분포를 결정하는 것이 바람직할 수 있다. 문서 US 5,363,297은 이러한 데이터 레코드를 생성하기 위해, 자동화 카메라 기반의 트래킹 시스템을 기술하고 있다. 본원에서, 대략 서로 직교하며 위치하고 있는 두 대의 카메라(예를 들어, 경기 장의 오버헤드-뷰(overhead-view)를 촬영하는 제 1 카메라와, 경기장의 사이드-뷰(side-view)를 촬영하는 제 2 카메라)가 사용되는 것이 바람직하다. 즉 이에 따라서, 그림자가 있는 상황, 실루엣의 겹치게 되는 상황에 따른 리스크가 최소화된다.
그러나 많은 경우에서, 축구 등의 야외 스포츠에서 오버헤드 카메라를 사용하는 것은 간단하거나, 실용적이지 않다. 덧붙이자면, 야외 경기장의 크기가 비교적 크거나, 광 조건이 까다로울 수 있다. 그 결과로, 2대의 직교 배열되는 사이드-뷰 카메라가 만족스러운 정확도를 갖고 개별 선수를 트래킹하기 위해 필수적인 이미지 분해능, 또는 품질을 제공할 수 없는 것이 일반적이다. 수동 조작기 상호작용을 통해, 각각의 선수와 공이 특정 식별자로 할당될 경우, 분해능 요구치가 충분하게 완화될 수 있다. 먼 거리와 까다로운 광 조건 때문에, 이러한 종류의 시스템은 야외 경우에서 비교적 빠른 한명 이상의 선수, 또는 공의 궤적(track)을 놓치는 경향이 있다. 물론, 선수에게 위치하는 송신기/수신기를 포함하는 다양한 종류의 독립적인 원격 계측 시스템이 카메라를 보조하기 위해 사용될 수 있다. 그럼에도 불구하고, 이러한 솔루션은 선수에게 불편함을 초래하는 다른 문제점에 연계되어 있으며, 따라서 바람직하지 않다.
따라서 본 발명의 목적은 앞서 언급된 문제를 해결하는 것이며, 따라서 주어진 영역에서 다수의 대상에 의해 만들어지는 움직임을 트래킹하기 위한 신뢰할 수 있고, 효과적인 이미지 기반의 솔루션을 제공하는 것이다.
본 발명의 하나의 태양에 따라서, 이러한 목적은 배열에 의해 성취되며, 상기 배열에서, 이미지 등록 수단 중 하나 이상은 카메라의 스테레오-쌍(stereo-pair)을 포함하며, 상기 카메라의 스테레오-쌍에서, 제 1 카메라는 제 2 카메라로부터 일정한 기본 거리만큼 이격되어 있으며, 상기 제 1 카메라와 상기 제 2 카메라는 평행으로 영역을 향하고 있어서, 상기 제 1 카메라의 제 1 이미지 평면이 상기 제 2 카메라의 제 2 이미지 평면에 의해 등록되는 영역의 부분과 겹치는 영역의 부분을 등록한다.
이러한 설계에서 얻어지는 중요한 이점은 합리적인 양의 리소스를 이용하여, 비교적 높은 분해능이 획득될 수 있다는 것이다. 덧붙이자면, 카메라의 다수의 스테레오-쌍이 사용될 경우, 대상이 서로 겹치고 있을지라도, 신뢰할 수 있는 트래킹이 이뤄질 수 있다.
본 발명의 이러한 태양의 바람직한 실시예에 따라서, 데이터 프로세싱 유닛은 스테레오 모듈을 포함하며, 상기 스테레오 모듈은, 상기 제 1 카메라에 의해 기록되는 제 1 이미지로부터의 데이터와, 상기 제 2 카메라에 의해 기록되는 제 2 이미지로부터의 데이터를 바탕으로 하여, 스테레오 이미지를 생성하도록 적응되며, 상기 제 1 이미지와 상기 제 2 이미지는 특정 시점에서 기록된다. 그에 따라서 상기 스테레오 모듈은 두 개의 이미지로부터의 정보를 더 높은 레벨의 결과를 위해, 적합한 표현으로 조합한다. 상기 스테레오 이미지가 영역의 정지 표면에 대한, 시간에 따라 변화하는 높이의 추정치를 표현하는 것이 바람직하다.
본 발명의 이러한 태양의 또 다른 바람직한 실시예에 따라서, 상기 데이터 프로세싱 유닛은 영역에서 대상이 없을 때 기록된, 이미지 등록 수단으로부터의 데이터를 바탕으로 하여, 영역의 최초 배경 모델을 생성하도록 적응되는 장면 초기화 모듈(scene initialization module)을 포함한다. 따라서, 배경 모델을 이용하여, 이동하는 대상, 가령 사람과 공이 정지하고 있는 대상, 가령 경기장과 관중을 위한 다양한 스탠드와 플랫폼으로부터 구분될 수 있다.
본 발명의 이러한 태양의 또 다른 바람직한 실시예에 따라서, 제 1 이미지와 제 2 이미지 중 하나의 표현을 조정하기 위해, 제 1 이미지와 제 2 이미지 중 다른 하나를 변환시키는 단계를 포함하는 절차를 이용하여, 상기 스테레오 모듈이 스테레오 이미지를 생성하도록 적응되며, 이로 인하여, 스테레오 이미지에서, 표면의 특정 세그먼트를 표현하도록 제 1 이미지에서 산출되는 이미지 포인트를 바탕으로 하는 각각의 이미지 포인트가, 특정 세그먼트를 표현하도록 산출되는 제 2 이미지의 이미지 포인트와 동일한 이미지 포인트로 투사되며, 표면 위에 위치하는 대상을 표현하기 위해 산출되는 제 1 이미지와 제 2 이미지의 이미지 포인트가 서로에 대하여 수평방향(laterally)으로 번역(translate)되며, 번역의 정도는 표면에 대한 대상의 높이에 따라 좌우된다. 이동 대상, 가령 선수와 공의 구분을 촉진하기 때문에, 이러한 표현은 바람직하다.
본 발명의 이러한 태양의 또 다른 바람직한 실시예에 따라서, 데이터 프로세싱 유닛은 최초 배경 모델을 바탕으로 하여 표면을 표현하는 이미지 포인트의 추정치를 결정하도록 적응되는 제 1 정보 추출 모듈을 포함한다.
본 발명의 이러한 태양의 또 다른 바람직한 실시예에 따라서, 데이터 프로세싱 유닛은 스테레오 이미지를 바탕으로 하여 밀도 맵(density map)을 생성하도록 적응된 밀도 모듈(density module)을 포함하며, 상기 밀도 맵은 영역에서의 대상의 후보 포지션에 대하여 각각의 확률 함수를 표현한다.
본 발명의 이러한 태양의 또 다른 바람직한 실시예에 따라서, 이전 배경 모델(M'B)과, 대상(pi, pj, B)의 구분된 포지션(pi ,j(x, y))을 바탕으로 하여, 업데이트된 배경 모델(M"B)을 반복적으로 결정하도록, 그리고 상기 업데이트된 배경 모델(M"B)을 바탕으로 하여, 표면(S)을 표현하는 이미지 포인트의 업데이트된 추정치를 반복적으로 결정하도록 제 1 정보 추출 모듈은 적응된다. 이러한 업데이트는 바람직하다. 왜냐하면 이에 따라서 높은 트래킹 신뢰도가 유지되기 때문이다. 일반적으로, 영역에서 발생하는 이벤트와 필수적으로 관련이 없는 광 조건과 그 밖의 다른 환경 매개변수는 시간에 따라 변화한다. 그러므로, 이동하는 대상의 지속적인 올바른 구분을 가능하게 하기 위해, 배경 모델이 업데이트되어야한다.
본 발명의 이러한 태양의 또 다른 바람직한 실시예에 따라서, 상기 영역은 경기장이며, 상기 대상은 상기 경기장에서 열리는 스포츠 이벤트, 가령 구기 게임에 참가하고 있는 선수를 포함한다. 그러므로 상기 대상은 하나 이상의 공을 포함할 수 있다. 결과적으로, 선수와 공은 경기 동안 트래킹될 수 있으며, 그 결과로서, 다양한 종류의 통계적이고 분석적인 정량 데이터(quantitative data)가 생성될 수 있다. 예를 들어, 코트 차지 범위, 총 운동 거리, 최대 운동 시간, 평균 운동 시간, 공 점유 시간, 경기장에 대한(또는 상대 선수에 대한) 공간 할당 등의 매개변수가 각각의 선수에 대하여 결정될 수 있다.
본 발명의 이러한 태양의 또 다른 바람직한 실시예에 따라서, 데이터 프로세싱 유닛은 하나 이상의 데이터 신호를 실시간으로 발생시키도록 적응되며, 상기 데이터 신호는 다수의 대상에 대한 하나 이상의 타입의 통계적이거나 분석적인 정보를 기술한다. 상기 하나 이상의 데이터 신호는 현재 시점에 앞서는 시간 구간 동안 결정된 대상에 대한 포지션을 기반으로 한다. 따라서 예를 들어, 구기 게임에서 개별 선수의 성취도에 대한 현재 통계치가 TV 시청자들에게 생방송으로, 즉 경기가 진행되는 동안 제공될 수 있다.
본 발명의 또 다른 태양에 따라서, 이러한 목적은 앞서 언급된 방법에 의해 성취되며, 상기 방법에서, 데이터의 부분, 또는 전체가 영역에 대한 이미지의 스테레오-쌍을 이용하여 등록된다. 제 1 이미지 평면이 제 2 이미지 평면에 의해 등록되는 영역의 일부분과 겹치는 영역의 일부분을 등록하도록, 이러한 이미지의 이미지 평면은 평행이다. 덧붙이자면, 제 1 이미지 평면과 제 2 이미지 평면은 서로에 대하여 기본 거리만큼 이격되어 있다.
이러한 방법뿐 아니라, 이의 바람직한 실시예의 이점은 제안된 배열을 참조하여 앞서 논의된 바에서 명백하다.
본 발명의 또 다른 태양에 따라, 이러한 목적은 디지털 컴퓨터의 내부 메모리로 직접 로딩될 수 있는 컴퓨터 프로그램에 의해 성취되며, 상기 프로그램이 컴퓨터에서 실행될 때, 상기 디지털 컴퓨터는 방법을 제어하기 위한 소프트웨어를 포함한다.
본 발명의 또 다른 태양에 따라서, 이러한 목적은 프로그램이 기록된 컴퓨터 판독형 매체에 의해 성취되며, 이때 상기 프로그램에 의해, 컴퓨터는 앞서 언급된 방법을 수행한다.
본 발명의 추가적인 이점, 이로운 특징, 애플리케이션이 다음에서 명백해질 거이다.
도 1은 본 발명의 하나의 실시예에 따르는, 영역에 대하여 다수의 이미지 등록 수단을 배치하는 방법의 첫 번째 예제이다.
도 2는 본 발명의 하나의 실시예에 따르는, 영역에 대하여 다수의 이미지 등록 수단을 배치하는 방법의 두 번째 예제이다.
도 3은 본 발명의 하나의 실시예에 따라서, 물리적 포인트의 이미지가 카메라의 스테레오-쌍의 이미지 평면으로 투사되는 방법을 나타낸다.
도 4a~b는 본 발명의 하나의 실시예에 따르는, 예로 든, 카메라의 스테레오-쌍에 의해 기록되는 제 1 이미지와 제 2 이미지를 나타낸다.
도 5는 본 발명의 하나의 실시예에 따르는, 도 4a와 4b의 제 1 이미지와 제 2 이미지를 바탕으로 하여, 스테레오 이미지기 생성되는 방법을 나타낸다.
도 6은 본 발명의 하나의 실시예에 따르는, 도 5의 스테레오 이미지를 바탕으로 하여, 밀도 이미지가 생성되는 방법을 나타낸다.
도 7은 본 발명의 하나의 실시예에 따르는 배열에 대한 블록 다이어그램을 나타낸다.
도 8은 본 발명에 따르는 일반적인 방법에 대한 흐름도이다.
도 1은 축구장 형태의 영역(100)을 나타내며, 상기 영역 주위에서 본 발명의 하나의 실시예를 따르는 다수의 이미지 등록 수단이 배열되어 있다. 특히, 이 경우에, 각각 4 쌍의 스테레오(101, 102, 103, 104)로 구성되는 8대의 카메라가 사용된다. 첫 번째 스테레오-쌍(101)은 제 1 카메라(101a)와 제 2 카메라(101b)를 포함하며, 영역(100)의 제 1 코너의 인접부에 위치한다. 상기 영역(100)이 보통 축구장 크기(즉, 약 90~120m의 길이와 약 45~90m의 폭인 크기)를 가질 경우, 카메라(101, 102, 103, 104)의 각각의 스테레오-쌍은 영역으로부터 약 30m에서 위치하고, 지면으로부터 약 25m 위에서 위치한다. 덧붙이자면, 본 발명에 따라서, 특정 스테레오-쌍의 카메라, 즉 (101a, 101b)는 특정 간격을 두고 서로 이격되어 있다. 이러한 이격 거리는 일반적으로 기본 간격(base distance)이라고 일컬어지며, 바람직하게는 약10m이다.
영역(100)의 겹치는 부분을 등록할 수 있도록, 제 1 카메라(101a)와 제 2 카메라(101b)는 평행하여 일정한 각도를 두고 영역(100)을 향하고 있다. 도 1에서 나타나는 바와 같이, 제 1 스테레오-쌍의 제 1 카메라(101a)는 영역(100)의 약 절반을 커버하는 제 1 시계(field of view, V11)를 가지며, 제 1 스테레오-쌍의 제 2 카메라(101b)는 영역(100)의 동일한 절반을 거의 커버하는 제 2 시계(V12)를 갖는다. 그러나 영역(100)에서의 각각의 대상(pi, pj, B)에 대한 특정 각도는, 제 1 카메 라(101a)에 의해 등록되는 이미지와 제 2 카메라(101b)에 의해 등록되는 이미지에서 다소 다르다. 따라서 제 2 이미지 등록 수단(102), 제 3 이미지 등록 수단(103) 및 제 4 이미지 등록 수단(104)의 개별 카메라는 시계(V21, V22; V31, V32; V41, V42)를 각각 갖는다. 나타나는 구성에서, 카메라가 종래의 TV 카메라일 경우, 시계(V11, V12, V21, V22, V31, V32, V41, V42)가 바람직하게 겹쳐질 수 있다.
이미지 등록 수단(101, 102, 103, 104)은 영역(100) 내에서 발생하는 이벤트의 이미지 데이터(D1, D2, D3, D4)를 반복적으로, 그리고 동시에 각각 기록한다. 따라서 데이터(D1, D2, D3, D4)는 이러한 이벤트들의 다수의 동시적 표현을 구성한다. 데이터(D1, D2, D3, D4)는, 각각의 대상 Pi, Pj, B에 대한 각각의 포지션을 반복적으로 결정하도록 적응된 데이터 프로세싱 유닛(110)으로 전송된다. 예를 들어, 대상의 제 1 세트 pi는 홈팀의 선수를 나타내며, 대상의 제 2 세트 Pj는 원정 팀의 선수를 나타내며, 제 3 대상 B는 공을 나타낼 수 있다. 어떠한 경우에서도, 본 발명에 따라, 데이터(D1, D2, D3, D4)를 바탕으로 하여, 각각의 대상 Pi, Pj, B는 자동적으로 트래킹될 수 있다.
이미지 등록 수단(101, 102, 103, 104)으로부터의 출력 데이터(D1, D2, D3, D4)에 대한 이미지 분해능 요구치를 완화시키기 위해, 고유한 식별자가 각각의 대상(pi, pj, B)로 수동으로 할당되며, 예를 들어, 이러한 할당은 시합이 시작되기 전에 이뤄진다. 이는, 시스템이 선수의 등번호(또는 그 밖의 다른 특징)를 식별할 수 있는 것이 필수가 아니며, 대신에, 시스템이 각각의 대상을 확고하게 트래킹하는 것을 유지할 수 있을 경우 충분하다. 이론적으로, 대상 당 1 픽셀의 이미지 분해능이 이러한 트래킹을 가능하게 해준다. 그러나 실전에서, 견고성(robustness)의 이유로, 더 높은 분해능이 요구될 수 있다. 물론, 또한 게임의 진행 동안, 식별자의 할당이 때때로 업데이트될 수 있다. 가령 휴식 시간이 연결되는 이른바 충돌(pile up) 후에, 그리고 한 명 이상의 선수가 다른 한 명 이상의 선수로 교체될 때 업데이트될 수 있다.
도 2는 본 발명의 하나의 실시예에 따라 다수의 이미지 등록 수단(101, 102, 103, 104)이 영역(100)과 관련하여 위치할 수 있는 방법의 또 다른 예를 나타낸다. 제 1 이미지 등록 수단(101)과 제 2 이미지 등록 수단(102)은 영역(100)의 제 1 코너의 인접부에 위치하여, 2개의 스테레오 쌍의 시계(V11, V12, V21, V22)가 팬방식으로(fan-like manner), 겹치는 부분을 형성할 수 있다. 앞서 언급한 첫 번째 실시예에서보다, 각각의 카메라가 영역(100)의 더 넓은 부분을 커버해야하기 때문에, 다소 더 넓은 각을 가진 렌즈를 갖는 카메라가 설치되는 것이 바람직하다. 그럼에도 불구하고, 충분한 영역 커버율을 보장하기 위해, 그리고 첫 번째 예제와 동일한 트래킹 신뢰성을 획득하기 위해, 제 3 이미지 등록 수단(103)과 제 4 등록 이미지 수단(104)이, 영역(100)의 코너 인접부에 위치하며, 상기 코너는 제 1 코너의 반대편에 위치한다. 도 2에서 나타난 바와 같이, 팬 방식으로, 이러한 두 개의 스테레오-쌍의 시계(V31, V32, V41, V42)가 겹친다. 카메라(101, 102)와 카메라(103, 104)의 각 각의 그룹은, 제 1 쌍의 카메라들 중 하나가 제 2 쌍의 카메라들 중 하나 사이에 위치하도록, 서로 삽입되는 스테레오-쌍으로 배열된다(도 2 참조). 덧붙이자면, 각각의 그룹에서의 서로 다른 스테레오-쌍이 약간 다른 각도를 갖고, 영역(100)을 향한다(이에 따라서 시계의 팬 패턴이 회득될 수 있다.).
도 3은 본 발명의 하나의 실시예에 따라서, 물리적 포인트 p가 카메라의 스테레오-쌍의 이미지 평면(310, 320)으로 투사되는 방법을 나타내고 있다. 이는 정석적인 카메라 구성의 한 가지 예이며, 이때, 2대의 카메라가 동일한 초점 길이를 가지며, 서로에 대하여 평행인 광축을 갖고, 이미지 평면은 서로에 대하여 기본 거리 dB만큼 이격되어 있다. 카메라와 기록되는 대상 간의 각도가 비교적 작도록, 그리고 그에 따라서 제 1 이미지 평면(310)이, 제 2 이미지 평면(32)에 의해 등록되는 영역(100)의 일부분에 충분히 겹치는 영역(100)의 일부분을 등록하도록, 상기 기본 거리 dB는 비교적 짧다. 이는 2대의 카메라 모두의 시계에 위치하는 영역(100)의 물리적 포인트 p가, 제 1 이미지 평면(310)과 제 2 이미지 평면(320)의 서로 다른 이미지 포인트 p'1과 p'2 상으로 투사되는 것을 의미한다. 포인트 p가 시작점 OW에 대하여 세계 좌표 시스템 XW, YW, ZW에서 특정 물리적 좌표를 갖는다고 가정할 경우, 이는 제 1 2D-좌표 시스템 Xf1, Yf1에 대하여 표현되는 좌표를 갖는 제 1 이미지 평면(310)의 제 1 이미지 포인트 P'1 상으로 투사될 수 있다. 이와 유사하게, 포인트 p가 제 2 2D-좌표 시스템 Xf2, Yf2에 대하여 표현되는 좌표를 갖는 제 2 이미지 평면(320)의 제 2 이미지 포인트 p'2로 투사된다. 상기 제 1 이미지 평면(310)은 좌표 시스템 XC1, YC1, ZC1에서 제 1 초점 OC1을 갖는다. 이에 상응하여, 제 2 이미지 평면(320)이 좌표 시스템 XC2, YC2, ZC2에서 초점 OC2를 갖는다. 나타난 정석 구성에서, 기본 거리 dB는 이러한 좌표 시스템들의 하나의 좌표 축, YC1와 YC2를 각각 따르는 일정한 이격 간격을 나타낸다.
도 4a는 도 3의 이미지 평면(310) 같은, 스테레오-쌍의 이미지의 제 1 이미지 평면에 의해 등록될 수 있는 제 1 이미지(I1)을 나타내고 있다. 제 1 이미지(I1)은 축구장 등의 표면(s)에서 서로 비교적 가깝게 위치하는 5명의 서로 다른 사람 P1, P2, P3, P4, P5를 포함한다. 5번째 사람 P5는 4번째 사람 P4에 의해 거의 완전히 가려짐을 알 수 있다.
도 4b는 앞서 언급된 도 3의 이미지 평면(320) 같은, 스테레오-쌍의 이미지의 제 2 이미지 평면에 의해 등록되는 이미지의 약간 변환된 이미지를 나타내고자, 제 2 이미지(I2)의 예를 나타낸다. 이미지 평면(320)에서 기록되는 실제 이미지 데이터에 대한 제 2 이미지(I2)에서, 나타나는 변환은 선형적(linear)이며, 표면(s)를 나타내도록 산출된 모든 이미지 포인트가 이미지(I1)와 이미지(I2)에서 동일한 좌표 Xf1, Yf1과 Xf2, Yf2 상으로 투사되도록 수행된다(즉, Xf1=Xf2, Yf1=Yf2). 그러나 이미지(I1)와 이미지(I2)가 다소 다른 각으로 취해지기 때문에, 이러한 변환을 위해서, 표면 위의 대상을 나타내기 위해 산출되는 이미지 포인트가 제 1 이미지(I1) 에 대하여 제 2 이미지(I2)에서 수평방향으로 번역된다. 다시 말하자면, 사람(P1, P2, P3, P4, P5)이 이미지(I1)과 이미지(I2)에서 다르게 “경사지게(lean)” 나타나나, 그러나 이들의 발은 동일한 지점에 위치한다. 이는 사람이 위치하고 있는 경기장이 변환 평면으로서 선택될 때, 적용된다. 그러나 본 발명에 따라, 그 밖의 다른 변환 평면, 가령 각각의 사람을 수직으로 통과하는 평면이 선택될 수 있다.
제 1 이미지(I1)과 시간적으로 동일한 포인트에서 기록되는 제 2 이미지(I2)에서 나타나는 바와 같이, 제 1 이미지(I1)에서보다, 다섯 번째 사람(P5)가 네 번째 사람(P4)에 의해 덜 가려진다. 이는 바람직한 트래킹 가능성을 보장한다. 스테레오-쌍의 카메라가 서로에 대하여, 그리고 영역(100)에 대하여 적정하게 배열된 경우, 이러한 종류의 분리가 발생하는 것이 일반적이다. 제 1 이미지(I1)에서의 하나 이상의 겹침이 제 2 이미지(I2)에서는 해결되며, 그 반대의 경우도 가능하다.
본 발명의 하나의 실시예에 따라서, 도 4b를 참조하여 기술된 변환은, 다음에서 도 5b를 참조하여 기술될 바와 같이, 스테레오 이미지(Is)의 발생과 연계되어 수행되는 것이 바람직하다.
상기 스테레오 이미지(Is)는 스테레오-쌍의, 제 1 카메라에 의해 기록된 제 1 이미지, 가령 (I1)로부터의 데이터와, 제 2 카메라에 의해 기록된 제 2 이미지, 가령(I2)로부터의 데이터를 기반으로 하여 생성된다. 상기 제 1 이미지(I1)와 제 2 이미지(I2)는 특정 시점에서 기록된다.
상기 스테레오 이미지(Is)는 정지하고 있는 표면(S)의 일부분이 아니면서, 영역(100)에서 시간에 따라 변화하는 포지션을 갖는 대상(즉, 이동 대상)를 설명하는 이미지 요소의 추정치 e1, e2, e3, e4를 나타낸다. 특히, 스테레오 이미지(Is)를 생성하는 것은, 제 1 이미지(I1)와 제 2 이미지(I2) 중 하나의 표현을 조정하기 위해, 제 1 이미지(I1)와 제 2 이미지(I2) 중 나머지 하나를 변환시키는 것을 포함하여, 상기 스테레오 이미지(Is)에서, 제 1 이미지(I1)에서 표면(S)의 특정 세그먼트를 나타내기 위해 산출되는 이미지 포인트를 기반으로 하는 각각의 이미지 포인트가 특정 세그먼트를 나타내기 위해 산출되는 제 2 이미지(I2)에서의 이미지 포인트와 동일한 이미지 포인트로 투사된다. 이러한 변환의 추가적인 결과로서, 표면(s) 위에 위치하는 대상을 나타내기 위해 산출되는 제 1 이미지(I1)과 제 2 이미지(I2)에서의 이미지 포인트가 서로에 대하여 수평방향으로 번역된다. 이때, 변환 정도는 표면(s)에 대한 대상의 높이에 따라 달라진다. 결과적으로, 본질적으로 세로로 뻗어 있는 수직 방향의 대상이 스테레오 이미지(Is)에서 역-원뿔 형태로 표현될 것이다.
어느 이미지 포인트가 표면(s)를 나타내는지를 정확하게 산출하는 것을 가능하게 하게 위해, 본 발명의 바람직한 실시예에 따라서 배경 모델(background model)이 생성된다. 영역(100)의 최초 배경 모델은, 영역(100)에서 대상(Pi, Pj, B)가 없는 상태에서 기록되는, 이미지 등록 수단(101, 102, 103, 104)으로부터의 데이터(D1, D2, D3, D4)를 바탕으로 한다. 따라서 표면(s)를 나타내는 이미지 포인트들 중 첫 번째 추정치는 최초 배경 모델을 바탕으로 한다. 그 후, 업데이트되는 배 경 모델은 대상(Pi, Pj, B)의 분간되는 포지션과 조합되는 이전 배경 모델을 바탕으로 하여 반복적으로 결정된다. 업데이트되는 배경 모델을 바탕으로 하여, 차례로, 표면(s)를 나타내는 이미지 포인트의 업데이트된 추정치가 결정된다.
도 6은 본 발명의 하나의 실시예에 따라, 도 5의 스테레오 이미지(Is)를 바탕으로 하여 밀도 이미지(density image, A)가 생성되는 방법을 나타낸다. 상기 밀도 맵(density map, A)는 영역(100)에서의 대상(p1, p2, p3, p4, p5)의 후보 포지션에 대한 각각의 확률 함수(P(p1), P(p2), P(p3), P(p4), P(p5))를 나타낸다. 상기 확률 함수(P(p1), P(p2), P(p3), P(p4), P(p5))은 스테레오 이미지(Is)의 높이 추정치 e1, e2, e3, e4로부터 얻어진다. 본 발명의 하나의 실시예에 따라서, 확률 함수(P(p1), P(p2), P(p3), P(p4), P(p5))를 바탕으로 하여, 영역 A에서 각각의 대상(P1, P2, P3, P4, P5)에 대하여 포지션이 구분된다.
물론, 일반적인 경우에서, 특정 스테레오-쌍의 카메라에 의해, 총 대상 중 일부만 보여질 수 있다. 따라서 영역(100)에서 위치하는 모든 대상을 위한 포지션을 확립하기 위해, 둘 이상의 이미지 등록 수단으로부터 획득된 정보가 데이터 프로세싱 유닛(110)에서 합쳐질 필요가 있을 수 있다.
도 7은 특정 영역에서, 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹하기 위해 적응되는, 본 발명의 하나의 실시예에 따른 배열에 대한 블록 다이어그램을 나타낸다. 나타난 배열은 카메라(101a, 101b)의 스테레오-쌍과, 데이터 프로세싱 유닛(110)을 포함하는 이미지 등록 수단을 포함한다. 명료한 표시를 위해, 도 7은 단일 이미지 데이터 프로세싱 체인만 나타낸다. 그러나 본 발명에 따라서, 예를 들어 도 1 및 2에서 나타낸 바와 같이, 상기 데이터 프로세싱 유닛(110)은 다수의 스테레오-이미지 쌍으로부터의 이미지 데이터를 프로세싱하기 위해 적응되는 것이 바람직하다.
이미지 등록 수단의 제 1 카메라(101a)는 영역내에서 발생하는 이벤트의 표현에 관련된 데이터 D1'을 반복적으로 기록하고, 이미지 등록 수단의 제 2 카메라(101b)가 이러한 이벤트와 관련된 데이터 D1"을 다소 다른 각도(제 1 카메라(101a)에 대한 기본 거리, 임의의 등록된 대상에 대한 거리로 주어진다.)에서 기록한다. 많은 경우에서, 제 1 카메라(101a)의 제 1 이미지 평면이 제 2 카메라(101b)의 제 2 이미지 평면에 의해 등록되는 영역의 일부부과 겹치는 영역의 일부분을 등록하도록, 상기 제 1 카메라(101a)와 제 2 카메라(101b)는 본질적으로 평행이며, 영역을 향하고 있다.
데이터 프로세싱 유닛(110)은 카메라(101a, 101b)로부터 데이터 D1'과 D1"을 각각 수신한다. 특히, 본 발명의 바람직한 실시예에 따라서, 데이터 프로세싱 유닛(110)의 장면 초기화 모듈(730)은 영역에서 대상이 존재하지 않을 때 기록된 데이터 D1'과 D1"을 수신한다. 이러한 데이터 D1'과 D1"을 기반으로 하여, 장면 초기화 모듈(730)은 영역의 최초 배경 모델 M'B를 생성하며, 직접적으로, 또는 제 1 정보 추출 모듈(740)을 통해, 상기 최초 배경 모델은 저장 수단(745)으로 전송된다.
배열의 정상 상태(steady-state) 작동에서, 카메라(101a, 101b)로부터의 데 이터 D1'과 D1"가 데이터 프로세싱 유닛(110)의 스테레오 모듈(710)로 전송된다. 이러한 스테레오 모듈(710)은 데이터 D1'과 D1"을 기반으로 하여, 스테레오 이미지 Is를 생성한다. 앞서 언급된 바와 같이, 스테레오 이미지 Is는 영역의 정지 표면(s)에 대하여 시간에 따라 변화하는 높이의 추정치를 나타낸다.
제 1 이미지와 제 2 이미지 중 하나의 표현을 조정하기 위해, 스테레오 이미지 Is에서, 표면(s)의 특정 세그먼트를 나타내기 위해 제 1 이미지에서 산출되는 이미지 포인트를 바탕으로 하는 각각의 이미지 포인트가 특정 세그먼트를 나타내기 위해 산출되는 제 2 이미지에서의 이미지 포인트와 동일한 이미지 포인트로 투사되도록 제 1 이미지와 제 2 이미지 중 다른 하나를 변환하는 단계를 포함하는 프로시저를 이용하여, 스테레오 모듈(710)은 스테레오 이미지 Is를 생성한다. 덧붙이자면, 변환 때문에, 표면(s) 위의 대상을 나타내도록 산출되는 제 1 이미지와 제 2 이미지의 이미지 포인트가 서로에 대하여 수평방향으로 번역되며, 이때, 변환의 정도는 표면(s)에 대한 대상의 높이에 따른다.
배열의 정상-상태 작동에서, 제 1 정보 추출 모듈(740)은 저장 수단(745)에 저장되는 이전 배경 모델을 바탕으로 표면(s)를 나타내는 이미지 포인트의 추정치를 반복적으로 결정한다. 그러므로 제 1 업데이트된 배경 모델 M"B는 최초 배경 모델 M'B를 바탕으로 한다. 제 1 정보 추출 모듈(740)은 (저장 모듈(745)에 저장되어 있는) 이전 배경 모델 M'B과, 이동 대상의 구분되는 포지션 Pi ,j(x, y)을 바탕으로 하여, 업데이트된 배경 모델 M"B를 반복적으로 결정한다. 또한 상기 모듈(740)은, 업데이트된 배경 모델 M"B를 바탕으로 하여 표면(s)를 나타내는 이미지 포인트의 업데이트되는 추정치를 반복적으로 결정한다.
스테레오 이미지 Is를 바탕으로 하여, 데이터 프로세싱 유닛(110)의 밀도 모듈(720)이 밀도 맵 A를 생성한다. 도 5를 참조하여 앞서 기술된 바와 같이, 밀도 맵 A는 영역에서 이동하는 대상에 대한 후보 포지션에 대한 확률 함수를 나타낸다. 이러한 확률 함수를 바탕으로 하여, 데이터 프로세싱 유닛(110)의 제 2 정보 추출 모듈(750)이 이동 대상의 포지션 Pi ,j(x, y)를 구분한다.
데이터 프로세싱 유닛(110)은 시간에 대한 이동하는 대상의 구분되는 포지션 Pi,j(x, y)를 축적하도록 적응된다. 즉, 이로 인하여, 유닛(110)이 대상의 움직임에 대한 서로 다른 종류의 통계, 또는 분석 정보를 기술하는 다양한 데이터 신호를 발생시킬 수 있다. 데이터 프로세싱 유닛(110)이 데이터 신호가 실시간으로 발생될 수 있는 프로세싱 기능을 가질 경우, 더욱 바람직하다. 각각의 데이터 신호는 현재 시점 이전의 시간 간격 동안 결정된 이동하는 대상에 대한 포지션을 바탕으로 한다. 이로 인하여, 예를 들어, 게임에서의 개별 선수의 업적에 대한 현재의(그리고 지속적으로 업데이트되는) 통계치가 생방송으로, 즉 게임 진행 중에 TV 시청자들에게 제공될 수 있다.
요컨대, 본 발명에 따르는, 특정 영역에서 다수의 대상의 움직임을 트래킹하 기 위한 일반적인 방법이 도 8을 참조하여 기술될 것이다.
제 1 단계(810)는 영역 내에서 발생하는 이벤트의 다수의 동시적인 표현에 관한 스테레오 이미지 데이터를 등록한다. 이러한 데이터는 2 이상의 장소, 예를 들어 도 1, 또는 도 2에서 각각 도식된 바와 같이, 2, 또는 4개의 장소로부터 등록된다. 제 2 단계(820)는 등록된 스테레오 이미지 데이터를 바탕으로 하여 각각의 대상에 대한 각각의 포지션을 결정한다. 그 후, 업데이트된 스테레오 이미지 데이터를 등록하기 위해, 프로시저가 단계(810)로 되돌려 진다.
스포츠 이벤트의 신뢰할 수 있는 트래킹을 획득하기 위해, 그리고 그에 따른 높은 데이터 품질을 획득하기 위해, 스테레오 이미지 데이터가 비교적 자주, 즉, 1초당 25~30번 정도로 업데이트되어야한다.
도 8을 참조하여 기술되는 프로세스 단계는 프로그램된 컴퓨터 장치에 의해 제어될 수 있다. 덧붙이자면, 도면을 참조하여 앞서 기술된 본 발명의 실시계가 컴퓨터 장치와 상기 컴퓨터 장치에서 수행되는 프로세스를 포함할지라도, 본 발명은 컴퓨터 프로그램, 특히 본 발명을 실현하기 위해 적응되는 캐리어(carrier) 상의 컴퓨터 프로그램으로 확장된다. 프로그램은 소스 코드의 형태일 수 있으며; 부분적으로 컴파일된 형태, 또는 본 발명에 따르는 프로세스의 구현을 사용하기에 적합한 그 밖의 다른 임의의 형태 등의 객체 코드, 코드 중간 소스와 객체 코드의 형태일 수 있다. 상기 캐리어는 프로그램을 포함할 수 있는 객체, 또는 장치일 수 있다. 예를 들어, 캐리어는 저장 매체, 가령 Flash 메모리일 수 있으며, CD(Compact Disc), 또는 반도체 ROM, EPROM(Erasable Programmable Read-Only Memory), 또는 EEPROM(Electrically Erasable Programmable Read-Only Memory)등의 ROM(Read Only Memory)일 수 있으며, 플로피 디스크, 또는 하드 디스크 등의 자기 기록 매체일 수 있다. 덧붙이자면, 상기 캐리어는 전기, 또는 광학 케이블을 통해, 또는 무선을 통해, 또는 그 밖의 다른 수단을 통해, 이동될 수 있는 전기, 또는 광학 신호 등의 전송형 캐리어(transmissible carrier)일 수 있다. 프로그램이 케이블을 이용하여 직접, 또는 그 밖의 다른 장치나 수단을 이용하여 이동될 수 있는 신호로 구현될 때, 이러한 장치나 수단으로 캐리어가 구성될 수 있다. 또는, 상기 캐리어가 프로그램이 내장되는 집적 회로일 수 있으며, 상기 접적 회로는 관련 프로세스의 수행을 위해 사용되도록 적응된다.
앞서 서용된 용어“포함하다/포함하는(comprises/comprising)”은 기술된 특징부, 숫자, 단계, 구성요소의 존재를 특정하기 위해 사용된다. 그러나 상기 용어가 그 밖의 다른 추가적인 특징부, 숫자, 단계, 구성요소의 존재를 부정하는 것은 아니다.

Claims (26)

  1. 특정 영역(100)에서 다수의 대상(Pi, Pj, B) 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열에 있어서, 상기 배열은
    상기 영역(100) 내에서 발생하는 이벤트에 대한 동시적인 다수의 표현에 관한 데이터(D1, D2, D3, D4)를 반복적으로 기록하기에 적합한 다수의 이미지 등록 수단(101, 102, 103, 104), 그리고
    상기 이미지 등록 수단(101, 102, 103, 104)에 의해 기록되는 데이터(D1, D2, D3, D4)를 수신하고, 이를 바탕으로 하여, 대상(Pi, Pj, B) 각각에 대하여 각각의 포지션을 반복적으로 결정하기에 적합한 데이터 프로세싱 유닛(110)
    을 포함하며, 이때,
    이미지 등록 수단(101, 102, 103, 104) 중 하나 이상은 카메라의 스테레오-쌍(stereo-pair)을 포함하며, 상기 카메라의 스테레오-쌍에서, 제 1 카메라(101a)는 제 2 카메라(101b)로부터 일정한 기본 거리(dB)만큼 이격되어 있으며, 상기 제 1 카메라와 상기 제 2 카메라는 평행으로 영역(100)을 향하고 있어서, 상기 제 1 카메라(101a)의 제 1 이미지 평면(310)은, 상기 제 2 카메라(101b)의 제 2 이미지 평면(320)에 의해 등록되는 영역(100)의 부분과 겹치는 영역(100)의 부분을, 등록하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  2. 제 1 항에 있어서, 데이터 프로세싱 유닛(110)은
    상기 제 1 카메라(101a)에 의해 기록되는 제 1 이미지(I1)로부터의 데이터(D1')와, 상기 제 2 카메라(101b)에 의해 기록되는 제 2 이미지(I2)로부터의 데이터(D1")를 바탕으로 하여, 스테레오 이미지(Is)를 생성하기에 적합한 스테레오 모듈(710)을 포함하며, 상기 제 1 이미지(I1)와 상기 제 2 이미지(I2)는 특정 시점에서 기록되는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  3. 제 2 항에 있어서, 상기 스테레오 이미지(Is)는 영역(100)의 정지 표면(S)에 대한, 시간에 따라 변화하는 높이의 추정치(e1, e2, e3, e4)를 표현함을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  4. 제 3 항에 있어서, 데이터 프로세싱 유닛(110)은 영역(100)에서 대상(Pi, Pj, B)이 없을 때 기록된, 이미지 등록 수단(101, 102, 103, 104)으로부터의 데이터(D1, D2, D3, D4)를 바탕으로 하여, 영역(100)의 최초 배경 모델(M'B)을 생성하기에 적합한 장면 초기화 모듈(scene initialization module, 730)을 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  5. 제 4 항에 있어서, 제 1 이미지(I1)와 제 2 이미지(I2) 중 하나의 표현을 조정하기 위해, 제 1 이미지(I1)와 제 2 이미지(I2) 중 다른 하나를 변환시키는 단계를 포함하는 절차를 이용하여, 상기 스테레오 모듈(710)이 스테레오 이미지(Is)를 생성하기에 적합하며, 이로 인하여, 스테레오 이미지(Is)에서,
    표면(S)의 특정 세그먼트를 표현하도록 제 1 이미지(I1)에서 산출되는 이미지 포인트를 바탕으로 하는 각각의 이미지 포인트가, 특정 세그먼트를 표현하도록 산출되는 제 2 이미지(I2)의 이미지 포인트와 동일한 이미지 포인트로 투사되며,
    표면(S) 위에 위치하는 대상을 표현하기 위해 산출되는 제 1 이미지(I1)와 제 2 이미지(I2)의 이미지 포인트가 서로에 대하여 수평방향(laterally)으로 번역(translate)되며, 번역의 정도는 표면(S)에 대한 대상의 높이에 따라 좌우되는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  6. 제 5 항에 있어서, 데이터 프로세싱 유닛(110)은 최초 배경 모델(M'B)을 바탕으로 하여 표면(S)을 표현하는 이미지 포인트의 추정치를 결정하기에 적합한 제 1 정보 추출 모듈(740)을 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 데이터 프로세싱 유닛(110)은 스테레오 이미지(Is)를 바탕으로 하여 밀도 맵(density map, A)을 생성하기에 적합한 밀도 모듈(density module, 720)을 포함하며, 상기 밀도 맵(A)은 영역(100)에서의 대상(pi, pj)의 후보 포지션(x, y)에 대하여 각각의 확률 함수(P(p1), P(p2), P(p3), P(p4), P(p5))를 표현하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  8. 제 7 항에 있어서, 상기 데이터 프로세싱 유닛(110)은 상기 확률 함수(P(p1), P(p2), P(p3), P(p4), P(p5))를 바탕으로 하여, 대상(Pi, Pj)의 포지션(Pi,j(x, y))을 구분하기에 적합한 제 2 정보 추출 모듈(750)을 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  9. 제 8 항에 있어서, 상기 제 1 정보 추출 모듈(740)은
    이전 배경 모델(M'B)과, 대상(pi, pj, B)의 구분된 포지션(pi ,j(x, y))을 바탕으로 하여, 업데이트된 배경 모델(M"B)을 반복적으로 결정하기에, 그리고
    상기 업데이트된 배경 모델(M"B)을 바탕으로 하여, 표면(S)을 표현하는 이미지 포인트의 업데이트된 추정치를 반복적으로 결정하가에
    적합한 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서, 상기 영역(100)은 경기장이며, 상기 대상(pi, pj, B)은 상기 경기장에서 열리는 스포츠 이벤트에 참가하고 있는 선수를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  11. 제 10 항에 있어서, 상기 스포츠 이벤트는 하나 이상의 공(B)의 사용을 포함하는 구기 게임이며, 대상(pi, pj, B)은 하나 이상의 공(B)을 더 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 데이터 프로세싱 유닛(110)은, 다수의 대상(pi, pj, B)에 관련되어 있는 통계적이거나 분석적인 정량 정보(quantitative information)의 하나 이상의 타입을 기술하는 하나 이상의 데이터 신호를 실시간으로 발생시키기에 적합한, 상기 하나 이상의 데이터 신호는 현재 시 점 이전의 시간 구간 동안 결정된 다수의 대상(pi, pj, B)에 대한 포지션(pi ,j(x, y))을 바탕으로 하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 배열.
  13. 특정 영역(100)에서 다수의 대상(Pi, Pj, B) 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법에 있어서, 상기 방법은
    상기 영역(100) 내에서 발생하는 이벤트의 동시적인 다수의 표현에 관한 데이터(D1, D2, D3, D4)를 반복적으로 등록하는 단계, 그리고
    상기 등록된 데이터(D1, D2, D3, D4)를 바탕으로 하여, 대상(pi, pj, B) 각각에 대한 각각의 포지션(pi ,j(x, y))을 반복적으로 결정하는 단계
    를 포함하고,
    제 1 이미지 평면(310)이 제 2 이미지 평면(320)에 의해 등록되는 영역(100)의 부분과 겹치는 영역(100)의 부분을 등록하도록, 평행인 이미지 평면(310, 320)을 갖는 영역(100)의 이미지의 스테레오-쌍(stereo-pair)을 이용하여, 데이터(D1, D2, D3, D4)의 부분, 또는 전체를 등록하는 단계를 포함하며, 상기 제 1 이미지 평면(310)과 제 2 이미지 평면(320)은 서로에 대하여 기본 거리(dB)만큼 이격되어 있음을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  14. 제 13 항에 있어서, 제 1 카메라(101a)에 의해 기록되는 제 1 이미지(I1)로부터의 데이터(D1')와, 제 2 카메라(101b)에 의해 기록되는 제 2 이미지(I2)로부터의 데이터(D1")를 바탕으로 하여, 상기 스테레오 이미지(Is)를 생성하며, 제 1 이미지(I1)와 제 2 이미지(I2)는 특정 시점에서 기록되는 단계를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  15. 제 14 항에 있어서, 상기 스테레오 이미지(Is)는 영역(100)의 정지 표면(S)에 대한, 시간에 따라 변화하는 높이의 추정치(e1, e2, e3, e4)를 표현하는 단계를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  16. 제 15 항에 있어서, 영역(100)에서 대상(pi, pj, B)이 존재하지 않을 때 기록된, 이미지 등록 수단(101, 102, 103, 104)으로부터의 데이터(D1, D2, D3, D4)를 바탕으로 하여, 상기 영역(100)의 최초 배경 모델(M'B)을 발생시키는 단계를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  17. 제 16 항에 있어서, 스테레오 이미지(Is)를 생성하는 단계는, 제 1 이미지(I1)와 제 2 이미지(I2) 중 하나의 표현을 조정하기 위해, 제 1 이미지(I1)와 제 2 이미지(I2) 중 다른 하나를 변환하는 단계를 포함하며, 이로 인하여, 스테레오 이미지(Is)에서,
    표면(S)의 특정 세그먼트를 표현하도록 제 1 이미지(I1)에서 산출되는 이미지 포인트를 바탕으로 하는 각각의 이미지 포인트가, 특정 세그먼트를 표현하도록 산출되는 제 2 이미지(I2)의 이미지 포인트와 동일한 이미지 포인트로 투사되며,
    표면(S) 위에 위치하는 대상을 표현하기 위해 산출되는 제 1 이미지(I1)와 제 2 이미지(I2)의 이미지 포인트가 서로에 대하여 수평방향(laterally)으로 번역(translate)되며, 번역의 정도는 표면(S)에 대한 대상의 높이에 따라 좌우되는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  18. 제 17 항에 있어서, 최초 배경 모델(M'B)을 바탕으로 하여, 표면(S)을 표현하는 이미지 포인트의 추정치를 결정하는 단계를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  19. 제 13 항 내지 제 18 항 중 어느 한 항에 있어서, 스테레오 이미지(Is)를 바 탕으로 하여, 밀도 맵(density map, A)을 생성하는 단계를 포함하며, 상기 밀도 맵은 영역(100)에서 대상(pi, pj)에 대한 후보 포지션(x, y)에 관한 각각의 확률 함수(P(p1), P(p2), P(p3), P(p4), P(p5))를 표현하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  20. 제 19 항에 있어서, 상기 확률 함수(P(p1), P(p2), P(p3), P(p4), P(p5))를 바탕으로 하여, 대상(pi, pj)의 포지션(pi ,j(x, y))을 구분하는 단계를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  21. 제 20 항에 있어서,
    이전 배경 모델(M'B)과, 대상(pi, pj, B)의 구분된 포지션(pi,j(x, y))을 바탕으로 하여, 업데이트된 배경 모델(M"B)을 결정하는 단계, 그리고
    업데이트된 배경 모델(M"B)을 바탕으로 하여, 표면(S)을 표현하는 이미지 포인트의 업데이트된 추정치를 결정하는 단계
    를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  22. 제 13 항 내지 제 21 항 중 어느 한 항에 있어서, 상기 영역(100)은 경기장이며, 상기 대상(pi, pj, B)은 상기 경기장에서 열리는 스포츠 이벤트에 참가하는 선수를 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  23. 제 22 항에 있어서, 상기 스포츠 이벤트는 하나 이상의 공(B)의 사용을 포함하는 구기 게임이며, 상기 대상(pi, pj, B)은 하나 이상의 공(B)을 포함하는 것을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  24. 제 13 항 내지 제 23 항 중 어느 한 항에 있어서, 다수의 대상(pi, pj, B)과 관련되어 있는 통계적이거나 분석적인 정량 정보(quantitative information)의 하나 이상의 타입을 기술하는 하나 이상의 데이터 신호가 실시간으로 발생하는 단계를 포함하며, 상기 하나 이상의 데이터 신호는 현재 시점 전의 시간 구간 동안 결정된 다수의 대상(pi, pj, B)에 대한 포지션(pi ,j(x, y))을 바탕으로 하는 것임을 특징으로 하는 특정 영역에서 다수의 대상 각각에 의해 만들어지는 움직임을 트래킹(tracking)하기 위한 방법.
  25. 디지털 컴퓨터의 내부 메모리로 직접 로딩될 수 있는 컴퓨터 프로그램으로 서, 상기 디지털 컴퓨터는 상기 프로그램이 컴퓨터 상에서 실행될 때, 청구항 제 13 항 내지 제 24 항 중 어느 한 항에 따르는 단계를 성취하기 위한 소프트웨어를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  26. 프로그램이 기록되는 컴퓨터 판독형 매체(560)에 있어서, 이때 상기 프로그램에 의해, 컴퓨터는 청구항 제 13 항 내지 제 24 항 중 어느 한 항에 따르는 단계를 성취하는 것을 특징으로 하는 컴퓨터 판독형 매체(560).
KR1020077006321A 2004-11-12 2005-10-31 이미지 기반 움직임 트래킹 KR20070083575A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04026960A EP1657927A1 (en) 2004-11-12 2004-11-12 Image-based movement tracking
EP04026960.7 2004-11-12

Publications (1)

Publication Number Publication Date
KR20070083575A true KR20070083575A (ko) 2007-08-24

Family

ID=34927370

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077006321A KR20070083575A (ko) 2004-11-12 2005-10-31 이미지 기반 움직임 트래킹

Country Status (13)

Country Link
US (1) US20070296815A1 (ko)
EP (2) EP2200313A1 (ko)
JP (1) JP2008520016A (ko)
KR (1) KR20070083575A (ko)
CN (1) CN101040528B (ko)
AR (1) AR051424A1 (ko)
BR (1) BRPI0517863A (ko)
CA (1) CA2580875A1 (ko)
IL (1) IL181918A0 (ko)
MX (1) MX2007005695A (ko)
NO (1) NO20072405L (ko)
RU (1) RU2387011C2 (ko)
WO (1) WO2006051049A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5108877B2 (ja) * 2007-05-08 2012-12-26 パナソニック株式会社 表示装置
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US8390685B2 (en) 2008-02-06 2013-03-05 International Business Machines Corporation Virtual fence
ES2559605T3 (es) 2008-09-17 2016-02-15 Panasonic Intellectual Property Management Co., Ltd. Medio de grabación y dispositivo de reproducción
CN101807310B (zh) * 2010-04-07 2011-08-03 浙江大学 一种石化企业视角跟踪方法
EP2729915B1 (en) * 2011-07-05 2017-12-27 Omron Corporation A method and apparatus for projective volume monitoring
US20130083201A1 (en) * 2011-10-03 2013-04-04 Raytheon Company Methods and apparatus for determining misalignment of first and second sensors
JP6102930B2 (ja) 2011-10-14 2017-03-29 オムロン株式会社 射影空間監視のための方法および装置
RU2488882C1 (ru) * 2012-01-19 2013-07-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Способ идентификации личности человека
US9602806B1 (en) * 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
EP3010229B1 (en) * 2013-06-14 2019-02-06 Hitachi, Ltd. Video surveillance system, video surveillance device
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
CN104010168B (zh) * 2014-06-13 2017-06-13 东南大学 一种无重叠视域多摄像机监控网络拓扑自适应学习方法
CN104660998B (zh) * 2015-02-16 2018-08-07 阔地教育科技有限公司 一种接力跟踪方法及系统
RU2599699C1 (ru) * 2015-04-20 2016-10-10 государственное бюджетное образовательное учреждение высшего профессионального образования "Омская государственная медицинская академия" Министерства здравоохранения Российской Федерации (ГБОУ ВПО ОмГМА Минздрава России) Способ регистрации и анализа соревновательных игровых действий спортсменов
JP6206857B1 (ja) * 2016-08-24 2017-10-04 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP7027049B2 (ja) * 2017-06-15 2022-03-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2019025833A1 (en) * 2017-08-02 2019-02-07 Playgineering Systems, Sia AUTOMATED TURNING SYSTEM AND METHOD
RU2695708C2 (ru) * 2017-12-15 2019-07-25 Артем Андреевич Яковлев Способ определения скорости по видео
RU2682382C1 (ru) * 2018-04-02 2019-03-19 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет" Способ ориентации систем координат наблюдателей в пассивной системе видения
CN114827478B (zh) * 2022-01-05 2022-09-16 深眸科技(北京)有限公司 一种自动跟踪拍摄体育比赛的智能系统及其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363297A (en) 1992-06-05 1994-11-08 Larson Noble G Automated camera-based tracking system for sports contests
SE502679C2 (sv) * 1993-05-28 1995-12-04 Saab Scania Combitech Ab Förfarande och anordning för registrering av ett fordons förflyttning på ett underlag
SE503707C2 (sv) 1994-10-24 1996-08-05 Combitech Traffic Syst Ab Anordning för identifiering av fordon i ett kontrollställe
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
JPH09322053A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステムにおける被写体の撮影方法。
US6166729A (en) * 1997-05-07 2000-12-26 Broadcloud Communications, Inc. Remote digital image viewing system and method
US6359647B1 (en) 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US6266100B1 (en) * 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
AU1930700A (en) * 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
JP2000224457A (ja) * 1999-02-02 2000-08-11 Canon Inc 監視システムおよびその制御方法およびそのプログラムを記憶した記憶媒体
US7130484B2 (en) * 2001-10-15 2006-10-31 Jonas August Biased curve indicator random field filters for enhancement of contours in images
FR2834415B1 (fr) 2001-12-27 2004-05-14 Sport Universal Systeme de suivi de mobiles en temps reel sur un terrain de sport

Also Published As

Publication number Publication date
NO20072405L (no) 2007-05-18
RU2387011C2 (ru) 2010-04-20
BRPI0517863A (pt) 2008-10-21
EP1657927A1 (en) 2006-05-17
WO2006051049A1 (en) 2006-05-18
CA2580875A1 (en) 2006-05-18
US20070296815A1 (en) 2007-12-27
CN101040528A (zh) 2007-09-19
RU2007117722A (ru) 2008-11-20
JP2008520016A (ja) 2008-06-12
AR051424A1 (es) 2007-01-10
CN101040528B (zh) 2010-05-26
IL181918A0 (en) 2007-07-04
MX2007005695A (es) 2007-10-03
EP2200313A1 (en) 2010-06-23

Similar Documents

Publication Publication Date Title
KR20070083575A (ko) 이미지 기반 움직임 트래킹
US8805007B2 (en) Integrated background and foreground tracking
US11064107B2 (en) Objects trail-based analysis and control of video
ES2790885T3 (es) Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US9094615B2 (en) Automatic event videoing, tracking and content generation
US9298986B2 (en) Systems and methods for video processing
US9031279B2 (en) Multiple-object tracking and team identification for game strategy analysis
US20150297949A1 (en) Automatic sports broadcasting system
US8599317B2 (en) Scene recognition methods for virtual insertions
EP1366466B1 (en) Sport analysis system and method
CN106165393A (zh) 用于自动电视制作的方法和系统
JP2002530970A (ja) 多標的追跡システム
CN102726051A (zh) 3d视频中的虚拟插件
US9154710B2 (en) Automatic camera identification from a multi-camera video stream
Cavallaro et al. Augmenting live broadcast sports with 3D tracking information
US11816849B2 (en) Systems and methods for video-based sports field registration
Thomas Sports TV applications of computer vision
WO2019115441A1 (en) Cameras and arrangements thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application