KR20010093094A

KR20010093094A - 다중 물체 추적 시스템

Info

Publication number: KR20010093094A
Application number: KR1020017006357A
Authority: KR
Inventors: 제임스 에이. 아만; 윌리엄 알 할러
Original assignee: 제임스 에이. 아만; 윌리엄 알 할러
Priority date: 1998-11-20
Filing date: 1999-11-17
Publication date: 2001-10-27
Also published as: BR9915489A; CA2351230A1; JP2002530970A; CN1333700A; IL143103A0; CA2351230C; WO2000031560A8; US6567116B1; AU1733000A; WO2000031560A3; WO2000031560A9; WO2000031560A2; EP1131648A2

Abstract

본 발명은 X-Y축 추적용 상부 카메라(25) 및 주파수 선택 필터(24f)가 부설된 추적 카메라(24)의 조합을 이용하여 설정영역내의 다중 물체의 이동을 추적하는 시스템에 관한 것이다. 또한 Z축 추적용 원근 카메라(25) 및 주파수 선택 필터(24f)가 부설된 추적 카메라(24)도 적용된다. 피추적체에는 팻치(7r, 71), 스티커(9) 및 테이프(4a)와 같은 주파수 선택 반사 물질로 표시가 되고, 시스템(100)은 상기 반사 물질에서 반사가 일어나도록 전체 추적영역에 선택 에너지(23a)를 방사한다. 추적 카메라(24)는 다른 파장의 빛들은 차단되고 반사된 에너지(7m, 9a, 4b)만을 수신하기 때문에 로컬 컴퓨터 시스템(60)은 추적 카메라(24)부터의 영상을 수신하여 상기 표시들의 위치를 추적하고, 미리 설정된 피추적체의 최대 속도와 최대 크기 등의 정보와 계산된 이동 정보 및 위치 정보를 이용하여 시스템(60)은 필터링 되지 않은 영상(25)에서부터 배경을 제외한 원하는 피추적물체의 영상을 추출한다.

Description

다중 물체 추적 시스템{Multiple object tracking system}

마이크로 전자공학 및 컴퓨터 시스템 기술의 급격한 발전으로 인해, 종전에는 인간이 수행하던 반복응시(repetitive vision) 및 시각인식 작용 등을 대신하는 기계적 시각 시스템에 대한 수요가 증가하고 있다. 초기의 시스템은 공장의 제조공정에서 조립라인을 따라 이동하는 물체를 인식하도록 설계하였으나, 최근에는 사람 및 사람의 동작을 인식하기 위한 많은 발명들이 개발되고 있다. 하지만, 다양한 사람의 형상과 의복 및 복잡한 배경으로 인해 이러한 인식작업은 여전히 어려운 문제로 남아있다. 배경과 같은 정지된 정보를 제거하는 윤곽 감지 기술(edge detection technology)등을 이용하여 사람의 윤곽을 배경에서 추출하는 다양한 방법들이 개발되고 있기는 하나, 상기 기술의 성공을 위해서는 해상도 증가 및 실시간 처리라는 두 가지 문제를 해결해야 한다. 컴퓨터 시스템이 전경(foreground)과 배경을 구별하기 위하여 필요한 정보의 양(디테일의 정도)을 충족할 정도의 화면 해상도를 요구하는데, 해상도의 증가는 컴퓨터 시스템뿐만 아니라 카메라의 제조원가를 상승시키는 문제가 있다. 이보다 더욱 심각한 문제는 해상도가 증가하면 영상 처리 속도를 지연시켜 시스템의 실시간 작동이 불가능해진다.

이하, 설정영역내의 사람 및 사람의 동작을 감지하기 위한 7개의 종래 기술을 설명한다.

라슨 엣 알(Larson et al.)의 미합중국 특허 제5,363,297호(1994년 11월), "스포츠 중계를 위한 자동 카메라 추적 시스템"은 야외 스포츠 경기가 치러지는 영역을 계속적으로 감시하는 복수개의 카메라를 포함하며, 컴퓨터 시스템은 각각의 카메라에서 촬영된 정보를 수신하여 선수들의 실루엣을 추적하는 방법으로 정지된 배경에서 선수들의 이미지를 추출한다. 이 경우 각각의 선수들이 충돌하거나 겹치면 각각의 선수의 실루엣들이 겹쳐지게 되므로, 시스템의 추적지역 내에 처음 출현하는 선수들을 인식하는 방법과 동일한 방법으로 각 선수들을 재인식할 필요가 있다. 상기 특허는 이 문제를 해결하기 위한 두 가지 해법을 제시하데, 첫째, 최초의 인식작업 및 겹쳐진 실루엣으로 인해 시스템이 선수의 추적이 중지됨으로 인한 후속의 모든 재인식 작업을 사람이 수행하는 방법이다. 둘째, 부가적인 전자 추적장치 및 수신신호에 대해 삼각층량법을 사용함으로써 각각의 선수를 인식 및 추적하는 방법이다. 하지만, 상기 특허는 4가지 이상의 중대한 문제점을 갖고 있다. 첫째, 실시간으로 선수들을 추출하는 디지털 프로세싱에는 출원당시(1994년)는 물론 현재의 컴퓨터 기술로도 가격대 비용의 측면에서 상당한 비용을 요구한다. 둘째, 위 추출방법은 상당히 자세한 정보를 요구하기 때문에 부가적인 카메라와 그와 관련된 고성능의 컴퓨터 시스템을 필요로 한다. 셋째, 상기 최초 인식과 그 이후 재인식 작업을 위한 조작자(operator)를 사용하는 경우 그로 인한 제약과 비용상승을초래한다. 따라서 아마추어 경기의 경우에는 조작자로 인한 비용상승이 경기수입을 초과할 수 있기 때문에, 상기 특허를 활용하는데는 경제적인 문제를 발생시키고, 나아가 실시간으로 추적하는 경우에 조작자는 짧은 시간에 많은 결정을 하여 하기 때문에 그에 부합하는 정교한 훈련이 필요하게 된다. 넷째, 전자적인 방법의 경우에도 실시간으로 선수들을 추적하도록 하기 위해서는 추적장치가 고주파에서 동작해야 하는데, 그로 인하여 비용이 상승하게 된다. 다섯째, 상기 발명은 각 개인의 이동의 방향은 결정할 수 있을지라도, 그 추적되는 사람이 앞쪽을 향하는지 뒤쪽을 향하는지는 결정할 수 없게 된다.

케이코 아베(Keiko Abe)의 미국 특허 제5,473,369호(1995년 12월), "물체 추적 장치"는 프레임과 프레임간의 물체를 추적하기 위하여 실제 이미지 처리 기술(actual image processing techniques)에 관한 것이다. 위 특허에서 종래기술로 제시하는 방법은 하나 또는 그 이상의 픽셀을 블록으로 설정하고 프레임과 프레임간에서 블록단위로 영상을 비교하는 것인데, 이는 처리시간이 길고 오류발생 확률이 높기 때문에 동일한 카메라 시야 내에서 물체크기가 변하거나 물체가 사라지는 경우에는 잘못된 처리를 하기 쉽다. 따라서, 위 특허는 동일한 비디오 프레임을 먼저 휘도 및 색상 도수분포도로 분리한 후 프레임단위로 비교하는 방법을 제시하면서, 이 방법이 블록 단위로 비교하는 방법보다 더욱 정교하고 효과적인 시스템이라고 주장한다. 하지만 상기 특허에도 다섯 가지 이상의 중대한 문제점이 있다. 첫째, 이러한 기술은 최초 및 이후의 배경의 밝기에 따라서 효율성 및 신뢰성이 좌우된다. 예를 들어, 처음에는 밝기 조건이 충분하여 휘도 도수분포도는 이상적인 경우에 근접한 경우에 있어서, 밝기 조건이 나빠지거나 밝기가 급격히 증가하는 경우에는 휘도의 도수분포도는 심각한 오류를 나타내게 된다. 둘째, 밝기 조건에 따라 색상 감지 감도가 부분적으로 영향을 받기 때문에 색상의 도수 분포도 또한 신뢰도가 떨어지게 된다. 따라서 프레임단위로 시시각각 변할 수 있는 색상의 간섭으로 인해 피추적체와 배경이 혼합될 우려가 있다. 셋째, 위 특허는 휘도와 색상 정보가 유사하거나 동일한 다중 물체를 추적하기 위한 시스템이 아니기 때문에 서로 비슷한 다중 물체를 구별할 수 없다는 것이다. 넷째, 위 특허명세서에서 언급된 "지역 지정 프레임" 즉, 피추적체의 영상 이미지 부분을 선택하기 위한 조작자 역할을 할 사람이 필요하다는 점이다. 이러한 제약으로 인해 카메라의 시야에 수시로 출입하며 간헐적으로 서로 겹치는 다중 물체의 추적이 어렵다. 다섯째, 상기 특허 명세서에 암시된 바와 같이, 시스템이 자동으로 카메라의 팬(pan), 틸트(tilt), 줌(zoom)을 해야 하며 피추적체의 모든 크기 변화를 감지하여 바람직한 크기를 유지해야 하는 바, 이러한 시스템에 사용하는 여러 장치 및 기구들의 상당한 발전이 선행되어야 하는 점이다. 따라서, 위 특허는 그것이 극복하려는 블록방법과 여전히 유사한 문제들을 지니고 있다.

하시마 엣 알(Hashima et al.)의 미국특허 제 5,617,335호(1997년 4월), "표적 인식 및 추적을 위한 시스템 및 방법"은 삼차원 좌표계 상의 피추적체 위치결정을 위한 추적 카메라와 처리 메커니즘 상의 문제점을 지적하는데, 위 특허에서는 이러한 좌표를 피추적체라는 용어 대신에 표적의 자세(attitude) 및 위치로 표현한다. 위 특허는 종래 기술의 문제점으로 복잡한 계산, 다중 물체 추적 및 배경 잡음의 문제를 지적하면서, 흑색의 원 내부의 흰색 삼각형으로 피추적체를 표시하는 기술을 개시한다. 일단 상기 특수한 표시를 포착하면, 삼각형 표지가 된 이미지의 무게 중심(center of gravity)과 X좌표 및 Y좌표의 임계 도수 분포도를 결정하고, 투영되는 상의 X 및 Y 좌표의 도수 분포도로 신속히 변환한다. 상기 정보들은 "여러 가지 자세 패턴 중에서 무게 중심의 위치, 도수 분포도의 최대치, X축 및 Y 축의 값, 및 상기 삼각형 표시의 기하학적인 데이터에 기초한 상기 삼각형 표시의 자세를 결정하기 위하여" 사용된다. 비록 위 특허가 정교성과 효율성의 측면에서 발전이 있지만, 최소한 세 가지이상의 중대한 문제점을 가진다. 첫째, 매우 정교한 기술로 피추적체를 표시해야 하며, 피추적체가 추적 카메라의 시야에서 벗어난 경우의 추적 방법을 제공하지 않는다. 둘째, 2차원 이미지에서 3차원 정보를 결정하기 위해서는 원근 카메라(perspective camera)가 필요함에도 불구하고 이에 대한 언급이 없다. 따라서, 이러한 부가 카메라를 이용해야 더욱 효과적이고 정확하게 3 차원의 정보를 결정할 수 있다. 세째, 상기 특허에서는 "다수의 물체나 잡음을 포함한 이미지의 경우에도 동작이 원활하다"라고 하고 있으나, 이는 다중물체를 동일한 이미지 내에서 추적하는 경우에는 동시에 다중 물체들을 카메라가 삼차원으로 추적할 수 없으므로 이러한 경우에는 적당하지 않다.

레멜슨 엔 알(Lemelson et al.)의 미국 특허 5,731,785호(1998년 3월), "가려져 있는 물체의 위치를 포착하는 시스템 및 방법(system and method for locating objects including an inhibiting feature)은 물체에 휴대 가능한 형태로 수장하는 전자코드 발생시스템 또는 장치에 의하여 물체를 추적하는 방법에 관한것이다. 위 시스템 또는 장치는 GPS 위성 또는 삼각 측량법에 기초한 지상 기지로부터 위치 신호를 송수신하게 설계하여, 원격 추적 시스템은 여러 물체들 중에서 이러한 추적 장치가 설치된 물체가 어디에 있는지를 파악할 수 있다. 피추적체의 위치결정을 위하여 추적 시스템은 조회 신호를 특정 물체에 설치된 특정 전자코드 발생 시스템에 발신하면, 전체 전자코드 발생 시스템이 수신하지만 그 조회 신호에 해당하는 전자코드 발생 시스템만이 그 신호에 응답으로 현재의 위치정보를 추적 시스템에 전송한다. 추적 시스템은 그 신호를 수신하여 위치 확인된 특정 물체의 관련정보를 모니터에 출력한다. 위 특허는 통상의 카메라 추적 시스템으로는 추적할 수 없는 넓은 지역의 복수개의 물체 추적에 적합하다. 하지만 카메라 네트워크가 추적 가능한 정도의 구간의 물체 추적에는 상기 발명은 세 가지 이상의 문제점을 가진다. 첫째, 각각의 물체들은 계속 자신의 위치를 파악하기 위하여 GPS 신호 또는 다른 추적 신호를 수신하고 자신의 위치 정보를 컴퓨터 장치에 송신해야 한다. 위 송수신 장치에 의한 방법은 물체에 표시를 하여 물체를 추적하는 방법과 비교하여 넓은 장착영역 및 그 장치를 구동하는 전원이 요구된다. 둘째, 위 특허의 원격 추적 시스템은 전체 추적 물체를 추적하는 것이 아니라 하나 또는 적은 부분만 추적하기 때문에, 설정된 영역 내에서 이동하는 모든 피추적체의 정확하고 계속적인 이동을 추적하는 경우는 적합하지 않다. 모든 물체가 지속적으로 조회 신호 및 위치 신호를 송수신하는 경우라도 시스템에 전송하는 정보의 양은 매우 제한적일 수밖에 없다. 셋째, 상기 시스템은 이동의 방향과 관련된 물체의 방위(orientation)에 대한 정보를 제공하지 않는다. 추적되는 차량 또는 사람의이동 방향을 결정하더라도, 그 차량 또는 사람이 현재 이동방향을 향하고 있는지 아니면 돌아서서 뒤로 가고 있는 것인지를 결정할 수 없다.

로우리 엣 알(Lower et al.)의 미국 특허 제5,768,151호(1998년 6월), "스포츠 시뮬레이터에서의 물체 궤적 결정 시스템"은 특정 물체의 궤적을 추적하기 위하여 제한된 영역만을 향하는 양안(stereoscopic) 카메라를 사용한다. 피추적체가 카메라의 시야를 가로지르면, 카메라는 그 물체의 잔상이 남을 정도의 충분히 느린 비율로 영상을 포착(capture)한다. 상기 발명의 다른 중요한 부분은 추적시작 시점의 결정방법인 바, 음향 감지 장치가 추적 범위 내의 물체의 출현을 감지하면 영상 포착을 시작하는 방법이다. 하지만, 위 발병의 범용적 사용을 제약하는 네 가지 이상의 중요한 문제점이 있다. 첫째, 상기 발명은 매우 제한된 영역에서 사용하는 것을 예상하고 있기 때문에, 넓은 영역에 사용하려면 다수의 원근 카메라 및 추적 영역내의 물체이동이 감지 시 작동하는 카메라를 결정하는 시스템이 부가적으로 요구된다. 또한, 최초의 물체위치를 알지 못하여 물체에서 발생하는 음향으로 삼각측량법을 이용하여 위치를 결정하는 경우 작동해야 할 카메라를 결정할 수 없다는 문제가 발생하다. 모든 카메라는 다량의 데이터를 포함하는 영상정보를 포착해야 하고, 추적 컴퓨터는 물체위치를 결정하는 자세한 데이터분석을 해야 한다. 둘째, 상기 시스템은 각각의 물체들의 궤적벡터만 결정할 뿐이고 카메라의 시야를 통과하는 각각의 물체를 독립적으로 구별할 수 없다. 셋째, 동시에 같은 시야(field of view)의 다중 물체를 추적하는 능력에 있어서, 위 발명은 한 번에 하나의 물체를 추적하여 그 물체의 궤적 벡터만 결정할 수 있고, 물체 구별 기능이 없으므로, 두 개 이상의 물체가 추적영역 내에서 이동하다 충돌하여 서로의 이동경로에 영향을 미치는 경우, 충돌 이후 어떤 물체가 어떤 경로로 이동하는지를 결정할 수 없다. 넷째, 추적 물체와 배경간의 색상 또는 휘도 차이가 불충분하면 물체를 배경에서 추출할 수 없다.

이상에서 설명한 종래기술은 하나 이상의 방법으로 설정영역에서 적어도 하나의 물체의 이동을 추적하기 위한 기술로서, 종래기술의 한계를 요약하면 다음과 같다.

첫째, 라슨 엣 알의 특허와 같이 픽셀단위로 물체와 배경의 차이를 비교하는 추적 시스템은 정확한 동작을 위해 높은 해상도를 가져야 하고, 컴퓨터 처리과정이 복잡하여 실시간 구현이 어렵다.

둘째, 아베의 특허와 같이 처리시간 단축을 위하여 색상과 휘도를 분리하여 그 평균값을 이용하는 기술의 경우는 다중 물체간 구별, 배경과 색상 구분이 어려운 경우 및 이미지 프레임간에 조명 변동 시 정확한 동작을 기대하기 어렵고, 물체크기가 감소하는 경우 배경 정보량에 비해 물체 정보량이 줄어들어 "잡음"이 증가하기 때문에, 배경과 물체의 적절 비율을 유지하는 카메라를 각 물체마다 구비해야 하므로, 더 많은 물체를 추적해야 하는 경우 또는 촬영 범위가 넓어지는 경우에는 상기 기술은 실용성이 떨어지게 된다.

셋째, 로우리 엣 알의 특허와 같이 두 개의 원근 카메라와 영상 잔상 기술(image blurring technique)로 추적 시스템을 구현하여 삼차원적인 궤적 벡터를 포착하는 경우에는, 영상 처리량은 줄어드는 반면 중요한 세부 영상을 놓치게된다.

넷째, 하시마 엣 알의 특허와 같이 물체에 부착 가능한 표시를 이용하는 물체 추적 기술로 추적 시스템을 구현 시, 영상 처리량을 줄어드나 이차원 영상에서 삼차원 정보를 결정해야 하는 문제가 있고, 넓은 추적영역에서 빠르게 이동하는 다수의 물체를 추적하는 경우 및 추적 카메라와 물체의 거리가 현저하게 변화하는 경우에는 동작의 신뢰도가 저하된다.

다섯째, 상기 라슨, 아베, 하시마, 로우리의 기술에 기초한 모든 영상과 카메라는 다중 물체의 경로가 교차하거나 충돌하는 경우에는 오류가 발생할 위험이 많다. 단지 라슨의 기술만이 이러한 문제의 해결방법으로 조작자 역할을 하는 사람을 두는 방법을 제시하고 있으나, 이 경우 비용상승의 문제 뿐 아니라, 사람이 실시간으로 매우 빠른 속도로 이동하는 다중의 물체를 모두 추적해야 하는 문제가 있다. 비록, 라슨은 전자장비에 의해 개별 물체를 구분하는 시스템을 제시하나 이 또한 해상도와 속도를 보장하기 위해서는 가격 대 성능의 면에서 많은 비용을 감수해야 하는 문제가 있다.

여섯째, 아베의 비디오/카메라 솔루션 또한 라슨과 마찬가지로 조작자 역할을 하는 사람을 두고 있는데, 라슨의 시스템에서는 조작자가 각각의 물체를 식별시키고 다음 충돌 시까지 시스템이 자동 추적하고 충돌 후 다시 한 번 조작자가 피추적체를 재인식 시켜야 하지만, 아베의 시스템에서의 조작자는 다른 물체를 추적하지 않는 한 시스템의 처리능력 요구사항을 감소시킬 수 있도록 지정 영역 프레임만을 초기 이미지로 잘라내는 역할을 수행하게 된다. 하지만 어느 경우에 있어서도상기 조작자는 비용 측면과 실시간 처리 측면에서 제한을 가하는 요소가 된다.

일곱째, 로우리의 비디오/카메라 솔루션은 촬영 영역 내에 출현하는 물체의 음향을 감지하여 자동으로 추적을 시작하지만, 이 기술은 구별 가능한 음향을 발생하는 물체에만 적용할 수 있고, 비슷한 음향이 동시에 여러 물체에서 발생하는 경우에는 적용할 수 없다.

여덟째, 레멜슨 엣 알의 추적 시스템 같이 전자회로로 이루어진 능동(active) 위치 추적 장치를 이용하는 경우, 피추적체의 장치가 위치신호 및 조회신호의 송수신 및 처리하려면 전원을 장치해야 하는데, 이로 인해 추적 가능한 물체의 종류와 범위를 제한하고 컴퓨터 장치 설치에 비용이 소요되며 이러한 시스템은 위치만 추적하고 물체의 방향 즉, 전진과 후진을 구별할 수 없다.

아홉째, 하시마의 표시 기술 또한 물체의 다음 이동을 예측하기 위해서는 필수적인 물체의 방위 정보를 포착할 수 없다

열번째, 상기 어떠한 기술도, 배경 또는 다른 피추적체와 색깔 또는 휘도가 유사하며 이동 속도가 빠른 물체를 포착하는데는 어려움이 있으며, 영상에 기초하지 않은 솔루션은 중요한 영상 정보를 얻을 수 없는 문제가 있다.

본 발명은 설정영역 내에서의 다중 물체의 이동을 추적하기 위한 시스템에 관한 것이다.

도 1은 본 발명의 실시례에 따라, 아이스 하키 경기장내의 링크 및 벤치를 포함하는 추적영역을 형성하는 X-Y 추적용 상부 카메라의 배열, 예시적으로 표시한 선수와 퍽, 및 각각의 골대 뒤에 설치하는 Z추적용 원근 카메라를 도시하는 평면도및 자동 팬, 틸트, 및 줌 조정 카메라를 도시하는 분해도.

도 2a는 통상의 경기용 상의, 추적용 팻치를 부착한 보호대, 및 팻치를 부착한 보호대 위에 경기용 상의를 결합한 모습을 각각 도시하는 세 개의 사시도.

도 2b는 적어도 일부 외부표면에 추적용 안료를 도포한 퍽 및 하키스틱을 각각 도시하는 두 개의 사시도.

도 2c는 적어도 일부 외부표면에 추적용 테이프를 부착한 아이스 하키용 헬멧을 도시하는 두 개의 사시도.

도 3a는 통상의 아이스 하키용 보호대, 헬멧, 스틱, 퍽, 통상의 상부 X-Y축 영상 카메라, 및 그 카메라가 포착한 모습을 출력하는 화면을 각각 도시하는 사시도.

도 3b는 추적용 안료를 도포한 스틱과 퍽, 추적용 팻치를 부착한 보호대, 추적용 스티커를 부착한 헬멧, 추적용 에너지원 및 주파수 선택 필터 부착 상부 X-Y축 영상 카메라로 구성한 추적 카메라, 및 그 카메라가 포착한 모습을 출력하는 화면을 각각 도시하는 사시도.

도 4a는 추적용 안료를 도포한 스틱과 퍽, 추적용 팻치를 부착한 보호대, 추적용 스티커를 부착한 헬멧, 추적용 에너지원 및 주파수 선택 필터 부착 상부 X-Y축 영상 카메라로 구성한 추적용 카메라에 필터를 부착하지 않은 영상 카메라를 부가한 상부 X-Y축 카메라부, 및 그 카메라에서 포착한 모습을 출력하는 화면을 각각 도시하는 사시도.

도 4b는 추적용 표시로 피추적체의 최초 위치를 추적하고, 화면의 픽셀단위로 포착화면과 기지의(pre-known) 배경을 비교하여 추적 물체의 윤곽을 결정하는 방법으로 피추척체의 비디오 이미지를 추출하는 과정을 도시하는 평면도.

도 4c는 상부 X-Y축 영상 및 추적 카메라에 의해 통상의 하키 선수, 스틱 및 퍽의 이동을 추적하는 연속장면을 도시하는 아이스링크의 부분 평면도.

도 5는 통상적인 아이스하키 경기장의 천장에 설치하는 카메라 배열 장착 프레임 및 그에 부착된 상부 X-Y축 영상 및 추적 카메라를 도시하는 사시도.

도 6은 전체 경기장 중 추적용 안료를 도포한 제한 삼각뿔(restricting cine)로 표시한 일부 연습지역만 상부 X-Y 추적 카메라가 추적하여 한 명의 선수만 그 연습지역에서 연습하고, 나머지 선수는 연습지역 밖에서 대기하는 모습을 도시하는 평면도 및 코칭스텝이 기능을 제어하며 추적 시스템에서 취합 및 가공된 선수정보를 조회하는 휴대용 장치를 도시하는 사시도.

도 7은 선수용 벤치에 설치하여 추적 시스템에서 취합 및 가공된 정보 조회용의 키패드를 부설한 일련의 화상출력장치의 전면도.

도 8은 본 발명에 따른 전체 추적 및 정보처리의 흐름을 도시하는 블럭도.

본 발명은 이하에서 특정경우를 기준으로 설명하나, 본 명세서가 발명의 범위를 그 경우로 제한하는 것은 아니고, 단지 바람직한 실시예의 하나로서 제시하는 것이다. 본 발명에 이용될 수 있는 많은 장치와 방법들 중 단지 일부만 본 특허출원서의 결론부분에서 언급된다. 본 발명의 사상인 다중 물체 추적의 예로 아이스하키를 들어서 설명한다. 아이스하키는 이런 종류의 기술을 적용하기 어려운 종목이지만, 이를 통해 본 발명과 종래기술의 차이를 명확히 밝힐 수 있는데, 그 이유는 이하에서 설명한다.

첫째, 하키는 모든 운동 중에서 가장 빠르게 움직이고 방향 및 방위가 바뀌는 운동이다. 스케이팅을 하는 선수 속도는 시속 25 마일에 육박하는데, 이는 자동차나 자전거 등을 이용하는 경우를 제외한 걷기 또는 뛰기를 포함하는 어떠한 운동보다도 빠른 속도이다. 이러한 빠른 이동뿐만 아니라 다양한 개인차로 인해 시스템의 실시간 처리가 어렵다.

둘째, 아이스 하키에 사용하는 퍽의 속도는 시속 100마일 이상이며 종종 방향이 급격히 변화한다. 이러한 빠른 속도와 방향 변화는 추적에 있어서 가장 어려운 부분이다. 하지만 퍽은 그 모양이 쉽게 변하지 않으므로 퍽의 추적은 선수의 추적에 비해 간단하다.

셋째, 각각의 선수들은 수시로 추적 영역인 경기장을 드나들기 때문에 실시간 처리를 위해서는 선수들을 효과적으로 자동 인식해야 한다.

넷째, 종종 선수들 및 퍽은 수시로 충돌하여 카메라 시야에서 완전히 또는 부분적으로 사라는데, 이로 인하여 피추적체의 이동을 놓치기 쉽다.

다섯째, 관람객의 카메라 플레쉬 및 경기장 조명 시스템 등에 의해 갑자기 빛이 증가하면, 얼음면은 그것을 반사하여 카메라의 CCD(charged couple device)소자를 포화시키는데, 이로 인해 휘도에 기초한 추적 시스템의 사용이 제한된다.

여섯째, 같은 팀에 속하는 선수들은 같은 색의 유니폼을 착용하고, 종종 얼음면에 그려진 그림 및 광고판의 색깔과 유니폼 색깔이 비슷한 경우가 있으므로, 색조에 기초한 추적 시스템의 사용이 제한된다.

일곱째, 경기장에는 일정 수준이상의 안개가 흔히 발생하므로, 어떠한 카메라 기반 시스템의 경우라도 이로 인해 선수 및 퍽의 윤곽의 추적이 제한된다.

여덟째, 아이스 하키는 TV 중계가 되는 경우가 많아서 관심의 대상에 따라서 갑자기 화면이 바뀌는 것이 지속된다. 일단 관심의 대상이 정해지면, 전체 조망 화면으로 비추던 방송사 카메라에 자동으로 팬, 틸트 및 줌이 지시하는 것이 바람직하나 이러한 동작은 실시간으로 물체를 삼차원 추적하는 것 이상으로 어렵다.

아홉째, 각각의 선수 및 코치에 대한 정보들을 즉시 요구하는 경우가 많은데, 이러한 정보들은 경기의 시작부터 그 시점까지의 선수들의 활동에서 얻어지게 된다. 따라서, 추적 시스템은 여러 카메라로부터 얻어지는 정보들을 신속하고 효과적으로 축적해야 한다.

열째, 금속과 시멘트 블록으로 이루어진 폐쇄된 경기장이 GPS 신호 이용을 제한하며, 실내의 심한 반사는 삼각측량법 역시 제한하여 수동(passive) 전자 추적 장치는 사용할 수 없다. 또한 격렬한 충돌이 빈번한 경기의 특성상 능동 전자 추적 장치 또한 사용하기가 어려울 뿐만 아니라, 전원장치에 의해 선수들에게는 잠재적인 위험이 따르게 된다. 또한 이러한 장비사용으로 인한 비용상승으로 인해 지역경기 등의 작은 규모의 경기에서는 이용할 수 없다는 폐단이 있다.

열한 번째, 선수의 팔과 다리의 방위와 방향의 추적은 중요한 정보를 제공한다. 선수는 옆에서 쇄도하는 선수를 견제하기 위해서 진행방향과 다른 방향으로 시선을 향하는 경우 이러한 시선의 방향은 그 선수의 경기에 대한 집중력을 나타내는 것으로 코치에게 중요한 자료가 된다. 더욱이, 일정한 방향으로 진행하다가 순간적으로 방향을 틀어 반대방향으로 진행하는 등의 이동 및 연장전 도중 선수가 머리를 숙이는 빈도 등은 매우 중요한 정보로 활용될 수 있으나, 선수를 전체로서 하나의 객체로 인식하는 기존의 방법으로는 이러한 정보를 얻을 수 없다.

열두 번째, 링크 위의 한정된 영역에서 동시에 적은 수의 선수들이 개인 훈련을 하는 경우, 추적지역 크기를 일정영역으로 제한하는 것이 바람직하므로, 이러한 조건에서는 링크 위에서 일정영역으로 시스템의 추적지역을 제한 할 수 있어야 한다.

열세 번째, 아이스 하키는 선수교체 및 격렬한 충동이 잦은 바, 시스템에 사람이 개입하여 선수 식별 작업 및 충돌 후 재식별 작업을 하는 경우 실수가 발생할 확률이 높고, 큰 경기에서는 실제적으로 불가능하지는 않을지라도, 작은 규모의 경기에서 사람의 정확한 조작을 기대하기는 어렵다.

현재의 카메라 시스템 기술 수준으로 설정영역 내에서 동작하며 개개의 물체의 연속적인 위치 및 운동의 방위 및 방향을 추적하는 완전 자동 다중 물체 추적 시스템의 구현이 가능하다. 이러한 시스템으로 인해 아이스 하키와 같은 경기의 이해, 분석 및 관람의 면에서 많은 발전을 기대할 수 있다.

본 발명은 한정된 영역내의 다중 물체를 추적하는 시스템을 제공하는 것을 목적으로 하며 이하에서 본 발명에 따른 시스템의 특징을 더욱 자세하게 설명하면 다음과 같다.

실시간으로 조작자 등의 사람의 조력 없이, 형상이 변화하며 빠르게 이동하는 다중 물체를 자동으로 초기 식별 및 재식별 및 추적 할 수 있으며, 피추적체에 부착하는 특별한 표시를 개별 추적하여 표시의 위치로 방향 벡터, 가속도 벡터, 및 속도 벡터에 따라 배경에서 물체를 효과적으로 추출하는 방법으로 영상 데이터의 처리 시간을 감소할 수 있다. 또한, 피추적체의 색채에 영향을 받지 않으며, 피추적체에 부착하는 능동 또는 수동을 불문한 전자 추적 장치를 이용하지 않으며, 피추적체의 전체뿐만 아니라 그것의 여러 개별적인 부분들의 방위정보를 결정할 수 있다. 그리고, 가시광선을 이용하는 인식 기술에서는 적합하지 않은 다양한 조명조건 및 대기중의 수분함유 조건에서도 동작하고, 전체 추적 영역 중의 일부분으로 추적 영역을 쉽게 제한할 수 있고, 시간별 또는 물체의 속성별로 실시간 접근할 수 있는 물체의 이동 데이터베이스를 구축 및 유지할 수 있다. 또한 경기장 밖의 원격지에서 인터넷과 같은 네트워크를 통해 포착 데이터의 전부 또는 일부를 컴퓨터에서 즉시출력 할 수 있고, 원하는 장면 재생 및 분석이 가능하다.

그밖에 제작, 설치 및 유지측면에서는 주어진 온도조건에서 동작하는 이동부분을 최소화하여 경제적인 시스템을 구축할 수 있다. 본 발명의 기타의 목적과 이점은 후술하는 명세서 및 도면에 나타난다.

도 1은 다중 물체 추적 시스템(100)의 바람직한 실시예의 평면도를 도시한다. 다중 물체 추적 시스템(100)은 20v와 같이 한정된 영역 내의 모든 물체의 이동을 개별적으로 추적하는 X-Y 추적용 상부 카메라부(20c)의 배열을 포함한다. 전체적으로, X-Y 추적용 상부 카메라부(20c)의 배열은 경기장(2), 입구(entrance-way)의 일부는 물론 팀 박스(2f,2g), 페널티 박스(2h)의 모든 이동을 추적한다. X-Y 추적용 상부 카메라부(20c)는 화상 카메라(25), 에너지원(23), 에너지 필터(24f)가 부착된 추적 카메라(24)를 더 포함하며, 이들은 모두 어셈블리 케이스(21)에 수장되고, 어셈블리 플렉시글래스(assembly Plexiglas:21a)를 통해 에너지원(23)은 아래쪽의 얼음면(2) 및 물체로 선택된 에너지(23a)를 방사한다. 선택된 에너지(23a)는 통상의 주변 조명 범위를 벗어날 뿐만 아니라 안개와 같은 수분 조건에 의해 영향을 받지 않는 주파수로 특정하게 선택하는 것이 바람직하다. 얼음면(2)의 입구(2e)가 시야범위 내에 있도록 특별히 위치한 X-Y 추적용 상부 카메라부(20c1)가 도시되어 있다. 이 X-Y 추적용 상부 카메라부(20c1)는 X-Y 추적용 상부 카메라부(20c)와 그 구성이 동일하고, 피추적체는 이 카메라의 시야에서 출입해야 하므로 중요하고 구체적으로 언급한다. 또한 얼음(2)의 양단에 쌍으로 설치한 Z추적용 원근 카메라부(perspective z tracking camera set:30)는 얼음면의 선택된 부분 상의 이동을 추적한다. 마지막으로 퍽(3)을 현재 가지는 선수(10)를 중심으로 지속적으로 향하는 자동 화상 카메라(40)가 있다. 자동 화상 카메라(40)는 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)과 지속적으로 통신하며 명령을 수신한다. 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)은 X-Y 추적용 상부 카메라부(20c)의 배열 및 Z추적용 원근 카메라부(30)와 계속적으로 통신한다. 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)은 또한 장면(28)을 표시하는 모니터(27)가 부착되어 있으며, 포착된 이벤트(70)를 재검토하기 위한 원격 컴퓨터 시스템과 광통신한다. 또한 이벤트의 시작으로부터 현재 순간까지의 추적된 물체의 이동에 대한 정보를 제공하는 팀 출력 스테이션(80)은 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)과 선택적으로 광통신한다.

도 2a는 통상적인 선수의 상의(5) 및 선수 어깨 패드(6)를 도시한다. 패드(6)에는 우측 어깨 팀 패치(7r) 및 좌측 어깨 선수 패치(7l)가 부착되어 있다. 우측 어깨 팀 패치(7r)는 머리의 반대방향으로 팔을 향하는 화살표 형상의 방위 마크(orientation mark)(7r1) 및 고유 바코드인 팀 표시(7r2)를 포함한다. 좌측 어깨 선수 패치(7l)는 또한 머리의 반대 방향으로 팔을 향하는 화살표 형상의 방위 마크(orientation mark)(7l1) 및 선수 표시(7l2)를 포함한다. 패치(7r, 7l)의 표시는 주파수 선택 반사 물질, 바람직하게는 잉크로 표시한다. 도 2a는 패드(6)의 상부에 위치한 상의(5)를 도시한다. 상의(5)는 하부에 위치한 선수 패치(7l)가 전부 보이도록 하기 위해 절단되어 도시되어 있다.

또한 도 2a는 전송 상의(transmissive jersey)(7)를 통과하여 방사되는 반사 에너지(7m)를 도시한다. 직물을 통과하는 이러한 기술은 신규한 것이 아니며, 셔츠를 번호판(license plate) 상에 위치시키고 필터 없이 촬영한 사진과 가시광선 필터(visible light filter)를 통해 촬영한 사진 두 개를 대비함으로써 소니 주식회사에 의해 개시되었다. 직물은 가시 스펙트럼(visible spectrum) 내의 빛을 강렬하게 반사하므로, 필터링되지 않은 화상에서는 번호판은 보이지 않는다. 적외선 통과 필터를 사용하면 적외선만이 포착되어 번호판의 숫자와 글자들을 볼 수 있다. 본 발명은 콘트라스트(contrast), 즉 신호 대 잡음비를 향상시키는 특정한 주파수 선택적 반사 물질의 사용을 개시하고 있다는 점을 유의해야 한다.

도 2b는 상부 표면(실제로는 모든 외부면)이 패치(7r, 7l)에 사용하는 주파수 선택적 반사 물질과 유사한 반사 잉크(3a)로 코팅한 통상의 하키 퍽(3)을 도시한다. 예를 들면 에너지원(23)이 방사하는 특정 에너지 주파수에 응답하여, 잉크(3a)는 반사 에너지(3b)를 생성한다. 또한 타격면(blade)에 동일한 특수 잉크를 포함하도록 제조한 특수 반사 하키 테이프(4a)를 둘러싼 통상의 하키 스틱(4)이 도시되어 있다. 예를 들면 에너지원(23)이 방사하는 특정 에너지 주파수에 응답하여, 테이프(4a)는 반사 에너지(4b)를 생성한다.

도 2는 동일한 특수 잉크를 포함하도록 제조한 반사 스티커(9)를 최상부에 부착한 통상의 하키 선수 헬멧(8)의 평면도 및 사시도가 도시한다. 예를 들면 에너지원(23)이 방사하는 특정 에너지 주파수에 응답하여, 테이프(9)는 반사 에너지(9a)를 생성한다.

도 3a를 참조하면, X-Y 추적용 상부 카메라부(20a)의 제1 실시예가 도시되어 있다. 이 실시예에서, X-Y 추적용 상부 카메라부(20a)는 에셈블리 케이스(21)에 위치하고 플렉시글래스(21a)를 통해 아래쪽의 얼음면(2)을 촬영하는 에너지 필터(24f)가 없는 추적 카메라(24)로 제한된다. X-Y 추적용 상부 카메라부(20a) 아래에는 표시가 없는 선수(10), 표시가 없는 스틱(4) 및 표시가 없는 퍽(3)이 도시되어 있다. 어셈블리(20a)를 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)(도시되지 않음), 원격 컴퓨터(70)(도시되지 않음)와 장면(28)을 표시하는 모니터(27)로 접속시키는 케이블(26)이 도시되어 있다.

도 3b를 참조하면, X-Y 추적용 상부 카메라부(20b)의 제2 실시예가 도시되어 있다. 이 실시예에서, 어셈블리(20b)는 선수(10), 퍽(3) 및 스틱(4)과 같이 얼음면에서 이동하는 물체를 향해 방사되는 선택된 에너지(23a)를 방출하는 에너지원(23)을 포함하도록 확장되었다. 선수(10)의 패드(6)는 우측 어깨 팀 패치(7r) 및 좌측 어깨 선수 패치(7l)를 포함하도록 확장되었다는 점을 유의해야 한다. 퍽(3)은 반사 잉크(3a)를 포함하며, 스틱(4)은 특수 반사 하키 테이프(4a)로 둘러싸여 있다는 것을 또한 유의해야 한다. 화면(28)은 분석되고 추적되어야 하는 훨씬 더 작은 정보의 세트를 도시한다.

도 4a를 참조하면, X-Y 추적용 상부 카메라부(20c)의 제3 실시예가 도시되어 있다. 이 실시예에서, X-Y 추적용 상부 카메라부(20c)는 아래면 상의 모든 이동의 필터링되지 않은 이미지를 포착하는 화상 카메라(25)를 포함하도록 확장되었다. 도 4b는 우선 부착된 표시의 위치를 파악하고 그 다음에 이미지의 각 픽셀을 기지의 배경(2r)과 비교하여 피추적체의 비디오 이미지를 효과적으로 추출하는 본 발명의 신규한 프로세스의 중요한 구성 요소를 도시하고 있다. 배경 픽셀에 도달한 것으로 결정하면, 이미지 추적 경로(10p)가 폐경로가 될 때까지 물체 주위를 따라 계속 진행한다. 이 폐경로(10p) 주위에 피추적체를 포함하는 비디오 이미지의 일부를 추출하기 위한 최소 내접 사각형(10r)이 계산된다. 또한 도 4c를 참조하면, 바람직한 X-Y 추적용 상부 카메라부(20c)를 이용하여 처리된 얼음 표면(2) 상의 선수(10) 동작이 도시되어 있다. 계산된 샷 삼각형(2c) 내에서 골(2b)에 샷을 하기 위한 경로를 따라 퍽(3)을 몰고 네 개의 이동점(movement points)(10a1, 10a2, 10a3, 10a4)을 통해 횡단하는 선수(10)가 도시되어 있다. 얼음 표면(2)의 중심은 제1 이동각(movement angle)(10a1o) 및 이동 반지름(10a1r)이 계산되는 점(2a)으로 표시되어 선수(10)의 이동점(10a1)으로의 제1 이동을 표시한다. 또한, 퍽(3)의 이동점(10a1)으로의 초기 이동을 표시하는 이동각(31o) 및 이동 반지름(31r)이 계산된다. 중심점(2a) 주변에는 마지막 방향 벡터, 가속도 및 속도뿐만 아니라 마지막으로 기지의 위치(이 경우에는 2a)에 기초하여 물체의 다음 위치가 포함되는 최대 임계원(10b)을 도시하고 있다. 마지막으로, 얼음면(2)으로의 입구(2e)의 상부에 위치한 X-Y 추적용 상부 카메라부(20c1)가 추적하며 촬영 영역의 최외곽 부분을 담당하는 최대 초기화 검색 사각형(10e)이 도시되어 있다.

도 5를 참조하면, 경기장 대들보(2d)의 다른 구성에 가변적으로 부착 가능한 상부 장착 프레임(50)이 도시되어 있다. 상부 장착 프레임(50)에는 아래의 얼음면(2)상에 선택된 에너지(23a)를 방사하는 상부 x-y 추적 카메라부의 배열이 더 부착된다. 상부 x-y 추적 카메라부는 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)에 접속된다.

도 6을 참조하면, 반사 잉크(11a)를 코팅한 4개의 통상적인 삼각뿔(11)을 위치시켜 추적 영역을 제한한 얼음면(2)이 도시되어 있다. 예를 들면 에너지원(23)이 방사하는 특정한 에너지 주파수에 응답하여, 반사 잉크(11a)는 반사 에너지(11b)를 발생한다. 제한 영역(2t) 내에는 영역(2t) 내에 남아있는 동안 현재의 이동을 추적하려는 선수(10)가 도시되어 있다. 제한 영역(2t)의 외부에는 이동이 추적되지 않는 복수의 선수(10i)가 도시되어 있다. 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)과 선택적으로 통신하는 샷 클럭(shot clock)(91) 및 휴대용 추적 제어 장치(90)가 또한 도시되어 있다.

도 7은 페널티 박스(2h)뿐만 아니라 팀 박스(2f)(도시됨) 및 (2f)에 부착하는 팀 출력 스테이션(80)를 도시한 근접 평면도이다.

도 8을 참조하면, 전체 시스템의 블록도가 도시되어 있다. X-Y 추적용 상부 카메라부(30c)에 관하여, 화상 카메라(25)를 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)에 접속시키는 전선(26)(도시되지 않음) 대신에 사용할 수 있는 추가적이며 선택적인 부가 무선 모뎀(25m)이 도시되어 있다. 추적 카메라(24)를 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)에 접속시키는 전선(26)(도시되지 않음) 대신에 사용할 수 있는 추가적이며 선택적인 부가 무선 모뎀(24m)이 또한 도시되어 있다. 유사한 추가 사항이 Z추적용 원근 카메라부(30)에 대해 도시되어 있다. 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)은 X-Y 추적용 상부 카메라부(30c) 또는 Z추적용 원근 카메라부(30) 내에 장착된 모든 추적 카메라(24)로부터 입력을 받는 추적 카메라 비디오 포착부(61)에서 시작하여 구성 블록 부분으로 분할되어 있다. 추적 카메라 비디오 포착부(61)는 데이터 스트림을 표시/물체 추적 분석부(62)에 공급한다. 이 과정과 시간적으로 병행하여, X-Y 추적용 상부 카메라부(20c) 또는 Z추적용 원근 카메라부(30)내에 장착하는 모든 화상 카메라(25)로부터의 입력을 수신하는 화상 카메라 비디오 포착부(63)를 도시하고 있다. 그 다음에 화상 카메라 비디오 포착부(63)는 데이터 스트림을 물체/배경 추출 분석부(64)로 전송한다. 물체/배경 추출 분석부(64)는 또한 표시/물체 추적 분석부(62)로부터 동시에 입력을 수신한다. 물체/배경 추출 분석부(64) 및 표시/물체 추적 분석부(62) 모두 데이터 스트림을 중복 영상 통합부(composition ofmultiple overlapping images into individual full view frames unit:62)는 입력받고, 또한 휴대용 추적 제어 장치(90)로부터 조건부 입력을 수신하며, 데이터 스트림을 경기 중심/시야 선택 분석부(66) 및 물체와 프레임번호/타임 시퀀스 별로 구분하여 비디오 프레임을 저장하는 구분 저장부(67)에 공급한다. 경기중심 및 시야 선택 분석부(66)는 통상의 전선 또는 부가 무선 모뎀(45m)을 통해 자동 촬영 카메라(40)에 실시간 명령을 제공한다. 그 다음에 그러한 명령은 컴퓨터 제어 이벤트 화상 카메라(45)에 입력된다. 컴퓨터 제어 화상 카메라(45)는 통상의 전선 또는 부가 무선 모뎀을 통해 데이터 스트림을 구분 저장부(67)에 공급한다. 다음에는 구분 저장부(67)는 데이터 스트림을 크로스-링크된 데이터베이스의 물체 움직임을 정량(quantification) 및 분석하는 데이터베이스 정량 및 분석부(68)에 저장되어 있는 물체 운동 정량화 및 분석에 제공한다. 데이터베이스 정량 및 분석부(68)는 선택적으로 후대용 추적 제어 장치(90), 팀 결과 출력국(80) 및 포착된 이벤트를 재검토하는 원격 포착 이벤트 검토 컴퓨터 시스템(70)과 양방향 통신을 수행한다. 원격 포착 이벤트 검토 컴퓨터 시스템(70)과의 접속은 원격 통신 장치(69, 79)를 통해 성립되는 반면 휴대용 추적 제어 장치(90)와의 선택적인 접속은 무선 접속(도시되지 않음)을 통하여 성립된다. 비디오 프로세싱 및 분석용 로컬 컴퓨터 시스템(60)이 원격 시스템(70)에 제공하는 정보는 데이터베이서 정량 및 분석부(71)뿐만 아니라 저장되어 있는 추적 및 촬영 프레임의 데이터베이스에 대한 원격 액세스를 통해 사용자에게 제공된다.

도 1 및 도 5를 참조하면, 2와 같은 경기장에 시스템(100)이 적절히 설치된후 바람직한 실시예의 정상적인 동작을 시작한다. X-Y 추적용 상부 카메라부(30c)를 경기장(2)의 최상부에 부착하는 것은 설치의 더 중요한 면 중의 하나이다. 장착 프레임(50)은 경기장 대들보(rink girder:2d)에 가변적으로 부착되도록 설계되어 다음에 부착되는 X-Y 추적용 상부 카메라부(30c)의 배열이 아래쪽의 아이스 표면(2)을 가로질러 중복되는 시야의 범위를 형성한다. 각 X-Y 추적용 상부 카메라부(30c)가 표면(20)에 대해 수직인 위치를 유지하는 것이 바람직하다. 미리 선택된 필드 깊이를 가지는 고정 렌즈 또는 전자적으로 제어가능한 줌 렌즈가 사용되어 중복 시야를 적절히 설정한다는 점을 예상해야 한다. 시야중복은 물체가 미리 정해진 영역에서 이동함에 따라 추적하고자 하는 어떤 물체도 카메라에서 카메라로 추적할 수 있는 것을 보장하기 위해 중요하다. 시스템(100)의 초기 설치 및 셋업의 일부로서, 화상 카메라(25) 및 추적 카메라(24) 각각의 촬영 영역의 한계를 정하기 위해 교정 절차(calibration procedure)가 실행된다. 한계가 정해지면, 시스템은 중복 처리를 최소화하기 위해 중복되지 않는 영역 내로 검색을 한정한다. 모든 X-Y 추적용 상부 카메라부(30c)는 (26)과 같은 케이블 또는 (25m) 및 (24m)과 같은 부가 무선 모뎀을 통해 로컬 시스템(60)과 통신한다.

도 2a, 도 2b 및 도 2c를 참조하면, 바람직한 실시예는 추적할 물체를 표시하는 다양한 방법에 잉크와 같은 특별히 선택된 주파수 선택적 반사 물질을 제공한다. 이 잉크는 퍽(3)에 반사 잉크(3a)로 표시하고, 반사 테이프(4a)를 제조하고, 패치(7r, 7l)의 표시로 표시하고 헬멧(8)의 반사 스티커(9)를 제조하는데 사용된다. 또한 이것은 도 6에 도시된 바와 같이 반사 잉크(11a)로 삼각뿔(11)을 생성하는데 이용된다. 에너지원(23)에 의해 에너지(23a)를 출력으로서 반사하도록 특정되어 선택되었다는 점에 유의하는 것은 본 발명의 신규성에 있어서 중요하다. 이 반사는 3b, 4b, 7m, 9a, 11b로 도시되어 있고, 에너지 필터(24f)를 통해 추적 카메라(24)에 의해 수신된다. 각 추적 카메라(24)에 특수하게 매칭된 필터(24f)를 사용함에 의해, 모든 물체의 이동을 추적하기 위해 처리되어야 하는 정보의 양이 최소화되고 따라서 물체의 위치를 결정하는 속도를 매우 증가시킨다.

신규성을 더 설명하기 위해서, 도 3a, 도 3b 및 도 4a는 상술한 반사 잉크의 부가적인 효과를 보여준다. 도 3a는 주변 조명을 포착하고 해당 촬영 범위를 장면(28)으로 모니터(27) 상에 표시하는 통상의 카메라 시스템을 도시하고 있다. 이 같은 경우 선수(10)와 같은 물체 및 얼음면(2)과 같은 배경을 포함하는 처리되어야 하는 정보가 상당히 더 존재한다는 점을 유의해야 한다. 상술한 바와 같이 3a, 4a, 7r, 7l 및 9의 형태로 반사 물질을 추가함에 의해, 도 3b는 화면(28)에서 훨씬 감소된 정보의 양을 도시하고 있다. 추적 카메라(24)에 에너지원(23)에 의해 선택된 에너지(23a)로 방사되는 협대역 주파수(narrow band of frequency)를 통과시키도록 특별히 선택된 에너지 필터(24a)를 적용함에 의해 추가적인 컴퓨터 처리의 요청이 없이 실시간으로 달성된다. 에너지(23a)는 얼음면(2)과 같이 미리 한정된 영역에 전체에 방사하며, 3b, 4b, 7m, 9a로서 반사된다. 반사 스티커(9)뿐만 아니라 방위 마크(7r1, 7l1), 팀 표시(7l2)는 표시/물체 추적 분석부(62)에 용이하게 식별 가능한 특수한 표시를 포함하도록 제조된다. 이 표시의 크기는 상부 어셈블리(30c)의 추적 카메라(24)의 목표 해상도에 매칭된다. 따라서, 해상도와 촬영 영역의 비가 낮을수록, 인식을 용이하게 하기 위해 표시가 더 커야한다. 도 4a에 도시된 바와 같이, 바람직한 실시예는 또한 모든 주위 주파수의 조명을 포착하는 필터가 미부착된 화상 카메라(25)를 포함한다. 그러나, 추후에 설명되겠지만, 추적 분석에 의해 제공된 정보에 의해, 모든 관련 물체의 정보를 추출하기 위해 이 데이터의 작은 부분만이 통과할 수 있다.

시스템(100)을 실행하기 전에 Z추적용 원근 카메라부(30)를 설치하는 것이 또한 필요하다. 하나의 카메라부는 각 골(2b)을 둘러싸는 영역을 지속적으로 촬영하기 위해 얼음면(2)의 양단에 각각 설치된다. 이 Z추적용 원근 카메라부(30)는 골(2b)을 향하여 접근할 때 표면(2)을 이탈하여 Z 방향으로 이동할 것으로 예상되는 퍽(3)의 예정 이동 경로에 위치된다. X-Y 추적용 상부 카메라부(30c)의 상부 성질로 인해, 그것들은 어떤 물체의 Z 방향의 이동도 픽업할 수 없으며, 이것은 용인 가능하며 모든 물체를 추적하기 위해 수행되어야 하는 프로세싱의 양을 감소시키므로 오히려 바람직하다. 그러나, 삼각 영역(2c)으로 한정되는 골(2b) 근처의 제한된 영역에서는, 퍽(3)의 이동 경로의 Z 방향 요소를 추적하는 것이 바람직하다. 구체적으로는, 표시된 물체의 이동을 추적하고 이 정보를 디비도 이미지에 적용하여 신속하게 물체 정보를 추출할 수 있다.

또한 선택적이며 본 발명에 신규한 점은 얼음면(2)의 임의의 위치에 자동 화상 카메라(40)를 포함하는 것이다. 지금까지는, 직관적으로 경기의 중심을 결정하는 카메라 작동자가 하키와 같은 이벤트의 방송을 위한 촬영을 제어하였으며 제한된 장면을 포착하기 위해 화상 카메라의 팬(pan), 줌(zoom) 및 틸트(tilt)를 스스로 지시하였다. 시스템(100)은 얼음 표면(2) 상의 물체의 이동에 관련된 모든 정보를 가지고 있으므로, 로컬 컴퓨터 시스템(60)은, 경기중심 및 선택시야 분석부(66)의 경기 중심/선택을 통해, 자동으로 자동 화상 카메라(40)의 팬, 줌 및 틸트를 명령하게 된다.

모든 X-Y 추적용 상부 카메라부(30c), Z추적용 원근 카메라부(30) 및 자동 화상 카메라(40)가 정상적으로 설치되고 교정되며 추적되는 모든 물체들이 3a, 4a, 7r, 7l 및 9와 같은 마크로 적절히 증가되면, 시스템(100)은 동작할 준비가 완료된다. 계속되는 설명은 단일 선수(10), 스틱(4) 및 퍽(3)의 이동이 X-Y 및 Z 차원에서 미리 한정된 촬영 범위 전체의 이벤트동안 프레임마다 어떻게 추적되는지 설명할 것이다. 그 다음에는, 본 발명은 스틱(4)을 가진 추가적인 선수(10)를 어떻게 동시에 추적하는지와 물체간의 교차, 물체의 크기 변화, 카메라 시야로부터 물체가 사라지는 것, 주변 조명의 갑작스런 변화 및 예를 들면 안개에 의한 다른 가시성의 변화(reduction in visibility)등이 어떻게 다루어지는지가 개시될 것이다.

도 1, 도 2, 도 4a, 도 4b 및 도 8을 참조하면, 시스템(100)에 의한 다중 물체 추적은 시스템이 켜지고 제1 선수(10)가 입구(2e)로 입장하고 X-Y 추적용 상부 카메라부(30c)의 배열의 카메라 시야로 들어오면 시작된다. 입구(2e) 내에서 선수(10)는 추적 카메라 비디오 포착부(61)의 비디오 포착에 의해 먼저 단일 프레임으로 나타난다. 추적 카메라 비디오 파착부(61)는 X-Y 추적용 상부 카메라부(20c)의 각 추적 카메라로부터 전체적으로 초당 40 프레임 이상(40+ fps)을 포착하며 각 프레임을 표시/물체 추적 분석부(62)로 공급한다.

현재의 기술 수준으로는, 추적카메라 비디오 포착부(61)에서 요구하는 것과 같은 하나의 카메라 제어 보드(camera controller board)는 최대 8개의 카메라까지 제어할 수 있다는 점을 유의해야 한다. 포착되어야 하는 실제의 초당 프레임 수는 원하는 이동 해상도(movement resolution)에 의존한다. 예를 들면, 실시예에서 가장 빠른 물체는 최대 100mph로 이동하는 퍽(3)이다. 1 마일은 5280 피트이며 1시간은 60*60=3600초이므로, 초당 40 프레임에서는, 퍽(3)의 초당 최대 이동거리는 (100 마일/시 * 5280 피트/마일)/(3600초/시) = 146.7 피트이다. 초당 40 프레임에서는, 프레임간의 최대 이동 거리는 3.7 피트이다. 스케이트 상의 선수(10)는 최대 속도 약 25mph, 즉 퍽의 속도의 1/4로 이동한다. 초당 40 프레임에서는, 선수(10)의 최대 이동 거리는 약 0.925 피트이다. 초당 20 프레임에서는, 선수(10)는 약 2 피트의 거리로 제한되는 반면, 퍽(3)은 최대 8피트 이동한다. 선수(10) 및 퍽(3)이 최대 속도로 거의 이동하지 않는 다는 것을 고려하면, 이동 해상도는 실제로는 상당히 높을 것이다. 예상 영역, 즉 골(2b) 주위에서 퍽(3)이 최대 속도에 도달할 가능성이 가장 크다는 것을 유의해야 한다. X-Y 추적용 상부 카메라부(20c) 및 Z추적용 원근 카메라부(30) 모두 특정 구역에서 이동 해상도를 증가시키기 위해 증가된 프레임 포착 속도에서 동작할 수 있다. 어떤 경우에도, 본 발명은 프레임 속도와 하나의 컴퓨터 및 비디오 포착 카드에 부착될 수 있는 추적 카메라(24)의 숫자를 변경함에 의해 컴퓨팅 성능의 비용 대 이동 해상도를 변경할 수 있다. 데이터를 수집하고 분석하기 위해 다중 컴퓨터를 사용하는 것은 본 발명에 대해 신규하지 않으며, 한계가 아니라는 것을 인식해야 한다.

X-Y 추적용 상부 카메라부(20c1)의 추적 카메라(24)로부터의 각 프레임이 표시/물체 추적 분석부(62)에 의해 공급됨에 따라, 각 픽셀의 그레이 레벨은 문턱값-여기서 문턱값을 초과하는 픽셀은 3a, 4a, 7r, 7l 및 9와 같은 어떤 특수한 마크의 형태가 존재한다는 것을 의미함-과 비교된다. 모든 선수(10)는 X-Y 추적용 상부 카메라부(20c1)에 의해 항상 촬영되는 입구(2e)를 통해 얼음 표면(2)으로 출입해야 하며, 프레임 사이의 최대 이동은 예측된 최대 속도 및 프레임 포착 속도에 근거하여 계산될 수 있으므로, (10)과 같은 새로운 선수의 존재를 우선 감지하기 위해 완전히 검색되어야 하는 최소 픽셀수를 계산하는 것이 가능하다. 이 최소 픽셀수는 도 4c에 (10e)로 도시되어 있으며, X-Y 추적용 상부 카메라부(20c1)의 촬영 영역의 최외각의 가장자리를 따라 주 얼음 표면(2)을 향해 수개의 로우(row)안쪽에서 평행하게 이동하는 픽셀들을 포함한다. 이 사각 영역의 깊이는 포착되는 프레임 사이에 선수(10)가 이동하리라고 예상되는 최대 거리에 의존한다. 통상적으로 농구 또는 축구와 같은 다른 스포츠 이벤트에서도, 주경기장으로 입장하기 위해 통과해야 하는 터널이 있다. 시스템의 촬영 영역이 그러한 터널 내로 연속되도록 적절히 연장되면, 추적하려는 새로운 선수를 우선 감지하기 위해 이 최소 검색 기술을 이용할 수 있다. 도시되는 바와 같이, 감지되면, 프레임 사이의 선수의 이동의 범위는 제한되므로 계속적으로 추적하기 위한 처리 요구조건은 상당히 감소된다.

도 4c를 참조하면, 표시된 물체가 감지되면, 그것이 패드(6) 상의 패치(7r) 또는 (7l), 헬멧(8)의 반사 스티커(9) 또는 퍽(3) 상의 반사 잉크(3a) 또는 스틱 날(4)에 감긴 테이프(4a)인지 여부에 관계없이, 독립적으로 추적된다. 최초로 감지된 각 마크의 이동은 얼음 표면(2)의 중심점(2a)에 상대적인 극좌표로 표시된다. 그러므로, 각 물체의 최초 이동은 0°로부터의 각도 및 중심점(2a)으로부터의 거리로 표시된다. 이 계산은 표시/물체 추적 분석부(62)에 의해 지속적으로 수행된다. 표시/물체 추적 분석부(62)가 주어진 물체를 감지하면, 마지막으로 기지의 좌표, 방향, 가속도 및 속도와 계산된 프레임간 최대 이동 거리에 기초하여 촬영 영역 내에서 그 물체를 검색한다. 마지막으로 기지의 좌표는 최대 이동 가능 거리와 함께, 도 4c에 (10b)로 도시된, 물체의 다음 위치를 찾기 위해 반드시 검색되어야 하는 가능 이동의 최대 임계원을 결정하는데 이용된다. 이 임계원 내의 평균 검색 시간을 감소시키기 위하여, 표시/물체 추적 분석부(62)는 마지막으로 기지의 속도를 기지의 프레임 속도로 나누어 나온 값과 같은 ---에 우선 마지막으로 알려진 이동 방향을 찾는다. 임계원 내의 이 새로운 가장 가능성이 큰 지점으로부터, 표시/물체 추적 분석부(62)는 전체 임계원이 분석될 때까지 모든 방향으로 이 지점을 증가시킴에 의해 계속 검색한다. 표시가 발견되지 않고 물체가 입구(2e)를 담당하는 촬영 영역의 가장자리에 접하는 픽셀들의 최소 사각형을 완전히 통과한 경우, 물체는 다음 프레임에서 검색된다. 이 경우 새로운 최대 임계원의 반지름은 이전 검색의 두 배가 된다.

시스템(100)이 표시된 물체를 추적 중에 놓치게 되는 경우, 표시/물체 추적 분석부(62)는 먼저 물체/배경 추출 분석부(64)와 통신하여 부가적인 배경조명의 출현하여 물체의 위치를 파악할 것인지를 결정한다. 상기 기술을 살펴보기 전에, 먼저 표시된 물체가 일단 감지되면, 물체/배경 추출 분석부(64)는 표시/물체 추적 분석부(62)로부터 그 물체의 종류와 위치에 관한 정보를 전송 받고, 현재 그 물체를 추적중인 추적 카메라(24)와 동일한 X-Y 추적용 상부 카메라부(20c)에 수장된 영상 카메라(25)에서 보내온 필터링되지 않은 해당 비디오 프레임을 분석한다. 패치(7r) 또는 반사 스티커(9)등의 물체의 종류를 알면 물체/배경 추출 분석부(64)는 패드(6)나 헬멧(8)의 실제 가능한 최대 크기를 알 수 있다. 현재 반사 표시의 위치 및 기지의 물체의 최대 크기에 관한 정보를 이용하여 표시 이미지의 픽셀과 기지의 배경(2r) 이미지의 픽셀을 비교하여 분리하는 작업을 시작한다. 배경 이미지에 도달한 것으로 결정되면, 이미지 추적 경로(10p)는 폐경로를 형성할 때까지 물체의 외곽선을 따라 진행하여, 추적 물체를 포함하는 비디오 이미지 부분을 빠르게 추출하기 위하여 이 폐경로(10p)에 내접하는 최소 직사각형(10r)을 계산한다. 표시가 된 물체의 종류(6, 8, 10)에 따른 최대 크기는 이미 알고 있으므로, 물체의 외곽선은 물체의 종류에 따른 최대 임계원(maximum bounding circle)으로 제한된다. 폐곡선(10p)으로 한정되는 물체가 두개 이상의 표시를 포함하는 경우에는, 내접 사각형(10r)으로 둘러싸인 이미지와 내부의 각각의 반사 물체들의 위치정보는 중복 영상 통합부(65)로 전송되어 내접 사각형(10r)내의 이미지를 개개의 표적물체 단위의 이미지로 분리한다. 중복 영상 통합부(65)는 전 설정영역에서 감지된 모든 반사 물체들(3b, 4b, 7m, 9a)과 해당하는 물체의 픽셀을 하나의 완전한 집합으로 합성한다. 실제적으로는, 추출영상은 상기와 같이 픽셀 단위로 이용하는 경우보다는 내접 사각형(10r)단위로 이용되는 경우가 많기 때문에, 물체/배경 추출 분석부(64)에 의해 내접 사각형의 배경부분은 값을 가지지 않도록 하여 이후의 처리에서는 물체이미지가 확연하게 드러나도록 한다. 물체/배경 추출 분석부(64)는 또한 무게중심 및 무게중심의 극좌표값을 연산하여, 중복 영상 통합부(65)로 전송한다. 마지막으로 물체/배경 추출 분석부(64)는 이후의 이미지 처리동안 최종 추출 작업을 위하여 내접 사각형(10r)내의 물체의 외곽선을 쉽게 추출하도록 외곽선 시작점을 결정한다. 중복 영상 통합부(65)는 각각 다른 추적 카메라(24) 및 영상 카메라(25)의 시야가 중복됨으로 인하여 서로 다른 프레임 상에서 출현하는 동일한 표시(3b,4b,7m,9a) 및 대응하는 물체(6,8,10)들을 하나로 통합한다.

중복영상 통합부(65)가 기지의 모든 반사 표시 및 해당 물체의 무게 중심에 대한 기지의 극좌표를 생성하고 최소 내접 직사각형 및 경계 시작점을 결정하면, 이 전체 데이터 세트는 물체 및 프레임 번호/타임 시퀀스에 의해 구분되는 추적 및 비디오 프레임의 구분 저장부(67)에 전달된다. X-Y 추적용 상부 카메라부(20c)의 배열 및 원근 세트(30)에 의해 생성된 촬영 영역을 가로지르는 프레임 전체 세트에 포착부(61)에 의해 계속적으로 입력됨에 따라, 그것은 X-Y 추적용 상부 카메라부(20c1)의 시야로 들어오고 궁극적으로는 동일한 X-Y 추적용 상부 카메라부(20c1)를 떠남에 따라 각각의 새로운 물체를 추적하는 표시/물체 추적 분석부(62)에 전달된다. 잉크가 도포된 표면 또는 해당 물체의 처음 출현을 식별한 후에는 표시/물체 추적 분석부(62)가 중심점이 얼음(2a)의 중심이 아니라 동일한 잉크가 도포된 표면 또는 해당 물체의 이전 무게중심이라는 것을 제외하고 동일한 극좌표 방법을 사용하여 후속 무게중심을 표현하도록 허용하는 것이 효과적이라는 점이 예상된다. 기준이 되는 중심을 변경시키는 방법은 도 4c에 시퀀스(10a1) 내지(10a4)가 도시되어 있다.

구분 저장부(67)는 잉크가 도포된 표면 및 해당 물체의 정보의 계속적인 흐름을 받아들여 추후 분석을 위한 복수개의 데이터베이스를 생성한다. 우선, 각 개별적인 표면 및 물체는 촬영 영역에 들어오는 순간부터 나중에 떠나는 순간으로부터 카탈로그된 자신의 이동을 가지고 있다. 촬영 영역은 페널티 박스(2h)뿐만 아니라 팀 박스(2f, 2g)를 담당하도록 확장된다. 그러므로, 시스템(100)에게는, 이 영역 내의 표면 및 물체를 추적하는 데는 차이가 없으며, 액티브한 얼음 표면(2)과 달리 현재 이벤트에서 액티브하지 않다. 구분 저장부(67)는 또한 그룹 정보를 생성하고 저장하는 역할을 한다. 예를 구분 저장부(67)는 아래의 관련성을 찾을 것으로 예상된다.

1. 선수(10)가 관련 우측 패치(7r) 및 좌측 패치(7l)를 가지고 있다는 것은 항상 사실이다.

2. 선수(10)가 또한 관련 스티커(9)가 부착된 헬멧(8) 및 테이프(4a)가 부착된 스틱(4)을 가지고 있다는 것은 거의 사실이다.

3. 선수(10)가 직접적인 제어 반원 내에 퍽(3)을 가지고 있다는 것은 가끔 사실이다. 이 반원은 선수(10)의 현재 위치, 방향, 이동 속도 및 방위에 의해 결정되며 도 4c에 (10s)로 표시되어 있다.

4. 복수의 선수가 충돌한 경우와 같이 선수(10)가 추가적인 패치, 헬멧 또는 스틱을 가진 것처럼 가끔 표시될 수 있다.

감지된 모든 관련성은 선수 그룹 데이터베이스를 형성하는데 사용된다. 구분저장부(67)는 이탈한 스틱 또는 헬멧과 선수를 구분한다는 점을 유의해야 한다. 그러므로, 이탈된 스틱 또는 헬멧은 다른 선수 그룹을 생성하지 않을 것이다. 따라서, 이하의 경우를 제외하고는 동일하게 유지되는 유일한 선수 그룹의 총 개수가 프레임마다 카운트된다:

1. 새로운 선수가 촬영 영역으로 입장함.

2. 현존의 선수가 촬영 영역을 이탈함.

3. 하나 이상의 선수 사이에 충돌이 발생하여 그들의 형태가 임시적으로 결합됨.

둘 이상의 선수 그룹이 촬영 영역 내의 어디에선가 결합되어 하나의 그룹을 형성하면, 결국은 선수들은 분리될 것이라는 것이 예상된다. 이때, 그룹으로 들어온 기지의 각 선수에 그룹 이동을 지정한 시스템은 이제 개별적인 선수를 추적하기 시작하며, 총 그룹 카운트(total group count)는 충돌 전의 카운트로 되돌아 간다.

저장부(67)는 다양한 데이터베이스를 계속적으로 갱신함에 따라, 이 동일한 정보는 크로스-링크된 데이터베이스 정량 및 분석부(68)에 저장된 물체 이동의 정량화(quantification) 및 분석을 위해 실시간으로 이용된다. 데이터베이스 정량 및 분석부(68)는 실시간 또는 포스트-이벤트로 인에이블 될 수 있는 추적 데이터베이스 상에서 수행할 수 있는 가변 태스크 세트를 가지고 있다. 둘 중의 하나의 경우에, 이러한 태스크의 일부는 이하와 같다.

1. 개별 선수 그룹 데이터를 잠재적인 선수의 미리 기지의 리스트와 연관시킨다. 이것은 선수 표시(7l2)는 물론 팀 표시(7r2)를 미리 기지의 값들의 데이터베이스와 비교하는 것에 의해 수행된다.

2. 잉크가 도포된 표면 및 그와 관련된 물체의 마지막으로 기지의 방향, 속도 및 방위와 함께 추출된 물체 내의 잉크가 도포된 표면의 위치에 기초하여 선수 방위를 결정한다.

그러므로, 데이터베이스 정량 및 분석부(68)는 전방 또는 후방으로 스케이트를 타는지, 머리와 어깨가 회전하기 시작하여 다음 포착된 프레임에서 그들의 방향도 바뀔 것으로 예상되는지 식별할 수 있다. 반사 스티커(9)는 데이터베이스 정량 및 분석부(68)가 관련 헬멧(8)(따라서 선수의 머리)이 아래를 향하는지 정면을 향하는지 결정하는데 또한 보조하도록 특별히 설계되었다. 헬멧(8)의 방위에 따라 카운트가 변화하는 스티커(9)의 흑과 백의 정사각형이 교대로 있는 것에 의해 용이하게 된다.

3. (쉬프트로 이미 알려진)입장 시간 및 퇴장 시간, 쉬프트 시간, 평균 속력, 쉬프트 지속시간 중 수비, 중립 또는 공격 구역에서 소비한 시간의 비율, 퍽 제어 시간의 비율, 샷, 턴오버, 스틸, 패스의 갯수 등과 같은 선수 통계(player statistic)를 갱신한다.

4. 쉬프트의 개수, 쉬프트의 평균 지속시간, 수비, 중립 또는 공격 구역에서의 경기 비율, 퍽 콘트롤 비율, 샷, 턴오버, 스틸, 패스의 개수 등과 같은 팀 통계를 갱신한다.

실시간으로 추적하도록 프리-인에이블(pre-enable) 되어 있는 모든 정보는 질문 및 팀 결과 출력국(80) 상에 표시할 수 있도록 이용 가능하다. 이벤트가 완료된 후 또는 이벤트 액티비티의 스케쥴된 휴식시간 동안, 데이터베이스 정량 및 분석부(68)는 실시간으로 프리-인에이블되어 있지 않은 추가적인 정보를 얻기 위해 저장된 데이터베이스를 계속하여 처리할 수 있다. 스포츠인지 여부 및 인간이 포함되는지 관계없이, 다른 이벤트는 고유의 바람직한 정량화 및 분석 조건을 가지게 될 것이다.

이벤트 및 이에 대한 데이터베이스 정량 및 분석부(68)의 분석이 완료된 다음에는, 로컬 컴퓨터 시스템(60)에 의해 추적되고 분석된 정보를 선택된 개인이 원격으로 요청하는 것이 바람직하다. 도 8에 (69) 및 (79)로 표시된 통상의 원격 통신 장치를 사용하여, 포착된 이벤트를 재검토하는 (70)으로 표시된 원격 컴퓨터는 이벤트 데이터베이스를 액세스하는데 사용될 수 있다. 추적하고자 하는 물체에 부착된 특수한 잉크가 도포된 표면을 추적하는 개시된 기술은

1. 상기 기술은 최소한의 시간 내에 동작하며, 주변 배경의 반사에 관계없이 물체의 식별, 오리엔테이션, 이동 방향 및 최저 속력을 제공하는 적은 양의 정보를 포착하기 위해 선택된 협대역 에너지를 사용함에 의해 컴퓨터 처리를 최소한으로 요구한다.

2. 상기 기술은 협대역 에너지로부터 신속하게 결정된 정보를 이용하여, 주변 조명에서 발견되는 전체 에너지 대역으로부터 더 많은 정보의 세트를 추출한다.

3. 상기 기술은 미리 기지의 얼음 표면 배경으로 모든 포착되고 추출된 물체의 이동을 합성함에 의해 이벤트가 종료된 후에 하나 이상의 부분 또는 모든 이벤트를 재구현(reconstruct)하는데 사용할 수 있는 결과 이동 데이터베이스를 생성한다.

실제적으로는, 비디오 정보를 모두 저장하는 것은 정보량이 너무 많기 때문에 이러한 이동 정보의 집합만으로 저장하는 것이 정보량을 최소화하므로 인터넷 등을 통해 통상의 시스템간에 용이하게 전송할 수 있다는 장점을 가진다. 또한, 하나의 이벤트에 관여된 여러 요소들 중 필요한 요소만 용이하게 분리하여 원격 시스템(70)으로 다운로드하여 재생 및 분석작업을 수행할 수 있을 뿐 아니라, 최소 한계 사각형내의 모든 픽셀을 전송하는 대신에 단지 무게 중심만을 전송을 하고 각각의 로컬 시스템에서는 선수, 헬멧, 스틱, 퍽 등의 그래픽을 컴퓨터 게임 형태처럼 생성하는 방법을 생각할 수도 있다.

도 6은 본 발명의 또 다른 측면을 도시한 것으로서, 반사 안료가 도포된 삼각뿔(11) 같은 설정된 표시 물체를 이용하여 전체 설정영역 중 일부 영역(2t)으로 시스템(100)의 추적 영역을 제한할 수 있다. 실제로는 조작자가 특수한 코드를 휴대용 추적 제어 장치(90)에 입력하면서 이러한 제한 모드를 사용할 수 있도록 시스템(100)을 재설정한다. 추적 제어 장치(90)는 통상의 무선 주파수로 이러한 제어명령을 로컬 컴퓨터 시스템(60)으로 전송한다. 중복 영상 통합부(65)는 이러한 명령을 수신하면 설정영역 내에서 두 개 이상의 삼각뿔(11)과 같은 설정 물체를 검색한다. 이러한 삼각뿔(11)들이 감지되면, 삼각뿔들이 형성하는 영역 내부에서만 추적이 이루어진다. 만일 이러한 삼각뿔들이 형성하는 제한영역이 불명료한 경우에는 시스템은 가능한 모든 제한영역들을 제어 장치(90)로 출력하면, 조작자는 그 중에서 선택하게 된다. 예를 들어 삼각뿔(11)이 경기장의 중앙선의 양 끝단에 놓여진경우에는, 중복 영상 통합부(65)는 두 가지의 가능한 레이아웃을 출력한다.

시스템(100)의 추적영역을 제한한 경우에도, 시스템(100)의 기능은 이상에서 설명한 바와 동일하다. 더욱이, 정량 및 분석부(68)는 코치의 실시간의 요구에 응답하여 모든 계산된 정보를 휴대용 추적 제어 장치(90)로 출력할 수 있다. 휴대용 추적 제어 장치(90)는 정량 및 분석부(68)가 샷 클록(shot clock:91)에 출력하도록 할 수도 있다.

이상에서 개시한 바와 같이 본 발명에 의한 다중 물체 추적 시스템이 제공하는 새로운 장치와 방법들은 다음과 같은 효과를 기대할 수 있다.

첫 번째, 사람들과 같은 빠르게 움직이며, 다양하게 형상이 변화하는 다중 물체를 실시간으로 조작자 같은 사람의 개입으로 최초 인식 또는 재인식함이 없이 추적할 수 있다. 두 번째, 먼저 피추적체에 부착되는 특별한 표시를 각각 추적한 후 이 표시의 위치를 이용하여 방향 벡터, 가속도, 속도를 구하여, 효율적으로 배경으로부터 물체를 추출할 수 있으므로, 영상 처리 시간을 단축할 수 있다. 세 번째, 시스템의 인지 작업은 물체의 색상 차이에 의존하지 않는다. 네 번째, 시스템의 인지 작업을 수행함에 있어 수동이나 능동 추적 장치를 필요로 하지 않는다. 다섯 번째, 물체의 전체로서의 방위뿐만 아니라 각각의 부분별로 방위를 결정할 수 있다. 여섯 번째, 가시광선에 의지하는 시스템에서는 물체 추적에 중요한 요소가 되는 조명 및 공기중의 수분 함유량의 영향을 받지 않는다. 일곱 번째, 전체 설정영역의 일부분으로 추적영역을 쉽게 제한할 수 있다. 여덟 번째, 실시간으로 시간별 및 물체별로 이동 데이터베이스를 구축, 유지할 수 있다. 아홉 번째, 포착된 데이터의 전부 또는 일부를 즉시 인터넷 등의 통신 네트워크를 통해 원격지로 출력할 수 있다. 열 번째, 인터넷을 통해서 원격 컴퓨터 시스템으로 정보를 제공할 수 있으므로 재생 및 분석을 위하여 원격지에서 이벤트를 제어할 수 있다.

비록 상기 명세서에서 많은 실시예를 제시하였지만, 이는 본 발명의 범위를 한정하는 것이 아니라, 바람직한 실시예를 예시적으로 설명한 것이다. 본 명세서에서는 기재하지는 않았지만 많은 변형예가 가능한 바, 예를 들어, 영상 카메라를 분리하여 비용 절감 또는 처리속도의 향상을 꾀할 수 있으며, 이 경우에도 피추적 물체 표면에 표시하는 방법을 사용하여 본 발명의 현저하고 신규한 이점을 제공할 수 있음은 명확하다. 또한 추적 카메라들은 반드시 추적해야 할 이벤트의 정확히 상부에 배열해야 하는 것은 아니고, 이러한 배열에서 단점이 있는 경우에는, 단지 시야가 겹치는 영역을 증가시켜 표시된 물체의 추적을 용이하도록 실시할 수도 있다. 예를 들어, 본 발명이 영화촬영에 사용되는 경우, 촬영개시에 따라 하나 또는 그 이상의 장면을 자동으로 추적할 수도 있으므로, 시스템은 겉옷 아래에 추적용 패치를 착용한 배우를 추적하여 원하는 앵글의 카메라를 선택하여 자동으로 위치, 기울기, 배율을 조절할 수 있다.

또한 포착된 이벤트를 검토하기 위한 원격 컴퓨터 시스템과의 링크는 반드시 필요한 것은 아니고, 본 발명은 쉽게 원격지에서 다운로드 할 수 있는 정보를 저장할 수 있는 기능을 부가하기 위한 것이고 본 시스템의 신규성 내지는 유용성의 필수 요소는 아니다.

본 발명은 아이스 하키 경기뿐만 아니라 롤러 하키경기 농구경기 등의 실내 경기 뿐만 아니라 원근 카메라가 충분한 카메라 시야만 확보할 수 있다면 축구, 야구 등의 옥외 경기에서도 이용할 수 있다. 그리고, 컨벤션홀이나 연주회장 등에서 경비원이나 안전요원을 추적하는 용도로도 사용할 수 있는데, 각각의 추적되는 사람들의 위치를 파악하여 어디에 어느 정도 머무르는지에 대한 통계학적 자료로 사용할 수도 있다. 추적되는 각각 또는 모든 사람들의 각각 또는 모든 이동들을 따라가는 경우라도 이동의 대부분은 도움이 되는 결정 또는 통계학적인 자료에 의해 결정될 것이다.

이상의 본 발명의 명세서를 통해 본 발명은 많은 효과를 가지고 있음을 알 수 있는데, 일부 효과는 명세서에 기재되어 있고 기타 효과도 본 발명의 본래적인 성질에 기인한 것이다. 하지만, 본 발명의 내용에 의하지 않은 다중 물체 추적 시스템의 구현은 가능하고 본 발명의 범위는 이하의 청구항에 필수적으로 제한된다.

Claims

설정영역 내에서 자동으로 다중 물체의 이동을 추적하는 시스템에 있어서,

협대역 에너지를 선택적으로 반사할 수 있는 하나 이상의 특수한 표시를 상기 다중 물체에 부착하기 위한 수단;

상기 협대역 에너지를 상기 설정영역에 방사하기 위한 수단 및;

상기의 반사를 통해서 하나 이상의 상기 특수한 표시수단들의 위치 및 상기 위치에 의해 상기 다중 물체의 위치를 결정하기 위한 수단을 포함하는 것을 특징으로 하는 다중 물체 추적 시스템.
설정영역 내에서 자동으로 다중 물체의 이동을 추적하는 시스템에 있어서,

상기 특수한 표시를 상기 다중 물체에 부착하기 위한 수단;

상기 특수한 표시의 상기 위치를 추적하기 위한 수단 및;

상기 특수한 표시의 상기 위치를 이용하여 상기 물체를 포함하는 배경 영상에서 상기 물체의 영상을 추출하기 위한 수단을 포함하는 것을 특징으로 하는 다중 물체 추적 시스템.
설정영역 내에서 자동으로 다중 물체의 이동을 추적하는 시스템에 있어서,

상기 설정영역을 시야로 확보하기 위한 수단;

상기 다중 물체가 출입하는 상기 시야의 일부를 국부적으로 탐색하기 위한수단;

상기 국부 탐색을 통해서 상기 시야에서의 상기 다중 물체의 위치를 인식하기 위한 수단 및;

상기 다중 물체의 최초와 이후의 위치, 계산되어진 방향 벡터 및 미리 입력된 최대속력을 이용하여 상기 다중 물체를 연속적으로 국부 탐색을 하기 위한 수단을 포함하는 것을 특징으로 하는 다중 물체 추적 시스템.
설정영역 내의 다중 물체의 이동과 관련된 정보를 선택적으로 원격지로 제공하는 자동화 시스템에 있어서,

상기 설정영역을 시야로 확보하기 위한 수단;

상기 다중 물체를 독특한 표식으로 각각 표시하기 위한 수단;

상기 표식을 추적하기 위한 수단;

상기 표시된 다중 물체와 크로스 링크된 상기 표식의 이동을 기록한 최소한의 데이터베이스를 설정하기 위한 수단 및;

상기 크로스-링크 데이터베이스의 전부 또는 일부를 선택적으로 연속 분석용 원격 시스템으로 전송하기 위한 수단을 포함하는 원격 정보 전송 시스템.
설정영역 내의 다중 물체의 방향 및 방위를 포함하는 이동을 추적하는 자동화 시스템에 있어서,

상기 설정영역을 시야로 확보하기 위한 수단;

상기 다중물체를 독특한 표식으로 각각 표시하기 위한 수단;

상기 표식의 방향 및 방위를 추적하기 위한 수단 및;

상기 표식의 상기 방향 및 상기 방위를 기초로 상기 다중물체의 상기 방향 및 상기 방위를 결정하기 위한 수단을 포함하는 다중 물체 이동 추적 시스템.
프레임단위의 물체의 위치가 변화하는 배경 이미지로부터 물체 이미지를 효율적으로 추출하는 방법에 있어서,

상기 물체를 특수한 주파수 선택 반사 물질로 표시하는 단계;

상기 물질의 반사 특성과 부합하는 주파수의 에너지를 상기 물체에 방사하는 단계;

상기 방사된 에너지의 주파수를 통과하는 필터가 설치된 카메라를 통해 상기 물질로부터 반사되는 상기 방사 에너지를 수신하는 단계;

상기 필터 카메라에서 포착된 탐색 영상으로 상기 반사 물질의 위치를 결정하는 단계 및;

상기 결정된 반사 물질의 위치에 기초하여 상기 탐색 영상에 해당하는 일반 영상에서 상기 물체를 추출하는 단계로 이루어지는 이동 물체 영상 추출 방법.