KR20080097403A - 이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게하는 방법 및 시스템 - Google Patents

Abstract

이벤트 내의 적어도 하나의 참가자를 나타내는 3-D 데이터를 포함하는 이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게 하는 방법 및 시스템이 제공된다. 시스템은 통신 네트워크를 포함한다. 복수의 카메라 유닛들은 통신 네트워크에 연결된다. 카메라 유닛들은 이벤트 개최지 주위에 이격된 복수의 비평행 검출기 평면들에 적어도 하나의 참가자를 포함하는 이벤트 내의 대상으로부터 전파하는 파동들로부터 복수의 이미지들을 생성하도록 이벤트 개최지에서 구성 및 설치된다. 카메라 유닛들은 적어도 하나의 참가자에 대하여 상이한 방향들로부터 획득된 복수의 신호들을 생성하기 위하여 검출기 평면들 내의 이미지들의 에너지를 측정하는 복수의 검출기들 및 이미지 데이터를 획득하기 위하여 적어도 하나의 제어 알고리즘으로 복수의 검출기들로부터의 복수의 신호들을 처리하는 복수의 신호 프로세서들을 포함한다. 이미지 데이터를 처리하여 3-D 데이터를 포함하는 이벤트 데이터를 획득하기 위하여 통신 네트워크에 프로세서 서브시스템이 연결된다. 데이터 엔진을 포함하는 서버는 통신 네트워크를 통해 프로세서 서브시스템과 통신한다. 서버는 프로세서 서브시스템으로부터 3-D 데이터를 포함하는 이벤트 데이터를 수신하고 이벤트 데이터가 제공될 수 있게 하도록 구성된다.

이벤트, 참가자, 카메라 유닛, 서버, 통신 네트워크, 3-D 데이터, 서브시스템, 검출기

Description

이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게 하는 방법 및 시스템{METHOD AND SYSTEM FOR CREATING EVENT DATA AND MAKING SAME AVAILABLE TO BE SERVED}

본 발명은 이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게 하기 위한 방법들 및 시스템들에 관한 것이다.

스포츠 정보 및 방송(broadcasting)은 현재 인터넷을 통하여 광범위하게 제공된다. 웹을 통한 비디오의 효과적인 스트리밍을 허용하기 위한 많은 연구가 있어 왔다. 이것은 충분한 대역폭에서 효과적으로 수행될 수 있지만, 많은 사용자들은 매우 불량한 성능을 경험한다. 웹을 통한 비디오는 압축이 되는 경우에도 너무 많은 정보로 어려움을 겪게 된다. 비디오 제품을 생성하기 위한 비용은 웹을 통한 방송으로 인해 감소된다. 텍스트 스트리밍은 매우 성공적이지만, 보기에 그다지 흥미롭지 않으며, 아나운서가 그 행위를 옮겨쓸(transcribe) 필요가 있다. 현재의 웹사이트들은 거의 실시간의 게임 요약 통계(game summary statistics)를 제공한다. 그러나, 그들은 게임의 상세한 분석의 재구성을 허용할 만큼 정보가 충분하지 않다.

오디오 스트리밍은 매우 성공적이다. 양호한 수행을 위한 데이터 레이트는 크지 않다(modest). 텔레비젼 방영되지 않는(non-televised) 많은 스포츠 이벤트들(예를 들면, 대학들)은 라디오 아나운서들을 갖는다.

공개된 미국특허출원 2002/0051216 및 2003/0193571 모두는 스마트 카메라들을 개시한다. 후자의 출원에 설명된 바와 같이, 많은 응용들에서, 머신 비젼(machine vision) 또는 이미지 처리 분석이 이용되어 대상(object)을 조사하거나 대상의 위치를 정한다. 예를 들어, 제조 응용에서, 대상의 이미지들을 획득하고 각종 이미지 처리 알고리즘들을 이용하여 이미지들을 분석함으로써 제조된 대상의 결함들을 검출하기 위해 머신 비젼 분석이 이용될 수 있다. 일 예로서, 캐패시터들과 같은 전기 부품들을 제조하는 시스템은 제조 결함을 검출하고, 캐패시터들이 레이블링되거나, 마킹되거나, 또는 적절히 컬러 코딩되는 것 등을 확실히 하기 위하여 캐패시터들의 각각의 면들을 조사하기 위하여 머신 비젼을 이용할 수 있다.

머신 비젼 응용들은 대상의 획득된 이미지 조사시 각종 이미지 분석 또는 이미지 처리 기능들 또는 알고리즘들중 임의의 것을 수행하도록 동작 가능한 이미지 처리 소프트웨어를 이용할 수 있다. 예를 들어, 획득된 이미지의 패턴 정보를 템플릿 이미지의 패턴 정보에 비교하기 위하여 패턴 매칭 알고리즘들이 종종 이용된다. 예를 들어, 획득된 이미지의 컬러 정보를 템플릿 이미지의 컬러 정보에 비교하기 위하여, 컬러 매칭 알고리즘들이 이용될 수도 있다. 이미지를 조사하기 위하여 블로브(blob, Binary Large Object) 분석 툴들이 이용될 수도 있다. 각종 응용들에서, 대상이 정확한 위치들에서 모든 필요한 구성요소들을 포함하고, 대상이 적절한 단어들(words), 레이블들(labels), 또는 마킹들(markings)을 갖고, 대상 표 면(object surface)이 긁히거나 다른 결함이 없는 것 등을 확인하기 위하여 패턴, 컬러 및/또는 블로브 분석 정보가 이용될 수 있다.

디지털 카메라들, 라인 스캔 카메라들, 등을 포함하여, 머신 비젼 응용에서 분석될 이미지를 획득하기 위한 임의의 유형의 카메라 또는 다른 장치가 이용될 수 있다. 본 명세서에 사용된 바대로, 용어 "카메라"는, 적외선 이미징 장치들, x선 이미징 장치들, 초음파 이미징 장치들, 및 이미지 또는 센서 데이터를 수신, 생성, 처리, 또는 획득하도록 동작하는 임의의 다른 유형의 장치들을 포함하는 모든 장치들을 포함하는 것이 의도된다.

보통, 이미지 데이터의 이미지 처리 및 분석은 카메라에 연결될 수 있는 컴퓨팅 시스템에 의해 수행된다. 예를 들어, PC는 카메라로부터 이미지 데이터를 수신할 수 있고 이미지 데이터를 처리하고 분석하기 위한 하나 이상의 소프트웨어 프로그램들을 실행할 수 있다. 다른 예로서, DAQ(data acquisition) 컴퓨터 보드(예를 들어, 컴퓨터에 설치됨)는 카메라로부터 이미지 데이터를 수신할 수 있고 그 데이터에 대하여, 특히 패턴 인식, 신호 컨디셔닝 및 변환, 및 필터링을 포함하는 다양한 신호 처리 동작들을 수행할 수 있다.

그러나, 점차적으로, 그러한 이미지 처리 기능들은, 장치에 "탑재된(on-board)" 하드웨어 및/또는 소프트웨어를 이용하여 카메라 또는 센서에 의해 수행된다. 용어 "스마트 카메라"는 카메라 또는 다른 이미지 센서 및 획득한 이미지를 분석 또는 처리하는 이미지 처리 기능을 수행하도록 구성될 수 있는 기능 유닛(functional unit)(즉, 프로세서/메모리 및/또는 FPGA(field programmable gate array)와 같은 프로그래머블 하드웨어)을 포함하는 각종 장치들 중 임의의 것을 포함하는 것이 의도된다. 스마트 카메라들의 예들은, 이미지가 촬영된 때의 카메라의 정확한 위치 및 자세를 나타내기 위한 지구표시(geo-registration) 메타 데이터로 자동적으로 태그되는 디지털 이미지 데이터를 생성하는 NAVSYS사의 GI-EYE; 고해상 CCD(high-resolution Charge Coupled Device) 센서와 고속 이미지 처리 신호 프로세서를 통합하고, 외부 세계와의 통신을 가능하게 해주는 각종 인터페이스들을 제공하는 Vision Components의 GmbH Smart Machine Vision Cameras; 및 특히 프레임 그래버들(frame grabbers) 및 로봇 안내 시스템들을 포함하는, DSP 기능들이 탑재된 Visual Inspection System의 SMART 카메라들을 포함한다.

발명의 개요

본 발명의 목적은 이벤트 내의 적어도 하나의 참가자를 나타내는 3-D 데이터를 포함하는 이벤트 데이터를 생성하고 그 이벤트 데이터가 제공될 수 있게 하기 위한 방법 및 시스템을 제공하는 것이다.

본 발명의 상기 목적 및 다른 목적들을 달성하는 데에 있어서, 이벤트 내의 적어도 하나의 참가자를 나타내는 3-D 데이터를 포함하는 이벤트 데이터를 생성하고 상기 이벤트 데이터가 제공될 수 있게 하기 위한 시스템이 제공된다. 상기 시스템은 통신 네트워크 및 통신 네트워크에 연결된 복수의 카메라 유닛들을 포함한다. 이벤트 개최지(event venue) 주위에 이격된 복수의 비평행 검출기 평면들(non-parallel detector planes)에 적어도 하나의 참가자를 포함하는 이벤트 내의 대상들(objects)로부터 전파하는 파동들(waves)로부터 복수의 이미지들을 생성하도록 이벤트 개최지에 카메라 유닛들이 구성 및 설치된다. 카메라 유닛들은 적어도 하나의 참자가에 대하여 상이한 방향들로부터 획득된 복수의 신호들을 생성하기 위하여 검출기 평면들 내의 이미지들의 에너지를 측정하는 복수의 검출기들 및 이미지 데이터를 획득하기 위하여 적어도 하나의 제어 알고리즘을 이용하여 복수의 검출기들로부터의 복수의 신호들을 처리하는 복수의 신호 프로세서들을 포함한다. 카메라 유닛들은 이벤트 개최지에 대하여 3-D로 교정된다(calibrated). 이미지 데이터를 처리하여 3-D 데이터를 포함하는 이벤트 데이터를 획득하기 위하여 프로세서 서브시스템이 통신 네트워크에 연결된다. 데이터 엔진을 포함하는 서버가 통신 네트워크를 통해 프로세서 서브시스템과 통신한다. 서버는 프로세서 서브시스템으로부터 3-D 데이터를 포함하는 이벤트 데이터를 수신하고 이벤트 데이터가 제공될 수 있게 하도록 구성된다.

파동들은 대상들로부터 반사된 광신호들일 수 있고, 검출기들 중 적어도 하나는 광검출기들(photodetectors)의 어레이를 포함할 수 있다.

광검출기들의 어레이들의 각각은 비디오 카메라를 포함할 수 있다.

3-D 데이터는 적어도 하나의 참가자의 3-D 위치들, 자세들 및 외관들을 나타낼 수 있다.

3-D 데이터는 이벤트 내의 복수의 참가자들 및 참가자들의 3-D 위치들, 자세들 및 외관들을 나타낼 수 있다.

이벤트 데이터는 이벤트의 스냅샷들 및 비디오 클립들, 개인 및 그룹 통계들, 및 이벤트가 심판이 참여하는 이벤트(officiated event)인 경우의 심판 도움(officiating help) 데이터를 포함할 수 있다.

네트워크는 이더넷 네트워크 또는 무선 네트워크일 수 있다.

시스템은 이벤트 데이터를 수신하고 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 이벤트 내의 적어도 하나의 애니메이션화된 참가자를 포함하는 애니메이션화된 시나리오를 생성하도록 구성된 애니메이션화 엔진을 포함하는 클라이언트를 더 포함할 수 있다.

시나리오는 플레이(play)일 수 있고 적어도 하나의 참가자는 플레이 내의 적어도 하나의 가상 플레이어를 포함할 수 있다.

적어도 하나의 가상 플레이어는 적어도 하나의 가상 스포츠 플레이어를 포함할 수 있다.

클라이언트는 편집된 이벤트 데이터를 획득하기 위하여 이벤트 데이터를 편집하는 에디터를 포함할 수 있고, 애니메이션화된 시나리오는 편집된 이벤트 데이터에 기초할 수 있다.

클라이언트는 이벤트 데이터에 기초하여 가상 환경을 생성하는 수단을 포함할 수 있고, 애니메이션화된 시나리오는 가상 환경에서 시뮬레이션될 수 있다.

클라이언트는 가상 환경에서 애니메이션화된 시나리오를 제어하는 수단을 포함할 수 있다.

상기 제어하는 수단은 애니메이션화된 시나리오를 조망하는 실제 인간의 시점(view point)을 제어할 수 있다.

서버는 웹서버를 더 포함할 수 있다.

시스템은 이벤트 내의 적어도 하나의 선택된 대상에 대한 이벤트 데이터를 획득하기 위하여 클라이언트를 웹서버에 연결하도록 구성된 웹브라우저 인터페이스를 포함하는 클라이언트를 더 포함할 수 있다.

클라이언트는 제공된 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 적어도 하나의 애니메이션화된 가상 참가자를 포함하는 애니메이션화된 시나리오를 생성하는 애니메이션 엔진을 포함할 수 있다.

시스템은 통신 네트워크에 연결된 오디오 서브시스템을 더 포함할 수 있다. 사운드 데이터를 획득하기 위하여 이벤트 개최지에서의 상이한 위치들로부터의 복수의 사운드들을 획득 및 처리하도록 오디오 서브시스템이 이벤트 개최지에서 구성 및 설치될 수 있다. 프로세서 서브시스템은 사운드 데이터를 처리하여 3-D 사운드 데이터를 획득한다. 이벤트 데이터는 3-D 사운드 데이터를 포함한다.

이벤트는 스포츠 이벤트와 같은 활동 지향형(action-oriented) 이벤트일 수 있다.

이벤트는 감시 이벤트(surveillance event)일 수 있다.

교정된 카메라 유닛들은 단일의 카메라 유닛에 의해 보이는 대로의 3-D 위치들을 나타내는 3-D 지향 라인 세그먼트들을 생성할 수 있다.

또한 본 발명의 상기 목적 및 다른 목적들을 달성하는 데에 있어서, 이벤트 내의 적어도 하나의 참가자를 나타내는 3-D 데이터를 포함하는 이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게 하는 방법이 제공된다. 상기 방법은 이벤트 개최지 주위에 이격된 복수의 비평행 검출기 평면들에서 적어도 하나의 참가자를 포함하는 이벤트 내의 대상들로부터 전파하는 파동들로부터 복수의 이미지들을 생성하는 단계를 포함한다. 상기 방법은 적어도 하나의 참가자에 대하여 상이한 방향들로부터 획득된 복수의 신호들을 생성하기 위하여 검출기 평면들 내의 이미지들의 에너지를 측정하는 단계를 더 포함한다. 상기 방법은 이미지 데이터를 획득하기 위하여 적어도 하나의 제어 알고리즘으로 복수의 신호들을 처리하는 단계, 3-D 데이터를 포함하는 이벤트 데이터를 획득하기 위하여 이미지 데이터를 처리하는 단계, 및 3-D 데이터를 포함하는 이벤트 데이터가 제공될 수 있게 하는 단계를 더 포함한다.

상기 방법은 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 이벤트 내의 적어도 하나의 애니메이션화된 참가자를 포함하는 애니메이션화된 시나리오를 생성하는 단계를 더 포함할 수 있다.

상기 방법은 편집된 이벤트 데이터를 획득하기 위하여 이벤트 데이터를 편집하는 단계를 더 포함할 수 있고, 애니메이션화된 시나리오는 편집된 이벤트 데이터에 기초할 수 있다.

상기 방법은 이벤트 데이터에 기초하여 가상 환경을 생성하는 단계를 더 포함할 수 있고, 애니메이션화된 시나리오는 가상 환경에서 시뮬레이션될 수 있다.

상기 방법은 가상 환경에서 애니메이션화된 시나리오를 제어하는 단계를 더 포함할 수 있다.

제어하는 단계는 애니메이션화된 시나리오를 조망하는 실제 인간의 시점을 제어할 수 있다.

이벤트 데이터가 제공될 수 있게 하는 단계는 이벤트 데이터가 인터넷을 통해 제공될 수 있게 할 수 있다.

상기 방법은 이벤트 데이터를 인터넷을 통해 제공하는 단계를 더 포함할 수 있다.

상기 방법은 제공된 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 적어도 하나의 애니메이션화된 가상 참가자를 포함하는 애니메이션화된 시나리오를 생성하는 단계를 더 포함할 수 있다.

상기 방법은 사운드 데이터를 획득하기 위하여 이벤트 개최지에서의 상이한 위치들로부터의 복수의 사운드들을 획득 및 처리하고 3-D 사운드 데이터를 획득하기 위하여 사운드 데이터를 처리하는 단계를 더 포함할 수 있다.

상기 방법은 불완전하거나 잃어버린(missing) 정보를 채우기 위하여 3-D 데이터를 처리하는 단계를 더 포함할 수 있다.

상기 방법은 불완전하거나 잃어버린 이벤트 데이터를 보상하기 위하여 이벤트의 3-D 모델과 함께 적어도 하나의 참가자의 위치 및 속도를 나타내는 3-D 데이터를 더 포함할 수 있다.

상기 방법 및 시스템의 일 실시예는 스포츠 및 다른 활동 지향형 이벤트들의 인터넷을 통한 자동적인 방송을 가능하게 한다. 상기 시스템은 카메라들로 지속적으로 추적하고 인식 기술(recognition technology)을 이용하여 모든 이벤트 참가자들의 위치를 결정함으로써 이벤트의 포괄적인 기록을 생성하고 사용자가 인터넷을 통해 활동을 조망할 수 있게 하는 애니메이션들을 생성하기 위하여 필요한 정보를 도출한다. 상기 시스템은 조망 원근감(viewing perspective) 및 시간을 조망자가 선택하게 함으로써 조망자(viewer)가 이벤트에 참가하게 해준다. 조망자는 중간 라인백커(middle linebacker)의 시점(point of view)으로부터 풋볼 게임 또는 골키퍼의 시점으로부터 축구 플레이를 조망할 수 있다. 상기 정보는 또한 현재 게임들로의 리얼리티의 블렌딩(blending of reality)을 가능하게 하도록 비디오 게임들에 의해 이용될 수도 있다.

본 발명의 상기 목적 및 다른 목적들, 특징들 및 장점들은 본 발명을 수행하는 데에 최적인 모드에 대한 이하의 상세한 설명부를 첨부도면들과 함께 보면 분명히 알 수 있다.

도 1은 풋볼 게임을 하는 풋볼 플레이어들과 같은 이벤트 내의 참가자들이 본 발명의 시스템에 의해 조망되어 풋볼 플레이어들을 나타내는 3-D 데이터를 포함하는 이벤트 데이터를 생성하는, 풋볼 스타디움과 같은 이벤트 개최지의 개략적인 사시도.

도 2는 본 발명의 시스템의 일 실시예의 개략적인 블럭도.

도 3은 본 발명의 방법의 일 실시예를 도시하는 블럭 흐름도.

도 4는 한 쌍의 카메라들 및 카메라 센터들로부터 이벤트의 참가자들에게로 지향된 라인 세그먼트들의 개략도.

본 발명의 시스템의 일 실시예는 활동 지향형 엔터테인먼트 컨텐츠를 웹을 통하여 방송한다. 획득 시스템은 참가자들의 위치들 및 자세들, 및 장면의 조망(view of the scene)의 형태의 이벤트 정보를 획득한다. 데이터 엔진은 이벤트 정보를 인터넷을 통한 방송을 위해 저장한다. 사용자 시스템은 사용자가 어떤 위치로부터도 이벤트를 선택, 검색 및 조망하게 한다.

획득 시스템은 이벤트들을 캡쳐하기 위하여 클라이언트 개최지들(client venues)에 설치되는 것이 보통이다. 현재의 디지털 이미징 및 머신 비젼 기술은 비용 효율적인(cost-effective) 설치를 가능하게 한다.

데이터 엔진은 사용자의 능력들/기대들(capabilities/expectations)에 매칭하도록 성취 가능한 해상도, 비디오 및 사운드 품질, 및 획득 레이트를 제공한다.

사용자 시스템은 비디오 게임과 같은(video game-like) 애니메이션과 비디오 이미지들을 혼합하여 디스플레이한다. 향상된 컴퓨터 게임들을 위하여 개발된 성능들은 획득 시스템에 의해 도출된 조망 가능한 3-D 애니메이션들의 생성을 가능하게 만든다.

시스템 구성요소들

획득 시스템

획득 시스템은 제한된 수의 카메라 조망들(camera views)로부터 3-D 장면 정보 및 이미지들을 도출하는 기성품(off-the-shelf) "스마트 카메라들" 및 제어기들의 네트워크이다. 스마트 카메라는 보는 것으로부터 중요한 정보를 도출하고 통신 하기 위하여 탑재 처리(on-board processing)를 이용한다. 복수의 스마트 카메라 출력들은 특정한 해상도로의 대상들의 이동 및 위치의 재구성을 허용한다.

획득 시스템 제어기들은 자동적으로 다음을 생성한다:

▶ 플레이어들의 3-D 위치들 및 그들의 자세들;

▶ 3-D 그래픽스 설명(graphics description)으로의 플레이어들의 외관;

▶ 하이라이트들과 주요 플레이들의 스냅샷들 및 비디오 클립들;

▶ 플레이어 및 팀 통계; 및

▶ 심판 도움

설치

설치가 되면, 획득 시스템은 수동적(passive)으로 되고 루틴 이벤트 데이터 송신은 자동적으로 된다. 스마트 카메라들은 도 1에서 도시하는 바와 같이, 플레잉 필드 뒤의 포스트들(통상적으로는 조명 타워들)에 영구적으로 장착된다. 획득 시스템은 클라이언트 개최지들 내에 영구적으로 또는 일시적으로 설치될 수 있다. 시스템 모니터링을 위하여 웹기반 진단이 이용될 것이다.

데이터 엔진

데이터 엔진은 이벤트 데이터를 저장하고 웹을 통해 이용 가능하도록 만들기 위하여 기성품 소프트웨어 및 하드웨어(즉, 서버들) 둘 다를 이용한다. 필요한 네트워크 대역폭은 많은 인터넷 공급자들로부터 라이센스를 받을 수 있을 것이다.

사용자 시스템

사용자 시스템은 사용자의 PC들이나 게임 시스템들 상에 이벤트 애니메이션들(event animations)을 생성한다. 사용자 시스템은 이벤트를 조망하거나, 이벤트를 분석하기 위해, 또는 각종 시뮬레이션 게임들에 대한 시작점(starting point)으로서 많은 방식들로 이용될 수 있다. 이벤트 데이터는, 이벤트들의 무제한의 사용자 선택 가능한 조망들(예를 들어, 쿼터백의 관점(perspective)으로부터, 그의 뒷 쪽에서 10피트 위로부터, 또는 사이드라인들로부터의 풋볼 게임의 조망)을 가능하게 한다. 결과는 매우 상호작용적이고, 유익하며, 주목하지 않을 수 없는(compelling) 엔터테인먼트이다.

본 발명의 시스템을 위한 많은 응용들이 있다. 가장 주목하지 않을 수 없는 것은 가상 환경 또는 스타디움에서의 이벤트에 참가하는 독특한 방법들인 것으로 보인다.

가상 스타디움

일 실시예의 시스템은 팬들에게 가상의 스타디움 및 한창 활동중인 플레이 필드를 포함한 전영역 패스(all-area pass)를 제공한다. 또한, 복수의 이벤트들 또는 동일한 이벤트의 복수 조망들이 동시에 디스플레이될 수 있다.

이하의 서브섹션들은 상기 시스템의 여러 실시예들의 응용들을 예시한다.

조망 프로그램들( viewing programs )

조망 프로그램은 게임의 페이스에 따라 이벤트를 보고 조망 위치들을 제어하게 해준다.

스포츠 조망

이벤트 데이터는 3-D 애니메이션을 도출한다. 그것은 각종 조망 접근들(viewing approaches)(줌, 각도, 등에 따라 플레이어를 따름, 볼을 따름, 하나의 플레이어에 고립)의 선택을 허용한다. 이것은 플레이, 소유(possession), 기타 유사 개념에 의한 시간상 전후 이동(가능한 경우에)을 허용할 것이다.

스포츠 게임

저장된 이벤트 데이터를 판독하여 이용하기 위한 인터페이스를 부가함으로써, 현재 및 과거의(historical) 게임들을 조망하기 위하여 스포츠 게임들이 이용될 수 있다. 그들의 플레이들 및 그래픽들을 생성하기 위하여, 이 게임들의 개발자들은 이미, 이벤트 데이터에 의해 증대될 수 있는 방대한 양의 작업을 수행하였다.

PDA /상호작용 게임 데이터 메시징

이벤트 데이터는 2-D 플레이/조망 인터페이스를 이용하여 PDA 또는 셀 폰에 스트림될 수 있다. 게임을 따르거나, 또는 다른 사람과 시뮬레이션 게임을 하기 위해 컬러 디스플레이 및 3-D 애니메이션 기능을 갖는 셀 폰이 이용될 수 있다.

시뮬레이션 게임들

시뮬레이션 게임은 플레이어들에 의해 선택된 전략들 또는 플레이들의 옵션들 및 결과들을 결정하기 위해 과거의 이벤트 데이터를 이용할 수 있다.

스포츠 게임들

저장된 이벤트 데이터를 판독하고 이용하기 위한 인터페이스를 부가함으로써, 선택된 과거의 팀과 플레이하기 위하여 스포츠 게임들이 이용될 수 있다.

풋볼 게임

이것은, 예를 들면, 시즌 중 어느 때라도 미시간 대학팀이 오하이오 주립 대학과 플레이할 수 있게 해주며, 결과는 각 팀들의 현재 시즌의 이벤트 데이터에 의해 결정된다. 이것은 또한 팀의 능력을 결정하기 위하여 팀을 위해 선택된 플레이어들이 이전 주(week) 또는 시즌에서의 그들의 실제 능력을 이용할 판타지 풋볼 버전을 허용한다.

판타지 풋볼( Fantasy Football )

각 플레이어들의 팀을 디스플레이하고 그의 능력에 대한 실시간 업데이트를 수행한다.

코칭 및 트레이닝 툴

이벤트 데이터는 코치들이 플레이어의 위치들 및 이동을 분석하게 해주는 툴들을 제공한다. 추적 및 트레이닝 툴로서 모든 레벨들에서 축구 및 풋볼에 대하여 시스템의 간단한 버전이 이용될 수 있다. 팀 또는 플레이어 경향들 및 능력들을 찾아 다른 팀들의 이벤트 데이터를 조사할 수 있다.

스포츠 심판 시스템

시스템은 심판을 위하여 사용될 수 있다. 플레이어들 및 볼의 상대적인 3-D 위치들에 대한 지식은 많은 스포츠들의 심판을 보는 데에 이용될 수 있다. 이것은, 특히 실제 상황들에서, 심판원들(officials)이 검증 가능하도록 객관적인 결론들을 도출하는 것, 또는 심판원들을 전체적으로 교체하는 것을 돕기 위한 정보를 캡쳐하는 툴로서 이용될 수 있다.

방송 지원

실시간 통계 및 고유의 조망들의 생성자로서, 일 실시예의 시스템은 전통적인 텔레비젼 방송자들을 보조하기 위하여 사용될 수 있다.

시스템은 또한 게임의 비디오 세트로부터 이벤트 데이터를 추출하는 데에 이용될 수 있다.

리플레이 발생( Replay Generation )

시스템은 실시간으로 방송 아나운서들을 위한 그래픽들을 생성할 수 있다. 플레이들의 재구성 및 결과적인 통계는 방송자들 및 팀들에게 유용하다. 방송자들 및 팀들은 게임을 다시 보고 각종 경향들에 대한 데이터를 조사하여 상이한 시나리오들 및 접근들을 테스트하기 위해 플레이들의 재구성 및 결과적인 통계 모두를 이용할 수 있다. 데이터는 방송 이벤트에 대한 3-D 사운드 트랙을 제공하기 위하여 이용될 수 있다. 데이터는 어떤 향상된 텔레비젼/PC 조합들에 의해 지원된 3D 조망 시스템을 지원하기 위하여 이용될 수 있다.

TV /라디오를 통한 게임들을 위한 조망 프로그램

방송자는 "이벤트 데이터 채널"에 해설(commentary)을 갖는 단일 생성된 조망 접근을 제공하는 애니메이션을 생성하기 위하여 이벤트 데이터를 이용할 수 있다.

상호작용 게임 데이터

향상된 모니터들을 이용하여, 컴퓨터는 웹으로부터 게임 데이터를 얻을 수 있고, 오버레이 이미지 상에 통계 또는 요약의 스트림을 제공할 수 있다. 사용자는 그가 원하는 정보의 종류에 대한 그의 기호들(preferences)을 설정할 수 있다. 각각의 플레이 이후에 팀에 의해 획득된 야드의 카운트가 가능하다. 대안적으로, 방송자가 데이터를 제공할 수 있다.

리얼리티 쇼들( Reality Shows )

정규 제작된 주간 방송을 보충하기 위한 리얼리티 쇼 장소(reality show locale)의 24/7(하루 24시간 주7일) 방송.

스테이지 플레이들( Stage Plays )

스테이지 플레이는 애니메이션 및 3-D 사운드로 방송될 수 있다.

파티들( Parties )

어떤 사람들은 다른 사람들이 가상 참가자들이 되도록 허용하기 위하여, 그들의 파티들을 방송하기를 원할 수 있다.

애니메이션 생성

애니메이션을 위한 활동을 기획하고 그것의 3-D 설명(description)을 캡쳐하기 위하여 플레이데이타 시스템이 이용될 수 있다. 그 후 애니메이터는 그 결과를 영화나 쇼로 편집 및 강화할 수 있다.

보안 모니터링

일 실시예의 방법 및 시스템은 조망되는 사람들 및 대상들을 추적 및 해석하기 위하여 기성품 감시 비디오 시스템들의 강화를 허용한다. 한 사람의 이벤트 데 이터 설명은 생체 인식 시스템과 짝을 이룰 수 있다. 차량들 및 사람들은 모두 생성된 생체 데이터로 추적될 수 있을 것이다. 이것은 행위 분석 기능과 짝을 이룰 수 있다. 이것은, 예를 들어, 쇼핑몰 주차장에서 사람들을 감시하고, 사람이 쇼핑몰로 들어가지 않는 대신 차량들 간을 이동할 때 이를 인지할 것이다.

시스템 구성요소

획득 시스템(고성능)

카메라 서브시스템

이것은, 도 2에 도시된 바와 같이, 자세 및 이미지 모두의 장면 정보를 캡쳐할 수 있는 카메라들의 네트워크이다. 카메라 서브시스템은 스마트 카메라 계열(families)이다. 서브시스템은 새로운 카메라 시스템들의 제3자 개발(development)을 허용하기 위한 오픈 인터페이스를 갖는다.

스마트 카메라 유닛

카메라들은 소정 수의 이미지 헤드들과 함께 프로세서를 포함하는 것이 보통이다. 이것은 단일의 "카메라"가, 복수의 독립적으로 조준된 센서들을 이용함으로써, 예를 들면, 다양한 범위들을 커버하거나 넓은 필드를 쉽게 커버하게 해줄 것이다. 표준 획득 센서들은 사각형이지만, 많은 경우에 장면은 주로 수평적이다. 카메라들은 1 기가비트 이더넷 링크들을 지원할 수 있다. 카메라 유닛은 줌렌즈들 및/또는 팬(pan)/틸트(tilt) 능력을 가질 수 있다.

주요한 카메라 부품들은 이용 가능한 기성품들이다.

카메라 프로세서

각각의 카메라 유닛 내의 프로세서는 DSP 또는 게이트 어레이에 의해 보충된다. 이들은 알고리즘들이 실시간으로 실행되게 하기 위하여 필요한 하드웨어 부스트(hardware boost)를 제공한다. 하드웨어 및 개발 소프트웨어는 각종 기성품 카메라들의 사용을 허용한다. 프로세서 모듈은 최대 8개의 이미지 헤드들과 함께 이더넷을 지원한다. 카메라 헤드로의 인터페이스는, 원하는 경우 많은 다른 카메라들이 이용되게 해줄 표준 고속 인터페이스인 파이어와이어(firewire)인 것이 바람직하다.

카메라 이미지 헤드

이미지 데이터를 카메라 프로세서에 공급하는 카메라 헤드는 1 내지 16 메가픽셀 RGB 이미저(imager)를 포함한다. 카메라 이미지 헤드는 초기 이미지 획득 및 처리를 제어하기 위한 자신의 프로세서를 포함한다. 카메라 헤드는 이미지 데이터를 카메라 프로세서에 스트리밍하기 위하여 파이어와이어 인터페이스를 이용한다. 저비용 버전의 카메라 유닛은 요구사항이 적은 응용들을 위하여 단일 프로세서와 이미지 헤드를 결합한다.

사운드 서브시스템

도 1에 도시된 바와 같이, 마이크로폰 유닛들의 네트워크가 다양한 영역들에서 사운드를 캡쳐한다. 사운드는 3-D 위치 특정 사운드를 허용하기 위하여 분석 및 저장된다. 사운드 서브시스템은 마이크로폰 유닛들의 계열이며 사운드 획득 시스템 구성요소들의 제3자 개발을 허용하기 위한 인터페이스이다.

각각의 마이크로폰 유닛은 장면의 한 영역으로부터의 사운드가 캡쳐되고 네트워크 프로세서나 서브시스템에 송신되는 것을 허용하도록 지향성인 것이 바람직하다.

통합 및 분석 서브시스템

통합 및 분석 서브시스템(도 2의 서브시스템)은 특정의 해상도에서 장면의 설명을 생성 및 유지한다. 시스템은 이 데이터를 데이터 엔진에 제공한다.

분석 및 통합 서브시스템은 개별 카메라 유닛들 및 마이크로폰 유닛들로부터 데이터를 수집 및 처리하고 데이터를 서버의 로컬 데이터 엔진에 전송하기 위하여 DSP들 또는 게이트 어레이들을 구비한 프로세서를 포함한다. 로컬 데이터 엔진으로의 링크는 1 기가바이트 이더넷 또는 파이어와이어일 수 있다. 이 하드웨어, 및 그것을 사용할 필요가 있는 소프트웨어는 이용 가능한 기성품이다.

네트워크

1 기가바이트 이더넷 네트워크는 양호한 성능을 위하여 모든 시스템 구성요소들을 연결할 수 있다. 일부 성능을 희생하여 무선 네트워크가 이용될 수도 있 다.

부수적( miscellaneous ) 하드웨어

상기 언급된 장치들 모두는 하드웨어, 환경 인클로저들(environmental enclosures) 및 케이블링(cabling)을 장착할 필요가 있는 것이 보통이다.

획득 시스템 동작

획득 설명

획득 시스템은 제한된 수의 2-D 조망들로부터 3-D 게임 정보 및 이미지들을 도출한다. 각각의 "플레이어" 또는 이벤트의 몇몇 조망들은 모든 이동들 및 위치들의 재구성을 허용한다. 많은 스포츠들의 장점들 중 일부는 번호들이 부여된 유니폼들의 사용 및 알려진 위치들로 빈번하게 게임을 리셋하는 것이다.

카메라 유닛들의 네트워크는 다양한 각도에서 장면(즉, 이벤트 개최지)을 조망한다. 장면에서의 임의의 대상의 적어도 두 개의 상이한 조망들이 바람직하다. 카메라들은 예를 들면 1000×1000 픽셀들의 픽셀 해상도를 가질 수 있다. 주어진 거리에서, 카메라는, 자신의 렌즈에 의존하여, 소정의 시야를 조망한다(예를 들면 40m 거리에서 10m×10m). 이 경우, 40m에서의 결과적인 획득 해상도는 10m/1000픽셀들 또는 대략적으로 1m/100픽셀들 또는 10mm/픽셀(대략적으로 1/2 인치)일 것이다.

방송 비디오에 대한 전형적인 레이트는 현재 30 프레임/초이다. 10 업데이 트/초의 데이터 획득의 레이트는 조망자가 게임을 따라가도록 해줄 것이다. 선택된 카메라들은 더 빠른 업데이트 레이트들을 가질 수 있을 것이다(예를 들면, 볼트랙킹(ball-tracking) 카메라). 방송 비디오 레이트는 사람이 이미지들의 시퀀스를 부드러운 모션으로서 인식할 수 있는 레이트이다. 사용자가 조망하고 있는 그래픽 시스템은 적어도 30프레임/초에서 조망을 업데이트할 것이지만, 위치 데이터 레이트는 이것에 매칭할 필요는 없는데, 왜냐하면 애니메이션 소프트웨어가 모든 대상들의 부드러운 동작을 생성할 것이기 때문이다. 시스템이 적절히 동작하기 위하여는 많은 유형의 추론들이 필요하다.

스포츠에서 플레이어들 그룹의 애니메이션은 신장, 무게, 외관 및 비율과 같은 요소들이 조정된 플레이어들에 대한 모델에 의존하는 것이 보통이다. 이 유형의 모델은 플레이어가 어떤 자세를 취하고 있는 지를 결정하는 파라미터 세트를 이용하는, 대상의 수학적 설명(mathematical description)이다. 획득 시스템은 이 파라미터들을 도출한다. 이 파라미터 세트는 플레이어를 설명하기 위한 매우 컴팩트하고, 효율적인 방법인데, 이는 특히 변화하고 있는 파라미터들만이 애니메이션 엔진과의 사이에서 교환될 필요가 있기 때문이다. 모델의 부가적인 측면은 대상들의 동적 설명이다.

장면 가려짐( Scene Occlusion )

이따금, 다양한 플레이어들이 모든 카메라들의 조망으로부터 가려질 수 있거나, 장면이 너무 복잡하여 주어진 시간에 모든 플레이어들을 식별할 수 없을 수 있 다. 데이터가 수 초 지연되어 방송되면, 이전 또는 후속하는 정보가 이용되어 잃어버린 데이터를 채울 수 있다. 잃어버린 정보는 나중의 정보가 이용 가능해질 때까지 다양한 일관성 규칙들(consistency rules)을 이용하여 채워진다 - 주로 이전의 모션이 계속됨- .

장면 설명( Scene Description )

장면은 정적 배경, 동적 배경 요소들 및 전경 대상들(foreground objects)(플레이어들)을 갖는 것으로 모델링된다. 대상은 단순한 3-D 입방체(solid)일 수 있거나, 또는 인체의 추상화(abstraction of human body)와 같은 더욱 복잡한 설명을 가질 수 있다. 대상은 정적 및 동적 속성들 모두를 갖는다. 그것의 신장과 무게 및 전체적인 형태는 주어진 장면에 걸쳐 정적이다. 어떤 사람이 걷고 달리는 방식은 현실적인 애니메이션을 위한 정보의 양을 감소시키도록 결정되어 사용될 수도 있다.

자세

대상은 전체적인 위치(질량의 중심)를 갖고, 및 또한 좌우로 흔들고, 던지며, 구른다. 이 전체 설명은 자세(pose)로 호칭된다. 대상이 머리, 손, 다리, 발과 같은 복수의 고정된 부분들(rigid parts)로 이루어져 있다면, 대상을 설명하기 위하여는 상기 부분들의 각각의 자세를 설명할 필요가 있다. 그러나, 이러한 모든 자세들은 서로 관련되어 있다. 모든 자세는 볼 때마다 변화하는 것은 아니다.

최소의 데이터로 모션들의 시퀀스를 설명하기 위한 많은 효과적인 전략들이 있다. 이들은 효율적인 방식으로 장면 조건들에서 대상들의 모션들을 설명하기 위하여 이용될 것이다.

조망

주어진 위치에서의 대상에 대하여, 복수의 조망들이 있다. 이들은 특히 선택된 관점 및 조명에 의존한다. 카메라에 의해 캡쳐된 조망은 어느 정도는 압축될 수 있지만, 이벤트를 실제로 보는 착각(illusion)을 만들기 위하여는, 매우 높은 레이트에서 손상되지 않은 고해상 시퀀스가 필요하다. PC 또는 비디오 게임은 이러한 착각을 만들어 내는 이미지들을 현재 매우 양호하게 생성하고 있으며, 점차 나아지고 있다.

제스쳐

설명의 사이즈를 줄이기 위한 다른 전략은 제스쳐들을 설명하는 것이다. 예를 들면, 걷기, 달리기 또는 흔들림(waving)은 모두 어떤 레이트로 A에서 시작하여 B로 가는 주어진 대상의 제스쳐들로서 설명될 수 있다. 이 설명은 설명을 위한 데이터를 훨씬 적게, 그리고 대상 이동의 비디오보다는 매우 적게 필요로 한다. 또한, 대상에 대하여 추가적인 정보가 제공되지 않으면, 계속 가거나, 또는 정지하고 C로 복귀하는 것과 같은 디폴트 제스쳐들이 지정될 수 있다.

위치/ 제스쳐 설명

대상들의 위치 및, 배경과 조명 조건들을 안다면, 장면의 어떠한 조망도 생성할 수 있다. 위치/제스쳐 설명은 보편적인 것이다. 그것은 또한 장면을 설명하는 매우 효율적인 방법이며, 사용자를 위한 현실적인 조망을 생성하기 위하여 사용될 수 있다.

이미지 부가

위치/제스쳐 설명을 갖고 있다면, 위치/제스쳐 정보가 획득될 때, 이미지 세부 사항들을 추출할 수도 있다. 제스쳐가 도출될 때, 주어진 부대상(sub-object)(신발 또는 손)의 경계도 도출된다. 획득 조망(acquiring view)과 함께, 추출된 이미지 모두가 저장될 수 있다. 선택된 조망에서 애니메이션을 생성하기 위하여, 이미지는 획득 조망 및 선택된 조망의 지식을 이용하여 변형될 수 있다. 이것은 사용자 조망을 위해 생성된 그래픽 이미지들에 세부사항을 부가하기 위하여 이용될 수 있다. 그래서, 예를 들면, 가끔씩 신발의 설명을 보냄으로써, 사용자는 그것에 있는 잔디 얼룩을 볼 것이지만, 송신된 데이터는 여전히 매우 작고 이따금씩의 것이다.

이것은 캐치들(catches), 펌블들(fumbles) 및 아웃-오브-바운드들(out-of-bounds) 상황들과 같은 특별히 관심있는 실제 장면들을 캡쳐한 것을 포함한다. 이 장면들은 선택된 현재의 조망 위치에 매칭하도록 변형될 것이다.

이미지 데이터의 생성

참가자들의 조망-독립적(view-independent) 외관 및 3-D 위치들의 도출은 각각의 카메라 유닛에 의해 획득된 이미지들로부터 다음의 정보를 추출한다:

▶ 참가자수(이용된다면),

▶ 헤드/헬멧 위치,

▶ 몸통/흉부/등의 질량 중심,

▶ 손/팔/팔꿈치/어깨,

▶ 발/다리 무릎

데이터 추출은 도 3에 도시된 바와 같이, 이하의 방식으로 진행한다.

▶ 이미지 획득(각각의 카메라에 대하여);

▶ 이미지 분할(각각의 카메라에 대하여);

▶ 피쳐 교차(feature intersection) 및 레이블링(labeling)(모든 카메라들로부터의 피쳐들에);

▶ 이전의 정보가 주어진 최적의 레이블링 선택;

▶ 외관 정보 추출 및 업데이트;

▶ 현재의 데이터 계산 및 저장.

카메라 기반 처리

이미지들의 획득, 및 처리의 제1 스테이지는 "스마트 카메라" 또는 카메라 유닛에서 발생하는 것이 보통이다.

이 정보를 도출하기 위하여 카메라에 의해 이용된 데이터는 다음과 같다:

▶ 카메라 3-D 위치를 이벤트 필드 또는 개최지에 관련시키는 교정 파라미터들;

▶ 조망되는 오브젝트의 이전의 위치들 및 속도들;

▶ 이벤트의 유형에 대한 정보

이전의 정보가 이용 가능하지 않다면, 동작들은 시동(startup) 파라미터 세트를 이용하여 진행할 것이다.

이미지 획득

이미지 획득은 이용 가능한 장면의 이전의 상태에 대한 정보와 병행될 것이다. 이전의 장면 정보는 이미지들을 획득할 잠재 영역들을 타겟으로 하는 데에 이용될 것이다. 그것은 또한 최적 이미지를 위한 획득 파라미터들을 조절하는 데에 이용될 것이다. 획득된 이미지들은 다음 이미지들이 획득될 때까지 저장된다.

이미지 분할( Image Segmentation )

이미지들은 이미지 분할이 가급적 신뢰성 있게 고속으로 되도록 돕기 위하여 이전의 정보를 사용하는 것과 병행하여 분할된다. 알려져 있다면, 피쳐들의 대략적인 위치 및 외관이 이용되어 이 처리를 간단하게 하고 가속화할 것이다.

참가자들의 피쳐들은 블로브 분석, 에지 분석, 영역 증대, 또는 다른 통상의 이미지 처리 기술들로 이미지 분할을 통하여 배경으로부터 추출된다.

대상들의 속도에 대한 정보는 이전의 이미지로부터 새로운 이미지를 추출하여 획득될 수 있다.

다양한 대상 추출 동작들이 이용되어 일관된 방식으로 필요한 피쳐들을 분리시킬 것이다. 팔다리(extremities)가 특히 중요하므로, 팔다리 추출 동작 세트가 이용될 것이다.

피쳐들에는 그들을 생성하는 추출 동작에 따라 유형이 할당될 것이다. 일반적으로 비슷한 추출 동작들에 의해 비슷한 유형들의 피쳐들이 생성된다.

필드 상의 레지스트레이션 마크들(registration marks)이 추출되고 필요에 따라 교정 데이터(calibration data)를 업데이트하기 위하여 이용 가능해질 것이다.

제1 스테이지 결과들

상기 정보는 특정의 카메라에 연관된 이미지 좌표들에 있다. 이미지 피쳐들은 카메라 교정 데이터를 사용하여 3-D 피쳐들로 변환된다. 3-D 이미지 피쳐들은 레이블링을 위하여 프로세서에 보내진다. 예를 들어, 하나의 포인트 피쳐는 카메라 중심으로부터의 3-D 광선(ray)이 될 것이다.

제2 스테이지 처리

피쳐가 레이블링되는 경우, 결과들이 다시 카메라들로 송신되고 이미지들로 되돌아가서 대상 외관 모델에 대한 어떠한 업데이트들이라도 추출하거나, 레이블링에서 모호함을 제거하기 위한 더 많은 정보를 도출하기 위하여 이용될 수 있다.

제2 스테이지 결과들 송신

완료된 경우, 임의의 결과들은 추가적인 처리 및 저장을 위하여 송신된다.

1. 통합 및 분석 프로세서

분할 결과들은 피쳐 프로세서에 보내진다. 이 시스템은 개개의 카메라들로부터의 모든 정보를 조합하고 레이블링된 3-D 위치 정보를 생성한다. 시스템은 상기 결과들을 다시 카메라로 보내서 다음 획득 및 분할 주기를 안내하는데, 이것은 또한 플레이어 외관 및 가능한 부가적인 피쳐 정보에 필요한 업데이트들을 위해 이미지들이 조사되도록 한다.

프로세서는 스타팅 참가자들 및 그들의 위치들을 결정하기에 충분한 이벤트 정보를 가질 것이다.

2. 피쳐 교차 및 레이블링( Feature Intersection and Labeling )

레이블링의 태스크는 두 개의 구성요소들(즉, 참가자 위치 및 그들의 팔다리의 위치)을 갖는다.

레이블링은 둘 다의 경우에서 동일한 방식으로 진행하며, 차이점은 모든 참 가자들에 대하여 전체 필드가 스캔되는 반면, 그들이 알려지면, 그들의 팔다리의 가능한 위치들은 매우 정확히 알려진다. 또한, 인간 형태에 대한 다양한 규칙들(rules)을 관찰하면서(다리 반대편의 머리, 몸통에 붙은 팔, 등), 마스터 피쳐(master feature)로부터 팔다리를 "증대(grow)"시키는 알고리즘들이 이용될 것이다. 목표는 일관성을 위해 철저히 검색되어야 하는 모호한 정보의 양을 줄이는 것이다.

3. 참가자 레이블들

마스터 피쳐는 우선, 각각의 플레이어에 대응할 큰 피쳐의 질량 중심을 이용하여 매칭될 것이다. 대상들의 팔다리들은 그들의 소유자가 알려진 후에만 결정될 것이다. 플레이어 번호가 명백하게 추출되고, 인식되며 마스터 피쳐에 매칭될 수 있는 경우에는, 플레이어 번호가 레이블로서 이용될 것이다.

초기 단계는 각각의 카메라의 피쳐 세트로부터 참가자들의 3-D 위치들을 찾는 것이다. 각각의 카메라 피쳐는 실제 피쳐를 통한 카메라 중심으로부터의 광선을 나타낸다. 동일한 3-D 피쳐를 설명하는, 모든 카메라들로부터의 광선들은 피쳐의 3-D 위치에서 소정의 작은 에러를 갖고 모두 교차해야 한다.

3.1 팔다리 레이블들

참가자들이 레이블링되고 그들의 위치들이 알려지면, 그들의 팔다리는 동일한 레이블링 기술을 이용하여 레이블링되어, 후보 피쳐들을 정확한 유형과 위치의 것들로 제한한다. 또한, 팔다리들은 참가자로의 그들의 연결성(connectivity)을 확립함으로써 도출될 수 있다.

3.2 일반적인 레이블링 방법( General Labeling Approach )

일반적인 레이블링 방법은 다음과 같다.

4. 용이한 레이블링

제1 단계는 카메라 쌍들을 취하고 모든 명백한 레이블링들을 찾는 것이다. 이것은 그 후 모든 카메라들로 확장되어, 그 결과로 용이한 피쳐들의 레이블링을 유발한다. 그 후, 필요에 따라 추론들(inferences)을 하는 나머지 피쳐들의 레이블링이 수행된다.

4.1 획득에 따른 반복 레이블링( Recursive Labeling Acquisition )

기본적인 방법은 가능성을 제한하기 위해, 수개의 필터들을 이용하여 모든 가능한 유효 피쳐 쌍들을 반복적으로 평가하는 것이다.

5. 교차 필터

이것은 동일한 유형의 피쳐들로부터의 광선들을 교차시키고 큰 교차 에러들을 갖고/거나 물리적으로 가능한 평면에서 종료하지 않는 쌍들을 제거함으로써 호환성(compatibility)에 대하여 카메라들 간의 피쳐 쌍들을 평가하는 데 이용될 것 이다. 이 필터는 동일한 대상에 대응할 수 있는 가능한 피쳐들의 세트를 크게 줄인다. 도 4는 이 필터의 예를 도시한다. 예를 들어, 위치들 A, B, 및 C는 이전의 위치들 A', B' 및 C'을 가지며 가능한 최대 이동은 약 2 미터이다. A에 있는 R1의 높이는 2미터이고, X에서는 1.5미터이다. C에 있는 R4의 높이는 2미터이고, X에서는 1.2미터이다. X에서의 교차 에러는 A에서 0.3미터이다. A에서의 R1, R5의 교차에 대한 에러는 0.005미터이다. X에서의 R1, R4의 교차는 0.300미터이다. 교차 필터는 에러가 0.050미터로 설정되면 x를 고려하지 않는다. Z에서의 R2, R5의 교차는 0.04미터의 에러를 가지므로, 그것은 유효한 후보이다. 교차 필터의 결과는 A, B, C, Z를 후보들로서 남겨두는 것이다. 추가의 카메라 쌍들은 A, B, C(그러나 Z는 아님)를 생성할 것이다. 결과적인 후보들을 레이블링하기 위하여 이전의 위치들로부터의 최소의 에러가 이용된다.

5.1 3-D 근접(3-D Proximity )

대상은 표시된 시간의 양만큼만 이동할 수 있으므로, 이전의 위치에 가까이 통과하는 각각의 카메라로부터의 후보 피쳐들은 그 대상의 레이블에 대해서만 고려된다.

5.2 반복 매치

필터링 후, 나머지 라벨링되지 않은 피쳐들의 모든 가능한 조합들을 테스트하는 반복 매치가 존재한다. 각각의 조합은 이전의 위치들로부터의 최소 거리를 찾음으로써 평가된다. 유효한 후보들이 충분하지 않거나 에러 임계치가 초과되자 마자 조합은 거부된다.

3.3 잃어버린 또는 새로운 피쳐들( Missing or New Features )

임계치보다 작은 최소 에러를 갖는 일관성 있는 피쳐들의 가장 큰 세트가 찾아진다. 이것은 일부 매칭되지 않은 피쳐들을 남길 수 있다. 이들은 그 후 속성 "새로운(new)"이 부여되고 이전의 피쳐 정보와의 일관성에 기초하여 임시의 레이블들이 할당된다. 어떠한 현재의 피쳐들과도 매칭되지 않는 이전의 피쳐들이 존재할 수도 있다. 이 피쳐들은 속성 "잃어버린(missing)"이 주어진다.

이 단계에서, 새로운 또는 잃어버린 피쳐들에 대한 정확한 레이블링을 추측하기 위하여 이전의 피쳐 정보가 이용될 수 있다. 그러나, 이것은 추측이라는 정보가 포함되어 나중의 처리가 이 정보를 무효로 하게 해준다.

3.4 결론

이 처리가 완료될 때, 모든 카메라 쌍들로부터의 결과적인 피쳐들이 결합되어 장면의 완전한 설명으로 된다. 장면의 이 설명은 그 후 이벤트의 현재 모델을 업데이트하기 위하여 이용된다.

데이터 모델 구성

이 데이터는 그 후 전체로서 압축되어 제공되거나, 또는 필요한 변화들의 설 명이 만들어지고, 압축되어 제공될 수 있다. 또한, 자세 또는 제스쳐 변화 설명과 함께, 이벤트의 추상화, 즉, 참가자 전부의 위치 이동을 설명하는 상위 레벨 설명이 생성될 수 있다(In addition, a higher level description can be generated which describes the abstraction of the event: participant overall position movement, with pose or gesture change description).

사운드 분석

프로세서는 이벤트의 서브 영역(sub-region)에 국한되는 사운드들을 분리시킨다. 이것은 이 형태로 저장된다.

데이터 엔진

데이터 엔진은 데이터를 저장하거나 웹을 통하여 또는 국부적으로 제공될 수 있게 만든다.

위치 저장소( Position Storage )

시간에 의해 태그된 장면 내의 모든 대상들에 대한 위치들 및 자세들의 시퀀스를 위한 저장소.

그래픽 대상 저장소

개인 경기자들에 연관된 그래픽 세부 사항들을 위한 저장소. 이들은 시즌 내내 유지될 수 있다.

비디오 매트릭스 저장소

시간 및 장소에 대하여 태그된 이미지들의 저장소.

사운드 매트릭스 저장소

시간 및 장소에 대하여 태그된 사운드를 위한 저장소. 오디오 및 텍스트 정보 둘 다 저장함.

사용자 조망 생성

사용자 애플리케이션에 제공하기 위한 데이터 생성함.

웹 조망 생성

브라우저들에 대하여 현재 이용 가능한 표준 3-D 애니메이션 시스템에 제공하기 위한 데이터를 생성함.

방송자 조망 생성

방송자들 또는 팀들에 의한 사용을 위한 소스 이미지 생성. 필요에 따라 비디오 오버레이 생성 하드웨어 이용함.

데이터 인터페이스

데이터 인터페이스는 이벤트 데이터를 사전 또는 사후 처리하기 위하여 제3자 소프트웨어가 이용되도록 하는 데에 이용 가능하다.

네트워크 모니터링 제어실

데이터 흐름들을 모니터링하고 시스템 경보들 및 문제들에 대응하는 제어실이 유지될 수 있다. 인터넷 서비스 공급자들은 대부분의 인터넷 이슈들을 취급할 것이다.

공급자( Provider )

이벤트 데이터는 상업 서비스에 의해 제공된 인터넷 서버들에 스트리밍될 수 있다. 서비스에 의한 트랜잭션당 비용(cost per transaction)이 있을 것이다. 라이센스받은 컴퓨터들만이 데이터를 사용하도록 제한하기 위하여 데이터의 암호화가 필요할 수 있다.

사용자 시스템

이벤트 데이터는 이벤트 조망을 위하여, 이벤트 분석을 위하여 또는 다양한 시뮬레이션 게임들에 대한 시작점으로서 많은 방식들로 사용될 수 있다.

일련의 위치 정보 및 이미지 세부 사항들(플레이어들의 얼굴들, 캐치의 외관(appearance of a catch))을 취하고 그들을 변환시켜서 프로그램을 조망하는 사 람에 의해 선택된 관점에서 그들을 제시하기 위하여 현재의 컴퓨터 그래픽 기술들이 이용될 수 있다.

이벤트 데이터 소스 연결

이벤트 데이터 소스로의 보안 로그인. 이것은 광고주들이 크게 관심있어 하는 데이터의 제어, 및 사용자의 식별 둘 다를 허용한다.

조망 선택

사용자는 특정 세션에 대하여 조망 모드, 해상도(resolution), 등을 선택한다.

이미지 생성

선택된 조망 모드에서 이미지들이 생성된다.

사운드의 생성

선택된 사운드들의 생성은 3-D 위치 선택을 이용하여 3-D 사운드 시스템들을 활용할 것이다. 3-D 사운드를 정확히 재생성하는 많은 사운드 시스템들이 존재한다.

조망자의 기능들

▶ 선택된 조망 위치들 조망(즉, 중앙 라인백커(middle linebacker) 위치로부터 플레이들을 조망);

▶ 임의의 관점으로 리플레이;

▶ (X 및 O의) 플레이의 개략적 조망 제공;

▶ 게임 동안 다양한 통계 생성;

▶ 특정의 플레이어 추적

▶ 과거의 게임 고속 감기; 및

▶ 결과들이 상이한 사용자 제안 수정들을 허용.

애니메이션

사용자 시스템은 데이터를 디스플레이할 3-D 애플리케이션을 포함한다. 사용자 시스템은 장면의 전개(unfolding) 및 조망의 제어를 허용한다.

사용자 설명

조망이 게임의 투시도(perspective view)를 선택하는 경우, 3-D 게임 정보가 이용되어 플레이어들의 그래픽 표현을 그들의 정확한 위치들에 구성한다. 또한, 선택된 부가의 이미지들은 그래픽 시스템에 의해 변형되어 정확한 관계에 놓일 수 있다. 예를 들어, 얼굴의 수개의 참조 이미지들이 이용되어 플레이어의 그래픽 상에 얼굴을 만들 수 있거나, 또는 현재의 조망 각도 및 거리에 대한 사이드라인 캐치의 샷(shot of a sideline catch)을 변형할 수 있다.

강화된 TV 방송

본 발명의 시스템은 현재의 스포츠 방송과 병합될 수 있다. 획득 시스템은 방송자들이 리플레이들(replays)을 생성하고 플레이들을 개략적인 형태로 보여주는 능력, 및 조망자들이 게임에 대한 그들의 관점을 선택하는 능력을 강화한다.

마이크로 방송( Micro - Broadcasting )

고품질 애니메이션을 생성할 수 있는 워크스테이션이 이용되어 텔레비젼 방송 신호를 생성할 수 있다. 해설(commentary) 및 관점(perstpective)의 선택은 방송자의 관리를 받을 것이다.

SDK

사용자 시스템의 다른 측면은 SDK(Software Development Kit)일 것이며, 이것은 게임 및 애플리케이션 개발자들이 이벤트 데이터 또는 정보를 이용하게 할 것이다.

게임들

어떤 계열의 게임들은 이벤트 데이터를 이용하도록 개발될 수 있다.

플레이 해석( Play Interpretation )

레프리의 신호들(블로킹 대 충돌, 태클 대 브로큰(broken) 태클, 손을 스치는 패스(a pass glancing off hands) 대 캐치)을 해석하는 것과 같은 다양한 부가 정보가 필요하다. 알려진 결과로부터 역으로, 잃어버린 정보가 도출될 수 있다. 플레이의 종료가 이를 위한 시간을 허용할 것이다.

스타디움에서 이용 가능한 임의의 통계 정보와 함께, 심판원들이 항상 모니터링되어, 어떠한 실수도 정정된다. 카메라는 일관된 게임 정보를 확보하기 위하여 스코어보드를 조망할 수 있다. 마이크로폰은 스타디움에 있는 아나운서의 사운드를 캡쳐할 수 있다.

착시( illusion )

이러한 처리 및 게임을 "라이브(live)"로 보는 착각의 생성에 있어서 부가적인 도움은 플레이어들이 포인트들 사이에서 부드럽게 이동하게 하는 조망 프로그램의 능력이다. 데이터가 불완전했다면, 플레이어는 그들의 모션을 계속할 수 있을 것이고, 나중의 정보가 그들이 위치를 벗어났다고 표시하면, 그들은 부드럽게 위치로 "향하게(directed)" 될 것이다.

데이터의 양

게임을 표현하기 위해 필요한 데이터의 양은 매우 적으며, 그것이 생성되는 레이트는 실시간 게임 방송을 위한 "다이얼 업(dial-up)" 인터넷 연결을 지원할 만큼 느리다. 세부사항의 양은 사용 중인 연결의 대역폭에 따라 "스케일링"될 수 있 다.

본 발명의 실시예들이 예시되고 설명되었지만, 이 실시예들이 본 발명의 모든 가능한 형태들을 예시하고 설명하는 것이 의도되는 것은 아니다. 오히려, 본 명세서에서 사용된 단어들은 제한이 아닌 설명의 단어이며, 본 발명의 취지 및 범위로부터 벗어나지 않고 다양한 변화들이 이루어질 수 있는 것이 이해된다.

Claims (48)

1. 이벤트 내의 적어도 하나의 참가자를 나타내는 3-D 데이터를 포함하는 이벤트 데이터를 생성하고 상기 이벤트 데이터가 제공(serve)될 수 있게 하는 시스템으로서,

   통신 네트워크;

   상기 통신 네트워크에 연결된 복수의 카메라 유닛들 - 상기 카메라 유닛들은 이벤트 개최지(event venue) 주위에 이격된 복수의 비평행 검출기 평면들(non-parallel detector planes)에 상기 적어도 하나의 참가자를 포함하는 상기 이벤트의 대상들로부터 전파하는 파동들(waves)로부터 복수의 이미지들을 생성하기 위하여 상기 이벤트 개최지에서 구성 및 설치되고, 상기 카메라 유닛들은 상기 적어도 하나의 참가자에 대하여 상이한 방향들로부터 획득된 복수의 신호들을 생성하기 위하여 상기 검출기 평면들 내의 이미지들의 에너지를 측정하기 위한 복수의 검출기들, 및 이미지 데이터를 획득하기 위하여 적어도 하나의 제어 알고리즘으로 상기 복수의 검출기들로부터의 복수의 신호들을 처리하는 복수의 신호 프로세서들을 포함하며, 상기 카메라 유닛들은 상기 이벤트 개최지에 대하여 3-D로 교정됨(calibrated) - ;

   상기 이미지 데이터를 처리하여 상기 3-D 데이터를 포함하는 상기 이벤트 데이터를 획득하도록 상기 통신 네트워크에 연결된 프로세서 서브시스템; 및

   데이터 엔진을 포함하는 서버 - 상기 서버는 상기 통신 네트워크를 통하여 상기 프로세서 서브시스템과 통신하고, 상기 서버는 상기 프로세서 서브시스템으로부터 상기 3-D 데이터를 포함하는 상기 이벤트 데이터를 수신하고 상기 이벤트 데이터가 제공될 수 있게 하도록 구성됨 -

   를 포함하는 시스템.
2. 제1항에 있어서, 상기 파동들은 상기 대상들로부터 반사된 광신호들이고 상기 검출기들 중 적어도 하나는 광검출기들(photodetectors)의 어레이를 포함하는 시스템.
3. 제2항에 있어서, 상기 광검출기들의 어레이들의 각각은 비디오 카메라를 포함하는 시스템.
4. 제1항에 있어서, 상기 3-D 데이터는 상기 적어도 하나의 참가자의 3-D 위치들, 자세들(poses) 및 외관(appearance)을 나타내는 시스템.
5. 제1항에 있어서, 상기 3-D 데이터는 상기 이벤트에서의 복수의 참가자들 및 상기 참가자들의 3-D 위치들, 자세들 및 외관들을 나타내는 시스템.
6. 제3항에 있어서, 상기 이벤트 데이터는 상기 이벤트의 비디오 클립들 및 스냅샷들을 포함하는 시스템.
7. 제5항에 있어서, 상기 이벤트 데이터는 개인 및 그룹 통계를 포함하는 시스템.
8. 제5항에 있어서, 상기 이벤트는 심판이 참가하는(officiated) 이벤트이며 상기 이벤트 데이터는 심판 도움(officiating help) 데이터를 포함하는 시스템.
9. 제1항에 있어서, 상기 네트워크는 이더넷 네트워크인 시스템.
10. 제1항에 있어서, 상기 네트워크는 무선 네트워크인 시스템.
11. 제1항에 있어서, 상기 이벤트 데이터를 수신하고 상기 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 상기 이벤트 내의 적어도 하나의 애니메이션화된 참가자(animated participant)를 포함하는 애니메이션화된 시나리오를 생성하도록 구성된 애니메이션 엔진을 포함하는 클라이언트를 더 포함하는 시스템.
12. 제11항에 있어서, 상기 시나리오는 플레이(play)이며 상기 적어도 하나의 참가자는 상기 플레이 내의 적어도 하나의 가상 플레이어를 포함하는 시스템.
13. 제12항에 있어서, 상기 적어도 하나의 가상 플레이어는 적어도 하나의 가상 스포츠 플레이어를 포함하는 시스템.
14. 제11항에 있어서, 상기 클라이언트는 편집된 이벤트 데이터를 획득하기 위하여 상기 이벤트 데이터를 편집하기 위한 에디터를 포함하며, 상기 애니메이션화된 시나리오는 상기 편집된 이벤트 데이터에 기초하는 시스템.
15. 제11항에 있어서, 상기 클라이언트는 상기 이벤트 데이터에 기초하여 가상 환경을 생성하는 수단을 포함하며 상기 애니메이션화된 시나리오는 상기 가상 환경에서 시뮬레이션되는 시스템.
16. 제15항에 있어서, 상기 클라이언트는 상기 가상 환경에서 상기 애니메이션화된 시나리오를 제어하는 수단을 포함하는 시스템.
17. 제16항에 있어서, 상기 제어하는 수단은 상기 애니메이션화된 시나리오를 조망하는 실제 인간의 시점(view point)을 제어하는 시스템.
18. 제1항에 있어서, 상기 서버는 웹서버를 더 포함하는 시스템.
19. 제18항에 있어서, 상기 이벤트 내의 적어도 하나의 선택된 대상에 대한 이벤트 데이터를 획득하기 위하여 클라이언트를 상기 웹서버에 연결하도록 구성된 웹브 라우저 인터페이스를 포함하는 클라이언트를 더 포함하는 시스템.
20. 제19항에 있어서, 상기 클라이언트는 상기 제공된 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 적어도 하나의 애니메이션화된 가상 참가자를 포함하는 애니메이션화된 시나리오를 생성하기 위한 애니메이션 엔진을 포함하는 시스템.
21. 제1항에 있어서, 상기 통신 네트워크에 연결된 오디오 서브시스템을 더 포함하며, 상기 오디오 서브시스템은 사운드 데이터를 획득하기 위하여 상기 이벤트 개최지의 상이한 위치들로부터의 복수의 사운드들을 획득 및 처리하도록 상기 이벤트 개최지에서 구성 및 설치되고, 상기 프로세서 서브시스템은 상기 사운드 데이터를 처리하여 3-D 사운드 데이터를 획득하고 상기 이벤트 데이터는 상기 3-D 사운드 데이터를 포함하는 시스템.
22. 제1항에 있어서, 상기 이벤트는 활동 지향형(action-oriented) 이벤트인 시스템.
23. 제22항에 있어서, 상기 활동 지향형 이벤트는 스포츠 이벤트인 시스템.
24. 제1항에 있어서, 상기 이벤트는 감시(surveillance) 이벤트인 시스템.
25. 이벤트 내의 적어도 하나의 참가자를 나타내는 3-D 데이터를 포함하는 이벤트 데이터를 생성하고 상기 이벤트 데이터가 제공될 수 있게 하는 방법으로서,

    이벤트 개최지(event venue) 주위에 이격된 복수의 비평행 검출기 평면들에 상기 적어도 하나의 참가자를 포함하는 상기 이벤트의 대상들로부터 전파하는 파동들(waves)로부터 복수의 이미지들을 생성하는 단계;

    상기 적어도 하나의 참가자에 대하여 상이한 방향들로부터 획득된 복수의 신호들을 생성하기 위하여 상기 검출기 평면들 내의 이미지들의 에너지를 측정하는 단계;

    적어도 하나의 제어 알고리즘으로 상기 복수의 신호들을 처리하여 이미지 데이터를 획득하는 단계;

    상기 이미지 데이터를 처리하여 상기 3-D 데이터를 포함하는 상기 이벤트 데이터를 획득하는 단계; 및

    상기 3-D 데이터를 포함하는 상기 이벤트 데이터가 제공될 수 있게 하는 단계

    를 포함하는 방법.
26. 제25항에 있어서, 상기 파동들은 상기 대상들로부터 반사된 광신호들인 방법.
27. 제25항에 있어서, 상기 3-D 데이터는 상기 적어도 하나의 참가자의 3-D 위치 들, 자세들 및 외관을 나타내는 방법.
28. 제25항에 있어서, 상기 3-D 데이터는 상기 이벤트의 복수의 참가자들 및 상기 참가자들의 3-D 위치들, 자세들 및 외관들을 나타내는 방법.
29. 제26항에 있어서, 상기 이벤트 데이터는 상기 이벤트의 비디오 클립들 및 스냅샷들을 포함하는 방법.
30. 제28항에 있어서, 상기 이벤트 데이터는 개인 및 그룹 통계를 포함하는 방법.
31. 제28항에 있어서, 상기 이벤트는 심판이 참가하는 이벤트이며 상기 이벤트 데이터는 심판 도움 데이터를 포함하는 방법.
32. 제25항에 있어서, 상기 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 상기 이벤트 내의 적어도 하나의 애니메이션화된 참가자를 포함하는 애니메이션화된 시나리오를 생성하는 단계를 더 포함하는 방법.
33. 제32항에 있어서, 상기 시나리오는 플레이이고 상기 적어도 하나의 참가자는 상기 플레이 내의 적어도 하나의 가상 플레이어를 포함하는 방법.
34. 제33항에 있어서, 상기 적어도 하나의 가상 플레이어는 적어도 하나의 가상 스포츠 플레이어를 포함하는 방법.
35. 제32항에 있어서, 상기 이벤트 데이터를 편집하여 편집된 이벤트 데이터를 획득하는 단계를 더 포함하며 상기 애니메이션화된 시나리오는 상기 편집된 이벤트 데이터에 기초하는 방법.
36. 제32항에 있어서, 상기 이벤트 데이터에 기초하여 가상 환경을 생성하는 단계를 더 포함하며 상기 애니메이션화된 시나리오는 상기 가상 환경에서 시뮬레이션되는 방법.
37. 제36항에 있어서, 상기 가상 환경 내에서 상기 애니메이션화된 시나리오를 제어하는 단계를 더 포함하는 방법.
38. 제37항에 있어서, 상기 제어하는 단계는 상기 애니메이션화된 시나리오를 조망하는 실제 인간의 시점을 제어하는 방법.
39. 제25항에 있어서, 상기 이벤트 데이터가 제공될 수 있게 하는 단계는 상기 이용 가능한 이벤트 데이터가 인터넷을 통해 제공되도록 하는 방법.
40. 제39항에 있어서, 인터넷을 통하여 상기 이벤트 데이터를 제공하는 단계를 더 포함하는 방법.
41. 제40항에 있어서, 상기 제공된 이벤트 데이터에 기초하여 가상 경로를 따라 이동하는 적어도 하나의 애니메이션화된 가상 참가자를 포함하는 애니메이션화된 시나리오를 생성하는 단계를 더 포함하는 방법.
42. 제25항에 있어서, 사운드 데이터를 획득하기 위하여 상기 이벤트 개최지에서 상이한 위치들로부터의 복수의 사운드들을 획득 및 처리하고, 3-D 사운드 데이터를 획득하기 위해 상기 사운드 데이터를 처리하는 단계를 더 포함하며, 상기 이벤트 데이터는 상기 3-D 사운드 데이터를 포함하는 방법.
43. 제25항에 있어서, 상기 이벤트는 활동 지향형 이벤트인 방법.
44. 제43항에 있어서, 상기 활동 지향형 이벤트는 스포츠 이벤트인 방법.
45. 제25항에 있어서, 상기 이벤트는 감시 이벤트인 방법.
46. 제1항에 있어서, 상기 교정된 카메라 유닛은 3-D 위치들을 나타내는 3-D 지 향 라인 세그먼트들을 생성하는 시스템.
47. 제25항에 있어서, 불완전하거나(incomplete) 잃어버린(missing) 이벤트 데이터를 보상하기 위하여 상기 3-D 데이터를 처리하는 단계를 더 포함하는 방법.
48. 제25항에 있어서, 불완전하거나 잃어버린 이벤트 데이터를 보상하기 위하여 상기 이벤트의 3-D 모델과 함께 상기 적어도 하나의 참가자의 위치 및 속도를 나타내는 3-D 데이터를 이용하는 단계를 더 포함하는 방법.

Images