KR20010074508A - 스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치 - Google Patents

스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20010074508A
KR20010074508A KR1020007014117A KR20007014117A KR20010074508A KR 20010074508 A KR20010074508 A KR 20010074508A KR 1020007014117 A KR1020007014117 A KR 1020007014117A KR 20007014117 A KR20007014117 A KR 20007014117A KR 20010074508 A KR20010074508 A KR 20010074508A
Authority
KR
South Korea
Prior art keywords
data
virtual
view
camera
video data
Prior art date
Application number
KR1020007014117A
Other languages
English (en)
Inventor
제프리디.보이켄
브라이언케이.미첼
로버트브이.웰스
Original Assignee
브라이언 케이. 미첼
아니비젼, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브라이언 케이. 미첼, 아니비젼, 인코포레이티드 filed Critical 브라이언 케이. 미첼
Publication of KR20010074508A publication Critical patent/KR20010074508A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

가상시야 시스템은 소정 관찰된 시야지점으로부터 스포츠 경기의 가상시야를 생성하기 위해 스포츠 경기장 주변에 위치된 카메라로부터 원 이미지를 사용한다. 상기 시스템은 광트랙킹 시스템과, 가상환경 서버 및, 하나 이상의 가상시야 스테이션으로 구성된다. 광트랙킹 시스템은 스포츠 경기장 주변의 중요위치에 위치된 미리 선택된 다수의 카메라로부터 원 2차원 비디오 데이터를 수신한다. 다음에, 상기 원 2차원 데이터는 데이터 게이트로 분류되어, 일련의 소프트웨어 이미지 프로세서를 통해 각 스포츠 선수나 또 다른 타겟된 실체에 할당된 신체상태로 처리된다. 다음에, 상기 신체상태 데이터는 선택된 다수의 가상시야 스테이션으로 전송하기 위해 신체 위치정보와 비쥬얼 모델을 생성하는 가상환경 서버로 전달된다. 각 가상시야 스테이션은 가상 스포츠 장면을 요구에 따라 제공하여 보게 하는 시청 소프트웨어를 포함한다. 또한, 시야 스테이션은 비디오 데이터가 전송되어 필요에 따라 또 다른 비디오 출력과 조합되도록 비디오 생성센터에 출력 비디오 데이터와 가상 카메라의 시야의 조망지점을 제어한다. 상기 시스템은 오퍼레이터가 임의의 제어센터로부터 원하는 가상시야를 선택하여 원격의 시청자에게 가상시야 이미지를 전송할 수 있도록 한다. 제어센터 및 기록컴퓨터 등과 같은 임의의 서브시스템은 카메라 위치, 범위, 포커스 및, 줌을 변경하고, 스포츠 경기에 대한 처리된 데이터를 저장하기 위해 시스템 내에 통합되어, 요구에 따라 데이터를 재생한다.

Description

스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING VIRTUAL VIEWS OF SPORTING EVENTS}
종래에는, 다수의 텔레비젼 카메라를 적절한 위치에 위치시키고, 이들 카메라에 의해 방송부스의 아나운서에게 자료를 제공하고, 이들 플레이에 대한 코멘트를 아나운서가 행할 수 있도록 경기로부터의 소정 플레이를 재생하며, 최종적으로 전체 텔레비젼 방송을 시청자에게 전송함으로써, 스포츠 경기를 방송해 왔다. 그러나, 이러한 종래의 방송접근은 몇가지의 단점을 갖는다.
첫번째로, 카메라가 경기장의 적절한 위치에 위치되지 못하거나 경기장을 적절하게 방송하기 위한 카메라가 너무 적으면 방송의 품질을 저하시킨다. 따라서, 경기장의 어떤 부분에서 플레이되는 경기를 놓치거나 또는 불충분하게 방송된다.
두번째로, 몇몇 기존의 텔레비젼 카메라가 다소 이동될 지라도, 기본적으로는 경기장 주변의 카메라의 위치는 고정되어 거의 움직이지 않는다. 그러나, 경기장의 게임용 공이나 선수들의 움직임은 동적이면서 예측 불가능하다. 따라서,게임중에 정적으로 위치된 카메라는 종종 사각의 게임장면을 제공하지 못하거나, 또는 카메라의 시야가 선수나 임원들에 의해 방해를 받는다. 예컨대, 경기장의 틀에 박혀 고정된 카메라는 야구경기에서 주자가 태그를 피하기 위해 베이스로 슬라이딩 하거나, 주자의 무릎이 그라운드에 터치되기 전후에 러닝백 펌블링 하거나, 또는 수비수가 통과되는 공을 잡으면서 뛰어오른 양발을 위치시키려는 클로즈업된 장면을 종종 놓친다.
세번째로, 기존의 카메라는 통상 게임중 실제 경기장 내에 위치되지 못한다. 자동차 경주의 경우는 예외적이다. 자동차 내의 카메라는 자동차 경주 방송에 혁명을 일으켰고 스포츠를 좋아하는 팬들에게 흥미를 불러 일으켰다. 따라서, 원거리의 경기장 카메라는 비교적 멀리 있는 전망이 좋은 지점으로부터의 장면을 간접적인 시야로 기록해야만 한다.
네번째로, 경기장 카메라에 의해 미리 기록된 비디오로, 비디오가 유용한지의 여부를 방송부스의 해설 아나운서가 결정해야만 한다. 그 해설 아나운서는 또 다른 시야지점으로부터의 동적으로 장면을 기록하기 위해 카메라의 위치를 바꿀 수 없다. 따라서, 아나운서는 정적인 비디오 이미지로 제한되고 비디오가 기록되는 시야지점을 변경할 수 없다. 또한, 메이저 프로 스포츠 리그가 맡아 진행하는 경기에서의 슬로우 비디오 이용의 증가에 따라, 전망이 좋은 지점에서의 슬로우 비디오는 더더욱 중요하다.
스포츠 선수 및 타겟된 스포츠 장비, 즉 경기용 공 등의 물리적인 위치의 실시간 획득 및 처리를 제공하기 위한 몇몇 시도가 이미 이루어지고 있다. 예컨대,Daver에 의한 미국특허 제5,513,854호에는 사람의 위치를 실시간으로 포착하기 위한 시스템이 기술되었고, Larsen에 의한 미국특허 제5,363,297호에는 스포츠 경기용 자동 카메라 트랙킹 시스템이 기술되었다. 그러나, 이들 시스템 모두는, 실시간으로 각각의 스포츠 선수와 스포츠 장비를 트랙킹 하고, 처리된 값에 기초한 모의 이미지를 생성하기 위해 상기 트랙킹 데이터를 이용하며, 모의 형상을 실제 스포츠 경기를 표현하기 위해 실시간으로 갱신되는 가상 스포츠 환경에 통합하기 위한 단일 시스템을 제안하지 못했다.
따라서, 스포츠 산업에서 불충분 하여 본 발명에 따른 스포츠 경기의 가상시야를 생성하기 위한 필요요구를 해결하기 위한 종래의 시스템은 실패했다.
본 발명은 고정된 카메라의 위치에 상관없이 무한대의 시야지점의 표시 및 분석을 위해 스포츠 경기 등과 같은 사람의 활동을 실시간으로 수집하기 위한 시스템 및 방법을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 고정된 카메라의 위치나 또는 게임 장비, 선수, 또는 임원의 동적인 움직임에 상관없이 최적의 각도와 시야지점으로부터 주어진 스포츠 플레이의 시야를 제공하기 위한 시스템 및 방법을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 아나운서와 시청자가 원거리의 경기장에 위치한 카메라에 의해 경기장면을 볼 수 있도록 하고 사용자가 경기장에 위치한 소정 카메라 위치를 가상적으로 선택할 수 있도록 하는 시스템 및 방법을 제공하는 것에 그 목적이 있다.
더욱이, 본 발명은 해설 아나운서가 그들의 특정 자세를 알맞게 맞추기 위해비디오의 시야지점을 조절할 수 있게 하는 것에 그 목적이 있다.
본 발명은 3차원 컴퓨터 그래픽 디스플레이 시스템에 관한 것으로, 특히 기존의 TV, 디지털 TV 및 인터넷 시청자들과 방송인들이 가상의 어떤 전망이 좋은 지점에서 스포츠 경기를 시청할 수 있도록 하는 시스템 및 방법에 관한 것이다.
본 발명의 특징을 포함한 가상시야 시스템은 명세서의 일부분을 형성하는 첨부된 도면을 통해 도시된다.
도 1은 주요 시스템의 구성요소를 도시한 전체 시스템 블록도이고,
도 2는 조합된 시스템 및 광트랙킹 시스템 내의 카메라 인터페이스 카드와, I/O 시퀀싱 모듈 및, 어레이 프로세서 보드의 데이터 흐름도이고,
도 3은 조합된 시스템 및 광트랙킹 시스템 내의 트랙 상관성 서브섹션의 데이터 흐름도이고,
도 4는 광트랙킹 시스템의 이미지 프로세서 내에 발생하는 이미지 프로세싱 기능의 데이터 흐름도이고,
도 5는 조합된 시스템 및 모델 텍스처링 보드와 환경 서버 컴퓨터의 보조 구성요소를 갖춘 가상환경 서버의 데이터 흐름도이고,
도 6은 조합된 시스템 및 가상시야 스테이션의 데이터 흐름도이고,
도 7은 조합된 시스템 및 기록컴퓨터의 데이터 흐름도이며,
도 8은 조합된 시스템 및 VVS 인터페이스 컴퓨터와 VVS 제어센터의 보조 구성요소를 갖춘 제어센터의 데이터 흐름도이다.
본 발명은 상기 목적을 달성하기 위한 가상시야 시스템은, 소정 관찰된 시야지점으로부터 스포츠 경기의 가상시야를 생성하기 위해 스포츠 경기장 주변에 위치된 카메라로부터의 원 이미지를 이용한다. 상기 가상시야 시스템은 광트랙킹 시스템과, 가상환경 서버 및, 하나 이상의 가상시야 스테이션으로 구성된다. 광트랙킹 시스템은 스포츠 경기장 주변의 중요위치에 위치된 소정 선택된 다수의 카메라로부터 원(raw) 2차원 비디오 데이터를 수신한다. 원 2차원 데이터는 데이터 게이트로 분류되어, 일련의 소프트웨어 이미지 프로세서를 통해 각 스포츠 선수나 또 다른 타겟된 실체에 대한 신체상태 데이터로 처리된다. 다음에, 신체상태 데이터는 선택된 다수의 가상시야 스테이션으로 전송하기 위한 신체 위치정보와 비쥬얼 모델을 생성하는 가상환경 서버로 전달된다. 각각의 가상시야 스테이션은 가상 스포츠 장면을 제공하여 보여주기 위한 시청 소프트웨어를 포함한다. 또한, 시야 스테이션은 가상 카메라 시야의 시야지점을 제어하고 비디오 생성센터에 비디오 데이터를 출력함으로써, 비디오 데이터가 전송되어 필요에 따라 또 다른 비디오 출력과 조합된다. 시야 스테이션은 클라이언트를 위한 상태 데이터의 인터넷 데이터 패킷을 출력한다. 시스템은 오퍼레이터가 임의의 제어센터로부터 원하는 가상시야룰 선택하여 원거리의 시청자에게 가상시야를 전송할 수 있도록 한다. 제어센터는 인터넷과 쌍방향 TV를 포함한 매체 등에 데이터 패킷을 전송할 수 있다. 제어센터와 기록컴퓨터 등과 같은 임의의 서브시스템은 카메라의 위치, 범위, 포커스 및, 줌을 변경하고, 스포츠 경기에 대한 처리된 데이터를 저장하기 위해 시스템 내에 통합되어, 요구에 따라 데이터를 재생한다. 생성된 가상시야는 경기장 카메라로부터 수신된 원 비디오의 실제 사본을 갖거나 갖지 않지만, 계산된 데이터에 따라 실제 경기상황을 정확하게 표시한다.
본 발명의 또 다른 특징과 목적 및 장점은 첨부된 도면 뿐만 아니라, 이하의 설명을 통해 보다 명확히 알 수 있다.
본 발명의 기능 및 구조의 이해를 돕기 위한 도면과 관련하여, 본 발명에서 명기한 가상시야 스포츠 시스템(10; VVS시스템(Virtual View Sports System))은 3개의 주요 서브시스템인 광트랙킹 시스템(11)과, 가상환경 서버(12) 및, 가상시야 스테이션(13)으로 구성된다. 제어센터(14)와 기록컴퓨터(16)는 VVS시스템의 성능을 향상시키는 임의의 서브시스템이고, 시스템 동작에는 중요치 않다. 이들 주요 서브시스템을 나타내는 VVS시스템(10)의 전체 시스템 구성이 도 1에 도시되어 있다. 제안된 시스템 하드웨어 구성요소 및 시스템 전체 다이어그램의 추가적인 도면은 참조에 의해 여기에 구체화된 현재 공동 계류중인 가출원서에서 찾을 수 있고, 이하의 설명동안 독자에게 도움을 줄 것이다.
설명을 위해, 본 발명은 스포츠 선수와 공이 갖추어진 스포츠 경기의 가시화와 관련하여 기술된다. 그러나, 본 발명의 VVS시스템은, 미리 선택된 대상물을 트랙킹하고 가상환경으로 전환할 필요가 있는 어떠한 타입의 상황, 즉 군대 기동작전, 위험한 환경 모니터링 및, 무인 우주탐사 등과 같은 상황에 적용될 것이다.
도 2에 와 관련하여, 광트랙킹 시스템(11)은 각 카메라에 의해 2차원(2-D)으로 보여지는 것에 기초하여 3차원(3-D) 위치 데이터를 생성하기 위해 스포츠 경기장 주변의 중요위치에 위치된 기존의 TV카메라(17) 세트로부터 원 비디오 데이터를 수신한다. 요구된 정확도와 타당성에 따라 2대 이상의 카메라가 이용되고, 또한극단적인 정확성을 필요로 할 경우에는 고해상도의 카메라가 통합된다. 원 2차원 데이터가 I/O 시퀀서 서브섹션(19; Input Ouput Sequencer subsection)에 의해 데이터 게이트로 분류되어, 일련의 어레이 프로세서 보드(21)를 통해 각 수신된 비디오 이미지 내에 각 스포츠 선수나 또 다른 타겟된 실체에 대한 신체상태 데이터로 처리된다. 또한, 트랙 상관성 보드(23)도 광트랙킹 시스템(11; 도 3 참조)에 포함된다.
다음에, 도 5에 나타낸 바와 같이, 위치 데이터와 비디오 프레임으로부터 현실적인 애니메이트(animate)된 특징을 생성하는 가상환경 서버(12)에 의해 데이터가 수신된다. 서버(12)는 매우 실감나는 모습을 생성하는 스포츠 특징에 실제 비디오 데이터를 오버레이(overlay) 하기 위한 모델 텍스처링 보드(27)와 일련의 환경 서버 컴퓨터(32)를 포함한다. 또한, 가상환경 서버(12)는 기록컴퓨터(16; 도 7 참조)에 선택적으로 역사적인 기록물(historical recordings)을 기록함으로써, 가상시야 스테이션(13)이 오퍼레이터의 요청에 따라 저장된 이미지를 재생성한다.
환경 서버 컴퓨터(32)는 트랙 상관성 시스템(23; 도 3 참조)에 의해 추정된 신체상태를 올바르게 개선하기 위해 신체의 움직임이 프로그램된 지식을 이용한다. 보다 실감나는 비쥬얼 시뮬레이션을 표현하기 위해 선수가 달리는 모습 등과 같은 어떠한 제스처를 인식하여, 상태를 보다 매끄럽게함으로써, 측정된 신체상태가 변경될 수 있다. 신체를 매끄럽게 하는 것은 갑작스러운 움직임성을 보다 더 감소시켜 어떠한 놓친 범위를 보상한다.
보다 양호한 신체상태를 제공하기 위한 또 다른 기술은, 신체에 대한 물리적인 동작을 맞추는 것이고 그것은 또 다른 신체들과 상호관련된다. 예컨대, 대부분의 트랙킹 필터는 배트로 때리는 야구경기에서 어려움을 격는다. 최상의 신체상태정보를 생성하는 시스템의 상태인자를 변경하기 위해 이러한 상호작용을 예측하고 신체에 대한 영향력을 측정하는 것이 이용된다.
적어도 하나의 가상시야 스테이션(13)은 동작하기 위해 VVS시스템이 요구되지만, 도 6에 나타낸 바와 같은 다중 시야 스테이션이 이용되는 스케일 가능한 시스템이 바람직하다. 각각의 시야 스테이션은 본질적으로 카메라 오퍼레이터에 의해 조작된 가상 카메라이다. 각각의 가상시야 스테이션은 가상환경 서버(12)에 의해 제공된 특징 애니메이션 및 위치 데이터에 기초하여 3-D 영상을 만들어 낼 수 있다. 카메라 오퍼레이터는 그가 보는 전망을 움직여 소정 위치로 "갑자기 변경"하기 위해 인터페이스 콘솔을 갖춘 조이스틱을 이용하거나 또는 제어센터(14)에서 오퍼레이터에 의해 생성된 미리 선택된 시야지점중에서 선택함으로써, 스포츠 경기가 소정 가상 전망으로부터 보여질 수 있도록 한다. 오퍼레이터는 각 가상 시야 스테이션(13)에서 동작하는 표준 이미지 소프트웨어를 통해 가상 전망을 조절한다.
제어센터(14)는, 수동의 중재가 필요하면 요구에 따라 오퍼레이터가 VVS시스템의 동작을 맞출 수 있도록 한다. 제어센터(14)는 또한 VVS시스템(10)을 초기화 하고, 진단하며, 조정할 수 있는 성능을 갖는다. 또한, 제어센터(14)로부터 오퍼레이터는 스포츠 경기에서 관심지점의 최상의 서비스 범위를 제공하기 위해 VVS시스템에 부착된 각각의 카메라를 원격적으로 조정할 수 있다.
다시 도 2와 관련하여, 광트랙킹 시스템(11)은 광 카메라 데이터를카메라(17)에 의해 보여진 대상물에 대한 3차원 위치 데이터로 변환시키기 위해 최적화된 랙(rack) 탑재가능 전자장치의 존재가 고려된다. 이러한 3차원 데이터를 "대상물 트랙"이라 부르고, 스포츠 형상의 움직임 및 관련 공의 위치에 따라 연속적으로 갱신된다. 광트랙킹 시스템은 랙 탑재가능 카드 케이지 호스팅 듀얼 300W AC 전원공급장치, 냉각팬, 20슬롯 백 플랜 및 다수의 플러그-인 카드 내에 쉽게 유지되도록 설계될 수 있는 COTS(Commercial Off The Shelf) 전자구성요소를 이용한다. 광트랙킹 시스템(11)과 가상환경 서버(12) 등과 같은 또 다른 VVS시스템 구성요소간 고속 접속성을 제공하기 위해 버스 확장카드가 포함될 수 있다. 또한, 랙 탑재가능 구성은 최고수준의 복수의 VVS시스템 구성요소를 갖춘 대규모의 구성을 서포트하기 위해 VVS시스템을 확대하기 위한 통로를 제공한다.
일련의 카메라 인터페이스 카드(18)는 광트랙킹 시스템(11)이 처리할 준비가 될 때까지 카메라 프레임 데이터의 버퍼링을 제공한다. 또한, 카드(18)는 조망, 포커스 및 줌 제어용 카메라 뒷쪽에 접속성을 제공하고, 제어센터(14)의 전송관으로 작용한다. 각 카메라 인터페이스 카드는 싱글 카메라용 제어 인터페이스와 디지털 비디오 인터페이스를 포함한다. 8개의 카메라 인터페이스 카드(18)는 60Hz까지의 프레임율로 1280×1024픽셀까지의 해상도를 갖는 카메라를 지원할 수 있도록 구성된다. 광트랙킹 시스템은 초기에 8개의 카메라 인터페이스 카드까지 지원하도록 설계된다. 그러나, 도시한 바와 같이, 이것은 아주 많은 카메라 입력원을 필요로 하는 다양한 종류의 스포츠 경기에 적합하도록 맞추어질 수 있는 스케일 가능한 시스템이다.
I/O 시퀀서 서브섹션(19)은 카메라 인터페이스 카드(18)로부터 버퍼된 프레임 데이터를 수신하고, 프레임을 게이트로 분할하며, 이 데이터를 적합한 이미지 어레이 프로세서(21)로 분배한다. 게이트는 시스템에 이용된 하드웨어의 성능에 따라 크기된 처리하기 쉬운 일부의 프레임으로 정의되고, 동적 시스템 파라메터에 따라 변경될 수 있다. 통상, 시스템은 도시한 바와 같이 모든 8개의 카메라 인터페이스 카드(18)와 대응하는 8개의 이미지 어레이 프로세서 보드(21)를 위한 싱글 I/O 시퀀서(19)를 이용한다.
이미지 어레이 프로세서 보드(21)는 I/O 시퀀서(19)에 의해 제공된 게이트에 이미지 프로세싱을 제공한다. 각 이미지 어레이 프로세서 보드는 고속 이미지 프로세서(22)의 SIMD(Single Instruction Multiple Data Stream Architecture)타입 어레이를 호스트한다. 이들 이미지 프로세서(22)는 산업표준 이미지 프로세싱 알고리즘을 이용하여 각 프레임에 대상물을 식별한다. 다음에, 프레임과 관련된 각 대상물의 2차원 위치 데이터가 트랙 상관성 보드(23)로 전달된다.
도 3에 도시한 바와 같이, 트랙 상관성 보드(23)는 각각의 이미지 어레이 프로세서 보드(21)로부터 대상물 위치 데이터를 처리하고, 각 대상물 위치 데이터를 메모리에 저장된 대상물 트랙 파일(24)로 알려진 히스토릭칼 3-D 대상물 위치 데이터와 서로 연관시킨다. VVS(10)의 각 서브섹션에 의해 생성된 데이터를 저장하기 위한 표준 랜덤 액세스 메모리의 충분한 양을 갖는 할당된 메모리 영역은 공통 전자 서브시스템 버스를 매개로 모든 VVS시스템 서브섹션에 연결된 공통 DMA 인터페이스(26)를 통해 액세스 가능하다.
도 5와 관련하여, 가상환경 서버(12)는 시스템 구성요소가 COTS 전자기술로 설계되는 것에 쉽게 영향받고 라이브 스포츠 경기의 표시를 생성, 유지 및 분배를 위해 최적화된 랙 탑재가능 장치에 통상 유지되는 광트랙킹 시스템과 유사하다. DMA인터페이스를 매개로 광트랙킹 시스템(11)과 가상환경 서버(12)간 고속 접속성을 제공하기 위해 COTS 버스 확장카드가 구비된다.
모델 텍스처링 서브섹션(27)은 광트랙킹 시스템(11)에 의해 제공된 정보에 기초하여 사진처럼 실감나는 3-D 비쥬얼 모델을 생성한다. 모델 텍스처링 서브섹션(27)은 스포츠 모습의 각 신체부분의 위치측정을 유지하는 할당된 데이터베이스로부터 그리고 스포츠 참가자의 3-D 와이어-프레임 표시를 생성하는 것으로부터 정보를 액세스 한다. 다음에, 서브섹션(27)은 각 신체부분의 "모델 텍스처" 28을 생성하고, 이들 텍스처를 고실감 3-D 비쥬얼 모델로 생성하기 위해 미리 생성된 트랙킹 서브섹션(27)에 의해 유지된 와이어-프레임 모델에 맵핑한다.
환경 서버 컴퓨터(32)는 장면 생성을 위한 가상시야 스테이션(13)에 비쥬얼 모델 및 결부된 신체 위치정보를 제공하기 위해 모델 텍스처링 서브섹션(27)에 의해 생성된 텍스처 정보(28)와 트랙 상관성 보드(23)에 의해 미리 계산된 신체상태 정보를 이용한다. 신체 위치 데이터와 실시간 비쥬얼 모델은 DMA(Direct Memory Access) 인터페이스(26)를 통해 가상시야 스테이션(13)과 동기화 된다. 또한, 가상환경 서버(12)는 DMA 인터페이스를 통해 가상시야 스테이션(13)으로부터 기록요청을 받아들인다.
위치의 강화에 의해, 기록컴퓨터(16; 도 8 참조)는 요구에 따라 가상환경 데이터의 고속 예비저장과 히스토릭칼의 복구를 제공하는 일련의 저렴한 RAID(Redundant Array of Inexpensive Drivers)로부터 비쥬얼 모델과 신체 위치정보의 실시간 기록 및 플레이백을 제공할 수 있다. 또한, 기록컴퓨터는 적절한 VVS 프로그래밍을 통해 사용자 제어 플레이백 속도를 지원하도록 구성된다.
도 6과 관련하여, 각 가상시야 스테이션(13)은 VVS 시야 소프트웨어를 호스팅하는 최종단 COTS SGI 워크스테이션이다. 가상시야 스테이션(13)은 오퍼레이터가 가상 카메라의 시야각을 제어하고, 데이터를 실시간으로 모니터 하거나 또는 고품질의 장면을 생성하기 위해 신속히 재생모드로 작업할 수 있도록 한다. 각각의 가상시야 스테이션(13)은 장면 내에 대상물의 위치를 결정하기 위해 신체상태 정보를 이용하여 3D 가상환경을 제공하는 장면 제공 기능(126)을 포함한다. 일반적으로, 장면 제공 기능(126)은 장면의 대상물을 표현하기 위해 사진처럼 실감나는 텍스처와 3D 폴리고날(polygonal) 데이터베이스를 이용한다. 일단 장면이 제공되면, 장면 제공 기능(126)은 장면 내에 시야지점의 상호작용 변경에 따른다. 사진처럼 실감나는 모델과 대표적인 신체상태 데이터의 이러한 조합은 장면 제공 기능이 실시간 상호작용 플레이백을 위한 최고의 실감나는 가상장면을 생성할 수 있도록 한다. 본 실시예에 있어서, VVS시스템은 4개의 가상시야 스테이션까지 지원가능한 것으로 생각된다.
도 8에 도시한 바와 같이, VVS시스템(10)에 또 다른 임의의 강화는 VVS 콘트롤러 인터페이스 컴퓨터(29)와 VVS 제어센터(31)를 갖춘 제어센터(14)이다. 콘트롤러 인터페이스(29)는 VVS 제어센터(31)와 광트랙킹 시스템(11)/가상환경서버(12)간 인터페이스로 제공된다. VVS 콘트롤러 인터페이스는 DMA 인터페이스(26)를 매개로 VVS 제어센터에 대상물 위치 데이터를 실시간으로 전달할 수 있다. 또한, 포인팅(pointing), 줌잉(zooming), 포커싱(focusing) 등과 같은 카메라 명령과, 또 DMA 인터페이스(26)를 통한 VVS 제어센터로부터의 초기화 및 구성화 등과 같은 시스템 명령의 전송을 제공한다.
VVS 제어센터(31)는 VVS 제어 소프트웨어를 호스팅 하는 COTS 실리콘 그래픽스(SGI; Silicon Graphics) 워크스테이션이다. VVS 제어콘솔(도시하지 않았슴)은 제어 소프트웨어를 통해 오퍼레이터가 VVS시스템을 초기화 하고, 수행을 최적화 하고, 업그레이드를 수행하며, 카메라의 자동제어를 행할 수 있도록 한다. VVS 제어콘솔은 DMA 인터페이스(26)를 매개로 광트랙킹 시스템 및 가상환경 서버와 통신한다.
동작에 있어서의 VVS시스템(10)의 데이터 흐름과 프로세싱 기능의 보다 상세한 설명은 시스템 성능을 설명하기 위해 제공된다. 다양한 시스템 기능 및 기능들간 데이터의 이동의 관계를 명확히 하기 위해, 구성요소기능명을 이탤릭체로 하고,데이터명을 굵게 하며,데이터베이스명을 밑줄 긋는 표준약속이 이용된다. 참조부호는 각 서브섹션의 동작이 어드레스됨에 따라 VVS시스템의 주서브시스템과 부서브시스템을 나타내는 미리 도시된 도면으로 이루어진다.
바람직한 실시예에 나타낸 바와 같이, 광트랙킹 시스템은 8개의 카메라 인터페이스 카드(18)까지 서포트한다. 각각의 카드는카메라 인터페이스(41),프레임 버퍼(42),카메라 콘트롤러(43),카메라 트랙킹기능(44) 및, 할당된신체상태파일(46)을 갖춘다.카메라 인터페이스(41)는 카메라(17)로부터의 비디오프레임및카메라 방향을 처리하여, 그것을프레임 버퍼(42)에 저장한다. 또한,인터페이스(41)는카메라 콘트롤러(43)로부터의 포커스, 줌 및 포인팅 명령을 처리하고, 그들을 선택된 카메라(17)로 진행시킨다.카메라 콘트롤러(43)는 VVS 인터페이스 컴퓨터(29)의VVS 콘트롤러(81)로부터의범위(Tether),포커스및줌등과 같은 카메라 명령을 처리한다. 예컨대, VVS 콘트롤러(81)로부터의범위명령은 카메라 콘트롤러(43)가 카메라를 특정 스포츠 신체를 따라가도록 하고, 또한범위명령을카메라 트랙킹기능(44)으로 진행시킨다. 또한,카메라 트랙킹기능(44)으로부터의카메라 포인팅명령은콘트롤러(43)에 의해 다루어진다.카메라 트랙킹기능(44)은카메라 콘트롤러기능(43)으로부터의범위명령을 처리하고, 할당된신체상태파일(46)로부터의신체상태 데이터의 단일 예를 읽기 위한 성능을 가지며, 시야의 선택된 카메라의 필드에 범위지워진 신체를 중심에 오게 하기 위해 요구된 카메라 방향의 변경을 계산한다. 다음에카메라 포인팅명령이 적절한 카메라 이동을 위해카메라 콘트롤러기능(43)으로 보내진다.신체상태파일(46)은 이하 기술하는 바와 같이신체 전달기능(68)에 의해 실시간으로 갱신된다.
I/O 시퀀스 서브섹션(19)은게이트 빌더(Gate Builder;51)와 I/O 시퀀서(52)로 이루어진다.게이트 빌더(51)는프레임데이터와카메라 방향을 위해프레임 버퍼(42)를 조사한다.게이트 빌더는프레임을어레이 크기게이트로 분할하고, 각 게이트에 대한 X 및 Y게이트 좌표를 지정하고, 각 게이트에 대한조망시간을 태그하며,I/O 시퀀서(52)에게이트,게이트 좌표및조망시간을 공급한다. 또한,게이트 빌더(51)는 정의 가능한 비율로 모델 텍스처링 서브섹션 보드(27)에프레임,프레임 좌표및조망시간을 보낸다.I/O 시퀀서(52)는 이용가능한 어레이 프로세서 보드(21)에게이트,게이트 좌표및조망시간을 시퀀스 한다. 또한,I/O 시퀀서(52)는 도시한 바와 같이 8개의 어레이 프로세서 보드에 대한 로드 밸런싱(load balancing)을 제공한다.
어레이 프로세서 보드(21)는 초기에 이미지-프로세싱 기능을 수행한다. 이들 보드는 신체와 신체의 중심점의 3-D위치로 정의된 그들의신체 중심을 확인하기 위해 각 수신된프레임에 엣지 검출을 수행하는이미지 프로세서(22)를 포함한다. 또한,프로세서(22)는 특정 신체를 선수와 결합하고,대상물 히트 파이프데이터베이스(64)에 저장을 위해 2D(신체 성분)대상물 위치,대상물 타입,대상물 방향및대상물 조망시간을 식별한다.이미지 프로세서는 도시한 바와 같은(도 3 참조)신체 히트 파이프(64)에 가변가능한신체 중심,신체 식별및신체 조망시간을 전송한다.
상술한 이미지 프로세서(22)는 프레임의 각 신체 이미지를 분해하기 위한 분할, 특징 추출 및 분류 등과 같은 표준 이미지 소프트웨어 프로세싱 기술을 이용한다. 도 4는 이들 기술을 이용하여 신체 데이터를 분해하기 위한 하나의 접근을 나타낸다. 도시한 바와 같이, 원 이미지(91) 데이터는 배경 삭제(92) 및 상관성(93)을 위한 서브모델을 프로그램하기 위해 전송된다. 배경 삭제 서브-프로그램(92)은 실제 신체로부터 배경을 분리하기 위한 바이너리 딜레이션(Binary Dilation), 바이너리 에로젼(Erosion), 바이너리 클로징(Closing), 인버스 이미지트랜스폼(Inverse Image Transforms) 및, 컨백스 헐(Convex Hull)기술 등과 같은 공지의 알고리즘을 이용한다. 이미지 그룹화(94)는 추출처리의 특징 추출부의 일부를 발생시켜 또 다른 서브기능에 데이터를 전달한다. 그룹화 서브프로세싱 프로그램(94)은 각 분할된 픽셀에 대해 그룹을 생성하기 위해 공간필터를 이용하여 픽셀을 그룹화 한다. 이 정보는 골격화 서브프로그램(96), 이미지 상관성 서브프로그램(93) 및 또 다른 특징 추출 서브프로그램(97)에 전달된다. 골격화 서브프로그램(96)은 픽셀 고립기술을 통해 그룹 또는 작은부분(blob)을 식별하고, 유닛 크기의 골격을 형성하기 위해 형태경계에서 떨어져 체계적으로 스트립시킨다. 이미지 상관성(93)은 특정 그룹에 대한 골격화 처리의 상관성 피크를 할당하기 위해 미리 생성된 그룹ID를 이용한다. 영역, 이동 등과 같은 추출된 또 다른 타입의 특징, 또한 작은부분 형태 등과 같은 그룹화 처리로부터 출력된 데이터에 의존하고, 적절한 신체 측정을 얻기 위해 신체상태 데이터를 좀더 세련화 시키도록 서브프로그램(97)에 의해 처리된다. 다음에, 각 결과에 의한 추출된 그룹이 미리 선택된 특징 이미지 형판에 따라 분류(98)되어,신체(64)와대상물 히트 파이프(61)에 전달된다.
이동하는 스포츠 모습과 공을 식별하기 위해 이들 기술을 이용한 이미지 프로세싱의 주제로 한 여러가지의 우수한 책이 쓰여져 있다. 그와 같은 기술을 이용한 하나의 예가 참조에 의해 여기에 구체화된 Kenneth R.. Castleman에 의한 디지털 이미지 프로세싱이다. 또 다른 참조인 작은부분과 신체의 단계적 추이의 어드레싱 기술이 명세서에 첨부된 참조 테이블에 목록화 되고, 참조에 의해 본 발명에 구체화 되었다. 더욱이, 프레임 이미지 프로세싱에 관한 설명은 본 발명의 목적을 벗어나기 때문에, 그리고 산업표준 프로세싱 기술이 본 발명에서 적절한 동작을 위해 사용되기 때문에 생략되었다.
도 3에 나타낸 바와 같이, 트랙 상관성 보드(23)는 어레이 프로세서 보드(21)로부터의 2D 대상물과 신체상태 데이터에 기초하여 3D 대상물과 신체 트랙을 공식화 한다. 트랙 보드(23)는대상물 히트 파이프(61),트랙 상관성기능(62),대상물 트랙파일(24),신체 히트 파이프(64),신체 상관성기능(66),신체상태파일(67) 및신체 전달기능(68)을 포함한다.대상물 히트 파이프(61)는대상물 타입,대상물 위치,대상물 방향및대상물 조망시간등과 같은대상물 히트를 저장한다. 다음에,트랙 상관성기능(62)은 2D대상물 히트를대상물 트랙파일(24)에 저장된 3D대상물 트랙과 연관시키고, 3D대상물 위치와대상물 방향을 갱신하며,대상물 속도와대상물 가속도를 계산한다. 또한,트랙 상관성기능(62)은 미리 선택된 상관성 임계치가 만남에 따라대상물 트랙파일(24)에 저장된대상물 트랙을 결합하고 분리한다. 또한,대상물 트랙파일(24)은대상물 타입,대상물 위치,대상물 방향,대상물 속도,대상물 가속도및모체 신체등과 같은대상물 트랙을 저장한다.신체 히트 파이프(64)는신체 중심,신체 식별및신체 조망시간등과 같은 신체히트를 저장한다. 유사하게, 트랙 상관성 기능(62)은신체 히트 파이프(64)로부터의신체 중심및신체 식별정보를 처리하고신체상태파일(67)에 저장된신체 식별및신체 중심을 갱신한다.신체상태파일(67)은신체 식별,신체 중심및, 각 접합된 부분에 대한 상태 데이터를 포함하는신체상태를 저장한다. 각각의 신체는 양발, 양무릎, 양몸통지점, 복부, 양어깨지점, 양팔꿈치, 양손, 머리 등과 같은 접합된 부분의 데이터를 포함한다. 각 접합된 부분의 경우,접합부분의 타입,접합부분의 위치,접합부분의 방향,접합부분의 속도및접합부분의 가속도가 저장된다.신체상태파일(67)은모델텍스처링 서브섹션(27)과 환경 서버 컴퓨터(12)를 포함한 서브섹션과 몇개의 또 다른 VVS보드에 의해 이용하기 위해 미리 기술된 할당된 메모리에 저장된다.신체 전달기능(68)은 3D대상물 트랙을신체상태파일(67)의접합부분과 연관시킴으로써신체상태파일(67)을 유지하며,대상물 트랙파일(24)의 가변가능한모체 신체를 갱신하고신체상태파일(67)의접합부분의 위치,접합부분의 방향,접합부분의 속도및접합부분의 가속도를 갱신한다. 또한,신체 전달기능(68)은신체상태파일(67)에 유지된 신체 접합을 부드럽게 하기 위해 인간의 움직임 알고리즘을 적용한다. 또한, 시스템에 기록컴퓨터(16)가 존재하는지가 추정되면서,신체 전달기능(68)에 의해 기록하기 위한실시간 레코더(101)에신체상태갱신이 보내진다.
모델 텍스처링 서브섹션(27)은 비디오프레임으로부터의 모델텍스처의 실시간 생성을 책임진다. 서브섹션(27)은신체상태파일(67)과프레임 버퍼(42)를 이용하고,신체 접합기능(111),프레임 제공기능(112),비쥬얼 모델데이터베이스(113) 및,텍스처 생성기능(114)을 포함한다.프레임 버퍼파일(42)은게이트 빌더기능(51)으로부터의카메라 방향데이터와 이미지의프레임이 태그된 시간을 저장한다.신체 접합기능(111)은비쥬얼 모델을 신체와 연관시키기 위해 신체의 3D 와이어-프레임과 텍스처 표시인 것을 결정하도록신체상태데이터를 이용한다.비쥬얼 모델파일은모델명,모델타입,실체타입 맵핑,신체 크기,폴리고날 지오메트리,텍스처및텍스처 맵핑을 포함하는비쥬얼 모델을 저장한다. 시퀀스에 있어서, 기능(111)은 접합된 부분을 갖는 실체 상태를 생성하기 위해신체상태데이터를 사용하고 그 데이터를프레임 제공기능(112)으로 전송한다. 다음에,프레임 제공기능(112)은 카메라로부터 시야의 정지 프레임을 제공하기 위해신체 접합기능(111)으로부터의실체상태데이터와,게이트 빌더기능(51)으로부터의카메라 방향데이터 및,비쥬얼 모델파일(113)로부터의비쥬얼 모델데이터를 처리한다. 다음에,프레임 제공기능(112)은 폴리콘(polygons)이 시야에 있는지 및프레임 버퍼로부터의 분할된프레임이 상기 시야 내의 폴리곤과 매치되는지를 결정하고, 화상 품질이 텍스처 생성을 위해 충분하면 결정하도록텍스처 생성기능(114)에정지 프레임을 보낸다. 만약, 화상 품질이 충분하면,텍스처및폴리곤 맵핑이 생성되고 할당된텍스처파일(102)과실시간 레코더(101)로 보낸다.텍스처 생성기능은프레임 제공기능으로부터의정지 프레임과프레임 버퍼로부터의 관련프레임을 처리한다. 다음에,텍스처 생성기능은정지 프레임을 취해 폴리곤이 시야에 있는지를 결정하고,프레임 버퍼로부터의프레임을 취해 시야가능한 폴리곤을 매치하기 위해 분할한다. 또한, 화상 품질이 텍스처 생성을 위해 충분하면 결정하도록 제공된다.
기록컴퓨터(16)는 요구에 따라신체상태및텍스처를 저장하고 복구하기 위한 성능을 갖춘다. 또한, 기록컴퓨터(16)는실시간 레코더기능(101)을 갖고,신체상태파일(67),텍스처파일(102) 및,기록 레코더기능(103)과 인터페이스 한다.실시간 레코더기능(101)은 트랙 상관성 보드(23)의신체 전달기능(68)으로부터의신체상태갱신(updates)과 모델 텍스처링 보드(27)의텍스처 생성기능(114)으로부터의텍스처갱신을 처리한다. 기록컴퓨터(16)는 실시간으로신체상태파일(67)의신체상태갱신과텍스처파일(102)의텍스처갱신을 기록할 수 있다.신체상태파일(67)은 히스토릭칼신체상태와 히스토릭칼텍스처갱신을 저장한다.기록 리더(Reader)기능(103)은 각 가상시야 스테이션(13)으로부터의 명령을 플레이백 하기 위해 응답한다. 플레이백 명령은시작 설정, 종료 설정, 플레이백 속도 설정, 플레이 방향 설정, 플레이, 멈춤, 스탭 프레임, 진행 시작, 진행 종료를 포함한다.기록 리더기능(103)은신체상태갱신과텍스처갱신을 각 대응하는 가상시야 스테이션(13)의 환경 서버 컴퓨터(12)로 스트림하는 성능을 갖는다.
환경 서버 컴퓨터(32)는 관련 가상시야 스테이션(13)의실체 상태파일(121)과비쥬얼 모델(122)로부터의 단일 예인실체 상태를 생성하는 초기기능을 갖는다. 서버 컴퓨터(32)는 가상 장면 데이터를 적절하게 생성하기 위해신체상태파일(67),텍스처파일(102),신체 접합기능(111),텍스처 맵핑기능(123) 및,DMA 인터페이스(26)를 이용한다신체상태파일(67) 및텍스처데이터베이스(102)는, 각각신체 전달기능(68)과텍스처 생성기능(114)에 의해 생성된 실시간 데이터베이스나, 또는기록 리더기능(103)에 의해 생성된 플레이백 데이터베이스가 존재하는 할당된 메모리로부터 액세스 된다.신체 접합기능(111)은 모델 텍스처링 보드(27)의신체 접합기능(111)과 동일한 작용을 수행하고,DMA 인터페이스(26)를가로질러 각 가상시야 스테이션(13)에 저장된실체 상태파일(21)에실체 상태 갱신을 보낸다. 텍스처 맵핑 기능(123)은 텍스처 파일(102)로부터의텍스처및폴리곤 맵핑을 취하고DMA 인터페이스(26)를 가로질러 각 가상시야 스테이션(13)에 저장된비쥬얼 모델데이터베이스(122)에텍스처및텍스처 맵핑갱신을 보낸다.DMA 인터페이스(26)는실체 상태와비쥬얼 모델데이터베이스가 각 관련 가상시야 스테이션(13)에 저장되는 것과 같이신체 접합기능(11)으로부터의 데이터베이스 갱신을텍스처 맵핑기능(123)과 동기화 한다. 또한,DMA 인터페이스(26)는 각 가상시야 스테이션(13)의사용자 인터페이스기능(124)으로부터의 플레이백 명령을 처리하고, 만약 존재하면 기록컴퓨터(16)의기록 리더기능(103)에 이들 명령을 진행시킨다.
VVS 인터페이스 컴퓨터(29)는 VVS 제어센터(31)를 위한실체 상태를 생성하고 VVS 제어센터의사용자 인터페이스기능(86)으로부터의 명령을 처리한다. 인터페이스 컴퓨터(29)는신체상태파일(67),신체 접합기능(111),DMA 인터페이스(26)및VVS 콘트롤러기능(81)을 포함한다.신체상태파일(67)은 할당된 메모리로부터 액세스 되고신체 전달기능(68)에 의해 실시간으로 생성된다.신체 접합기능(111)은 환경 서버 컴퓨터의신체 접합기능(111)과 동일한 작용을 수행한다.DMA 인터페이스(26)는신체 접합기능(111)으로부터의 데이터베이스 갱신을 VVS 제어센터(31)에 저장된실체 상태데이터베이스(121)와 동기화 한다. 또한,DMA 인터페이스(26)는 VVS 제어센터(31)의사용자 인터페이스기능(86)으로부터의 카메라 명령을 처리하고, 이들 명령을VVS 콘트롤러기능(81)으로 진행시킨다.VVS 콘트롤러기능(81)은줌, 포커스및범위명령을 포함한 카메라 명령을 처리하고, 이들 명령을 카메라 인터페이스 카드(18)의카메라 콘트롤러기능(43)으로 진행시킨다.
가상시야 스테이션(13)은실체 상태(121)를 이용하는 가상 카메라에 의해 생성된 비디오와 관련 환경 서버 컴퓨터(32)에 의해 생성된비쥬얼 모델(122)을 제공한다. VVS 시스템 10(본 실시예에 있어서)은 4개의 가상시야 스테이션(13)까지 지원한다. 각 가상시야 스테이션(13)은실체 상태파일(121),가상 모델파일(122),장면 제공기능(126),사용자 인터페이스기능(124),비디오 인터페이스(127) 및DMA 인터페이스(26)를 포함한다.실체 상태파일(121)은실체 식별, 실체 타입, 실체 위치, 실체 속도, 실체 가속도를 포함하는실체 상태와, 각접합부분에 대한 상태 데이터를 저장한다. 각각의 신체는 양발, 양무릎, 양몸통지점, 복부, 양어깨지점, 양팔꿈치, 양손, 머리를 포함하는 접합부분을 포함한다. 각 접합부분의 경우,접합부분의 타입,접합부분의 위치,접합부분의 방향,접합부분의 속도및접합부분의 가속도가 저장된다. 비쥬얼 모델 파일(122)은모델명,모델타입,실체타입 맵핑,신체 크기,폴리고날 지오메트리,텍스처및텍스처 맵핑을 포함하는비쥬얼 모델을 저장한다.DMA 인터페이스(26)를 매개로 환경 서버 컴퓨터(32)로부터 보내진신체상태갱신과텍스처갱신으로부터 이들 데이터베이스가 실시간으로 생성된다. 장면 제공 기능(126)은 선택된 가상 전망으로부터 관찰자의 시야를 나타내는 생성된3D 장면에 신체가 어떻게 나타나는지를 결정하도록 미리 프로그램된비쥬얼 모델데이터(122)와 3차원 장면의 위치 대상물에실체 상태데이터(121)를 이용한다.
장면 제공기능(126)은 생성된 가상 장면을 요구에 따라 변경하기 위해사용자 인터페이스기능(124)으로부터의가상 카메라 네비게이션명령에 따른다. 다음에, 생성된3D 장면은 비디오 생성센터(128)와 VVS 제어센터(31)로 전송하기에 적합한 프로토콜로 재포맷하기 위해비디오 인터페이스(127)로 보내진다. 또한,사용자 인터페이스기능(124)은 오퍼레이터로부터의리플레이 명령과가상 카메라 네비게이션명령을 처리하고, 그들 명령을장면 제공기능(126)으로 진행시키며, 또한DMA 인터페이스(26)를 매개로 기록컴퓨터 16(만약 존재하면)으로 진행시킨다.DMA 인터페이스는 가상시야 스테이션(13)과 관련 환경 서버 컴퓨터(32)간 통신포트로서 작용한다. 또한,DMA 인터페이스(26)는신체 접합(111)과텍스처 맵핑(123) 기능으로부터의 데이터베이스 갱신을 처리하고 적절하게실체 상태(121)와비쥬얼 모델(113)을 갱신한다. 최종적으로,DMA 인터페이스는 또한사용자 인터페이스(124)로부터의리플레이 명령을 처리하고, 그들을 환경 서버 컴퓨터(32)의DMA 인터페이스(26)를 매개로 기록컴퓨터(16)로 진행시킨다.
VVS 제어센터(31)는 가상시야 스포츠 시스템(10)의 동작을 모니터 하고 동작을 맞추기 위해 VVS 시스템(10)에 통합된다. VVS 제어센터(31)는실체 상태파일(121),플랜 뷰 디스플레이(Plan View Display)기능(87),사용자 인터페이스기능(86),비디오 디스플레이기능(88),비디오 인터페이스(89) 및,DMA 인터페이스(26)를 포함한다.실체 상태파일(121)은 상술한 바와 같이실체 상태데이터를 저장한다.플랜 뷰 디스플레이기능(87)은"플랜 뷰"라 불리면서 경기장의 "신의 눈 시야(god's eye view)"를 나타내는 탑다운(top down) 디스플레이인 2차원의 위치 대상물에 대한실체 상태데이터를 이용한다. 플랜 디스플레이는사용자 인터페이스기능(86)으로부터 수신된 일련의 플랜 뷰실체 선택명령에 의해 다루어진다. 또한,비디오 인터페이스기능은 가상시야 스테이션(13)으로부터의비디오신호를 처리하고, 그들을비디오 디스플레이기능(88)으로의 진행시킨다. 또한,비디오 디스플레이기능은사용자 인터페이스기능으로부터비디오 선택명령에 따르고, 오퍼레이터의 선택에 기초하여 특정 가상시야 스테이션의비디오신호를 디스플레이 할 수 있다.사용자 인터페이스기능(86)은플랜 뷰 디스플레이기능으로부터의실체 식별을 처리하고, 카메라범위명령을 생성하며, 그 데이터를DMA 인터페이스(26)를 매개로 VVS 인터페이스 컴퓨터(29)로 진행시킨다. 마찬가지로, 또한 오퍼레이터로부터의줌및포커스명령을 처리하고, 이들 명령을DMA 인터페이스(26)를 매개로 VVS 인터페이스 컴퓨터(29)로 보낸다. 또한, 오퍼레이터로부터의비디오 선택명령은 이러한 방식으로 가상시야 스테이션(13)의비디오 인터페이스기능(127)으로 진행된다.
DMA 인터페이스(26)는 VVS 제어센터(31)와 VVS 인터페이스 컴퓨터(29)간 통신포트로서 작용한다.DMA 인터페이스(26)는신체 접합기능(111)으로부터의 데이터베이스 갱신을 처리하고, 적절하게실체 상태데이터베이스(121)를 갱신한다. 또 다른 서브섹션의 기능으로 알 수 있는 바와 같이,DMA 인터페이스(26)는 또한사용자 인터페이스(86)로부터의줌, 포커스 및 범위명령을 포함하는 카메라 명령을 처리하고, 그들을DMA 인터페이스(26)를 매개로 VVS 인터페이스 컴퓨터(29)로진행시킨다.비디오 인터페이스(127)는 4개의 가상시야 스테이션(13)까지에 의해비디오신호를 처리하고, 그들을비디오 디스플레이기능(88)으로 진행시킨다.
본 발명은 상술한 실시예에 한정되지 않고, 본 발명의 목적 및 배경을 이탈하지 않는 범위 내에서 다양하게 변경할 수 있다. 예컨대, 전체 시스템(10)의 다양한 보조 구성요소를 "보드"나 "서브-프로그램" 또는 "서브섹션"으로 나타냈지만, 각각의 이들 라벨은 편의성을 위해 선택되고, 산업상에서의 이들 기술은 이들 기능이 하드웨어, 펌웨어 및, 시스템 크기 제약, 환경조건 요구 및 경제적인 고려에 의한 소프트웨어 구성요소로부터 이전 및 이동된 것을 알 수 있다. 각 구성요소의 재라벨링은 기술한 바와 같이 본 발명의 목적을 분명히 벗어나지 않는다.

Claims (20)

  1. 스포츠 경기의 가상시야를 생성하기 위한 장치에 있어서,
    비디오 데이터를 수신하여, 카메라 인터페이스, I/O 시퀀스 서브섹션, 적어도 하나의 이미지 프로세서를 갖춘 어레이 이미지 프로세서 서브섹션 및, 트랙 상관성 서브섹션을 갖춘 3차원 위치 데이터로 변환시키기 위한 광트랙킹 서브섹션과,
    상기 광트랙킹 서브섹션으로부터의 상기 위치 데이터를 수신하여 가상 스포츠 모습 데이터와 가상 장면 데이터를 생성하고, 모델 텍스처링 서브섹션과 적어도 하나의 환경 서버 컴퓨터를 갖춘 가상환경 서버 및,
    상기 가상환경 서버로부터의 상기 가상 스포츠 모습 데이터와 상기 가상 장면 데이터를 가상 이미지로 제공하기 위한 적어도 하나의 가상시야 스테이션을 구비하여 구성된 것을 특징으로 하는 장치.
  2. 제1항에 있어서, 상기 광트랙킹 서브섹션과 상기 가상환경 서버로 데이터를 교환하기 위한 수단을 포함하면서, 신체 위치정보와 비쥬얼 모델의 실시간 레코딩 및 플레이백을 제공하기 위한 기록컴퓨터를 더 구비하여 구성된 것을 특징으로 하는 장치.
  3. 제1항에 있어서, 상기 가상시야 스테이션과 상기 광트랙킹 서브섹션으로 데이터를 교환하기 위한 수단을 포함하면서, 콘트롤러 인터페이스 컴퓨터와 VVS 제어센터를 갖춘 상기 장치의 동작을 맞추기 위한 제어센터를 더 구비하여 구성된 것을 특징으로 하는 장치.
  4. 제3항에 있어서, 상기 이미지 프로세서는 상기 비디오 데이터에서 선택된 스포츠 선수의 3차원 위치를 식별하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 장치.
  5. 제4항에 있어서, 상기 광트랙킹 서브섹션은 상기 비디오 데이터를 제공하는 카메라의 동작을 제어하기 위한 카메라 콘트롤러를 더 구비하여 구성된 것을 특징으로 하는 장치.
  6. 제5항에 있어서, 상기 I/O 시퀀스 서브섹션은 상기 비디오 데이터를 적절한 크기의 어레이로 분할하기 위한 게이트 빌더와 상기 크기의 어레이를 상기 어레이 이미지 프로세서 서브섹션으로 시퀀싱 하기 위한 I/O 시퀀서를 더 구비하여 구성된 것을 특징으로 하는 장치.
  7. 제1항에 있어서, 상기 이미지 프로세서는 상기 비디오 데이터를 분할하기 위한 수단과, 상기 비디오 데이터로부터 일련의 미리 선택된 특징을 추출하기 위한 수단 및, 미리 선택된 특징 형판의 세트에 따라 상기 비디오 데이터를 분류하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 장치.
  8. 제1항에 있어서, 상기 장치를 매개로 할당된 데이터를 저장하고 분배하기 위한 DMA 인터페이스를 더 구비하여 구성된 것을 특징으로 하는 장치.
  9. 제4항에 있어서, 상기 식별수단은 상기 비디오 데이터를 분할하기 위한 수단과, 상기 데이터로부터 일련의 미리 선택된 특징을 추출하기 위한 수단 및, 미리 선택된 특징 형판의 세트에 따라 상기 데이터를 분류하기 위한 수단을 구비하여 구성된 것을 특징으로 하는 장치.
  10. 스포츠 경기의 가상시야를 생성하기 위한 장치에 있어서,
    비디오 데이터를 수신하여 3차원 위치 데이터로 변환시키기 위한 수단과,
    상기 광트랙킹 서브섹션으로부터의 상기 위치 데이터를 수신하고 가상 스포츠 모습 데이터와 가상 장면 데이터를 생성하기 위한 수단 및,
    상기 가상환경 서버로부터의 상기 가상 스포츠 모습 데이터와 상기 가상 장면 데이터를 가상 이미지로 제공하기 위한 수단을 구비하여 구성된 것을 특징으로 하는 장치.
  11. 제10항에 있어서, 상기 비디오 데이터를 수신하여 변환시키기 위한 수단은 카메라 인터페이스와, I/O 시퀀스 서브섹션, 적어도 하나의 이미지 프로세서를 갖춘 어레이 이미지 프로세서 서브섹션 및, 트랙 상관성 서브섹션을 구비하여 구성된것을 특징으로 하는 장치.
  12. 제11항에 있어서, 상기 수신 및 생성수단은 3차원 모델 및 텍스처를 생성하기 위한 모델 텍스처링 서브섹션과, 신체 위치정보와 비쥬얼 모델을 상기 가상시야 스테이션에 제공하기 위한 환경 서버 컴퓨터를 구비하여 구성된 것을 특징으로 하는 장치.
  13. 제10항에 있어서, 상기 가상 스포츠 모습 데이터와 상기 가상 장면 데이터의 실시간 레코딩 및 플레이백을 제공하기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 장치.
  14. 제10항에 있어서, 상기 제공수단과 상기 수신 및 변환수단으로 데이터를 교환하기 위한 수단을 포함하면서, VVS 제어센터와 콘트롤러 인터페이스 컴퓨터를 포함한 상기 장치의 동작을 맞추기 위한 수단을 더 구비하여 구성된 것을 특징으로 하는 장치.
  15. 스포츠 경기의 가상시야를 생성하기 위한 방법에 있어서,
    상기 스포츠 경기 주변에 위치된 카메라로부터 비디오 데이터를 수신하는 단계와,
    상기 비디오 데이터를 상기 비디오 데이터에 나타나는 각 스포츠 참가자의 3차원 위치 데이터로 변환시키는 단계,
    상기 참가자에 대한 상기 위치 데이터로부터 3차원 모델을 생성하는 단계 및,
    가상 장면을 제공하기 위해, 결부된 신체 위치정보를 상기 3차원 모델과 조합하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  16. 제15항에 있어서, 상기 변환단계는,
    상기 비디오 데이터를 다수의 게이트로 분할하는 단계와,
    상기 게이트를 이미지 프로세싱을 위한 다수의 어레이 프로세서로 시퀀싱 하는 단계,
    상기 비디오 데이터의 대상물을 분할, 특징 추출 및, 대상물 분류를 통해 식별하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  17. 제16항에 있어서, 상기 생성단계는,
    상기 비디오 데이터에 나타나는 상기 각 스포츠 참가자의 3차원 와이어-프레임 표시를 생성하는 단계와,
    상기 와이어-프레임 표시에 상기 각 신체부분의 모델 텍스처를 생성하고, 상기 각 신체부분에 상기 텍스처를 맵핑하는 단계를 구비하여 이루어지고,
    상기 와이어-프레임은 상기 각 참가자의 신체부분을 포함하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서, 상기 제공단계 이전에 상기 위치 데이터와 상기 모델 텍스처로부터의 결부된 신체 위치정보를 생성하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  19. 제15항에 있어서, 상기 스포츠 경기의 원하는 위치로부터의 비디오 데이터를 제공하기 위해 상기 카메라의 위치, 범위, 포커스 및 줌을 제어하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  20. 제16항에 있어서, 상기 3차원 위치 데이터를 추후 플레이백을 위해 레코딩 하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
KR1020007014117A 1998-06-12 1998-12-30 스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치 KR20010074508A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/094,524 1998-06-12
US09/094,524 US6124862A (en) 1997-06-13 1998-06-12 Method and apparatus for generating virtual views of sporting events
PCT/US1998/027743 WO1999065223A2 (en) 1998-06-12 1998-12-30 Method and apparatus for generating virtual views of sporting events

Publications (1)

Publication Number Publication Date
KR20010074508A true KR20010074508A (ko) 2001-08-04

Family

ID=22245696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007014117A KR20010074508A (ko) 1998-06-12 1998-12-30 스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치

Country Status (10)

Country Link
US (1) US6124862A (ko)
EP (1) EP1095501A2 (ko)
JP (1) JP2002518722A (ko)
KR (1) KR20010074508A (ko)
CN (1) CN1322437A (ko)
AU (1) AU1948999A (ko)
BR (1) BR9815902A (ko)
CA (1) CA2343743A1 (ko)
MX (1) MXPA00012307A (ko)
WO (1) WO1999065223A2 (ko)

Families Citing this family (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9719694D0 (en) 1997-09-16 1997-11-19 Canon Kk Image processing apparatus
EP0930585B1 (en) 1998-01-14 2004-03-31 Canon Kabushiki Kaisha Image processing apparatus
US7162532B2 (en) 1998-02-23 2007-01-09 Koehler Steven M System and method for listening to teams in a race event
JP3046578B2 (ja) * 1998-06-11 2000-05-29 株式会社ナムコ 画像生成装置及び情報記憶媒体
US6483511B1 (en) 1998-12-31 2002-11-19 Richard D. Snyder Event simulator, and methods of constructing and utilizing same
GB2349762B (en) * 1999-03-05 2003-06-11 Canon Kk Image processing apparatus
GB2349764B (en) * 1999-03-05 2003-07-09 Canon Kk Image processing apparatus
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
GB2349761B (en) * 1999-03-05 2003-06-11 Canon Kk Image processing appatratus
GB2349763B (en) * 1999-03-05 2003-07-16 Canon Kk Apparatus for generating a database and a database so generated
US6578203B1 (en) 1999-03-08 2003-06-10 Tazwell L. Anderson, Jr. Audio/video signal distribution system for head mounted displays
US20020057364A1 (en) 1999-05-28 2002-05-16 Anderson Tazwell L. Electronic handheld audio/video receiver and listening/viewing device
US7210160B2 (en) 1999-05-28 2007-04-24 Immersion Entertainment, L.L.C. Audio/video programming and charging system and method
JP2004500756A (ja) * 1999-11-24 2004-01-08 ダートフィッシュ　エルティーディー． ビデオシーケンスと時空正規化との調整および合成
ES2165294B1 (es) * 1999-12-24 2003-05-16 Univ Catalunya Politecnica Sistema de visualizacion y transmision de imagenes electronicas a traves de la red informatica o sistemas de almacenamiento digital.
US20030132939A1 (en) * 2000-03-01 2003-07-17 Levin Moshe Interactive navigation through real-time live video space created in a given remote geographic location
ATE318484T1 (de) * 2000-03-24 2006-03-15 Reality Commerce Corp Verfahren und vorrichtung zur parallelen mehrfachblickwinkelbildaufnahme und -kompression
US20030172131A1 (en) * 2000-03-24 2003-09-11 Yonghui Ao Method and system for subject video streaming
AU2001259171A1 (en) * 2000-04-26 2001-11-07 Anivision, Inc. Systems and methods for integrating virtual advertisements into recreated events
US7630721B2 (en) 2000-06-27 2009-12-08 Ortiz & Associates Consulting, Llc Systems, methods and apparatuses for brokering data between wireless devices and data rendering devices
US7149549B1 (en) * 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US8583027B2 (en) 2000-10-26 2013-11-12 Front Row Technologies, Llc Methods and systems for authorizing computing devices for receipt of venue-based data based on the location of a user
US7782363B2 (en) 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
US7812856B2 (en) 2000-10-26 2010-10-12 Front Row Technologies, Llc Providing multiple perspectives of a venue activity to electronic wireless hand held devices
KR20000064078A (ko) * 2000-08-17 2000-11-06 오창근 다중 영상을 이용한 3차원 실물 모델링 기술
AU2002211116A1 (en) * 2000-10-06 2002-04-15 Virtual Spectator International Limited Interactive display system
US20060129933A1 (en) * 2000-12-19 2006-06-15 Sparkpoint Software, Inc. System and method for multimedia authoring and playback
KR100480007B1 (ko) * 2000-12-29 2005-03-30 이항규 입체영상 제작 및 재생 시스템 및 방법
KR100393350B1 (ko) * 2001-04-23 2003-08-02 (주)가시오페아 가상경기 시스템 및 방법
US20020190991A1 (en) * 2001-05-16 2002-12-19 Daniel Efran 3-D instant replay system and method
CA2348353A1 (en) * 2001-05-22 2002-11-22 Marc Arseneau Local broadcast system
EP1410621A1 (en) * 2001-06-28 2004-04-21 Omnivee Inc. Method and apparatus for control and processing of video images
GB2382033A (en) * 2001-07-16 2003-05-21 Samantha Bhalla A sports analysis system intended for use in a betting game
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
GB2379571A (en) * 2001-09-11 2003-03-12 Eitan Feldbau Determining the Position of Players on a Sports Field
US7283687B2 (en) 2001-09-24 2007-10-16 International Business Machines Corporation Imaging for virtual cameras
US7027073B2 (en) 2001-09-24 2006-04-11 International Business Machines Corporation Virtual cameras for digital imaging
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
JP4021685B2 (ja) * 2002-03-04 2007-12-12 松下電器産業株式会社 画像合成変換装置
AU2002950805A0 (en) * 2002-08-15 2002-09-12 Momentum Technologies Group Improvements relating to video transmission systems
US7240075B1 (en) * 2002-09-24 2007-07-03 Exphand, Inc. Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system
JP2004129049A (ja) * 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法
WO2004034617A1 (en) 2002-10-07 2004-04-22 Immersion Entertainment, Llc System and method for providing event spectators with audio/video signals pertaining to remote events
CA2409788A1 (en) * 2002-10-25 2004-04-25 Ibm Canada Limited-Ibm Canada Limitee Architecture for dynamically monitoring computer application data
US20040114176A1 (en) 2002-12-17 2004-06-17 International Business Machines Corporation Editing and browsing images for virtual cameras
US20040189828A1 (en) * 2003-03-25 2004-09-30 Dewees Bradley A. Method and apparatus for enhancing a paintball video
GB2403364A (en) * 2003-06-24 2004-12-29 Christopher Paul Casson Virtual scene generating system
US7593687B2 (en) 2003-10-07 2009-09-22 Immersion Entertainment, Llc System and method for providing event spectators with audio/video signals pertaining to remote events
US20050131657A1 (en) * 2003-12-16 2005-06-16 Sean Mei Hsaio L. Systems and methods for 3D modeling and creation of a digital asset library
US20050131658A1 (en) * 2003-12-16 2005-06-16 Mei Hsaio L.S. Systems and methods for 3D assembly venue modeling
US20050131659A1 (en) * 2003-12-16 2005-06-16 Mei Hsaio L.S. Systems and methods for 3D modeling and asset management
US7590290B2 (en) 2004-07-21 2009-09-15 Canon Kabushiki Kaisha Fail safe image processing apparatus
KR100739686B1 (ko) * 2004-08-13 2007-07-13 경희대학교 산학협력단 영상 코딩 방법, 코딩 장치, 영상 디코딩 방법 및 디코딩장치
US7557775B2 (en) * 2004-09-30 2009-07-07 The Boeing Company Method and apparatus for evoking perceptions of affordances in virtual environments
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4244040B2 (ja) * 2005-03-10 2009-03-25 任天堂株式会社 入力処理プログラムおよび入力処理装置
ES2790885T3 (es) 2005-03-29 2020-10-29 Sportvu Ltd Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US20060244831A1 (en) * 2005-04-28 2006-11-02 Kraft Clifford H System and method for supplying and receiving a custom image
JP2007005895A (ja) * 2005-06-21 2007-01-11 Olympus Imaging Corp 撮影システム
CN100355272C (zh) * 2005-06-24 2007-12-12 清华大学 一种交互式多视点视频系统中虚拟视点的合成方法
US8042140B2 (en) * 2005-07-22 2011-10-18 Kangaroo Media, Inc. Buffering content on a handheld electronic device
EP2463820A3 (en) 2005-07-22 2012-09-12 Kangaroo Media, Inc. System and methods for enhancing the experience of spectators attending a live sporting event
US7584038B2 (en) * 2005-07-29 2009-09-01 Caterpillar Inc. Method and apparatus for determining virtual visibility
US7907532B2 (en) 2005-11-23 2011-03-15 Jds Uniphase Corporation Pool-based network diagnostic systems and methods
CA2633197A1 (en) * 2005-12-14 2007-06-21 Playdata Systems, Inc. Method and system for creating event data and making same available to be served
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
EP2097874A4 (en) * 2006-11-15 2011-05-04 Depth Analysis Pty Ltd SYSTEMS AND METHODS FOR MANAGING THE PRODUCTION OF ANIMATION BASED ON FREE-VIEWING VIDEO
JP5101101B2 (ja) * 2006-12-27 2012-12-19 富士フイルム株式会社 画像記録装置及び画像記録方法
EP2124444B1 (en) * 2006-12-28 2013-04-03 Sharp Kabushiki Kaisha Transmission device, view environment control device, and view environment control system
EP1944700A1 (en) * 2007-01-10 2008-07-16 Imagetech Co., Ltd. Method and system for real time interactive video
KR101439095B1 (ko) * 2007-05-03 2014-09-12 강민수 멀티채널 방송 시스템
GB2452508A (en) 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
GB2452510A (en) * 2007-09-05 2009-03-11 Sony Corp System For Communicating A Three Dimensional Representation Of A Sporting Event
WO2009061283A2 (en) * 2007-11-09 2009-05-14 National University Of Singapore Human motion analysis system and method
US8466913B2 (en) * 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US9782660B2 (en) 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
CN100589125C (zh) * 2007-12-29 2010-02-10 中国科学院计算技术研究所 一种虚拟摄像机规划布局方法和系统
US9235816B2 (en) * 2008-04-09 2016-01-12 Geannie M. Bastian System and method for facilitating performance venue seat selection
JP5731734B2 (ja) * 2008-06-12 2015-06-10 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US8047924B2 (en) * 2008-10-27 2011-11-01 Roland Tirelli Riding simulation system
US8246479B2 (en) 2008-10-27 2012-08-21 Roland Tirelli Mechanical device for simulating an animal ride
CN101753852A (zh) * 2008-12-15 2010-06-23 姚劲草 基于目标检测与跟踪的体育比赛动态微型地图
CN101465957B (zh) * 2008-12-30 2011-01-26 应旭峰 一种虚拟三维场景中实现遥控互动的系统
DE102009007639B4 (de) * 2009-02-05 2011-05-26 Kurt Wallerstorfer Vorrichtung zur Bildaufzeichnung eines Sportlers auf einer Rennstrecke
WO2011066408A1 (en) * 2009-11-24 2011-06-03 F3M3 Companies, Inc. System and method for reviewing a play
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US20120188333A1 (en) * 2009-05-27 2012-07-26 The Ohio State University Spherical view point controller and method for navigating a network of sensors
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
CN101930284B (zh) 2009-06-23 2014-04-09 腾讯科技（深圳）有限公司 一种实现视频和虚拟网络场景交互的方法、装置和系统
US8254755B2 (en) * 2009-08-27 2012-08-28 Seiko Epson Corporation Method and apparatus for displaying 3D multi-viewpoint camera video over a network
DE202009014231U1 (de) * 2009-10-21 2010-01-07 Robotics Technology Leaders Gmbh System zur Visualisierung einer Kameralage in einem virtuellen Aufnahmestudio
CN102118567B (zh) * 2009-12-30 2015-06-17 新奥特（北京）视频技术有限公司 一种分离模式的虚拟体育系统
CN102118568B (zh) * 2009-12-30 2015-02-18 新奥特（北京）视频技术有限公司 一种用于体育比赛的图形生成系统
CN102118574B (zh) * 2009-12-30 2015-02-18 新奥特（北京）视频技术有限公司 一种体育赛事直播的方法
CN102201080A (zh) * 2010-03-24 2011-09-28 新奥特（北京）视频技术有限公司 一种支持多种体育项目的竞赛管理系统
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US9132352B1 (en) * 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9384587B2 (en) * 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
CN102096469B (zh) * 2011-01-21 2012-04-18 中科芯集成电路股份有限公司 一种多功能手势互动系统
EP2680931A4 (en) 2011-03-04 2015-12-02 Eski Inc DEVICES AND METHOD FOR PROVIDING A DISTRIBUTED TREATMENT IN A SURROUNDINGS
WO2013024364A2 (en) * 2011-08-17 2013-02-21 Iopener Media Gmbh Systems and methods for virtual viewing of physical events
US9298986B2 (en) 2011-12-09 2016-03-29 Gameonstream Inc. Systems and methods for video processing
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
US9947112B2 (en) 2012-12-18 2018-04-17 Koninklijke Philips N.V. Scanning device and method for positioning a scanning device
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US20150189191A1 (en) * 2013-12-27 2015-07-02 Telemetrio LLC Process and system for video production and tracking of objects
US20170010334A1 (en) * 2015-07-08 2017-01-12 Lockheed Martin Corporation General purpose removal of geomagnetic noise
US9823313B2 (en) 2016-01-21 2017-11-21 Lockheed Martin Corporation Diamond nitrogen vacancy sensor with circuitry on diamond
US10168393B2 (en) 2014-09-25 2019-01-01 Lockheed Martin Corporation Micro-vacancy center device
US9541610B2 (en) 2015-02-04 2017-01-10 Lockheed Martin Corporation Apparatus and method for recovery of three dimensional magnetic field from a magnetic detection system
US10338162B2 (en) 2016-01-21 2019-07-02 Lockheed Martin Corporation AC vector magnetic anomaly detection with diamond nitrogen vacancies
US10088452B2 (en) 2016-01-12 2018-10-02 Lockheed Martin Corporation Method for detecting defects in conductive materials based on differences in magnetic field characteristics measured along the conductive materials
US9824597B2 (en) 2015-01-28 2017-11-21 Lockheed Martin Corporation Magnetic navigation methods and systems utilizing power grid and communication network
US9910104B2 (en) 2015-01-23 2018-03-06 Lockheed Martin Corporation DNV magnetic field detector
US9614589B1 (en) 2015-12-01 2017-04-04 Lockheed Martin Corporation Communication via a magnio
US9853837B2 (en) 2014-04-07 2017-12-26 Lockheed Martin Corporation High bit-rate magnetic communication
US9638821B2 (en) 2014-03-20 2017-05-02 Lockheed Martin Corporation Mapping and monitoring of hydraulic fractures using vector magnetometers
US10088336B2 (en) 2016-01-21 2018-10-02 Lockheed Martin Corporation Diamond nitrogen vacancy sensed ferro-fluid hydrophone
US9910105B2 (en) 2014-03-20 2018-03-06 Lockheed Martin Corporation DNV magnetic field detector
WO2015157290A1 (en) 2014-04-07 2015-10-15 Lockheed Martin Corporation Energy efficient controlled magnetic field generator circuit
JP2017531979A (ja) 2014-10-10 2017-10-26 ライブバーン インク スポーツ競技場における視覚的な選手追跡のためのシステムおよび方法
CN106662920B (zh) * 2014-10-22 2020-11-06 华为技术有限公司 交互式视频生成
WO2016118756A1 (en) 2015-01-23 2016-07-28 Lockheed Martin Corporation Apparatus and method for high sensitivity magnetometry measurement and signal processing in a magnetic detection system
WO2016122965A1 (en) 2015-01-28 2016-08-04 Lockheed Martin Corporation In-situ power charging
WO2016126435A1 (en) 2015-02-04 2016-08-11 Lockheed Martin Corporation Apparatus and method for estimating absolute axes' orientations for a magnetic detection system
WO2017020115A1 (en) 2015-08-05 2017-02-09 Eski Inc. Methods and apparatus for communicating with a receiving unit
US9813857B2 (en) 2015-08-13 2017-11-07 Eski Inc. Methods and apparatus for creating an individualized record of an event
RU2018113153A (ru) * 2015-09-24 2019-10-24 ЛОКАТОР АйПи, ЛП Гиперлокализованные метеорологические данные и данные окружающей среды
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
US10116976B2 (en) 2015-10-15 2018-10-30 At&T Intellectual Property I, L.P. System and method for distributing media content associated with an event
WO2017078766A1 (en) 2015-11-04 2017-05-11 Lockheed Martin Corporation Magnetic band-pass filter
WO2017087014A1 (en) 2015-11-20 2017-05-26 Lockheed Martin Corporation Apparatus and method for hypersensitivity detection of magnetic field
GB2560283A (en) 2015-11-20 2018-09-05 Lockheed Corp Apparatus and method for closed loop processing for a magnetic detection system
CN105407259B (zh) * 2015-11-26 2019-07-30 北京理工大学 虚拟摄像方法
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US9782678B2 (en) 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
WO2017127096A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Diamond nitrogen vacancy sensor with dual rf sources
GB2562958A (en) 2016-01-21 2018-11-28 Lockheed Corp Magnetometer with a light emitting diode
GB2562193B (en) 2016-01-21 2021-12-22 Lockheed Corp Diamond nitrogen vacancy sensor with common RF and magnetic fields generator
WO2017127094A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Magnetometer with light pipe
WO2017127090A1 (en) 2016-01-21 2017-07-27 Lockheed Martin Corporation Higher magnetic sensitivity through fluorescence manipulation by phonon spectrum control
US9788152B1 (en) 2016-04-01 2017-10-10 Eski Inc. Proximity-based configuration of a device
JP6429829B2 (ja) 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
JP6672075B2 (ja) * 2016-05-25 2020-03-25 キヤノン株式会社 制御装置、制御方法、及び、プログラム
US10408890B2 (en) 2017-03-24 2019-09-10 Lockheed Martin Corporation Pulsed RF methods for optimization of CW measurements
US10317279B2 (en) 2016-05-31 2019-06-11 Lockheed Martin Corporation Optical filtration system for diamond material with nitrogen vacancy centers
US10228429B2 (en) 2017-03-24 2019-03-12 Lockheed Martin Corporation Apparatus and method for resonance magneto-optical defect center material pulsed mode referencing
US10527746B2 (en) 2016-05-31 2020-01-07 Lockheed Martin Corporation Array of UAVS with magnetometers
US10571530B2 (en) 2016-05-31 2020-02-25 Lockheed Martin Corporation Buoy array of magnetometers
US10677953B2 (en) 2016-05-31 2020-06-09 Lockheed Martin Corporation Magneto-optical detecting apparatus and methods
US10145910B2 (en) 2017-03-24 2018-12-04 Lockheed Martin Corporation Photodetector circuit saturation mitigation for magneto-optical high intensity pulses
US10345395B2 (en) 2016-12-12 2019-07-09 Lockheed Martin Corporation Vector magnetometry localization of subsurface liquids
US20170343621A1 (en) 2016-05-31 2017-11-30 Lockheed Martin Corporation Magneto-optical defect center magnetometer
US10274550B2 (en) 2017-03-24 2019-04-30 Lockheed Martin Corporation High speed sequential cancellation for pulsed mode
US10330744B2 (en) 2017-03-24 2019-06-25 Lockheed Martin Corporation Magnetometer with a waveguide
US10338163B2 (en) 2016-07-11 2019-07-02 Lockheed Martin Corporation Multi-frequency excitation schemes for high sensitivity magnetometry measurement with drift error compensation
US10371765B2 (en) 2016-07-11 2019-08-06 Lockheed Martin Corporation Geolocation of magnetic sources using vector magnetometer sensors
US10281550B2 (en) 2016-11-14 2019-05-07 Lockheed Martin Corporation Spin relaxometry based molecular sequencing
US10345396B2 (en) 2016-05-31 2019-07-09 Lockheed Martin Corporation Selected volume continuous illumination magnetometer
US10359479B2 (en) 2017-02-20 2019-07-23 Lockheed Martin Corporation Efficient thermal drift compensation in DNV vector magnetometry
CN105872387A (zh) * 2016-06-06 2016-08-17 杭州同步科技有限公司 一种虚拟摄像机与真实摄像机切换的系统和方法
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US10762446B2 (en) 2016-08-02 2020-09-01 Ebay Inc. Access control for a digital event
JP6917820B2 (ja) * 2016-08-05 2021-08-11 株式会社半導体エネルギー研究所 データ処理システム
JP6938123B2 (ja) * 2016-09-01 2021-09-22 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
WO2018045446A1 (en) 2016-09-07 2018-03-15 Eski Inc. Projection systems for distributed manifestation and related methods
JP6894687B2 (ja) * 2016-10-11 2021-06-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
US10389935B2 (en) 2016-12-13 2019-08-20 Canon Kabushiki Kaisha Method, system and apparatus for configuring a virtual camera
US9972122B1 (en) 2016-12-20 2018-05-15 Canon Kabushiki Kaisha Method and system for rendering an object in a virtual view
US10371760B2 (en) 2017-03-24 2019-08-06 Lockheed Martin Corporation Standing-wave radio frequency exciter
US10338164B2 (en) 2017-03-24 2019-07-02 Lockheed Martin Corporation Vacancy center material with highly efficient RF excitation
US10379174B2 (en) 2017-03-24 2019-08-13 Lockheed Martin Corporation Bias magnet array for magnetometer
US10459041B2 (en) 2017-03-24 2019-10-29 Lockheed Martin Corporation Magnetic detection system with highly integrated diamond nitrogen vacancy sensor
WO2018190327A1 (ja) * 2017-04-11 2018-10-18 株式会社バスキュール 仮想現実提供システム、３次元表示データ提供装置、仮想空間提供システム及びプログラム
CN110892455A (zh) * 2017-07-14 2020-03-17 索尼公司 图像处理装置、用于图像处理装置的图像处理方法和程序
CN112153472A (zh) * 2020-09-27 2020-12-29 广州博冠信息科技有限公司 一种画面特效的生成方法及装置、存储介质及电子设备
US11573795B1 (en) * 2021-08-02 2023-02-07 Nvidia Corporation Using a vector processor to configure a direct memory access system for feature tracking operations in a system on a chip
US11606221B1 (en) 2021-12-13 2023-03-14 International Business Machines Corporation Event experience representation using tensile spheres

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3217098A (en) * 1962-08-29 1965-11-09 Robert A Oswald Method of policing horse races
US4754342A (en) * 1986-04-11 1988-06-28 Cmx Corporation Video editing system having virtual memory
US5742760A (en) * 1992-05-12 1998-04-21 Compaq Computer Corporation Network packet switch using shared memory for repeating and bridging packets at media rate
US5363297A (en) * 1992-06-05 1994-11-08 Larson Noble G Automated camera-based tracking system for sports contests
US5513854A (en) * 1993-04-19 1996-05-07 Daver; Gil J. G. System used for real time acquistion of data pertaining to persons in motion
US5499146A (en) * 1994-05-24 1996-03-12 Texas Instruments Incorporated Method and apparatus for recording images for a virtual reality system
US5734805A (en) * 1994-06-17 1998-03-31 International Business Machines Corporation Apparatus and method for controlling navigation in 3-D space
US5598208A (en) * 1994-09-26 1997-01-28 Sony Corporation Video viewing and recording system
US5600368A (en) * 1994-11-09 1997-02-04 Microsoft Corporation Interactive television system and method for viewer control of multiple camera viewpoints in broadcast programming
US5564698A (en) * 1995-06-30 1996-10-15 Fox Sports Productions, Inc. Electromagnetic transmitting hockey puck

Also Published As

Publication number Publication date
EP1095501A2 (en) 2001-05-02
CA2343743A1 (en) 1999-12-16
JP2002518722A (ja) 2002-06-25
AU1948999A (en) 1999-12-30
BR9815902A (pt) 2001-02-20
US6124862A (en) 2000-09-26
MXPA00012307A (es) 2005-07-15
CN1322437A (zh) 2001-11-14
WO1999065223A3 (en) 2000-04-06
WO1999065223A2 (en) 1999-12-16

Similar Documents

Publication Publication Date Title
KR20010074508A (ko) 스포츠 경기의 가상시야를 생성하기 위한 방법 및 장치
US10789764B2 (en) Systems and associated methods for creating a viewing experience
US20210233304A1 (en) Systems and associated methods for creating a viewing experience
US5729471A (en) Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US20030227453A1 (en) Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
US20100253676A1 (en) Simulating performance of virtual camera
US9087380B2 (en) Method and system for creating event data and making same available to be served
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
JP7207913B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3836081A1 (en) Data processing method and apparatus
CN113689756A (zh) 基于增强现实的座舱重构系统及实现方法
US20230353717A1 (en) Image processing system, image processing method, and storage medium
JP2022073651A (ja) 情報処理装置、情報処理方法およびプログラム
EP1250803B1 (en) Method and apparatus for real time insertion of images into video
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
Nagai et al. An on-site visual feedback method using bullet-time video
WO2001082195A1 (en) Systems and methods for integrating virtual advertisements into recreated events
JP2023156940A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022171436A (ja) 情報処理装置、情報処理方法およびプログラム
JP2023169697A (ja) 情報処理装置、情報処理方法およびプログラム
KR20080097403A (ko) 이벤트 데이터를 생성하고 이벤트 데이터가 제공될 수 있게하는 방법 및 시스템
JP2023163133A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
JP2021179687A (ja) 情報処理装置、情報処理方法およびプログラム
JP2002269585A (ja) 画像処理方法、画像処理装置、記憶媒体及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee