KR102191765B1 - 스포츠 경기 방송 시스템 및 방법 - Google Patents

스포츠 경기 방송 시스템 및 방법 Download PDF

Info

Publication number
KR102191765B1
KR102191765B1 KR1020190045311A KR20190045311A KR102191765B1 KR 102191765 B1 KR102191765 B1 KR 102191765B1 KR 1020190045311 A KR1020190045311 A KR 1020190045311A KR 20190045311 A KR20190045311 A KR 20190045311A KR 102191765 B1 KR102191765 B1 KR 102191765B1
Authority
KR
South Korea
Prior art keywords
data
sports
ball
footage
sports ball
Prior art date
Application number
KR1020190045311A
Other languages
English (en)
Other versions
KR20190122572A (ko
Inventor
체밧 옐리
Original Assignee
티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 filed Critical 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘
Publication of KR20190122572A publication Critical patent/KR20190122572A/ko
Application granted granted Critical
Publication of KR102191765B1 publication Critical patent/KR102191765B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031—Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034—Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/18—Baseball, rounders or similar games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/833—Sensors arranged on the exercise apparatus or sports implement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A63B2225/52—Wireless data transmission, e.g. by radio transmitters or telemetry modulated by measured values
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0025—Football
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0037—Basketball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0054—Bowling, i.e. ten-pin bowling
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0066—Rugby; American football
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0066—Rugby; American football
    • A63B2243/007—American football
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0095—Volleyball

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Studio Devices (AREA)

Abstract

스포츠 공 및 개인 플레이어의 동작을 녹화 및 방송하는 시스템 및 방법은 궤적 및 운동을 기록하기 위한 내장된 카메라를 갖춘 스포츠 볼, 비디오 영상 및 원격 측정 메타데이터를 저장하기 위한 센서 모듈, 및 개인 플레이어의 스포츠 장비에 장착된 카메라를 포함한다. 센서 모듈은 관성 측정 유닛, 송수신기, 메모리, 전원 및 프로세서를 포함하며, 이들 모두는 서로 동작적으로 연결된다. 스포츠 볼은 데이터를 스포츠 피치 아래에 장착된 무선 데이터 전송 그리드로 및/또는 데이터 처리 서버로의 전달을 위한 안테나로 전송하고, 서버는 추가로 360도 액션 중심의 방송 데이터를 생성하는 스타디움 카메라 시스템으로 이후 전송된 실제 볼 방향을 판정한다. 데이터는 스포츠 볼 및 개별 플레이어로부터 수신된 원시 영상을 처리하는 처리 서버로 전송되어 다양한 응용 프로그램을 위한 깨끗한 영상을 생성한다.

Description

스포츠 경기 방송 시스템 및 방법{SPORTS EVENTS BROADCASTING SYSTEMS AND METHODS}
본 발명은 일반적으로 데이터 방송에 관한 것으로, 보다 구체적으로는 다양한 애플리케이션 및 사용자와의 상호작용을 가능하게 하는 스포츠 볼, 스포츠 선수 또는 후속 처리 및 방송을 위한 다른 요소의 이동 경로 및 원격 측정 메타 데이터(telemetry metadata)를 기록하는 시스템 및 방법에 관한 것이다.
스포츠 경기가 실시간으로 방송 및 텔레비전 방송될 때, 가장 중요한 플레이의 대부분은 서스펜스 및 흥분의 짧은 순간에 발생한다. 예를 들면, 축구 경기의 방송 중, 페널티 슛아웃, 골키퍼의 놀라운 세이브, 장거리에서 얻어진 골 등과 같은 특정 플레이가 시청자에게 특히 흥미로울 수 있는 다수의 사례가 존재한다. 이러한 플레이들은 일반적으로 수 초 내에 발생할 수 있으며, 이러한 시간은 끝나는데 3시간 이상 걸릴 수 있는 게임의 팀의 승패를 결정짓는 요인이 될 수 있다.
방송사는 일반적으로 시청자의 경기 경험을 확장하고 향상시키기 위해 슬로우 모션 리플레이를 제공한다. 이렇게 하기 위해 많은 샷, 앵글 및 테이크를 캡쳐하기 위해 다수의 다양한 카메라가 사용된다. 따라서, 영상 편집자는 특정 리플레이에 가장 적합한 각도를 신속하게 검토하고 필요한 비디오 편집을 한 다음, 하나 이상의 사용 가능한 앵글/테이크로부터의 리플레이를 시청자에게 방송할 수 있다. 그러나, 현재의 방송 기술은 단지 경기장의 특정 부분에 고정된 카메라로 상이한 각도로부터의 순간을 포착할 수 있다. 이로 인해, 볼을 그 궤적 전체에서 추적함에 있어 정확성이 부족할 뿐만 아니라 카메라 테이크의 선택에 관한 유연성이 부족할 수 있다.
볼의 궤적을 기록하기 위해 스포츠 볼에 카메라를 장착하는 것이 시도되었다. 그러나, 후처리 및 높은 품질의 출력 이미지를 생성하기 위한 높은 이미지 캡쳐 안정성/매우 빠른 프레임 속도 요구 사항과 같은 요소는 이 분야에서의 추가적인 개발을 방해하였다. 스포츠 볼 원격 측정과 관련된 데이터의 등록 및 제공과 같은, 스포츠 볼 모니터링과 관련하여 몇 가지 진전이 이루어졌지만, 이러한 진전은 주로 체육 활동 과정 중에 개인 스포츠인에 의한 영향/그에 미치는 영향에 집중되었다. 따라서, 이 애플리케이션은 주로 체육 활동 평가 도구로 사용되었으며, 시청자에게 방송 가능한 자료를 기록하기 위한 방법/기회는 아니었다. 따라서, 시청자의 즐거움을 위해 방송 품질의 이미지로 처리될 수 있는, 스포츠 볼 또는 개별 선수의 관점에서의 이미지를 기록할 수 있게 하는 시스템 및 방법에 대한 확실한 필요성이 존재한다.
이 설명은 아래의 상세한 설명에서 더 설명되는 단순한 형태의 개념 선택을 소개하기 위해 제공된다. 이 설명은 청구된 주제의 주요 특징을 식별하기 위한 것이 아니며, 청구된 주제의 범위를 판정하는데 도움을 주기 위한 것도 아니다.
본 개시물은 스포츠 활동 동안 스포츠 볼, 개별 선수 및 경기장 주변 위치의 관점에서 푸티지(footage)를 기록 및 방송하여 사용자와의 다양한 대화형 애플리케이션을 가능하게 하는 시스템 및 방법을 설명한다. 이 시스템 및 방법은 시청자에게의 푸티지 방송의 품질 및 가치를 향상시킬 수 있으며, 현재 방송 방법의 전형적인 단점인 카메라 이동성 제한을 제거하고 비디오 후처리에 대한 빠른 프레임 속도 요건을 충족시킬 수 있다. 부가적으로, 이 시스템 및 방법은 하나 이상의 세트의 처리된 비디오 푸티지를 제공함으로써 방송될 카메라 푸티지의 가능한 세트의 수를 증가시킬 수 있다. 본 개시물은 또한 스포츠 선수의 훈련에 또는 다양한 관점(예컨대, 스포츠 볼 관점, 개별 선수의 관점 또는 글로벌 3 차원 관점)에서의 리플레이 방송을 볼 수 있는 시청자의 즐거움을 위해 사용될 수 있는, 가상 현실(VR), 증강 현실(AR) 및 혼합 현실(MR) 경험을 생성하기 위한 렌더링 엔진을 통한 원시 데이터의 처리와 같은, 다른 애플리케이션을 고려한다. 다른 애플리케이션은 AR/VR/MR 장치를 통해 사용자가 보고 참여할 수 있는 대화형 볼륨을 생성함으로써 또는 AR/VR/MR 뷰에서 볼 수 있고 다른 스타디움과 공유할 수 있는 360도 액션-포커스 리플레이를 즐김으로써, 시청자의 멤버와 같은 사용자가 AR, VR 및 MR 경험을 즐길 수 있도록 허용하는 것을 포함할 수 있다. 일부 실시예에서, 본 개시물의 시스템 및 방법은 추가적으로 콘서트, 연극 및 다른 엔터테인먼트 이벤트와 같은 스타디움에서 발생할 수 있는 다른 유형의 이벤트에 적용될 수 있다.
일 실시예에 따르면, 방송 시스템은 스포츠 볼 및 개별 선수들의 스포츠 장비로부터 데이터를 수신하고 그러한 데이터를 데이터 처리 서버로 전송하기 위해 통신 가능하게 연결된 무선 송수신기 허브(예를 들어, 스포츠 피치 아래에 장착된 무선 피치 데이터 전송 그리드 및/또는 스포츠 피치 주위에 장착된 안테나를 포함할 수 있음)를 포함한다. 수신된 데이터는 스포츠 볼의 원시 비디오 푸티지 및 개별 선수의 궤적 및 운동 뿐만 아니라 스포츠 볼의 스포츠 원격 측정 메타 데이터를 포함한다. 그 다음, 이러한 데이터는 데이터를 분석하고(예컨대, 무선 트랜시버 허브를 통해) 데이터 처리 서버에 통신 가능하게 연결된 스타디움 카메라 시스템을 제어하는데 사용되는 방향 데이터를 생성하는 데이터 처리 서버로 전송된다. 스타디움 카메라 시스템은 데이터 처리 서버에 의해 전송되어 수신된 방향 데이터에 기초하여, 스포츠 볼, 개별 선수 또는 이들의 조합의 위치에 의해 결정되는 구형 포커스 존(spherical focus zonw)을 중심으로 한 360도 시야를 커버하는 균일한 액션 커버리지를 포함하는 푸티지 데이터를 생성하기 위해 카메라의 회전, 초점 및 줌을 자동 보상 및 조절하는 복수의 액션-포커스 카메라를 포함한다. 그 다음, 데이터는, 예를 들어, 적어도 100 FPS(frames per second)의 오리지널 고 프레임 레이트로부터 적어도 24 FPS의 프레임 레이트의 깨끗한 푸티지를 생성하도록 추가 처리 및 합성하기 위해 처리 서버로 다시 전송된다.
일부 실시예에서, 스타디움 카메라 시스템의 복수의 액션-포커스 카메라는 스포츠 피치에서 발생하는 액션의 정확한 거리 및 깊이 정보를 제공할 수 있는 라이다(LIDAR: Light Detection and Ranging) 장치를 포함한다. 다른 실시예에서, 스타디움 카메라 시스템의 복수의 액션-포커스 카메라는 스포츠 스타디움에서 일어나는 액션으로부터 발생하는 사운드 데이터의 기록 및 재생을 가능하게 하는 마이크로폰 및 라우드 스피커를 포함하는 전기 음향 변환기를 포함한다.
일부 실시예에서, 구형 포커스 존은 고정 직경 또는 경기장에서 일어나는 액션에 기초하여 결정될 수 있는 가변 직경을 포함할 수 있다.
다양한 실시예에서, 처리된 푸티지는 스포츠 볼, 개별 선수, 시청자에게 방송될 준비가 된 360도 액션-포커스 뷰 및 사운드, 및 이들의 조합의 관점에서 생성될 수 있다. 일부 실시예에서, 처리된 푸티지 방송은 이미지 데이터, 3D 기하학적 형상, 비디오 데이터, 오디오 데이터, 텍스트 데이터, 햅틱 데이터, 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 의류, 신발류 또는 운동 보호 장비와 같은 개별 선수에 의해 착용 가능한 스포츠 장비는 개별 선수의 관점으로부터의 원시 비디오 푸티지를 캡쳐하기 위해 그 위에 장착된 이미지 캡쳐 장치를 포함할 수 있다. 또한, 스포츠 장비는 개별 선수의 모션 원격 측정 메타 데이터를 캡쳐하고 데이터 전송을 가능하게 하기 위해 이미지 캡쳐 장치에 연결된 센서 모듈을 포함할 수 있다.
일 실시예에 따르면, 스포츠 볼은 축구 공, 미식 축구공, 럭비공, 농구공, 배구공 등과 같이 중공 공극을 둘러싸는 외층을 포함한다. 다른 실시예에서, 스포츠 볼은 비중공 스포츠 볼이고, 야구공, 볼링공, 골프공 등과 같이 단일의 솔리드 층 또는 복수의 다양한 층을 포함한다.
일 실시예에 따르면, 스포츠 볼은 스포츠 볼의 궤적 및 운동의 비디오 푸티지를 캡쳐하기 위해 스포츠 볼에 장착된 하나 이상의 이미지 캡쳐 장치 및 상기 스포츠 볼의 궤적와 운동의 원시 비디오 푸티지를 수신하고, 상기 스포츠 볼의 원격 측정 메타데이터를 생성하고, 예컨대, 무선 송수신기 허브를 통해 데이터 처리 서버에 데이터를 업로드하기 위해 데이터를 다른 장치로 무선으로 전송하는 센서 모듈을 포함한다. 센서 모듈은 또한 비디오 푸티지 및 스포츠 볼의 원격 측정 메타 데이터를 저장하기 위한 메모리를 포함할 수 있다.
일 실시예에 따르면, 이미지 캡쳐 장치는 적합한 은폐(concealment)가 가능한 영역에서의 스포츠 볼 커버링에 내장될 수 있다. 예를 들어, 축구 공의 경우, 이미지 캡쳐 장치는 일반적으로 축구공 디자인의 일부를 구성하는 검은색 오각형 패치에 장착될 수 있다. 또한, 이 실시예에서, 스포츠 볼에 장착되는 카메라의 수는 스포츠 볼의 디자인에 따라 다를 수 있다.
일 실시예에 따르면, 이미지 캡쳐 디바이스는 손상 및 충격 보호를 제공하기 위해 카메라 렌즈의 상부에 장착된 연질 보호 렌즈의 하나 이상의 층을 포함한다. 또 다른 실시예에 따르면, 카메라 렌즈는 손상 및 충격 보호를 제공하기 위해 연질 보호 렌즈의 2 개 이상의 층들 사이에 끼워질 수 있다. 보호 층의 수는 각 층의 특정 재료 조성 및 두께에 의존할 수 있다.
일 실시예에 따르면, 스포츠 볼 내에 장착된 센서 모듈은 관성 측정 장치(IMU), 송수신기, 메모리 및 전원을 포함할 수 있으며, 이들은 모두 프로세서에 동작 가능하게 연결된다. 일반적으로, 센서 모듈은 후속 처리 및 방송을 위해 이미지 캡쳐 장치에 의해 획득된 원시 비디오 데이터 뿐만 아니라 스포츠 볼의 움직임과 관련된 원격 측정 메타 데이터를 수신하도록 구성된다. 바람직하게, 송수신기는 밀리미터 파(mmW) 송수신기이다. 전원은 센서 모듈에 전력을 공급하도록 구성되며; 메모리는 애플리케이션 프로그램 명령들을 저장하고 IMU로부터의 스포츠 볼 원격 측정 메타 데이터를 저장하도록 조절될 수 있고; 하나 이상의 가속도계 및 자이로스코프를 포함할 수 있는 IMU는 속도, 가속도, 각 운동량, 병진 운동 속도, 회전 속도 및 스포츠 볼의 다른 원격 측정 메타 데이터를 측정하고 보고하도록 구성되며; mmW 송수신기는 스포츠 볼이 mmW 신호를 수신하고 디지털 현실 콘텐츠와 상호작용할 때 데이터를 다시 보내도록 허용할 수 있고 또한 스포츠 볼의 위치 추적을 가능하게 할 수 있고; 그리고 프로세서는 스포츠 볼의 메모리에 저장된 애플리케이션 프로그램을 구현하도록 구성될 수 있다. 특정 실시예에서, IMU 및 mmW 송수신기는 분리될 수 있다(즉, 서로 분리됨). 다른 실시예에서, IMU 및 mmW 송수신기는 함께 결합되어 센서 모듈 내에 하나의 동작 구성 요소를 형성할 수 있다.
일 실시예에 따르면, IMU의 성능을 mmW 송수신기에 의해 제공되는 위치 추적과 결합함으로써 서브 센티미터 또는 서브 밀리미터 위치 및 방향 추적을 가능하게 할 수 있으며, 이는 스포츠 볼의 실시간 위치 및 방향을 추적할 때 정확성을 증가시킬 수 있고 일반적인 사용자 경험을 향상시킬 수 있다. 클라이언트 장치의 추적은 공지된 여러 기술(예를 들어, 도래 시간(TOA: time of arrival), 도래 각(AOA: angle of arrival), 시각적 이미징, 레이더 기술 등)을 사용하여 수행될 수 있다.
일 실시예에 따르면, 센서 모듈 내의 전원을 충전하기 위해 사용되는 볼 충전 시스템은 볼 충전 장치를 포함할 수 있으며, 여기서 스포츠 볼은 유도 충전에 의해 전력을 공급 받도록 연결될 수 있다. 스포츠 볼의 외부 표시는 볼 충전 장치로부터 충전을 수신하는 유도 코일의 위치를 나타낼 수 있으며 그렇지 않으면 충전시 스포츠 볼의 최적의 방향조절을 용이하게 할 수 있다.
일 실시예에 따르면, 스포츠 피치 아래에 장착된 무선 피치 데이터 전송 그리드 및/또는 스포츠 피치 주위에 장착된 안테나는 스포츠 볼에 무선 데이터 연결을 제공하고 스포츠 볼이 추가 처리 및 방송을 위해 데이터를 업로드하게 할 수 있다. 무선 피치 데이터 전송 그리드 및 안테나는 밀리미터 파(mmW) 기반 통신 또는 mmW 기반 및 서브 6 GHz 기반 통신의 조합을 포함하되 이에 국한되지 않는 다양한 무선 시스템 통신을 가능하게 한다. 다른 실시예에서, 4G 안테나 시스템은 mmW/서브 GHz 안테나 시스템에 대한 지원으로서 사용될 수 있다. 다른 실시예에서, 안테나는 무선 로컬 영역 네트워킹(WiFi)을 사용할 수 있으며, 16 GHz로 데이터를 제공하는 것이 바람직하지만 이에 한정되는 것은 아니다.
일 실시예에 따르면, 데이터 처리 서버에 의해 수행되는 비디오 푸티지를 처리하고 합성하는 방법은 원격 측정 메타 데이터와 함께 스포츠 볼 및 개별 선수에 장착된 이미지 캡쳐 장치로부터 원시 비디오 데이터를 획득하는 단계; 스타디움 카메라 시스템에 방향 데이터를 전송하여 월드 공간에서 실제 볼 방향을 판정하는 단계; 스타디움 카메라 시스템으로부터 360도 액션-포커스 방송 데이터를 얻는 단계; 카메라 푸티지 선택/폐기 규칙을 적용하는 단계; 데이터 방송 트리거링 규칙을 적용하는 단계; 및 스포츠 볼로부터, 개별 선수들의 스포츠 장비에 장착된 이미지 획득 장치로부터, 그리고 스타디움 카메라 시스템으로부터 수신된 데이터에 다른 비디오 푸티지 처리 기술을 적용하는 단계를 포함한다.
일 실시예에 따르면, 월드 공간에서 실제 볼 방향을 판정하는 방법은 스포츠 볼의 움직임을 탐지하는 단계; 스포츠 볼의 초기 공간 방향을 판정하는 단계; 스포츠 볼 원격 측정 메타 데이터를 판정하는 단계; 및 실제 볼 방향을 얻기 위해 데이터를 분석하는 단계를 포함한다.
일 실시예에 따르면, 볼 공간 내의 카메라 푸티지 선택/폐기 방법은 한 세트의 카메라 푸티지 선택/폐기 규칙에 기초하여 데이터 처리 서버에 의해 수행될 수 있다. 볼 공간 내의 카메라 푸티지 선택/폐기 방법은 무선 피치 데이터 전송 그리드를 통해 스포츠 볼에 장착된 각각의 이미지 캡쳐 장치에 의해 데이터 처리 서버로 전송된 이미지를 처리하기 위해 수행될 수 있고, 이는 시청자에게 방송될 최종 푸티지에 가치를 더 할 수 있는 영상만 선택한다. 예를 들어, 축구공은 체육 활동 중에 스포츠 볼이 움직이는 동안 모든 카메라로부터의 카메라 푸티지를 데이터 처리 서버로 전송할 수 있다. 그런 다음, 카메라 푸티지 선택 규칙은 데이터 처리 서버가 카메라 푸티지 선택 규칙을 따르는 모든 카메라로부터의 동영상을 선택하고, 카메라 동영상 폐기 규칙을 따르는 모든 카메라로부터의 동영상을 폐기하도록 명령할 수 있다. 주어진 비디오 프레임 세트에 대해 하나의 카메라로부터의 카메라 푸티지가 선택될 수 있다. 또한, 시청자에게 방송하기 위한 하나 이상의 처리된 푸티지 세트를 제공하기 위해 주어진 비디오 프레임 세트에 대해 하나 이상의 카메라로부터의 카메라 푸티지를 선택할 수도 있다.
일 실시예에 따르면, 데이터 방송 트리거링 규칙은 방송되는 스포츠 경기의 규칙에 특정된 이벤트에 기초하며, 그것에 직접 링크된다.
일 실시예에 따르면, 증강 현실(AR), 가상 현실(VR) 및/또는 혼합 현실(MR) 시스템으로서 사용자와의 상호작용을 위해 방송 시스템을 사용하는 것과 같은, 방송 시스템을 위한 다양한 다른 애플리케이션이 고려될 수 있다. 이 실시예에서, (예를 들어, 스포츠 공 볼/또는 개별 선수들의 스포츠 장비에 장착된) 이미지 캡쳐 장치에 의해 캡쳐된 원시 데이터는 무선 송수신기 허브(예를 들어, 무선 피치 데이터 전송 그리드 및/또는 안테나)를 통해 업로드된 후 데이터 처리 서버(예를 들어, 처리/렌더링 서버)로 전송된다. 후속하여, 데이터 처리 서버는 복수의 액션-포커스 카메라를 포함하는 스타디움 카메라 시스템으로 전송될 방향 데이터를 생성하도록 수신된 원시 데이터를 분석 및 처리할 수 있고, 복수의 액션-포커스 카메라는, 데이터 처리 서버에 의해 전송된 방향 데이터를 기초로, 스포츠 볼, 개별 선수, 또는 이들의 조합의 위치에 의해 결정된 구형 포커스 존을 중심으로 한 360도 시야를 커버하는 일정한 액션 커버리지를 포함하는 푸티지 데이터를 생성하기 위해 카메라의 회전, 초점 및 줌을 자동 보상 및 조절한다. 데이터는 데이터 방송 트리거링 규칙, 노이즈 필터링 방법 및 다른 비디오 처리 및 렌더링 기술을 적용하여, 원시 데이터 및 360도 액션-포커스 방송 데이터를 처리하여 개별 선수 또는 시청자의 구성원과의 AR/VR/MR 상호작용에 사용될 수 있는 컨텍스트-풀 시나리오(context-full scenario)를 생성하는 데이터 처리 서버로 다시 전송된다.
개별 선수에게 제공되는 AR/VR/MR 경험의 실시예에서, AR/VR/MR 시스템은 개별 선수의 운동 기술을 훈련시키는 것 뿐만 아니라 개별 선수가 페널티 슛아웃을 정신적으로 준비하는 것과 같은 심리적 조절을 제공하는 데에도 사용될 수 있다. 시청자에게 제공되는 AR/VR/MR 경험의 실시예에서, AR/VR/MR 시스템은 시청자의 구성원이 하나 이상의 개별 선수의 관점 및/또는 스포츠 볼의 관점에서 리플레이의 방송을 보고 경험할 수 있게 하는데 이용될 수 있다. 일 실시예에서, 개별 선수의 스포츠 장비 상의 이미지 캡쳐 장치로부터의 데이터는 AR/VR/MR 경험을 가능하게 하는 대화형 볼륨을 생성하기 위해 처리/렌더링 서버에 의해 사용된다. 일 실시예에서, 스타디움 카메라 시스템 내에서 액션-포커스 카메라 각각의 회전, 포커스 및 줌의 보상 및 수정은 스포츠 경기장에서 일어나는 액션을 중심으로 한 360도 AR/VR/MR 경험을 만들기 위해 처리/렌더링 서버가 처리 및 렌더링하는 360도 액션-포커스 방송 데이터를 생성한다. 일부 실시예에서, 360도 AR/VR/MR 경험은 하나 이상의 원격 스타디움에서 발생하는 스포츠 경기를 시뮬레이션하기 위해 클라우드 서버를 통해 하나 이상의 다른 원격 스타디움과 공유될 수 있다.
상기 설명은 본 개시물의 모든 양태에 대한 포괄적인 목록을 포함하지 않는다. 본 개시물은 상기 설명된 다양한 양태의 모든 적합한 조합 뿐만 아니라 아래의 상세한 설명에 개시되고 특히 본 출원과 함께 청구된 청구 범위에서 지적될 수 있는 모든 시스템 및 방법을 포함하는 것으로 고려된다. 이러한 조합은 상기 설명에 구체적으로 언급되지 않은 특별한 이점을 갖는다. 본 발명의 다른 특징 및 이점은 첨부된 도면 및 이하의 상세한 설명으로부터 명백해질 것이다.
본 발명의 전술한 양태 및 많은 부수적인 이점은 첨부된 도면과 함께 아래의 상세한 설명을 참조함으로써 더 잘 이해 될 것이다.
도 1은 일 실시예에 따른 방송 시스템의 도면을 도시한다.
도 2는 일 실시예에 따른 방송 시스템에서 이용될 수 있는 샘플 스포츠 장비를 도시한다.
도 3a 및 도 3b는 일 실시예에 따른, 본 개시물의 방송 시스템에 채용하기에 적합한 샘플 스포츠 볼을 도시한다.
도 4는 일 실시예에 따른, 스포츠 볼 궤적 및 이동의 캡쳐된 비디오 푸티지를 수신하기 위한 하나 이상의 이미지 캡쳐 디바이스 및 스포츠 볼 원격 측정 메타 데이터를 생성하는 센서 모듈을 포함하는 스포츠 볼을 도시한다.
도 5는 일 실시예에 따른 스포츠 볼에 장착된 이미지 캡쳐 장치의 확대도이다.
도 6은 일 실시예에 따른 이미지 캡쳐 장치 보호 층을 도시한다.
도 7은 일 실시예에 따른 스포츠 볼 내에 장착된 센서 모듈을 도시한다.
도 8은 일 실시예에 따른, 스포츠 볼의 센서 모듈 내의 전원을 충전하기 위해 사용될 수 있는 볼 충전 시스템을 도시한다.
도 9는 일 실시예에 따른, 스포츠 피치 하에 장착될 수 있는 무선 피치 데이터 전송 그리드를 도시한다.
도 10은 일 실시예에 따른, 비디오 푸티지를 처리하고 합성하는 방법을 도시한다.
도 11은 일 실시예에 따른, 월드 공간 내에서 실제 볼 방향을 판정하는 방법을 도시한다.
도 12는 일 실시예에 따른, 360도 액션-포커스 방송 데이터를 생성하는데 사용될 수 있는 스타디움 카메라 시스템을 도시한다.
도 13a 및 도 13b는 일 실시예에 따른, 볼 공간 내의 카메라 푸티지 선택/폐기의 도면을 도시한다.
도 14는 일 실시예에 따른, 일례로서 축구공을 사용하는 카메라 푸티지 선택/폐기 규칙의 샘플 세트를 도시한다.
도 15는 일 실시예에 따른, 데이터 방송 규칙들의 샘플 세트를 도시한다.
도 16은 일 실시예에 따른, 비디오 푸티지 합성/필터링의 다이어그램을 도시한다.
도 17은 일 실시예에 따른, 가상 현실 및/또는 증강 현실을 통한 사용자와의 상호작용을 위해 사용되는 방송 시스템의 애플리케이션을 도시한다.
아래 설명에서, 예시로서 다양한 실시예들을 도시하는 도면들이 참조된다. 또한, 다양한 실시예들이 몇몇 예를 참조하여 아래에서 설명될 것이다. 실시예들은 청구된 주제의 범위를 벗어나지 않으면서 설계 및 구조의 변경을 포함할 수 있음을 이해해야 한다.
도 1은 일 실시예에 따른 방송 시스템(100)을 도시한다. 방송 시스템(100)은 스포츠 볼(104) 및 하나 이상의 개별 선수(106)를 포함할 수 있는 액션 관점 데이터 캡쳐 모듈(102)을 포함한다. 개별 선수(106)의 스포츠 장비(108) 및 스포츠 볼(104)는 그들 위에 장착되고 원시 비디오 푸티지를 캡쳐하여 전송하도록 구성된 이미지 캡쳐 장치(110)를 포함할 수 있다. 개별 선수(106)의 스포츠 장비(108) 및 스포츠 볼(104)에 장착된 센서 모듈과 같은 추가 장치는 스포츠 볼(104) 및 개별 선수(106)로부터의 모션 원격 측정 메타 데이터를 각각 캡쳐할 수 있다. 원시 데이터(112)는 원시 비디오 푸티지 및 원격 측정 메타 데이터를 포함할 수 있다.
스포츠 볼(104) 내의 센서 모듈에 의해 캡쳐된 원격 측정 메타데이터와 더불어, 스포츠 볼(104) 및 개별 선수(106)에 장착된 이미지 캡쳐 장치(110)에 의해 캡쳐된 원시 비디오 푸티지를 포함하는 원시 데이터(112)는 무선 송수신기 허브로 송신되며, 이 무선 송수신기 허브는, 예를 들어, 스포츠 피치 아래에 장착된 무선 피치 데이터 전송 그리드(114) 및/또는 스포츠 피치 주위에 장착된 안테나(116)를 포함할 수 있으며, 원시 데이터(112)를 분석 및 처리를 위해 데이터 처리 서버(118)로 전송한다.
원시 비디오 데이터 및 원격 측정 메타 데이터를 획득한 후, 데이터 처리 서버(118)는 월드 공간 내의 실제 볼 방향을 판정함으로써 진행할 수 있다. 개별 선수(106)가 착용하는 스포츠 장비(108)상의 이미지 캡쳐 장치(110)에 포함된 센서 모듈에 의해 전송된 원격 측정 메타 데이터와 함께, 월드 공간 내의 실제 볼 방향 정보는 스타디움 카메라 시스템(120)에 포함된 액션-포커스 카메라(124)가 집중하고 있는 방향 데이터(122)를 스타디움 카메라 시스템(120)에 제공한다. 스타디움 카메라 시스템(120)은 추가 처리를 위해 실시간 360도 액션-포커스 방송 데이터(126)를 데이터 처리 서버(118)로 되돌려 보낼 수 있다. 스타디움 카메라 시스템(120)은 추가 처리를 위해 실시간 360도 액션-포커스 방송 데이터(126)를 데이터 처리 서버(118)로 되돌려 보낼 수 있다.
일부 실시예에서, 액션-포커스 카메라(124)는 그 위에 탑재 된 LIDAR(Light Detection and Ranging) 장치를 포함한다. LIDAR 장치는 스포츠 피치에서 일어나는 액션의 정확한 거리 및 깊이 정보를 제공할 수 있다. LIDAR 장치로부터 얻어진 데이터는 추가 처리를 위해 데이터 처리 서버(118)로 다시 전송되는 360도 액션-포커스 방송 데이터(126)에 포함될 수 있다.
일부 실시예에서, 스타디움 카메라 시스템(120)의 복수의 액션-포커스 카메라(124)는 스포츠 피치 상에서 일어나는 액션으로부터 발생하는 사운드 데이터를 기록 및 재생하도록 각각 구성된 마이크로폰 및 라우드 스피커를 포함하는 전기 음향 변환기를 포함한다.
이어서, 데이터 처리 서버(118)는 스포츠 볼(104) 및 개별 선수(106)에 장착된 이미지 캡쳐 장치(110)에 의해 전송된 푸티지의 푸티지 선택/폐기 규칙을 통해, 데이터 방송 트리거링 규칙, 노이즈 필터링 방법 및 기타 비디오 처리 기술을 적용하여, 원시 데이터(112) 및 360도 액션-포커스 방송 데이터(126)를 처리된 데이터(128)로 합성한다. 그 후, 처리된 데이터 신호는, 예를 들어, 디스플레이(130)를 통해 시청자에게 후속 프리젠테이션하기 위해 전송된다. 방송 시스템(100)을 통해, 원시 데이터(112) 및 360도 액션-포커스 방송 데이터(126)로부터의 푸티지는 적어도 100 FPS의 고 프레임 레이트로 수신되고, 시청자의 즐거움을 위해 디스플레이(130)와 같은 시청 수단 상에 포함된 처리된 푸티지 방송(132)으로 보여질 수 있는 적어도 24FPS의 낮은 프레임 속도의 깨끗한 처리된 데이터(128)로 변환된다. 처리된 데이터(128)는 스포츠 경기의 특정 장면에 대한 상이한 각도 및 관점으로부터의 재구성된 리플레이로서 보여질 수 있다.
일부 실시예에서, 처리된 푸티지 방송(132)은 이미지 데이터, 3D 기하학적 형상, 비디오 데이터, 텍스트 데이터, 햅틱 데이터, 오디오 데이터, 또는 이들의 조합을 포함할 수 있다.
일부 실시예에서, 본 개시물의 시스템 및 방법은 콘서트, 연극 및 다른 엔터테인먼트 이벤트와 같은 스타디움에서 발생할 수 있는 다른 유형의 이벤트에 추가적으로 적용될 수 있다. 콘서트 및 연극에서의 적용을 위해, 당업계에 공지된 실시간 모션 캡쳐 기술이 공연자들에게 적용될 수 있다.
도 2는 일 실시예에 따른 방송 시스템(100)에서 이용될 수 있는 스포츠 장비(108)를 도시한다. 본 발명의 일부 실시예에서, 스포츠 장비(108)의 피스는 의류 제품, 신발 제품, 또는 운동 보호 장비와 같이, 개별 선수에 의해 착용 가능할 수 있다. 이러한 실시예에서, 이미지 캡쳐링 장치(110)는 예컨대, 끈, 접착제, 주머니, 클립과 같은 다양한 해제 가능한 또는 해제 불가능한 커플링 수단에 의해, 또는 의류(예컨대, 셔츠, 바지, 양말, 장갑 또는 모자), 신발류 또는 개별 선수가 착용하는 운동 보호 장비에 통합됨으로써 개별 선수의 신체 부분에 물리적으로 결합될 수 있다.
일 실시예에서, 스포츠 장비(108)는 스포츠 유니폼(202) 및 스포츠 슈즈(204)를 포함한다. 스포츠 장비(108) 상에 장착될 수 있는 이미지 캡쳐 장치(110)는 바람직하게는 비디오 기록 카메라를 포함할 수 있으며, 개별 선수의 관점에서의 원시 푸티지를 기록하는데 사용될 수 있다. 비디오 기록 카메라는 최소 100FPS의 높은 레이트로 적어도 120도의 시야를 커버하는 비디오 푸티지를 캡쳐한다. 스포츠 장비(108)는 개별 선수의 모션 원격 측정 메타 데이터를 캡쳐하고 데이터 전송을 가능하게 하기 위해 이미지 캡쳐 장치(110)에 연결된 센서 모듈을 추가로 포함한다.
도 3a 및 도 3b는 일 실시예에 따른 방송 시스템(100)에 채용되기에 적합한 스포츠 볼(104)을 도시한다.
도 3a는 일 실시예에 따른, 중공 공극을 둘러싸는 외층을 포함하는 스포츠 볼(104)을 도시한다. 이러한 중공 스포츠 볼(104)의 예는 축구공(302), 농구공(304), 미식 축구공(306), 럭비공(308), 배구공(310) 등을 포함하나 이에 한정되지 않는다. 외층은 필요한 경우 가죽 또는 플라스틱 패널과 엮어서 내부 공기 주머니(bladder)에 액세스 할 수 있도록 서로 꿰매 붙이거나 및/또는 접착될 수 있다.
도 3b는 단일 솔리드 층 또는 복수의 상이한 층을 포함하는 비중공 스포츠 볼(104)을 도시한다. 이러한 비 중공 스포츠 볼(104)의 예는 야구공(312), 볼링공(314), 골프공(316) 등을 포함하나 이에 한정되지 않는다.
도 4는 스포츠 볼(104)의 궤적 및 운동의 비디오 푸티지를 기록하기 위한 복수의 이미지 캡쳐 장치(110) 및 스포츠 볼의 이미지 캡쳐 장치(110)에 의해 캡쳐 된 비디오 푸티지를 수신하고, 스포츠 볼의 원격 측정 데이터를 생성하고, 그 데이터(예를 들어, 원시 비디오 푸티지 및 원격 측정 데이터)를 데이터 처리 서버에 업로드하기 위한 무선 송수신기 허브와 같은, 몇몇 다른 장치로 무선으로 전송하기 위한 센서 모듈(402)을 포함하는 스포츠 볼 회로(400)를 도시한다. 일 실시예에 따르면, 센서 모듈(402)은 또한 스포츠 볼(104)의 모션 원격 측정 메타 데이터와 더불어, 비디오 푸티지를 저장 및/또는 처리하기 위한 메모리를 포함할 수 있다. 내부 회로 및 프레임워크는 이미지 캡쳐 장치(110)와 센서 모듈(402) 사이의 적절한 연결을 가능하게 한다.
센서 모듈(402)은 스포츠 볼(104)의 특성에 따라 다양한 커플링 수단에 의해 스포츠 볼(104)에 물리적으로 결합될 수 있다. 예를 들어, 센서 모듈(402)은 스포츠 볼(104)의 외부에 부착됨으로써, 중공 스포츠 볼(104)의 내측면에 부착됨으로써, 중공의 스포츠 볼(104)의 내부에 서스펜션 시스템에 의해 매달려짐으로써, 또는 다층의 비중공의 스포츠 볼(104)의 외부 층 또는 다른 층에 통합됨으로써 스포츠 볼(104)에 물리적으로 결합될 수 있다.
센서 모듈(402)을 스포츠 볼(104)에 장착하기 위해 사용될 수 있는 예시적인 기술은 2009 년 11 월 18 일에 출원되어 본 명세서에 참고로 인용된 미국 특허 제 7,740,551 호 및 미국 특허 제 8,517,869 호에 개시되어 있다.
도 5는 일 실시예에 따른 축구공(302)에 장착된 이미지 캡쳐 장치(110)의 확대도(500)를 도시한다. 이미지 캡쳐 장치(110)는 적합한 은폐가 가능한 영역에서 볼 커버링에 내장될 수 있다. 예를 들어, 복수의 이미지 캡쳐 장치(110)는 일반적으로 축구공(302)의 디자인의 일부를 구성하는 검은색 오각형 패치(504)에 장착되어, 사용자가 이미지 캡쳐 장치(110)의 존재를 알아차리는 것을 피할 수 있다.
이미지 캡쳐 장치(110)의 수는 스포츠 볼의 디자인에 따라 달라질 수 있다. 따라서, 12 개의 검은색 오각형 패치(504) 및 20 개의 흰색 오각형 패치(506)를 갖는 축구공(302)의 경우, 검정색 오각형 패치(504)마다 이미지 캡쳐 장치(110) 하나씩, 총 12 개의 이미지 캡쳐 장치(110)가 스포츠 볼에 장착될 수 있다. 이미지 캡쳐 장치(110)는 각각 적어도 100 FPS의 높은 레이트로 적어도 90도의 시야를 커버하는 비디오 푸티지를 캡쳐한다. 따라서, 12 개의 이미지 캡쳐 장치(110)를 갖는 축구공(302)에 대해, 총 1080도 이상의 시야가 커버될 수 있다.
도 6은 일 실시예에 따른 이미지 캡쳐 장치 보호 층(600)을 도시한다. 이미지 캡쳐 장치의 카메라 렌즈(602)는 카메라 렌즈(602)의 상부에 설치된 연질 보호 렌즈(604)의 하나 이상의 층에 의해 보호될 수 있다. 또 다른 실시예에 따르면, 카메라 렌즈(602)는 카메라 렌즈(602)에 손상 및 충격 보호를 제공하기 위해 연질 보호 렌즈(604)의 2 개 이상의 층들 사이에 끼워질 수 있다. 보호 층의 수는 특정 중합체 재료 조성 및 연질 보호 렌즈 층(604)의 두께에 의존할 수 있다.
연질 보호 렌즈(604)에 적합한 재료는 네오프렌을 포함할 수 있는데, 이는 높은 탄성을 나타내며 충돌시 쉽게 손상되거나 깨지지 않는다.
또 다른 실시예에 따르면, 이미지 캡쳐 장치를 보호하기 위한 다른 적절한 방법이 사용될 수 있다. 예를 들어, 이미지 캡쳐 장치를 보호하기 위한 적절한 방법은 본 명세서에 참조로서 통합된 2012 년 10 월 15 일에 출원된 미국 가등록 공개 번호 제2013/0129338호에 언급되어 있으며, 여기서 카메라 보호 시스템은 3개의 보호 재료 층을 포함한다. 외층은 산토프렌(Santoprene™) 비닐(산토프렌은 열가소성 가황물(TPV)의 독점적인 라인에 대한 엑슨모빌 코포레이션(ExxonMobil Corporation)의 상표임), 비닐 또는 니트릴계 화합물과 같은 단단하면서도 유연한 재료로 만들어진다. 제 2 내부 층은 양호한 압축 및 감압 특성을 갖는 네오프렌 또는 다른 유사한 연질 및 스폰지/발포체 재료와 같은 연질 재료로 제조된다. 제 3 내부 층은 저지(Jersey) 또는 카메라 렌즈가 위치될 수 있는 렌즈 배럴의 마감을 보호하도록 설계된 다른 적절한 부드러운 천 재료로 만들어진다.
도 7은 일 실시예에 따라 스포츠 볼 및 개별 선수들의 스포츠 장비에 장착된 센서 모듈(402)을 도시한다. 센서 모듈(402)은 관성 측정 유닛(IMU)(702), 송수신기(704), 메모리(706) 및 전원(708)을 포함하며, 이들 모두 프로세서(710)에 동작 가능하게 연결된다. 바람직하게는 도 1에 도시된 바와 같이, 송수신기(704)는 mmW 송수신기(704)일 수 있다. 다른 실시예에서, 하나 이상의 센서 모듈(402) 컴포넌트가 생략되거나, 하나 이상의 추가 컴포넌트가 추가될 수 있다. 일반적으로, 센서 모듈(402)은 후속 처리 및 방송을 위해 이미지 캡쳐 장치에 의해 촬영된 원시 비디오 데이터 뿐만 아니라 스포츠 볼 및 선택적으로 개별 선수의 움직임과 관련된 원격 측정 메타 데이터를 수신하도록 구성된다.
IMU(702)는 가속도계 및 자이로스코프의 조합을 사용하여 스포츠 볼 및/또는 개별 선수의 속도, 가속도, 각 운동량 및 다른 원격 측정 메타 데이터를 측정 및 보고한다.
IMU(702) 내의 가속도계는 지구의 중력장에 기인한 가속도를 포함하여 스포츠 볼 및 개별 선수의 가속도를 측정할 수 있다. 일 실시예에서, IMU(702) 내의 가속도계는 3 개의 직교 방향으로 가속도를 측정할 수 있는 3 축 가속도계를 포함할 수 있다. 다른 실시예에서, 1, 2, 3 또는 그 이상의 별도의 가속도계가 IMU(702) 내에 포함될 수 있다.
움직이는 스포츠 볼의 각 운동량을 측정하는 것 외에, IMU(702)에 포함된 자이로스코프는, 또는 IMU(702)에 포함된 자이로스코프에 추가하여, 스포츠 볼의 회전과 무관하게 센서 모듈(402)의 회전을 유지하는 역할을 할 수 있다.
MmW 송수신기(704)는 스포츠 볼 및 개별 선수들의 스포츠 장비가 mmW 무선 신호들을 수신하고 후속 처리 및 방송을 위한 원시 비디오 푸티지 및 원격 측정 메타 데이터를 포함하는 데이터를 업로드하는 것을 허용할 수 있다. mmW 송수신기(704)는 또한 스포츠 볼 및 스포츠 장비의 위치 추적을 가능하게 하도록 구성될 수 있다. MmW 송수신기(704)의 다른 장치로의 데이터 전송 및 다른 장치로부터의 데이터 수신은, 예컨대, 다이나스트림 이노베이션즈(Dynastream Innovations)에 의한 ANT, ANT+, 블루투스, 블루투스 저전력 에너지 기술(Bluetooth Low Energy Technology), 블루로빈(BlueRabin), 또는 적절한 무선 퍼스널 또는 로컬 영역 네트워크 프로토콜 중 하나 이상의 프로토콜을 사용하여 개인 영역 네트워크 또는 근거리 통신망 상에서 일어날 수 있다.
일 실시예에서, mmW 기반 통신 시스템, mmW 기반 및 서브 6 GHz 기반 통신의 조합, 또는 16 GHz로 데이터를 제공하는 것이 바람직하지만 이에 한정되지는 않는 무선 근거리 통신망(WiFi)이 mmW 송수신기(704)에 의한 데이터 전송 및 수신용으로 사용된다. 다른 실시예에서, 4G 안테나 시스템이 mmW/서브 GHz 안테나 시스템을 지원하기 위해 사용될 수 있다.
메모리(706)는 애플리케이션 프로그램 명령들을 저장하고 이미지 캡쳐 장치에 의해 촬영된 원시 푸티지 뿐만 아니라 IMU(702)로부터의 스포츠 볼 및 개별 선수들의 원격 측정 메타 데이터를 저장하도록 구성될 수 있다.
전원(708)은 이미지 캡쳐 디바이스 및 센서 모듈(402)에 전력을 제공하도록 구성된다.
일 실시예에서, 전원(708)은 배터리일 수 있다. 전원(708)은 센서 모듈(402)에 내장되거나 센서 모듈(402)로부터 제거될 수 있으며, 충전식 또는 비충전식일 수 있다. 일 실시예에서, 센서 모듈(402)은 하나의 전원(708)을 또 다른 전원(708)으로 교체함으로써 전력을 재공급 받을 수 있다. 다른 실시예에서, 전원(708)은 퍼스널 컴퓨터에 부착된 범용 직렬 버스("USB"), 파이어와이어(FireWire), 이더넷, 썬더볼트 또는 헤드폰 케이블과 같은 충전 소스에 부착된 케이블에 의해 재충전될 수 있다. 또 다른 실시예에서, 전원(708)은 유도 충전에 의해 재충전될 수 있으며, 여기서 유도 충전기로부터 전원(708)로 에너지를 전달하기 위해 전자기장이 사용되며, 유도 충전기와 전원은 케이블을 통해 서로 연결될 필요 없이 가까운 위치에 놓이기만 하면 된다. 다른 실시예에서, 충전을 용이하게하기 위해 도킹 스테이션이 사용될 수 있다.
프로세서(710)는 센서 모듈(402)의 메모리(706)에 저장된 애플리케이션 프로그램을 구현하도록 구성될 수 있다. 프로세서(710)는 또한 원시 데이터 감소 또는 필터링과 같은 아날로그 또는 디지털 신호 처리 알고리즘을 구현할 수 있다. 예를 들어, 프로세서(710)는 IMU(702)로부터의 원시 데이터 및 이미지 캡쳐 장치로부터의 원시 비디오 푸티지를 수신하여 처리하도록 구성될 수 있다.
일 실시예에서, IMU(702)의 능력을 mmW 송수신기(704)에 의해 제공되는 위치 추적과 결합하면, 서브-센티미터 또는 서브-밀리미터 위치 및 방향 추적이 가능해질 수 있으며, 이는 클라이언트 장치의 실시간 위치 및 방향을 추적할 때 정확성을 증가시킬 수 있고, 일반 사용자 경험을 향상시킬 수 있다.
클라이언트 장치의 추적은 당업계에 공지된 여러 기술을 사용하여 수행될 수 있다. 예를 들어, 추적은 3 개 이상의 안테나로부터 수집된 정보를 사용하는 도래 시간(TOA) 추적 기술을 이용함으로써 수행될 수 있다. 그 다음 클라이언트 장치는 범위 내의 모든 안테나에서 수신된 신호를 보낸다. 그 다음 각 안테나는 신호가 전송된 시간부터 신호를 수신하는데 걸린 시간을 측정하여 클라이언트 장치의 위치를 삼각 측량한다. 다른 실시예에서, 클라이언트 장치의 추적은 TOA에서처럼 신호가 3개의 기지국에 도달하는데 걸리는 시간을 이용하는 대신, 클라이언트 장치 신호가 안테나에 도달하는 각도를 사용하는 도래각(AOA) 기술을 사용하여 수행될 수도 있다. 복수의 안테나(최소 3 개) 간의 도래각 데이터를 비교하여 클라이언트 장치의 상대 위치를 삼각 측량할 수 있다. 다른 실시예에서, 당업계에 공지된 다른 추적 기술(예를 들어, 시각적 이미징, 레이더 기술 등)이 사용될 수 있다.
도 8은 일 실시예에 따른 센서 모듈 내의 전원을 충전하기 위해 사용될 수 있는 볼 충전 시스템(800)을 도시한다.
일 실시예에 따르면, 볼 충전 시스템(800)은 유도 충전을 통해 전력을 제공할 수 있으며, 이 경우 유도 코일은 스포츠 볼(104)에 장착될 수 있고 볼 충전 장치(802)로 충전하기 위해 센서 모듈(402)의 전원(708)에 연결될 수 있다. 스포츠 볼(104)은 유도 코일의 위치를 표시하거나 그렇지 않으면 볼 충전 장치(802)로 충전하기 위한 스포츠 볼(104)의 최적 방항조절을 용이하게 하기 위한 외부 마킹(804)을 가질 수 있다.
도 9는 스포츠 피치(902) 아래에 장착된 무선 피치 데이터 전송 그리드(114)를 도시하는데, 이는 일 실시예에 따라 스포츠 볼(104)에 무선 데이터 연결을 제공하고 스포츠 볼(104)이 추가 처리 및 방송을 위해 데이터를 업로드하는 것을 허용할 수 있다. 무선 피치 데이터 전송 그리드(114)는 경도(X) 및 위도(Y) 축 모두에서 각각을 분리하는 약 2 미터의 거리에 위치된 상이한 데이터 송신/수신 노드(904)를 포함할 수 있다. 무선 피치 데이터 전송 그리드(114) 내의 각각의 데이터 송신/수신 노드(904)는 무선 데이터 전송을 가능하게하는 송수신기를 포함할 수 있다.
다른 실시예에 따르면, 무선 피치 데이터 전송 그리드(114)와 안테나(116)의 조합은 또한 향상된 연결성을 제공하고 데이터 업로드를 보장하기 위해 구현될 수 있다. 안테나(116)는 스포츠 피치(902) 주위에 장착될 수 있다.
또 다른 실시예에 따르면, 무선 피치 데이터 전송 그리드(114) 대신에 안테나(116)가 사용될 수 있다.
무선 피치 데이터 전송 그리드(114) 및 안테나(116)는 다양한 무선 시스템 통신, 바람직하게는 mmW 기반 통신, mmW 기반 및 서브 6 GHz 기반 통신의 조합, 또는 한정하는 것은 아니지만 바람직하게는 16GHz로 데이터를 제공하는 무선 근거리 통신(WiFi)을 가능하게 한다.
스포츠 볼(104)로부터 무선 피치 데이터 전송 그리드(114) 및/또는 안테나(116) 로의 전송 속도는 적어도 약 초당 5 기가바이트일 수 있다.
도 10은 일 실시예에 따른 데이터 처리 서버에 의해 수행되는 비디오 푸티지(1000)를 처리하고 합성하는 방법을 도시한다. 비디오 푸티지(1000)를 처리 및 합성하는 방법은 단계(1002)에서 스포츠 볼 및/또는 개별 선수에 장착된 이미지 캡쳐 장치로부터 원시 비디오 데이터 및 원격 측정 메타 데이터를 획득함으로써 시작될 수 있다. 이어서, 이 방법은 단계(1004)에서 월드 공간에서 실제 볼 방향을 판정하고, 단계(1006)에서 방향 데이터를 스타디움 카메라 시스템에 전송하고, 단계(1008)에서 스타디움 카메라 시스템으로부터 360° 액션-포커스 방송 데이터를 획득하고, 단계(1010)에서 카메라 푸티지 선택/폐기 규칙을 적용하고, 단계(1012)에서 데이터 방송 트리거링 규칙을 적용하고, 그리고 시청자에게 프리젠테이션을 위한 장면을 재구성하기 위해 단계(1014)에서 다른 비디오 처리 기술을 통해 원시 데이터를 처리(예를 들어, 합성/필터링)한다.
다른 비디오 처리 기술들(1014)을 통해 원시 데이터를 처리하는 단계는 스포츠 볼(104) 및 개별 선수(106)의 스포츠 장비(108)에 장착된 이미지 캡쳐 장치(110)로부터 나오는 원시 데이터(112) 및 스타디움 카메라 시스템으로부터의 360° 액션-포커스 방송 데이터를 합성/필터링하는 단계를 포함할 수 있다.
도 11은 일 실시예에 따라 월드 공간(1002)에서 실제 볼 방향을 판정하는 방법을 도시한다. 월드 공간(1002)에서 실제 볼 방향을 판정하는 방법에 의해 얻어진 데이터는 궁극적으로 스포츠 볼(104)의 관점으로부터의 푸티지를 방송하기 위한 한 세트의 카메라 푸티지 선택/폐기 규칙, 비디오 필터링 및 다른 비디오 처리 기술과 결합될 수 있다. "월드 공간"은 스포츠 볼이 체육 활동 중에 진행할 수 있는 스포츠 볼 외부의 임의의 물리적 영역을 의미한다.
월드 공간(1002)에서 실제 볼 방향을 판정하는 방법은 도 7에서 설명 된 센서 모듈(402)의 IMU(702)에 의해 캡쳐된 가속 데이터에 기초하여 수행될 수 있는, 단계(1102)에서 스포츠 볼의 움직임을 검출함으로써 시작될 수 있다. 예를 들어, 축구 공의 경우, 검출된 움직임은 선수가 걷어찬 결과로 지면상을 구르거나 공기 중으로 날아가는 축구공을 포함할 수 있다.
이어서, 그리고 추적할 움직임의 발생의 판정에 응답하여, 스포츠 볼의 초기 공간 방향이 단계(1104)에서 판정될 수 있으며, 이는 좌표축 시스템을 참조하여 이루어질 수 있다. 단계(1104)에서 스포츠 볼의 초기 공간 방향의 판정은 중력 벡터 또는 지구 자기장 벡터에 대하여 이루어질 수 있다. 축구공의 경우, 추적될 특정 동작에 대한 스포츠 볼의 초기 공간 방향의 판정은, 예를 들어, 사용된 알고리즘에 따라 개인이 축구공을 걷어차는 순간 또는 그 이전 또는 직후에 축구공의 공간적 방향으로서 정의될 수 있다.
그 후, 중력 벡터 또는 자기장의 방향 변화에 관한 추가 정보가 추가로 고려될 수 있다는 것을 제외하면, 단계(1104)에서 스포츠 볼의 초기 공간 방향을 판정하는 것과 유사한 방식으로, 단계(1106)에서 공간 방향의 변화가 판정될 수 있다.
그 다음, 단계(1108)에서 스포츠 볼 원격 측정 메타 데이터의 판정이 수행될 수 있다. 원격 측정 메타 데이터는 볼 속도, 볼 스핀 속도, 볼 스핀 축 및 볼 론칭 각도 데이터를 의미할 수 있으며, 이들은 모두 IMU에 의해 캡쳐된 정보이거나 IMU에 의해 캡쳐된 데이터로부터 데이터 처리 서버에 의해 추론되는 정보이다. 이미지 캡쳐 장치로부터의 이미지 캡쳐 장치에 의해 촬영된 고속 비디오 푸티지, 초기 공간 방향 및 스포츠 볼의 공간 방향 변화와 관련된 원격 측정 메타 데이터는 단계(1110)에서 월드 공간 내에서의 실제 볼 방향을 얻기 위해 데이터 처리 서버에 의해 분석될 수 있다. 월드 공간에서 실제 볼 방향을 얻기 위한 적절한 분석 기술은 여러 가지 중에서 회귀 분석을 포함한다.
도 12는 일 실시예에 따른 고밀도, 고품질 및 균일하게 타게팅된 방송 데이터를 데이터 처리 서버에 제공하기 위해 사용될 수 있는 스타디움 카메라 시스템(120)을 도시한다. 스타디움 카메라 시스템(120)은 스포츠 피치(902) 주변의 스타디움(1202)의 영역에 배치되고 스포츠 피치(902)에서 발생하는 액션을 기록하도록 구성된 복수의 액션-포커스 카메라(124)를 갖는 배열을 포함할 수 있다. 데이터 처리 서버에 의해 전송된 방향 데이터(122)는 스타디움 카메라 시스템(120)이 스포츠 피치(902)에서 일어나는 액션을 캡쳐하기 위해 액션-포커스 카메라(124) 각각의 회전, 초점 및 줌을 제어하기 위한 명령으로서 역할한다. 일부 실시예에서, 액션-포커스 카메라(124)는 그 위에 장착된 하나 이상의 LIDAR 장치를 포함한다. LIDAR 장치는 스포츠 피치(902)에서 발생하는 액션의 정확한 거리 및 깊이 정보를 제공할 수 있다. LIDAR 장치로부터 획득된 데이터는 추후 처리를 위해 데이터 처리 서버에 다시 전송되는 360도 액션-포커스 방송 데이터(126)에 포함될 수 있다.
스타디움 카메라 시스템(120)을 설명하기 위해 원형 스타디움(1202)을 사용한 도 12에서, 36 개의 액션-포커스 카메라(124)는 스포츠 피치(902) 내의 액션을 팔로우잉하도록 구성된다. 36 개의 액션-포커스 카메라(124) 각각은 적어도 10 도의 시야, 합쳐서 360도 방송 커버리지를 커버하기 위해 사용될 수 있다. 그러나, 필요한 시야 커버리지 내에서의 각각의 보상과 함께 더 많거나 더 적은 수의 액션-포커스 카메라(124)가 사용될 수 있다. 또한, 타원형, 직사각형, 정사각형, 오각형 등을 포함하는 원형 이외의 다른 형상이 스타디움(1202)에 사용될 수 있다.
일 실시예에 따르면, 스타디움 카메라 시스템(120)은 스포츠 경기의 가장 적절한 액션이 발생하는 스포츠 필드 내의 영역을 포함하는 구형 포커스 존(1204)을 포착하도록 구성된다. 구형 포커스 존(1204)의 직경은 스타디움 카메라 시스템(120)의 초기 구성에 의존할 수 있다. 이 구성은 다양한 스포츠 경기 우선 순위에 의존할 수 있다. 일 실시예에서, 보다 작은 구형 포커스 존(1204)을 위해 구성된 스타디움 카메라 시스템(120)은 스포츠 볼(104) 주위로 약 2 내지 10 미터 내의 영역에 집중하는 것에 기초할 수 있다. 다른 실시예에서, 보다 큰 구형 포커스 존(1204)을 위해 구성된 경기장 카메라 시스템(120)은 액션에 비교적 가깝게 위치한 개별 선수(106)를 고려할 때 스포츠 볼(104) 주위로 약 10 및 50 미터 내의 영역에 집중하는 것에 기초할 수 있다.
다른 실시예에 따르면, 구형 포커스 존(1204)은 정적일 수도 있고 또는 동적일 수 있다. 정적 구형 포커스 존(1204)의 경우, 구형 포커스 존(1204)의 직경은 고정될 수 있는데, 이는 스타디움 카메라 시스템(120)의 초점이, 발생하는 액션의 유형과 무관하게, 항상 스포츠 볼(104) 주위로 약 2 내지 10 미터 내에서 발생하는 액션에 있거나, 또는 액션에 비교적 가깝게 위치하는 개별 선수(106)를 고려하는 경우 스포츠 볼(104) 주위로 약 10 내지 50 미터 내에서 일어나는 액션에 있을 수 있음을 의미한다. 다른 한편으로, 동적 구형 포커스 존(1204)의 경우, 구형 포커스 존(1204)은 발생하는 액션에 따라 직경이 증가 또는 감소할 수 있다. 예를 들어, 축구 경기의 경우, 골 킥 또는 프리킥은 구형 포커스 존(1204)의 확장을 트리거할 수 있고, 페널티 킥은 구형 포커스 존(1204)의 축소를 트리거 할 수 있다.
일 실시예에 따르면, 스타디움 카메라 시스템(120)은 구형 포커스 존(1204)이 액션-포커스 카메라(124)에 대하여 어디에 위치되는지에 따라 액션-포커스 카메라(124) 각각의 회전, 초점 및 줌을 보상하고 수정하도록 구성될 수 있다. 액션-포커스 카메라(124) 각각의 회전, 초점 및 줌의 보상 및 수정은 데이터 처리 서버로 다시 보내질 매우 균일한 360도 액션-포커스 방송 데이터(126)를 얻기 위해 수행된다. 이 실시예에서, 액션-포커스 카메라(124) 각각은, 시간상 임의의 특정 순간에, 상이한 레벨의 회전, 초점 및 줌을 사용하는 구형 포커스 존(1204) 내의 액션을 기록할 수 있다. 예를 들어, 구형 포커스 존(1204)이 특정 그룹의 액션-포커스 카메라(124)에 근접하게 위치되면, 이들 액션-포커스 형 카메라(124) 각각으로부터의 줌 및 초점 파라미터는 구형 포커스 존(1204)으로부터 더 멀리 위치된 액션-포커스 카메라(124)로부터의 줌 및 포커스 파라미터보다 낮을 수 있다. 마찬가지로, 구형 포커스 존(1204)이 초기에 구형 포커스 존(1204)에 근접하게 위치했던 특정 그룹의 액션-포커스 초점 카메라(124)로부터 멀어지게 이동하면, 이들 액션-포커스 카메라(124) 각각으로부터의 줌 및 초점 파라미터는 이전보다 커질 수 있다. 액션-포커스 카메라(124)의 회전은 또한 구형 포커스 존(1204)의 위치에 의존할 수 있다. 회전, 줌 및 초점 파라미터의 보정 및 수정을 수행하기 위해, 각각의 액션-포커스 카메라(124)와 구형 포커스 존(1204) 사이의 거리 및 위치는 데이터 처리 서버에 의해 측정되고, 회전, 줌 및 초점 보상을 달성하기 위한 하나의 세트의 실시간 명령으로서 스타디움 카메라 시스템(120)에 제공된다. 또한, 액션-포커스 카메라(124)는 스포츠 경기트의 시작 전 또는 시작 시에 캘리브레이션 될 필요가 있을 수 있다.
또한, 도 13a 및 도 13b는 일 실시예에 따른, 하나의 세트의 카메라 푸티지 선택/폐기 규칙에 기초하여 데이터 처리 서버에 의해 수행될 수 있는 볼 공간(1300) 내의 카메라 푸티지 선택/폐기의 도면을 도시한다. 본 명세서에서 사용되는 "볼 공간"은 복수의 이미지 캡쳐 장치(110)가 장착된 스포츠 볼(104)을 덮는 외부 공간을 지칭한다. 볼 공간(1300) 내의 카메라 푸티지 선택/폐기는 무선 피치 데이터 전송 그리드(114)를 통해 각각의 이미지 캡처 장치(110)에 의해 데이터 처리 서버로 전송된 이미지를 처리하기 위해 수행될 수 있고, 이는 시청자에게 방송될 최종 푸티지에 가치를 더할 수 있는 영상만 선택한다. 데이터 처리 서버에 의해 수행되는 처리는 스포츠 볼(104)상의 이미지 캡쳐 장치(110)에 의해 이미 보내졌거나 보내지고 있는 푸티지 데이터에 대해 수행된다는 점에 유의해야 한다. 하나 이상의 트리거, 예컨대, 스포츠 필드상의 경기에 기초하여, 데이터 처리 서버는 하나 이상의 이미지 캡쳐 장치(110) 각각으로부터 취해질 푸티지의 세그먼트들을 판정할 수 있다. 따라서, 스포츠 볼(104)은 처리 서버(104)에 의해 수행되는 처리를 방해하지 않으면서 새로운 푸티지를 기록하는 동안 스포츠 필드의 다른 장소로 계속 이동하거나 또는 회전할 수 있다.
볼 공간(1300) 내의 카메라 푸티지 선택/폐기가 기초로 하는 규칙 세트는(예를 들어, 도 11을 참조하여 기술된 월드 공간(1002)에서 실제 볼 방향을 판정하는 방법 또는 임의의 다른 적절한 방법에 의해) 실제 볼 방향이 판정된 후에 보다 쉽게 적용될 수 있고, 이는 데이터 처리 서버가 시청자에게 방송하는 것과 관련된 주어진 세트의 카메라 푸티지에 집중할 수 있게 한다.
도 13a 및도 13b에서, 다양한 이미지 캡쳐 장치(110)는 시계 방향 회전(1304)과 함께 월드 공간에서 좌측에서 우측으로 설정된 방향(1302)으로 진행하는 스포츠 볼(104) 상에 장착된 동안 푸티지를 기록하고, 실시간으로 그 푸티지를 처리 서버로 보낸다. 그 다음, 도 13a에 도시된 바와 같이, 데이터 처리 서버에 의해 판정된 특정 장면을 재구성하기 위한 충분한 카메라 푸티지가 데이터 처리 서버로 전송되면, 카메라 푸티지 선택 규칙은 카메라 푸티지 선택 규칙을 준수할 때 카메라(1)로부터의 푸티지를 선택하는 한편, 카메라(2)로부터의 푸티지는 카메라 푸티지 폐기 규칙에 따르는 이미지를 포함하는 경우 폐기될 수 있다. 그 다음, 도 13b에 도시된 바와 같이, 카메라(1)가 캡쳐한 이미지가 카메라 푸티지 선택 규칙을 따르지 않고 그러므로 카메라 푸티지 폐기 규칙을 따른다면, 카메라(1)로부터의 푸티지는 폐기되고 카메라(2)로부터의 푸티지가 처리된 푸티지 편집본에 추가될 수 있다.
일 실시예에 따르면, 푸티지는 주어진 세트의 비디오 프레임에 대한 볼 공간 내의 하나의 이미지 캡쳐 장치(110)로부터 선택될 수 있다.
또 다른 실시예에 따르면, 볼 공간 내의 상이한 위치 및 각도로부터 하나 이상의 이미지 캡쳐 장치(110)에 의해 동시에 기록된 상이한 푸티지가 주어진 세트의 비디오 프레임에 대해 선택될 수 있다. 주어진 프레임 세트에 대해 하나 이상의 이미지 캡쳐 장치(110)로부터의 푸티지를 기록하는 것은 시청자에게 선택 및 방송하기 위해 가능한 처리된 푸티지 세트의 더 많은 수를 비디오 제어 오퍼레이터(도시되지 않음)에게 제공할 수 있다.
도 14는 일 실시예에 따른, 데이터 처리 서버에 의해 수행될 수 있는 카메라 푸티지 선택/폐기 규칙(1400)의 샘플 세트를 도시한다. 도 14에서, 카메라 푸티지선택/폐기 규칙(1400)은 일례로서 축구공을 사용하여 설명된다. 그러나, 스타디움 내에서 발생하는 스포츠 또는 활동에 따라 카메라 푸티지 선택/폐기 규칙이 다를 수 있음이 이해될 것이다. 따라서, 한 세트의 카메라 푸티지 선택 규칙(1402)은 축구공이 아래와 같은 상태에 있을 때 이미지 캡쳐 장치로부터의 카메라 푸티지를 선택하는 단계를 포함할 수 있다.
● 골(1404) 부근, 축구 공이 골에 비교적 근접하게 위치할 때;
● 관중(1406) 부근, 축구 공이 코스를 벗어나 축구장 벋어나 관중(1406)을 향해 갈 때;
● 한 명 이상의 선수(1408) 부근, 축구 공의 궤적이 한 명 이상의 선수를 향할 때.
주목할 수 있는 바와 같이, 카메라 푸티지 선택 규칙(1402)은 오직 관련 이미지를 기록하는 이미지 캡쳐 장치로부터의 푸티지만이 최종 비디오 방송을 위해 고려된다는 것을 보장할 수 있다.
원시 데이터의 분석 및 처리 후에 얻어진 처리된 데이터는 특정 장면(예컨대, 패널티 슛아웃의 리플레이, 심판의 판결과 관련된 시퀀스 등)을 재구성하기 위해 사용될 수 있고, 그 다음 디스플레이 또는 시청자의 즐거움을 위한 다른 시청 수단 상에 방송될 수 있다.
마찬가지로, 한 세트의 카메라 푸티지 폐기 규칙(1410) 또한 고려될 수 있다. 카메라 푸티지 폐기 규칙(1410)의 세트는 다음을 향하는 이미지 캡쳐 장치로부터의 카메라 푸티지를 폐기하는 것을 포함할 수 있다.
● 하늘/지붕(1412);
● 스포츠 볼(1414)과 직접 접촉하는 지면; 및,
● 축구광과 가깝게 위치한 광고판과 같은 장애물(1416).
이해할 수 있는 바와 같이, 카메라 푸티지 폐기 규칙(1410)은 시청자에게 어떠한 가치도 제공하지 않을 수 있는 이미지를 제거하는 것에 기초하여 작동한다.
도 15는 리플레이 형태로 데이터 처리 서버에 의한 데이터 방송을 트리거 할 수 있는 데이터 방송 트리거링 규칙(1500)의 샘플 세트를 나타낸다. 현재의 개시물에서, 리플레이는 시청자에게 방솔될, 스포츠 볼에 장착된 이미지 기록 장치, 선수의 스포츠 장비 또는 스타디움 카메라로부터 얻어진 원시 푸티지를 기반으로 재구성된 장면을 의미한다. 따라서, 데이터 방송 트리거링 규칙(1500)은 리플레이 형태로 장면을 재구성하기 위해 수신된 푸티지의 특정 부분을 선택하고 처리하도록 데이터 처리 서버를 트리거링한다. 도 15에서, 축구 경기의 샘플 경우에서 데이터 방송 트리거링 규칙(1500)으로서 역할할 수 있는 각각의 시나리오가 도시되어 있다. 그러나, 다른 데이터 방송 트리거링 규칙(1500)이 스타디움에서 일어나는 다른 유형의 스포츠 또는 엔터테인먼트 이벤트에서 방송 시스템을 사용할 때 데이터 방송을 트리거하는데 사용될 수 있다. 도 15에 도시된 시나리오들 중 단지 하나만이 단일 시점에 발생할 수 있음을 이해해야 한다. 이벤트가 데이터 방송 트리거링 규칙(1500)을 트리거 할 때마다, 데이터 처리 서버(118)는 데이터 방송 트리거링 이벤트를 처리 및 방송하기 위한 명령을 통해 무선 피치 데이터 전송 그리드를 통해 스포츠 볼 또는 스포츠 장비로부터 신호를 수신한다.
데이터 방송 트리거링 규칙(1500)의 예는, 도 15에 도시된 바와 같이, 다음을 포함한다.
● 개별 선수(106)가 상대 팀쪽 스포츠 피치(902) 절반부에 있고 또한 축구공 및 가장 가까운 상대편 이둘 모두 보다 상대 골 라인(1504)에 더 가까울 때 발생하는 오프사이드(1502). 오프사이드 데이터 방송 트리거링 규칙(1500)이 데이터 방송을 트리거하기 위해서는, 오프사이드(1502) 위치에 있는 개별 선수가 착용한 스포츠 장비의 센서 모듈에 의해 방출된 지리적 위치 데이터가 수집되며, 스포츠 피치(902) 내의 다른 개별 선수로부터의 지리적 위치 데이터와 비교 체크된다.
● 축구공이 골 포스트(1508) 사이의 골 라인(1504)을 완전히 통과했을 때 발생하는 골(1506). 골 데이터 방송 트리거링 규칙(1500)이 데이터 방송을 트리거하기 위해서는, 축구공의 센서 모듈에 의해 방출된 지리적 위치 데이터가 수집되며, 골 포스트(1508) 사이의 골 라인(1504)의 위치와 비교 체크된다.
● 축구공이 경기장(902)의 측면 경계(1512)를 완전히 통과했을 때 발생하는 아웃 오브 바운즈(out of bounds)(1510). 아웃 오브 바운즈 데이터 방송 트리거링 규칙(1500)이 데이터 방송을 트리거하기 위해는, 축구공의 센서 모듈에 의해 방출된 지리적 위치 데이터가 수집되고, 경기장(902)의 측면 경계(1512)의 위치와 비교 체크된다.
● 골(1506)이 득점되지 않고 수비 선수에 의해 마지막으로 터치된 축구공이 골 라인(1504)을 가로질렀을 때 발생하는 코너킥(1514). 코너킥(1514)이 데이터 방송을 트리거링하기 위해서, 축구공의 센서 모듈에 의해 방출된 지리적 위치 데이터가 수집되고 골 라인(1504)의 위치와 비교 체크되며, 공과 접촉한 마지막 선수(106)가 공격측 선수인지 또는 수비측 선수인지 여부가 고려된다.
인식할 수 있는 바와 같이, 일반적으로, 데이터 방송 트리거링 규칙(1500)은 시청되는 스포츠 경기의 규칙에 특정된 이벤트를 기초로 하고 그것과 연관된다.
도 16은 일 실시예에 따른, 비디오 푸티지 합성/필터링(1600)의 도면을 도시한다. 도 16에서, 스포츠 볼에 장착된 복수의 이미지 캡쳐 장치(110) 및/또는 스포츠 장비상의 이미지 캡쳐 장치로부터 수신된 원시 비디오 푸티지(1602)는 적어도 100FPS의 높은 프레임 속도로 수신된다. 이 원시 비디오 푸티지(1602)는 카메라 푸티지 선택/폐기 규칙(예를 들어, 도 14의 카메라 푸티지 선택/폐기 규칙(1400)), 데이터 방송 규칙, 비디오 노이즈 필터링 방법 및 다른 적절한 비디오 처리 기술의 구현에 의해 합성/필터링 된 후, 적어도 24FPS의 낮은 프레임 속도로 처리된 데이터(128)를 생성한다.
다양한 실시예에 따라, 생성된 처리된 데이터(128)는 스포츠 볼의 관점, 개별 선수의 관점, 스타디움 카메라 시스템으로부터 얻어진 360도 액션-포커스 뷰 또는 이들의 조합으로부터 선택될 수 있다. 예를 들어, 페널티 슛아웃의 방송 리플레이는 축구공의 관점으로부터의 수 초의 영상, 페널티 킥을 하는 개별 선수의 관점으로부터의 수 초의 영상, 축구공을 막으려 시도하는 골키퍼의 관점으로부터의 수 초의 영상, 및 스타디움 카메라 시스템에 의해 얻어진 관점으로부터의 수 초의 영상을 포함할 수 있다.
도 17은 일 실시예에 따른, 시청자의 맴버와 같은 사용자에게 다양한 경험을 제공하기 위한 AR/VR/MR 방송 시스템(1700)을 도시한다. AR/VR/MR 방송 시스템(1700)의 실시예에서, 액션 관점 데이터 캡쳐 모듈(1702)은 스포츠 볼(1704) 및 스포츠 장비(1710) 상에 장착된 이미지 캡쳐 디바이스(1708)를 갖는 하나 이상의 개별 선수(1706)를 포함하고, 후속 분석 및 처리를 위해 원시 비디오 푸티지 및 원격 측정 메타 데이터와 같은 원시 데이터(1712)를 캡쳐 및 전송하도록 구성된다. 원시 데이터(1712)는 무선 피치 데이터 전송 그리드(1716) 및/또는 안테나(1718)에 업로드된 후 처리/렌더링 서버(1714)로 전송된다. 이 단계에서, 처리/렌더링 서버(1714)는 수신된 원시 데이터(1712)를 분석 및 처리하고, 복수의 자동 초점 카메라를 포함하는 스타디움 카메라 시스템(1722)으로 전송될 방향 데이터(1720)를 생성하고, 스타디움 카메라 시스템(1722)은, 데이터 처리 서버에 의해 전송된 방향 데이터를 기초로, 스포츠 볼, 개별 선수 또는 이들의 조합의 위치에 의해 결정되는 구형 포커스 존을 중심으로 한 360도 시야를 커버하는 균일한 액션 커버리지를 생성하기 위해 카메라의 회전, 초점, 및 줌을 자동 보상 및 조절하여, 처리/렌더링 서버(1714)로 다시 전송되는 360도 액션-포커스 방송 데이터(1724)를 생성한다.
그 다음, 처리/렌더링 서버(1714)는 데이터 방송 트리거링 규칙, 잡음 필터링 방법 및 다른 비디오 처리 및 렌더링 기술을 적용하여, 원시 데이터(1712) 및 360도 액션-포커스 방송 데이터(1724)를 처리된 데이터(1726)로 처리하여 컨택스트 풀 시나리오를 생성한다. 이러한 컨텍스트-풀 시나리오는 AR/VR/MR 헤드셋(1732)과 같은, 적절한 사용자 장치를 통해 시청자의 구성원과 같은 사용자(1730)의 즐거움을 위해 AR/VR/MR 경험(1728)을 생성하는데 사용될 수 있다.
일 실시예에 따르면, 개별 선수(1706)를 통한 AR/VR/MR 경험(1728)의 경우, AR/VR/MR 방송 시스템(1700)은 상기 개별 선수(1706)의 운동 기술을 훈련시키기 위해 뿐만 아니라 페널티 슛아웃을 위해 하나 이상의 개별 선수(1706)를 정신적으로 준비하는 것과 같은 심리적 컨디셔닝을 제공하기 위해 사용될 수 있다. AR/VR/MR 방송 시스템(1700)을 통해, 처리/렌더링 서버(1714)는 가상 현실/증강 현실 트레이닝 센터에서 사용될 수 있는 개인화 된 트레이닝 프로그램으로서 역할하는 이전 매치로부터의 시나리오를 재현할 수 있다.
다른 실시예에 따르면, 시청자의 멤버에게 제공되는 AR/VR/MR 경험(1728)의 경우에, AR/VR/MR 방송 시스템(1700)은 시청자의 멤버가 한 명 이상의 개별 선수(1706)의 관점 및/또는 스포츠 볼(1704)의 관점으로부터의 리플레이의 방송을 보고 경험할 수 있게 한다.
다른 실시예에 따르면, 처리/렌더링 서버(1714)는 시청자의 멤버와 같은 사용자(1730)가 추가 AR/VR/MR 경험(1728)을 즐기기 위해 상호작용할 수 있는 증강 현실 볼륨을 생성할 수 있다. 이러한 상호작용형 증강 현실 볼륨은 개별 선수(1706)의 높이 및 형상을 계산하기 위해 스포츠 장비(1710)에 적용된 거리 보간법에 의해 생성될 수 있다. 이 실시예에서, 콘텐츠 데이터베이스(1736)는 스포츠 피치(1734) 뿐만 아니라 모든 개별 선수(1706)로부터의 정보를 포함한다. 개별 선수(1706)와의 AR 상호작용의 형태는 선수 통계, 하이라이트, 일대기 등을 보는 것을 포함할 수 있다. 스포츠 피치(1734)와의 AR 상호작용의 형태는 이력, 크기 및 용량, 통계, 하이라이트 등을 포함하는 스포츠 피치(1734) 및 스타디움에 대한 추가 세부사항을 보는 것을 포함할 수 있다. 스포츠 볼(104)과의 AR 상호작용의 형태는 다른 것들 중에서 특히 볼 속도, 볼 회전 속도, 볼 회전 축 및 볼 론칭 각도 데이터와 같은 현재 스포츠 볼(104)의 운동 데이터를 포함할 수 있다. 다른 실시예에서, 초기 AR 상호작용은 또한 AR/VR/MR 헤드셋(1732)을 통해, 하나 이상의 개별 선수(1706)상의 이미지 캡쳐 장치(1708)에 의해 캡쳐된 데이터를 이용하여 하나 이상의 개별 선수(1706)의 관점에서 스포츠 경기를 볼 수 있는 것과 같은, VR/MR 상호작용을 유도하는 옵션을 포함할 수 있다.
다른 실시예에 따르면, 스타디움 카메라 시스템(1722) 내의 각각의 액션-포커스 카메라(1738)의 회전, 초점 및 줌의 보상 및 수정은 처리/렌더링 서버(1714)가 처리하고 렌더링하는 360도 액션-포커스 방송 데이터(1724)를 생성하여, AR/VR/MR 헤드셋(1732)을 통해 사용자(1730)가 볼 수 있는, 경기장(1734)에서 일어나는 액션을 중심으로 360도 AR/VR/MR 경험(1728)을 생성한다. 또한, 이 실시예에서 추가적으로, 원래의 스타디움에서 일어나는 스포츠 경기의 액션을 하나 이상의 원격 스타디움으로 시뮬레이션하기 위해, 360도 AR/VR/MR 경험(1728)은 클라우드 서버를 통해 하나 이상의 원격 스포츠 스타디움들과 공유될 수 있다. AR/VR/MR 경험(1728)이 경기장 간에 공유되는 경우, 하나 이상의 타겟 원격 스타디움의 스포츠 피치(1734)는 원래 스타디움의 스포츠 피치(1734)에 대해 맵핑되고 처리된 데이터(1726)와 중첩될 수 있고, 사용자(1730)에게 원래의 스타디움에 있는 것과 유사한 느낌을 줄 수 있다.
시뮬레이션 엔진을 통해 증강 현실을 제공하기위한 시스템 및 방법은 본 개시물의 동일한 발명자에 의해 2012 년 11 월 29 일에 출원 된 미국 가등록 공개 번호 제 2013/0218542 호에 개시되어 있으며, 이는 참조로 본 명세서에 통합된다. 또한, 본 발명의 동일한 발명자에 의해 2013 년 8 월 22 일에 출원된 미국 가등록 공개 번호 제 2013/0215229 호는 실제 장면의 기록에 기초하여 가상 현실 환경을 생성하는 시스템 및 방법을 개시하며, 이는 참조로 본 명세서에 통합된다.
또한, 본 출원의 주제는 2014 년 5 월 14 일에 출원된 "스포츠 볼 운동 활동 모니터링 방법 및 시스템"이라는 제목의 미국 가등록 특허 출원 제 2015/0328516 A1 호의 주제와 관련되어 있다. 부록을 포함하여 이 출원은 본 명세서에 참고로 통합되다.
특정 실시예가 첨부 된 도면에 도시되고 설명되었지만, 그러한 실시예는 단지 본 발명의 예시일 뿐 본 발명을 제한하지 않으며, 본 발명은 도시되고 기술 된 특정 구조 및 배열에 제한되지 않는데, 이는 당업자에게 다양한 다른 변형이 발생할 수 있기 때문이다. 따라서, 이 설명은 제한이 아니라 예시를 위한 것으로 간주되어야 한다.

Claims (20)

  1. 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템으로서,
    상기 스포츠 볼 내에 장착되고, 상기 스포츠 볼의 궤적 및 운동의 원시 비디오 푸티지를 기록하는 하나 이상의 이미지 캡쳐 장치;
    상기 스포츠 볼 내에 장착되어 상기 스포츠 볼의 궤적 및 운동의 상기 원시 비디오 푸티지를 수신하고, 상기 스포츠 볼의 원격 측정 메타 데이터를 생성하고, 그리고 데이터를 무선 송신하는 센서 모듈;
    처리된 비디오 푸티지를 위한 보상 원시 비디오 데이터를 제공하기 위해 개별 선수에 의해 착용 가능한 스포츠 장비에 장착된 하나 이상의 이미지 캡쳐 장치;
    후속 처리 및 방송을 위해 데이터 처리 서버에 업로드하기 위한 데이터를 수신하기 위해, 상기 스포츠 볼 및 개별 선수가 착용하는 스포츠 장비 상의 이미지 캡쳐 장치에 통신 가능하게 연결된 무선 송수신기 허브;
    업로드된 데이터를 처리하고 스타디움 카메라 시스템으로 전송되는 방향 데이터를 생성하기 위해 상기 무선 송수신기 허브에 통신 가능하게 연결된 데이터 처리 서버; 및
    상기 데이터 처리 서버에 통신 가능하게 접속되고, 상기 데이터 처리 서버에 의해 송신된 상기 방향 데이터를 사용하여 상기 데이터 처리 서버로 다시 전송되는 실시간 360도 액션-포커스 방송 데이터를 획득하는 스타디움 카메라 시스템을 포함하고,
    상기 데이터 처리 서버는 상기 스포츠 볼, 개별 선수 및 스타디움 카메라 시스템으로부터 수신된 푸티지를 합성 및 필터링하고 시청자에게 방송하기 위한 장면을 재구성하기 위해 카메라 푸티지 선택 및 폐기 규칙 및 데이터 방송 트리거링 규칙을 적용하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  2. 제 1 항에 있어서, 상기 무선 송수신기 허브는 무선 스포츠 피치 전송 그리드 및/또는 스포츠 피치 주위에 배치된 송수신기를 포함하며, 상기 무선 송수신기 허브는 mmW 기반 통신 시스템, mmW 기반 및 서브 6 GHz 기반 통신 시스템의 조합 또는 무선 로컬 영역 네트워킹(WiFi) 시스템을 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  3. 제 1 항에 있어서, 상기 스타디움 카메라 시스템은 균일한 액션 커버리지를 생성하기 위해 회전, 초점 및 줌을 자동 보상하고 조절하고, 상기 스포츠 볼 및, 선택사항으로서 개별 선수의 위치에 의해 결정되는 구형 포커스 존을 중심으로 하는 360도 시야를 커버하는 복수의 액션-포커스 카메라를 포함하고, 그리고 상기 구형 포커스 존은 고정 직경 또는 스포츠 필드에서 일어나는 액션에 기초하여 결정될 수 있는 가변 직경을 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  4. 제 3 항에 있어서, 상기 스타디움 카메라 시스템의 상기 복수의 액션-포커스 카메라는 자신에게 장착된, 스포츠 피치 내에서 일어나는 액션의 정밀한 거리 및 깊이 정보를 제공하도록 구성된 LIDAR(Light Detection and Ranging)를 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  5. 제 3 항에 있어서, 상기 스타디움 카메라 시스템의 상기 복수의 액션-포커스 카메라는 스포츠 피치 상에서 일어나는 액션으로부터 발생하는 사운드 데이터를 기록 및 재생하도록 각각 구성된 마이크로폰 및 라우드 스피커를 포함하는 전기 음향 변환기를 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  6. 제 1 항에 있어서, 방송을 위한 처리된 푸티지는 이미지 데이터, 3D 기하학적 형상, 비디오 데이터, 텍스트 데이터, 햅틱 데이터, 오디오 데이터, 또는 이들의 조합을 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  7. 제 1 항에 있어서, 연질 폴리머 재료의 하나 이상의 층이 카메라 렌즈에 손상 및 충격 보호를 제공하기 위해 상기 이미지 캡쳐 장치의 카메라 렌즈의 상부에 장착된 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  8. 제 1 항에 있어서, 상기 센서 모듈은:
    관성 측정 유닛(IMU);
    하나 이상의 밀리미터 파(mmW) 송수신기;
    메모리;
    전원; 및
    프로세서를 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  9. 제 8 항에 있어서, 상기 IMU는 가속도계 및 자이로스코프의 조합을 사용하여 상기 스포츠 볼의 속도, 가속도, 각 운동량 및 다른 원격 측정 메타 데이터를 측정 및 보고하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  10. 제 9 항에 있어서, 상기 자이로스코프는 상기 스포츠 볼의 회전과는 독립적으로 상기 센서 모듈의 회전을 유지하도록 구성된 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  11. 제 8 항에 있어서, 상기 mmW 송수신기는 상기 스포츠 볼의 위치 추적을 가능하게 하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  12. 제 8 항에 있어서, 상기 mmW 송수신기는 상기 스포츠 볼이 상기 무선 송수신기 허브를 통해 상기 데이터 처리 서버에 원시 데이터를 업로드하는 것을 가능하게 하며, 상기 원시 데이터는:
    상기 스포츠 볼의 관점으로부터 캡쳐된 원시 비디오 푸티지; 및
    상기 스포츠 볼의 원격 측정 메타 데이터를 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  13. 제 8 항에 있어서, 상기 메모리는 데이터를 저장하도록 구성되고, 상기 데이터는:
    애플리케이션 프로그램 명령어;
    상기 스포츠 볼의 원격 측정 메타 데이터; 및
    상기 스포츠 볼에 장착된 상기 하나 이상의 이미지 캡쳐 장치에 의해 촬영된 원시 비디오 푸티지를 포함하는 것을 특징으로 하는 체육 활동 중에 스포츠 볼 및 개별 선수의 궤적 및 운동을 기록하고 방송하는 시스템.
  14. 데이터 처리 서버에 의해 수행되는 비디오 푸티지를 처리하고 합성하는 방법으로서, 상기 방법은:
    스포츠 볼에 장착된 센서 모듈로부터 원격 측정 메타 데이터를 얻고, 상기 스포츠 볼 및 개별 선수에 장착된 이미지 캡쳐 장치로부터 원시 비디오 데이터를 얻는 단계;
    월드 공간 내의 실제 볼 방향을 판정하는 단계;
    상기 스포츠 볼, 개별 선수 또는 이들의 조합의 위치에 의해 결정되는 구형 포커스 존을 중심으로 한 360도 시야를 커버하는 균일한 액션 커버리지를 생성하기 위해, 방향 데이터를 기초로 하여, 카메라의 회전, 초점, 및 줌을 자동 보상 및 조절하는 스타디움 카메라 시스템으로 방향 데이터를 전송하는 단계;
    상기 스타디움 카메라 시스템으로부터 360도 액션-포커스 방송 데이터를 얻는 단계;
    카메라 푸티지 선택/폐기 규칙을 적용하는 단계;
    데이터 방송 트리거링 규칙을 적용하는 단계; 및
    상기 스포츠 볼, 개별 선수의 스포츠 장비로부터 수신된 원시 데이터 및 상기 360도 액션-포커스 방송 데이터를 처리하여 시청자에게 방송할 장면을 재구성하는 단계를 포함하는 것을 특징으로 하는 데이터 처리 서버에 의해 수행되는 비디오 푸티지를 처리하고 합성하는 방법.
  15. 제 14 항에 있어서, 상기 월드 공간 내의 실제 볼 방향을 판정하는 단계는:
    상기 스포츠 볼의 움직임을 감지하는 단계;
    상기 스포츠 볼의 초기 공간 방향을 판정하는 단계;
    상기 스포츠 볼의 공간 방향의 변화를 판정하는 단계;
    상기 스포츠 볼의 원격 측정 메타 데이터를 판정하는 단계; 및
    고속 비디오 푸티지, 초기 공간 방향 및 상기 스포츠 볼의 공각적 방향의 변화와 함께 상기 원격 측정 메타 데이터를 이용하여 상기 월드 공간에서 실제 볼 방향을 얻는 단계를 포함하는 것을 특징으로 하는 데이터 처리 서버에 의해 수행되는 비디오 푸티지를 처리하고 합성하는 방법.
  16. 제 14 항에 있어서, 상기 카메라 푸티지 선택/폐기 규칙은:
    시청자에게 방송될 최종 비디오 푸티지에 추가할 이미지를 기록하는 카메라로부터의 푸티지를 선택하는 규칙; 및
    시청자에게 방송될 최종 비디오 푸티지로부터 생략할 이미지를 기록하는 카메라로부터의 푸티지를 폐기하는 규칙을 포함하는 것을 특징으로 하는 데이터 처리 서버에 의해 수행되는 비디오 푸티지를 처리하고 합성하는 방법.
  17. 제 16 항에 있어서, 푸티지는 주어진 세트의 비디오 프레임에 대해 볼 공간 내의 하나의 카메라로부터 선택될 수 있는 것을 특징으로 하는 데이터 처리 서버에 의해 수행되는 비디오 푸티지를 처리하고 합성하는 방법.
  18. 제 16 항에 있어서, 주어진 세트의 비디오 프레임에 대하여 볼 공간 내의 상이한 위치 및 각도들로부터의 하나 이상의 카메라에 의해 동시에 기록된 하나 이상의 세트의 푸티지가 선택될 수 있는 것을 특징으로 하는 데이터 처리 서버에 의해 수행되는 비디오 푸티지를 처리하고 합성하는 방법.
  19. 증강 현실, 가상 현실 및/또는 혼합 현실(AR/VR/MR) 시스템으로서, 상기 시스템은:
    스포츠 볼 내에 장착되고, 스포츠 볼의 원격 측정 메타 데이터를 생성하고 그리고 데이터를 무선으로 송신하는 센서 모듈;
    처리된 비디오 푸티지를 위해 원시 비디오 데이터를 제공하기 위해 개별 선수에 의해 착용 가능한 스포츠 장비에 장착된 하나 이상의 이미지 캡쳐 장치;
    후속 처리 및 방송을 위해 업로드하기 위한 데이터를 수신하기 위해 상기 스포츠 볼 및 개별 선수가 착용하는 상기 스포츠 장비 상의 이미지 캡쳐 장치에 통신 가능하게 연결된 무선 송수신기 허브;
    업로드된 데이터를 처리하고 방향 데이터를 생성하기 위해 상기 무선 송수신기 허브에 통신 가능하게 연결된 데이터 처리 서버; 및
    상기 데이터 처리 서버로 다시 전송되는 실시간 360도 액션-포커스 방송 데이터를 얻기 위해 상기 방향 데이터를 사용하는, 상기 데이터 처리 서버에 통신 가능하게 연결된 스타디움 카메라 시스템을 포함하고, 상기 스타디움 카메라 시스템은, 상기 데이터 처리 서버에 의해 전송된 방향 데이터를 기초로 하여, 상기 스포츠 볼, 개별 선수, 또는 이들의 조합의 위치에 의해 결정되는 구형 포커스 존을 중심으로 하는 360도 시야를 커버하는 균일한 액션 커버리지를 생성하도록 카메라의 회전, 초점, 및 줌을 자동 보상 및 조절하는 복수의 액션-포커스 카메라를 포함하고;
    상기 데이터 처리 서버는 카메라 푸티지 선택 및 폐기 규칙 및 데이터 방송 트리거링 규칙을 적용하여, 사용자 장치를 통한 사용자와의 상호작용을 위한 증강 현실, 가상 현실 또는 혼합 현실에서의 경험을 만들어내기 위한 시나리오를 생성하기 위해, 개별 선수에 의해 착용 가능한 상기 스포츠 장비 상에 장착된 상기 이미지 캡쳐 장치 및 상기 스타디움 카메라 시스템로부터 수신된 푸티지를 처리하는 것을 특징으로 하는 AR/VR/MR 시스템.
  20. 제 19 항에 있어서, 스타디움의 이벤트에 기초한 증강 현실, 가상 현실 또는 혼합 현실은 적어도 하나의 다른 스타디움에 스포츠 이벤트를 시뮬레이션하고 방송하기 위해 하나 이상의 클라우드 서버와 공유되는 것을 특징으로 하는 AR/VR/MR 시스템.
KR1020190045311A 2018-04-20 2019-04-18 스포츠 경기 방송 시스템 및 방법 KR102191765B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862660687P 2018-04-20 2018-04-20
US62/660,687 2018-04-20

Publications (2)

Publication Number Publication Date
KR20190122572A KR20190122572A (ko) 2019-10-30
KR102191765B1 true KR102191765B1 (ko) 2020-12-17

Family

ID=66217803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045311A KR102191765B1 (ko) 2018-04-20 2019-04-18 스포츠 경기 방송 시스템 및 방법

Country Status (4)

Country Link
US (1) US11130019B2 (ko)
EP (1) EP3557559A1 (ko)
KR (1) KR102191765B1 (ko)
CN (1) CN110392246B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3557559A1 (en) * 2018-04-20 2019-10-23 TMRW Foundation IP & Holding S.A.R.L. Sports events broadcasting systems and methods
US10814208B2 (en) * 2018-04-23 2020-10-27 Howard Thaw Method for delivering sports telemetry for a curling game
US11471741B2 (en) * 2018-12-21 2022-10-18 SurfaSense LLC Adaptive tennis ball machine
US11050977B2 (en) * 2019-06-18 2021-06-29 Tmrw Foundation Ip & Holding Sarl Immersive interactive remote participation in live entertainment
ES2960694T3 (es) 2019-12-03 2024-03-06 Discovery Communications Llc Vista 360 no intrusiva sin cámara en el punto de vista
JP2021146050A (ja) * 2020-03-23 2021-09-27 株式会社エヌ・ティ・ティ・データ 情報処理装置及び集中力向上システム
KR102406079B1 (ko) * 2020-04-10 2022-06-07 이하연 비콘을 이용한 스포츠 중계 지원 시스템
CN112386885A (zh) * 2020-11-19 2021-02-23 吉林大学 一种垒球运动用实时监测系统
US20220295139A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US20230009700A1 (en) * 2021-07-08 2023-01-12 Sportsmedia Technology Corporation Automated offside detection and visualization for sports
KR102473608B1 (ko) * 2021-12-17 2022-12-01 강수연 카메라와 레이더 센서를 이용한 스포츠 트레이닝 영상 제공방법
KR102654097B1 (ko) * 2023-02-07 2024-04-03 학교법인 인산학원 실감형 스포츠 중계 송출과 시청 시스템 및 그 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100026809A1 (en) 2008-07-29 2010-02-04 Gerald Curry Camera-based tracking and position determination for sporting events
US20120300079A1 (en) 2011-03-09 2012-11-29 Richard Thomas Hale Object-oriented cable camera system
US20130129338A1 (en) 2010-08-04 2013-05-23 Michael Dowell Protective Lens Cover
WO2017155913A1 (en) 2016-03-08 2017-09-14 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449010B1 (en) * 1996-12-20 2002-09-10 Forsum Digital Effects System and method for enhancing display of a sporting event
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US7812856B2 (en) * 2000-10-26 2010-10-12 Front Row Technologies, Llc Providing multiple perspectives of a venue activity to electronic wireless hand held devices
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
IL156478A0 (en) * 2003-06-17 2004-07-25 Odf Optronics Ltd Compact rotating observation assembly with a separate receiving and display unit
DE102004045176B4 (de) 2004-09-17 2011-07-21 Adidas International Marketing B.V. Blase
EP1928178A1 (en) * 2006-11-30 2008-06-04 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO Automatic monitoring a game object or game participant
US8136133B2 (en) * 2007-11-13 2012-03-13 Walker Digital, Llc Methods and systems for broadcasting modified live media
US9782660B2 (en) * 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
US8228381B2 (en) * 2008-09-03 2012-07-24 Walter Accurso Video and data capturing system and method
DE102008058943B3 (de) 2008-11-25 2010-05-12 Adidas International Marketing B.V. Blase für einen Ball
US8628453B2 (en) * 2008-12-05 2014-01-14 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
US8237787B2 (en) * 2009-05-02 2012-08-07 Steven J. Hollinger Ball with camera and trajectory control for reconnaissance or recreation
US9144714B2 (en) * 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
US8731239B2 (en) 2009-12-09 2014-05-20 Disney Enterprises, Inc. Systems and methods for tracking objects under occlusion
US20110218065A1 (en) 2010-03-04 2011-09-08 Cavallaro Richard H Ball
US9940508B2 (en) * 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
GB2497891A (en) 2010-09-02 2013-06-26 Patrick Gerry Sporting event review
WO2012122269A2 (en) * 2011-03-07 2012-09-13 Kba2, Inc. Systems and methods for analytic data gathering from image providers at an event or geographic location
EP2595111A1 (en) 2011-11-07 2013-05-22 Gface GmbH Computer Implemented Method of Displaying Contact Nodes in an Online Social Network, Computer Systems and Computer Readable Medium Thereof
US9339707B2 (en) * 2011-12-27 2016-05-17 Aquimo, Llc Using a mobile device with integrated motion sensing for customized golf club fitting
US20130215229A1 (en) 2012-02-16 2013-08-22 Crytek Gmbh Real-time compositing of live recording-based and computer graphics-based media streams
CN103258338A (zh) 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和系统
US20130242105A1 (en) 2012-03-13 2013-09-19 H4 Engineering, Inc. System and method for video recording and webcasting sporting events
US10922383B2 (en) * 2012-04-13 2021-02-16 Adidas Ag Athletic activity monitoring methods and systems
US20140125806A1 (en) * 2012-05-14 2014-05-08 Sstatzz Oy Sports Apparatus and Method
WO2014008134A1 (en) * 2012-07-02 2014-01-09 Infomotion Sports Technologies, Inc. Computer-implemented capture of live sporting event data
US8959555B2 (en) * 2012-07-03 2015-02-17 Lawrence Maxwell Monari Instrumented sports paraphernalia system
US9283457B2 (en) * 2012-11-09 2016-03-15 Wilson Sporting Goods Co. Sport performance system with ball sensing
US9662556B2 (en) * 2013-04-16 2017-05-30 Nicolas San Juan Electronic sports tracking and coaching system
US10622020B2 (en) * 2014-10-03 2020-04-14 FieldCast, LLC Point of view video processing and curation platform
JP6307892B2 (ja) * 2014-01-20 2018-04-11 富士通株式会社 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
US9849361B2 (en) 2014-05-14 2017-12-26 Adidas Ag Sports ball athletic activity monitoring methods and systems
US20150373306A1 (en) * 2014-06-20 2015-12-24 OnDeck Digital LLC Real-time video capture of field sports activities
US9710711B2 (en) 2014-06-26 2017-07-18 Adidas Ag Athletic activity heads up display systems and methods
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US20160249020A1 (en) 2015-02-19 2016-08-25 Garfield Mingo System and method of live streaming a first person view of a player in a sports event
WO2017052001A1 (en) * 2015-09-23 2017-03-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN205850128U (zh) * 2016-06-13 2017-01-04 北京动量科技有限责任公司 一种运动冲刺、转身、跳跃的判别与评估系统
CN107798692A (zh) 2016-08-31 2018-03-13 郑州动量科技有限公司 一种球类图像识别方法及其系统
US20200405395A1 (en) * 2017-07-03 2020-12-31 Spine Align, Llc Intraoperative alignment assessment system and method
EP3557559A1 (en) * 2018-04-20 2019-10-23 TMRW Foundation IP & Holding S.A.R.L. Sports events broadcasting systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100026809A1 (en) 2008-07-29 2010-02-04 Gerald Curry Camera-based tracking and position determination for sporting events
US20130129338A1 (en) 2010-08-04 2013-05-23 Michael Dowell Protective Lens Cover
US20120300079A1 (en) 2011-03-09 2012-11-29 Richard Thomas Hale Object-oriented cable camera system
WO2017155913A1 (en) 2016-03-08 2017-09-14 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform

Also Published As

Publication number Publication date
US20190321683A1 (en) 2019-10-24
CN110392246A (zh) 2019-10-29
US11130019B2 (en) 2021-09-28
EP3557559A1 (en) 2019-10-23
CN110392246B (zh) 2022-04-05
KR20190122572A (ko) 2019-10-30

Similar Documents

Publication Publication Date Title
KR102191765B1 (ko) 스포츠 경기 방송 시스템 및 방법
JP6761811B2 (ja) スポーツバーチャルリアリティシステム
US11730226B2 (en) Augmented reality assisted communication
US8959555B2 (en) Instrumented sports paraphernalia system
US9185361B2 (en) Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
CN105224070B (zh) 体育活动平视显示器系统和方法
US10646767B2 (en) Mixed reality sport simulation and training system
US9167228B2 (en) Instrumented sports paraphernalia system
US20130148861A1 (en) Systems and methods for video processing
WO2013171658A1 (en) System and method for automatic video filming and broadcasting of sports events
EP2826239A1 (en) System and method for video recording and webcasting sporting events
US6995787B2 (en) Sports projectile and camera apparatus
CN109069903A (zh) 用于监测体育事件中的对象的系统和方法
JP7232435B2 (ja) 競技用ボールの移動軌跡出力システム
WO2020262336A1 (ja) プログラム、方法、情報処理装置及び打席スペース
KR20070010895A (ko) 스포츠 경기 데이터를 그래픽 영상으로 구현하는 방법 및이동 통신 단말기
US11395975B2 (en) Broadcast-ready table sports system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant