KR20170086493A - 스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법 - Google Patents

스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법 Download PDF

Info

Publication number
KR20170086493A
KR20170086493A KR1020177012681A KR20177012681A KR20170086493A KR 20170086493 A KR20170086493 A KR 20170086493A KR 1020177012681 A KR1020177012681 A KR 1020177012681A KR 20177012681 A KR20177012681 A KR 20177012681A KR 20170086493 A KR20170086493 A KR 20170086493A
Authority
KR
South Korea
Prior art keywords
player
tracking
video
players
camera
Prior art date
Application number
KR1020177012681A
Other languages
English (en)
Inventor
피터 이브라힘
패럴 밀러
Original Assignee
라이브반 잉크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이브반 잉크. filed Critical 라이브반 잉크.
Publication of KR20170086493A publication Critical patent/KR20170086493A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/828—Managing virtual sport teams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

경기장 내에서 플레이어를 광학적으로 추적하고 스포츠 경기의 방송 가능한 비디오를 광학적으로 추적하고 자동으로 캡처하는 시스템 및 방법이 제공된다. 상기 시스템은 적어도 하나의 고정된 추적 카메라, 원격 제어 가능한 방송 카메라 및 스코어보드 카메라를 포함하고 각 구성요소들은 프로세싱 시스템과 통신한다. 상기 방법은 상기 경기장을 관심 영역들로 분할하는 단계, 상기 관심 영역들에서 각 플레이어들을 광학적으로 추적하는 단계, 상기 관심 영역들에서 플레이어 그룹들을 식별하는 단계, 가장 많은 플레이어들을 포함하는 관심 영역을 결정하는 단계, 상기 가장 많은 플레이어들을 가진 관심 영역에서 플레이어 활동을 분석하는 단계, 미리 결정된 경기 플레이 시나리오들의 세트로부터 상기 플레이어 활동에 대응하는 현재 경기플레이 시나리오를 선택하는 단계, 및 상기 현재 경기플레이 시나리오에 따라 방송 카메라의 팬, 틸트 및 줌을 조정하는 단계를 포함한다.

Description

스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법{SYSTEM AND METHOD FOR OPTICAL PLAYER TRACKING IN SPORTS VENUES}
본 발명은 광학 추적(optical tracking)에 관한 것으로서, 보다 상세하게는 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하기 위한 영역(zone) 기반 광학 추적에 관한 것이다.
스포츠 경기를 녹화하고 방송하는 것은 전문가 수준에서 매우 일반적인 일이다. 관중들은 직접 참가할 수 없는 경기를 경험할 수 있으며, 과거 경기의 흥미진진한 순간들로 다시 돌아갈 수 있다. 이것은 경기를 훨씬 더 많은 관중에게 공개하여, 잠재적 시청자를 증가시키고 팀과 리그 모두에게 혜택을 준다. 라이브 경기를 관람하는 관중들은 추가로 유리한 위치를 확보하고 주목할만한 순간들을 다시 볼 수 있게 됨으로써 그들의 경험을 또한 풍부하게 할 수 있다. 마찬가지로, 선수들과 코치들은 그들의 전략을 개선하기 위해 중요한 경기를 다시 찾아보고 연구할 수 있는 이점이 있다.
일반적으로, 고품질의 스포츠 경기 방송은 많은 양의 장비와 인력이 필요하다. 경기 종류에 따라, 20대 이상의 카메라들이 경기장 전체에 퍼져 있을 수 있으며, 그 카메라 대부분이 경기 동작(action)을 추적하기 위해 카메라맨에 의해 수동으로 조작되어야 한다. 각 카메라로부터의 피드들(feeds)은 여러 운영자가 경기에서 펼쳐지는 동작을 가장 잘 묘사하는데 적합한 피드를 선택하는 중앙 통제실에서 수신된다. 관중들이 TV, 컴퓨터 또는 모바일 장치로 계속 지켜볼 수 있는 방송 가능한 제품을 제작하기 위해서 피드는 즉시 편집되어야 한다.
불리하게도, 고품질의 방송을 제작하는데 드는 높은 비용으로 인해 낮은 수준의 스포츠에서는 이러한 시도를 할 수 없게 만든다. 마이너 프로 리그는 더 적은 수의 카메라를 사용하고 더 낮은 품질의 방송을 한다. 세미 프로, 청소년, 유소년 및 아마추어 리그는 종종 경기를 녹화하거나 방송할 여력이 없어서, 관중들과 코치들이 경기를 다시 찾아보고 연구하기를 원하는 경우 그들 개개인에게 경기 촬영에 대한 부담을 주게 된다.
스포츠 경기 방송을 보다 쉽게 이용할 수 있도록 하기 위한 여러 가지 노력들이 기울여졌다. 이러한 노력들의 대부분은 필요한 노동력을 줄이기 위해 많은 과정을 자동화하는 것과 관련 있다. 특히, 경기에서의 플레이를 추적하고 방송 가능한 피드를 자동으로 생성하기 위해 컴퓨터 제어 카메라를 이용하는 특수 시스템이 개발되었다.
예를 들어, US 2010/0026809는 3차원에서 플레이어의 위치를 개별적으로 추적하기 위해 플레이어 장비 내에 내장된 트랜시버, 가속도계, 트랜스폰더 및/또는 RADAR 탐지 가능 요소의 사용을 개시한다. 위치 정보는 경기플레이를 캡처하기 위해 다양한 위치에서 2D 카메라들의 팬(pan), 틸트(tilt) 및 줌(zoom)을 제어하는 컴퓨터 시스템에 공급된다.
또 다른 예는 US 6,567,116 이며, 이는 또한 3차원에서 플레이어의 추적을 개시한다. 이 시스템은 마커로서의 역할을 하기 위해 플레이어 장비에 부착된 주파수 선택적 반사 패치, 스티커 또는 테이프를 사용한다. 경기장 전체에 분산되어 있는 추적 카메라들은 표시된 물체와 플레이어를 식별하고 위치시키기 위해 반사된 방사선을 감지한다. 그 다음에, 위치 정보는 표시된 물체를 배경으로부터 분리할 수 있는 컴퓨터 시스템에 공급된다. 관련 특허 US 7,483,049는 경기하는 것을 캡처하고 녹화하기 위해 다수의 고정되어 조정 가능한 사이드 뷰 카메라들을 지시하는 추적 시스템의 사용을 개시한다.
종래 기술의 시스템은 여전히 너무 비싸서 모든 수준의 스포츠에서 접근할 수 없다는 단점이 있다. 이러한 시스템을 작동하는데 적은 인력이 필요하지만, 다중 추적 카메라, 내장형 추적 장치, 또는 반사 패치와 같은 추가 장비가 필요하므로 시스템 비용과 복잡성을 증가시킨다. 또한, 종래 기술의 완전 자동화된 시스템은 원하는 시야각을 선택하기 위해 시청자에게 의존하므로, 인간의 개입 없이 최상의 경기 시야를 제공하는 고품질의 비디오 방송을 제작할 수 없다.
따라서, 인간의 개입 없이 그리고 감소된 장비 비용으로 스포츠 경기의 고품질 비디오 방송을 자동적으로 생성할 수 있는 동시에 전체 비용을 감소시키는 스포츠 경기장에서 사용하기 위한 개선된 플레이어 추적 시스템이 필요하다.
본 발명의 일 측면에 따르면, 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하는 방법이 제공된다. 상기 방법은 상기 경기장을 복수의 관심 영역들로 분할하는 단계; 적어도 하나의 고정된 추적 카메라를 사용하여 상기 관심 영역들 내에서 각 플레이어들의 위치를 결정함으로써 상기 경기장에서 상기 각 플레이어들을 광학적으로 추적하는 단계; 상기 각 플레이어들의 위치에 기초하여, 상기 관심 영역들 내에서 플레이어 그룹들을 식별하기 위해 클러스터 분석을 수행하는 단계; 상기 각 플레이어들을 가장 많이 포함하는 상기 관심 영역들 중 주어진 하나를 결정하는 단계; 상기 활동에 대응하는 현재 경기플레이 시나리오를 선택하기 위해 상기 관심 영역들 중 주어진 하나 내에서 상기 각 플레이어들 및 플레이어 그룹들의 활동을 분석하는 단계 - 상기 현재 경기플레이 시나리오는 미리 결정된 경기플레이 시나리오들의 세트로부터 선택됨; 및 상기 현재 경기플레이 시나리오에 기초하여, 방송 카메라의 팬(pan), 틸트(tilt) 또는 줌(zoom)을 실시간으로 조정함으로써, 상기 방송 카메라의 시야(field of view)를 변경하고 상기 스포츠 경기의 방송 가능한 비디오를 캡처하는 단계를 포함한다.
일 실시 예에서, 상기 현재 경기플레이 시나리오는 상기 관심 영역들 중 주어진 하나에 관하여 상기 각 플레이어들 중 적어도 하나 또는 상기 플레이어 그룹들 중 적어도 하나의 현재 위치, 속도 또는 방향을 기반으로 하여 선택된다.
일 실시 예에서, 상기 방법은 인접한 관심 영역들 사이에서 전환하는 각 플레이어들 또는 플레이어 그룹들을 식별하는 단계, 및 상기 인접한 영역들 사이에서 전환하는 상기 각 플레이어들 또는 플레이어 그룹들의 현재 위치, 속도, 또는 방향을 기반으로 하여 상기 현재 경기플레이 시나리오를 선택하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 제1 및 제2 인접한 영역들 사이에서 상기 각 플레이어들 또는 플레이어 그룹들의 전환을 예측하는 단계, 및 상기 현재 경기플레이 시나리오를 선택하기 위해 상기 제1 및 제2 영역 모두에서 상기 각 플레이어들 또는 플레이어 그룹들의 활동을 분석하는 단계를 포함한다.
일 실시 예에서, 상기 각 플레이어들을 광학적으로 추적하는 단계는 상기 적어도 하나의 고정된 추적 카메라에 의해 캡처된 추적 비디오의 프레임들로부터 전경(foreground) 블랍들(blobs)을 추출하는 단계; 상기 추적 비디오의 프레임들 내에서 그들의 위치들을 기반으로 상기 전경 블랍들의 위치들을 결정하는 단계; 상기 각 플레이어들과 상기 전경 블랍들 각각을 연관시키는 단계; 및 추적된 플레이어들의 리스트를 유지하는 단계 - 상기 리스트 내의 각 추적된 플레이어는 상기 플레이어의 마지막으로 알려진 위치들의 미리 결정된 수와 연관됨;를 포함한다.
일 실시 예에서, 상기 전경 블랍들을 연관시키는 단계는 상기 전경 블랍에 가장 가까운 마지막으로 알려진 위치를 갖는 상기 리스트 내의 플레이어와 전경 블랍의 위치를 매칭시키는 단계; 매칭이 발견된 경우, 상기 플레이어와 연관된 상기 마지막으로 알려진 위치가 상기 전경 블랍의 위치에 대응되도록 상기 리스트를 업데이트하는 단계; 매칭이 발견되지 않은 경우, 상기 전경 블랍의 위치에 대응하는 마지막으로 알려진 위치를 가진 새로운 추적된 플레이어를 상기 리스트에 추가하는 단계를 포함한다.
일 실시 예에서, 상기 적어도 하나의 고정된 추적 카메라에 의해 캡처된 추적 비디오의 프레임들로부터 전경 블랍들을 추출하는 단계는 차분 영상(difference image)을 획득하기 위해 상기 추적 비디오의 연속된 프레임들을 감산하는 단계; 및 배경(background) 상에서 상기 전경 블랍들의 이진 영상(binary image)을 획득하기 위해 상기 차분 영상에 임계값을 적용하는 단계; 노이즈를 제거하기 위해 상기 이진 영상을 블러링(blurring)하는 단계; 및 상기 블랍들을 추출하기 위해 상기 이진 영상에 컨투어링(contouring) 알고리즘을 실행하는 단계를 수행함에 의해 상기 차분 영상으로부터 상기 전경 블랍들을 추출하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 움직이는 플레이어들에 대응하는 움직이는 블랍들 및 정지된 플레이어들에 대응하는 정지된 블랍들을 식별하는 단계를 포함한다. 상기 움직이는 블랍들은 상기 차분 영상으로부터 추출되고, 상기 정지된 블랍들은 상기 추적 비디오의 단일 프레임으로부터 추출된다.
일 실시 예에서, 상기 현재 경기플레이 시나리오를 선택하는 단계는 상기 각 플레이어들 및 플레이어 그룹들의 활동을 상기 미리 결정된 경기플레이 시나리오들의 세트 내에서 특정 경기플레이 시나리오와 연관된 미리 설정된 패턴과 매칭하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 상기 관심 영역들이 상기 경기장 내에서의 경기 필드의 영역들에 대응하도록 상기 경기장을 분할하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 상기 경기장 내의 경기 필드 상에서 추적 영역을 맵핑함으로써 상기 적어도 하나의 고정된 추적 카메라를 조정하는 단계를 포함하며, 상기 추적 영역은 추적 비디오가 상기 각 플레이어들을 광학적으로 추적하는데 사용되는 내부 영역 및 상기 추적 비디오가 무시되는 외부 영역이다.
일 실시 예에서, 상기 각 플레이어들은 복수의 고정된 추적 카메라들을 사용하여 추적되며, 상기 방법은 상기 복수의 추적 카메라들로부터의 추적 데이터를 정규화하는 단계; 및 상기 경기장 내에서 상기 각 플레이어들을 전체적으로 추적하기 위해 상기 복수의 추적 카메라들로부터의 추적 데이터를 병합하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 상기 경기장 내에서 플레이어들의 글로벌 그룹을 식별하기 위해 상기 각 플레이어들의 위치에 대한 클러스터 분석을 수행하는 단계; 및 상기 글로벌 그룹의 현재 위치, 속도 또는 방향을 기반으로 상기 경기플레이 시나리오를 선택하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 스코어보드 비디오를 캡처하는 단계 및 상기 방송 가능한 비디오에 상기 스코어보드 비디오를 합성하는 단계를 포함하며, 상기 스코어보드 비디오는 상기 경기장 내의 스코어보드의 비디오를 포함한다.
일 실시 예에서, 상기 방법은 상기 시야가 상기 관심 영역들 중 주어진 하나 또는 상기 경기장 내에서 가장 왼쪽의 플레이어, 가장 오른쪽의 플레이어, 가장 위쪽의 플레이어 및 가장 아래쪽의 플레이어를 포함하도록 상기 방송 카메라의 팬, 틸트 또는 줌을 조정하는 단계를 포함한다.
일 실시 예에서, 상기 방법은 네트워크를 통해 라이브 피드(live feed)로 상기 방송 가능한 비디오를 방송하는 단계를 포함한다.
상기 방법의 다른 실시 예는 상술한 실시 예들의 임의의 조합을 포함할 수 있다.
본 발명의 일 측면에 따르면, 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하는 시스템이 제공된다. 상기 시스템은 적어도 하나의 고정된 추적 카메라, 방송 카메라 및 프로세싱 시스템을 포함한다. 상기 적어도 하나의 고정된 추적 카메라는 상기 경기장에서 플레이어들의 추적 비디오를 캡처하도록 구성된다. 상기 방송 카메라는 상기 스포츠 경기의 상기 방송 가능한 비디오를 캡처하도록 구성되며, 그것의 팬, 틸트 또는 줌을 조정하기 위해 원격으로 제어 가능하다. 상기 프로세싱 시스템은 상기 적어도 하나의 추적 카메라 및 상기 방송 카메라에 작동 가능하게 연결된다. 상기 프로세싱 시스템은 상기 경기장을 복수의 관심 영역들로 분할하고, 적어도 하나의 고정된 추적 카메라를 사용하여 상기 관심 영역들 내에서 각 플레이어들의 위치를 결정함으로써 상기 경기장에서 상기 각 플레이어들을 광학적으로 추적하고, 상기 각 플레이어들의 위치에 기초하여, 상기 관심 영역들 내에서 플레이어 그룹들을 식별하기 위해 클러스터 분석을 수행하고, 상기 각 플레이어들을 가장 많이 포함하는 상기 관심 영역들 중 주어진 하나를 결정하고, 상기 활동에 대응하는 현재 경기플레이 시나리오를 선택하기 위해 상기 관심 영역들 중 주어진 하나 내에서 상기 각 플레이어들 및 플레이어 그룹들의 활동을 분석하되, 상기 현재 경기플레이 시나리오는 미리 결정된 경기플레이 시나리오들의 세트로부터 선택되고, 상기 현재 경기플레이 시나리오에 기초하여, 상기 방송 카메라의 팬(pan), 틸트(tilt) 또는 줌(zoom)을 실시간으로 조정함으로써, 상기 방송 카메라의 시야(field of view)를 변경하고 상기 스포츠 경기의 방송 가능한 비디오를 캡처하도록 구성된다.
일 실시 예에서, 복수의 추적 카메라들이 있으며, 상기 복수의 추적 카메라들 각각은 상기 경기장 내에서 상기 복수의 관심 영역들 중 특정한 한 영역의 추적 비디오를 캡처하도록 할당된다.
일 실시 예에서, 상기 적어도 하나의 추적 카메라는 광학 추적 모듈을 포함한다. 상기 광학 추적 모듈은 상기 적어도 하나의 고정된 추적 카메라에 의해 캡처된 추적 비디오의 프레임들로부터 전경(foreground) 블랍들(blobs)을 추출하고, 상기 추적 비디오의 프레임들 내에서 그들의 위치들을 기반으로 상기 전경 블랍들의 위치들을 결정하고, 상기 전경 블랍들의 위치들의 좌표들을 상기 프로세싱 시스템에 전송하되, 상기 좌표들은 상기 추적 비디오의 전송 없이도 상기 프로세싱 시스템에 전송되도록 구성된다.
일 실시 예에서, 상기 시스템은 상기 프로세싱 시스템에 작동 가능하게 연결된 스코어보드 카메라를 더 포함하며, 상기 스코어보드 카메라는 상기 경기장 내의 스코어보드의 스코어보드 비디오를 캡처하도록 구성된다. 상기 프로세싱 시스템은 상기 방송 가능한 비디오에 상기 스코어보드 비디오를 합성하도록 구성된다.
상기 시스템의 다른 실시 예는 상술한 실시 예들의 임의의 조합을 포함할 수 있다.
본 발명의 일 측면에 따르면, 하나 이상의 명령 시퀀스를 기록한 비일시적 판독 가능한 매체(non-transitory machine-readable medium)가 제공된다. 스포츠 경기 동안 경기장에서 적어도 하나의 추적 카메라 및 원격 제어 가능한 방송 카메라에 작동 가능하게 연결된 하나 이상의 프로세서에 의해 실행될 때, 상기 명령들에 의해 상기 하나 이상의 프로세서는, 상기 경기장을 복수의 관심 영역들로 분할하는 단계; 적어도 하나의 추적 카메라를 사용하여 상기 관심 영역들 내에서 각 플레이어들의 위치를 결정함으로써 상기 경기장에서 상기 각 플레이어들을 광학적으로 추적하는 단계; 상기 각 플레이어들의 위치에 기초하여, 상기 관심 영역들 내에서 플레이어 그룹들을 식별하기 위해 클러스터 분석을 수행하는 단계; 상기 각 플레이어들을 가장 많이 포함하는 상기 관심 영역들 중 주어진 하나를 결정하는 단계; 상기 활동에 대응하는 현재 경기플레이 시나리오를 선택하기 위해 상기 관심 영역들 중 주어진 하나 내에서 상기 각 플레이어들 및 플레이어 그룹들의 활동을 분석하는 단계 - 상기 현재 경기플레이 시나리오는 미리 결정된 경기플레이 시나리오들의 세트로부터 선택됨; 및 상기 현재 경기플레이 시나리오에 기초하여, 상기 방송 카메라의 팬(pan), 틸트(tilt) 또는 줌(zoom)을 실시간으로 조정함으로써, 상기 방송 카메라의 시야(field of view)를 변경하고 상기 스포츠 경기의 방송 가능한 비디오를 캡처하는 단계를 수행한다.
도 1은 일 실시 예에 따라 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하기 위한 시스템을 나타낸 개략도이다.
도 2는 도 1의 시스템에서 사용되는 추적 카메라를 나타낸 개략도이다
도 3a 및 도 3b는 경기 필드 상에서 관심 영역들을 맵핑하는 것을 설명하는 개략도이다.
도 4는 일 실시 예에 따라 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하는 방법을 나타내는 흐름도이다.
도 5는 도 4의 방법에서 유용한 각 플레이어들을 광학적으로 추적하는 방법을 나타내는 흐름도이다.
도 6은 도 5의 방법에서 유용한 추적 비디오의 프레임들로부터 전경 블랍들을 추출하는 방법을 나타내는 흐름도이다.
도 7은 도 4의 방법에서 유용한 브레이크어웨이(breakaway)에 대응하는 경기플레이 시나리오를 식별하는 방법을 나타내는 흐름도이다.
도 8은 도 4의 방법에서 유용한 미리 결정된 경기플레이 시나리오들의 세트로부터 경기플레이 시나리오를 선택하고 방송 카메라의 팬, 틸트 및 줌 값들을 조정하는 방법을 나타내는 흐름도이다.
도 9a, 9b 및 9c는 방송 카메라의 시야를 변경하기 위해 방송 카메라의 팬, 틸트 및 줌 값들을 조정하는 것을 설명하는 개략도이다.
도 10은 스포츠 경기의 방송 가능한 비디오에 합성된 스코어보드 비디오를 설명하는 개략도이다.
다음은 본 발명의 바람직한 실시 예들을 설명한다. 이는 발명을 구현하기 위한 많은 방법들 중 하나이다. 이와 같이, 제공된 예들은 본 발명의 범위를 제한하기 위한 것으로서 간주되어서는 안 된다.
시스템
본 발명의 일 측면에 따르면, 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하기 위한 시스템이 제공된다. 상기 시스템은 경기장 내의 플레이어를 추적하고, 경기 동작을 녹화하고, 경기 동작의 비디오 피드를 관중에게 방송하도록 구성되어 있다. 도 1을 참조하면, 시스템(100)의 일 실시 예가 개략적으로 도시된다. 시스템(100)은 스포츠 경기장(101)에 설치되며, 이 경우에 있어서 하키 경기장에 설치된다. 예를 들어, 풋볼, 축구, 야구 경기장과 같은 다른 유형의 스포츠 경기장들도 가능하다. 스포츠 경기장(101)은 경기 필드(playing field)(102)를 포함하며, 이 경우에 있어서 하키 링크를 포함한다. 다른 실시 예들에서, 농구 코트, 축구, 풋볼 또는 야구 필드와 같은 다른 유형의 경기 필드들이 가능하다. 일반적으로, 스포츠 경기장(101)은 관중들과 선수들을 위한 휴식 공간과 같은 다른 요소들을 포함한다. 이는 또한 경기 스코어를 가시적으로 표시하기 위한 스코어보드(109)를 포함할 수 있다.
시스템(100)은 경기 필드(102)를 향하고 있는 적어도 하나의 고정된 추적 카메라(200)를 포함한다. 적어도 하나의 추적 카메라(200)는 특정 위치에 위치되어 조정되며, 이동되도록 설계되지 않은 점에서 고정되어 있다고 할 수 있다. 다시 말해, 적어도 하나의 추적 카메라가 팬(pan) 또는 틸트(tilt)될 수 없다는 점에서, 적어도 하나의 추적 카메라의 시야(FOV: field of view)는 고정된 것이 바람직하다. 도시된 실시 예에서, 3대의 고정된 추적 카메라(200)가 있지만, 다른 실시 예에서는 더 많거나 적은 수의 추적 카메라가 제공될 수 있다. 본 실시 예에서, 추적 카메라들(200)은 경기 필드(102)의 일 측면 상에서 등거리로 이격되어 있다. 이들은 또한 추적 카메라(200)의 수평 및 수직 FOV를 기반으로 최적의 커버리지를 얻기 위한 거리에서 경기 필드 표면의 가장자리로부터 떨어져 위치한다. 본 실시 예에서, 각각의 추적 카메라가 바람직하게는 경기 필드(102)의 약 1/3을 커버하지만, 그들의 시야가 중첩될 수 있다.
도 3a 및 도 3b를 참조하면, 추적 카메라들(200)은 경기장에서의 특정 추적 영역(300)을 커버하도록 배열되고 조정될 수 있다. 본 실시 예에서, 추적 카메라들(200)은 추적 영역(300)을 경기 필드(102) 상에 맵핑하도록 배열되고 조정된다. 그렇게 해서, 물체들이 추적 영역(300) 내에 위치하는 경우에만 추적된다. 추적 영역(300) 외부의 물체들, 예를 들어 스탠드에 있는 관중들 또는 벤치(304) 상의 선수들은 무시되거나 필터링 될 수 있다.
추적 카메라들(200)은 특정 관심 영역의 추적 비디오를 캡처하기 위해 각각 할당될 수 있도록 추가로 구성될 수 있다. 본 실시 예에서, 경기 필드(102)는 3개의 관심 영역(301, 302, 303)으로 분할된다. 이러한 관심 영역들 각각은 경기 필드 영역에 대응한다. 본 실시 예에서, 제1 관심 영역(301)은 하키 링크의 수비 영역에 대응하고, 제2 관심 영역(302)은 중립 영역에 대응하고, 제3 관심 영역(303)은 공격 영역에 대응한다. 물론 다른 영역들의 분할도 가능하다. 예를 들어, 다른 관심 영역들은 페이스오프(faceoff) 서클들에 대응할 수 있다. 추적 카메라(200', 200'', 200''') 각각은 그것의 할당된 관심 영역에서 주로 추적 비디오를 캡처하도록 위치된다. 카메라들의 FOV가 중첩되는 경우, 각각의 카메라는 카메라의 할당된 관심 영역 밖에서 움직임이 발생하면 해당 움직임을 카메라의 시야 내에서 무시하기 위해 개별적으로 조정될 수 있다.
본 발명의 범위는 다른 실시 예에서 카메라의 수 및 그들의 위치가 가변될 수 있도록 한다. 예를 들어, 주어진 경기 필드 상에서 1대 또는 n대의 추적 카메라들이 사용될 수 있다. n대의 카메라의 경우, 각 카메라는 필드의 약 1/n을 커버할 수 있으며, 각 카메라의 FOV 사이에 중첩이 가능하다. 또한, 각 추적 카메라 사이의 간격이 반드시 등거리일 필요는 없다. 일부 카메라들은 서로 더 가까이 있을 수 있지만, 다른 카메라들은 더 멀리 떨어져 있을 수 있다. 예를 들어, 여러 대의 카메라들은 필드의 트래픽이 많은 영역들을 추적하기 위해서 클러스터링될 수 있으며, 반면 더 적은 수의 카메라들은 트래픽이 적은 영역들을 추적하기 위해서 더 멀리 떨어져 분산될 수 있다. 물론, 카메라들 사이의 간격이 등거리가 아닌 경우, 각 카메라 사이의 FOV 중첩은 매우 다양할 수 있다.
추적 카메라들(200)의 기능은 경기 필드(102) 상에서 플레이어의 움직임에 관한 정보를 시스템에 제공하는 것이다. 도 2를 참조하면, 각각의 추적 카메라 유닛(200)은 추적 비디오 캡처 모듈(204), 광학 추적 모듈(206) 및 통신 모듈(208)을 포함하는 비디오 카메라(202)로 구성된다. 비디오 카메라(202)는, 예를 들어 가시 광선 스펙트럼, 적외선 스펙트럼, 또는 둘 다에서 비디오를 캡처하도록 구성될 수 있다. 추적 비디오 캡처 모듈(204)은 추적 카메라(200)에서 제공된 센서를 사용하여 추적 비디오를 캡처하는 역할을 한다. 광학 추적 모듈(206)은 캡처 모듈(204)로부터 비디오 신호를 수신하고, 비디오 신호 내 블랍들(blobs)을 추적하기 위해 머신 비전 알고리즘(machine vision algorithm)을 실행한다. 본 실시 예에서, 광학 추적 모듈(206)의 출력은 비디오에서 식별된 블랍들에 대한 x 및 y 위치와 크기의 3-튜플(tuple)로 구성된다. 이들은 블랍의 위치 또는 좌표라고 할 수 있다. 그러나, 다른 실시 예에서, 좌표는 예를 들어 z 위치 또는 방향과 같은 다른 파라미터들을 포함할 수 있다. 추가 처리를 위하여 추적 모듈(206)의 출력은 유선 또는 무선 연결(210)을 통해 통신 모듈(208)에 의하여 프로세싱 시스템(processing system)으로 전송된다. 본 실시 예에서, 좌표들의 3-튜플만이 연결(210)을 통해 전송되고, 추적 비디오 자체는 전송되지 않아 필요한 대역폭의 양을 감소시킨다는 점에 유의해야 한다.
본 실시 예에서, 단일 추적 카메라 유닛(200)은 캡처 모듈(204), 추적 모듈(206) 및 통신 모듈(208)을 포함한다. 다시 말해, 미가공(raw) 추적 비디오 피드 및 블랍들의 광학 추적에 대한 처리는 카메라(200) 상에서 지역적으로 일어난다. 이러한 모듈들은 비디오 카메라(202)의 구성 요소일 수 있고, 또는 예를 들어 비디오 카메라(202)에 부착된 단일 보드 컴퓨터의 일부일 수 있다.
도 1을 다시 참조하면, 시스템(100)은 또한 스포츠 경기의 비디오를 캡처하기 위해 2대의 추가 카메라들을 포함한다. 첫 번째는 방송 카메라(106)이며, 이것은 필드의 중앙 근처에, 바람직하게는 추적 카메라들과 동일한 쪽에 위치된 비디오 카메라이다. 방송 카메라(106)는 이동 가능하며 그것의 팬(pan), 틸트(tilt) 및 줌(zoom)(PTZ)을 조정하기 위해 애플리케이션 프로그래밍 인터페이스(API)를 통해 원격 제어될 수 있다. 가능한 실시 예에 따르면, PTZ는 액추에이터들(actuators)에 의하여 카메라 또는 렌즈를 물리적으로 이동시키거나 디지털 방식으로 비디오 효과를 적용함으로써 조정될 수 있다. 방송 카메라(106)는 스포츠 경기에서 동작에 대한 비디오 피드를 캡처하는 역할을 한다. 두 번째 추가 카메라는 스코어보드 카메라(108)이다. 스코어보드 카메라(108)는 경기장(101)에서 스코어보드(109)를 가리키는 비디오 카메라이다. 이것은 나중에 방송 카메라로부터의 비디오 피드 상에 합성될 수 있는 스코어보드(109)의 비디오 피드를 캡처하는 역할을 한다.
추적 카메라들(200), 방송 카메라(106) 및 스코어보드 카메라(108)는 각각 프로세싱 시스템(110)과 통신한다. 본 실시 예에서, 프로세싱 시스템은, 예를 들어 서버와 같은 컴퓨팅 유닛(110)이다. 컴퓨팅 유닛(110)과의 통신은 로컬 네트워크를 통해 이루어질 수 있고, 유선 또는 무선 연결일 수 있다. 컴퓨팅 유닛(110)은 적어도 프로세서 및 메모리를 포함한다. 컴퓨팅 유닛(110)은 x, y 및 크기 데이터의 형태로 각각의 추적 카메라들(200)로부터 추적 데이터를 수신하도록 구성된다. 다음으로, 컴퓨팅 유닛(100)은 경기 플레이를 결정하기 위하여 추적 데이터에 대해 소프트웨어로 구현된 방법(software-implemented method)을 실행하고, 경기 동작의 최상의 시야(view)를 얻기 위해 방송 카메라(106)의 PTZ를 제어한다. 컴퓨팅 유닛(110)은 또한 방송 카메라(106)와 스코어보드 카메라(108) 둘 다로부터 비디오 피드들을 수신할 수 있고, 경기 동작과 현재 스코어를 모두 보여주기 위해 그것으로부터 합성을 만들어 낼 수 있다. 상기 결과 합성 이미지는, 예컨대 인터넷과 같은 네트워크(111)를 통해 컴퓨터, 스마트폰, 태블릿 또는 그러한 다른 장치들과 같은 클라이언트 장치들(112)로 배포되거나 방송되기 전에 다른 효과들 또는 그래픽들을 추가하기 위해 더 조작될 수 있다.
일부 실시 예들에서, 비디오는 콘텐츠 전달 네트워크(CDN)에 의하여 인터넷을 통해 방송될 수 있다. 이러한 실시 예에서, 방송 카메라(106)와 스코어보드 카메라(108)에 의해 캡처된 비디오는 CDN으로 스트리밍 된다. 비디오는 카메라로부터 직접 스트리밍 되거나 컴퓨팅 유닛(110)을 통해 스트리밍 될 수 있다. 그 다음에, CDN은 다양한 플랫폼들과의 호환성을 위해 비디오를 트랜스코딩(transcoding)하고 클라이언트 장치들(112)로 비디오를 배포하는 역할을 담당한다. 비디오는 클라이언트 장치들(112) 상에서 실행되는 네이티브 애플리케이션들(native applications)에 전달되고, 또한 웹 애플리케이션을 통해 이용 가능하게 될 수 있다. 일부 실시 예들에서, 비디오는 스포츠 경기의 라이브 비디오 피드 형태로 클라이언트 장치들(112)에게 배포될 수 있다.
시스템(100)은 방송된 비디오를 더욱 개선시키기 위한 다른 장치들 또는 센서들을 더 포함할 수 있다. 예를 들어, 시스템은 스포츠 경기 및 관중의 오디오를 캡처하기 위해 하나의 마이크로폰 또는 마이크로폰들의 모음을 구비할 수 있다. 마이크로폰들은 지향성 또는 무지향성일 수 있으며, 전략적으로 경기장 전체에 배치될 수 있다. 일부 실시 예들에서, 방송 카메라(106)는 방송 카메라(106)의 시야에서 오디오가 캡처되도록 지향성 마이크로폰이 제공될 수 있다. 시스템은 또한 경기 동작을 추적하기 위해 방송 카메라(106)와 유사한 방식으로 프로세싱 시스템(110)에 의해 제어될 수 있는 팬, 틸트 및 줌이 가능한 마이크로폰을 포함할 수 있다.
본 발명의 이점은 다양한 필요에 따라 변경 가능한 다른 실시 예들을 허용하는 것이다. 예를 들어, 다른 실시 예들에서, 시스템은 경기 필드 위나 주변의 다른 유리한 지점에 위치한 다수의 방송 카메라들로 구성될 수 있다. 또한, 더 많은 추적 카메라들이 더 큰 필드에 사용될 수 있으며, 더 적은 수의 카메라들이 더 작은 필드에 사용될 수 있다. 일부 실시 예들에서, 컴퓨팅 유닛은 현장에 배치될 수 있다. 다른 실시 예들에서 컴퓨팅 유닛은 현장 밖에 있을 수 있고, 관련된 하드웨어의 양을 더 감소시키기 위해 클라우드 기반일 수 있다. 가능한 실시 예들에 따르면, 각각의 카메라들은 HD, 또는 2K 또는 4K와 같은 더 높은 해상도일 수 있다. 마지막으로, 추적 카메라들과 방송 카메라들은 비용과 관련 장비의 수를 더 감소시키기 위해 하나의 유닛으로 통합될 수 있다.
방법
본 발명의 일 측면에 따르면, 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하기 위한 방법이 제공된다. 상기 방법은 플레이어들을 추적하고, 경기 동작을 녹화하고, 비디오 피드를 관중에게 방송하는 단계를 포함한다. 상기 방법은 바람직하게는 상술한 것과 같은 시스템 상에서 수행된다.
광범위하게 설명되며 도 4를 참조하면, 상기 방법은 경기장을 관심 영역들로 분할하는 단계(402); 각각의 플레이어들을 광학적으로 추적하는 단계(500); 관심 영역들에서 플레이어 그룹들을 식별하는 단계(406); 가장 많은 플레이어들을 포함하는 관심 영역을 결정하는 단계(408); 가장 많은 플레이어들이 있는 관심 영역에서의 활동(activity)을 분석하는 단계(410); 상기 활동에 대응하는 경기플레이(gameplay) 시나리오를 선택하는 단계(412); 및 경기플레이 시나리오에 따라 방송 카메라의 팬, 틸트 및 줌을 조정하는 단계(414)를 포함한다. 500과 414 사이의 단계들은 플레이어들이 지속적으로 추적되고 방송 카메라의 PTZ가 실시간으로 업데이트 되도록 계속해서 반복된다.
도 5를 참조하면, 각각의 플레이어들을 광학적으로 추적하는 단계(500)는 추적 비디오를 캡처하는 단계(502); 추적 비디오의 프레임들로부터 전경(foreground) 블랍들을 추출하는 단계(600); 전경 블랍들의 위치들을 결정하는 단계(504); 블랍 위치들을 프로세싱 시스템에 전송하는 단계(506); 다수의 추적 카메라들로부터 추적 데이터를 병합하는 단계(508); 블랍들을 각각의 플레이어들에 연관시키는 단계(510); 및 추적된 플레이어들의 리스트를 유지하는 단계(512)를 포함할 수 있다. 상기 단계들은 계속해서 반복될 수 있다.
이러한 단계들의 대부분은 중앙 처리 시스템에서 수행될 수 있으나, 일부 단계들은 추적 카메라들의 전용 모듈과 같은 다른 전용 모듈에서 수행될 수 있다. 일 실시 예에서, 상기 방법은 먼저 플레이어들 또는 플레이어 그룹들에 대응하는 블랍들의 x, y 및 크기 정보를 결정하기 위해 추적 카메라 유닛 상에서 비디오 데이터를 분석하는 단계를 포함할 수 있다. 다음으로, 프로세싱 시스템은 다수의 카메라 유닛들로부터 블랍 정보를 수신하고 경기 동작을 분석하기 위해 소프트웨어로 구현된 프로세스를 실행한다. 마지막으로, 프로세싱 시스템은 경기 동작의 최상의 시야를 제공하기 위해 방송 카메라를 제어한다.
현재 설명된 실시 예에서, 상기 방법의 제1 부분은 각각의 추적 카메라 유닛에서 실행될 수 있다. 도 5 및 도 6을 참조하면, 추적 카메라 유닛의 광학 추적 모듈은 다음 단계들을 수행할 수 있다.
a) 비디오 프레임 영상(image)을 판독하는 단계; 다른 비디오 프레임 영상을 판독하기 전에 일정 시간 대기하는 단계(502)
b) 절대 차분 영상(absolute difference image)을 얻기 위해 두 개의 연속된 영상들을 감산하는 단계(604)
c) 차분 영상을 이진 영상으로 변환하기 위해 임계값을 적용하는 단계(606)
d) 노이즈를 제거하기 위해 이진 영상에 블러 필터(blur filter)를 적용하는 단계(608)
e) 이진 영상을 샤프(sharp)하게 하기 위해 다른 임계값을 적용하는 단계(610)
f) 배경으로부터 전경 블랍들을 추출하기 위해 컨투어링(contouring) 처리를 실행하는 단계(612)
g) "n" 픽셀 크기보다 작은 원치 않는 노이즈 및 블랍들을 제거하기 위해 그들의 크기를 기반으로 블랍들을 구별하는 단계
h) 영상의 너비와 높이를 기반으로 블랍의 픽셀 x, y 위치의 절대값을 정규화된 0.0-1.0 값으로 변환하는 단계(504)
i) 경기 플레이를 결정하기 위해 소프트웨어로 구현된 프로세스에서 사용하기 위해 상기 프로세싱 시스템에 각 블랍에 대한 x, y 위치 및 크기의 3-튜플을 스트리밍하는 단계(506)
j) 단계 a)로부터 반복하는 단계
일 실시 예에서, 상기 방법은 움직이는 블랍들을 추출하는 것보다 정지된 블랍들을 추출하기 위해 다른 영상 처리 기술을 사용하는 것을 포함할 수 있다. 이것은 시스템이 움직이지 않는 플레이어들을 보다 잘 처리하도록 할 수 있다. 도 6을 참조하면, 상기 방법은 블랍이 움직이는지 여부를 결정하는 단계(602)를 포함할 수 있다. 블랍이 움직이는 경우, 단계 a) 내지 j)가 상술한 바와 같이 정상적으로 수행된다. 블랍이 움직이지 않는 경우, 그것의 위치는 추적 비디오의 단일 프레임을 분석하여 결정된다. 이와 같이, 분석은 차분 영상에 대해 수행되지 않으며, 연속된 프레임들을 감산하는 단계는 생략된다.
본 실시 예에서, 상기 방법의 제2 부분은 프로세싱 시스템상에서 수행될 수 있다. 프로세싱 시스템의 기능은 추적 카메라로부터 플레이어 위치 정보를 수신하고, 경기 플레이를 결정하기 위한 프로세스를 실행하며, 방송 카메라의 PTZ를 제어하는 것이다. 경기 플레이는 관심 영역 내 플레이어들의 활동을 분석하고 미리 결정된 경기플레이 시나리오들의 세트로부터 경기플레이 시나리오를 선택함으로써 결정될 수 있다. 시나리오들의 세트는, 예를 들어 페이스오프(faceoff), 브레이크어웨이(breakaway), 플레이어 움직임을 포함할 수 있다. 시나리오는 플레이어들의 패턴 또는 관심 영역들에서 플레이어들 또는 플레이어 그룹들의 일련의 이벤트들을 기반으로 선택될 수 있다. 시나리오가 선택되면, 시나리오에 따라 경기 동작의 최상의 시야를 제공하기 위해 방송 카메라의 PTZ가 조정된다.
일 실시 예에서, 다음 단계들은 연속 루프에서 프로세싱 시스템에 의해 실행될 수 있다. 현재 설명된 실시 예에서, 시스템은 4개의 관심 영역들: 수비 영역(영역 1), 수비 영역에서 가장 가까운 중립 영역의 절반(영역 2), 공격 영역에 가장 가까운 중립 영역의 절반(영역 3) 및 공격 영역(영역 4)에서 플레이어들을 추적하기 위한 4대의 추적 카메라들을 포함한다.
프로세싱 시스템은 각각의 추적 카메라 유닛들로부터 데이터를 비동기적으로 수신한다. 데이터는 추적 카메라 유닛들에서 검출된 각 블랍들에 대한 x, y 위치 및 크기의 3-튜플의 리스트 형태일 수 있다.
각 블랍의 x 및 y 위치는 카메라의 FOV 픽셀 너비와 높이를 기반으로 정규화된다.
- 블랍 위치 x = 0은 추적 카메라 수평 FOV의 가장 왼쪽 픽셀을 의미한다.
- 블랍 위치 x = 1.0은 추적 카메라 수평 FOV의 가장 오른쪽 픽셀을 의미한다.
- 블랍 위치 y = 0은 추적 카메라의 수직 FOV의 가장 위쪽 픽셀을 의미한다.
- 블랍 위치 y = 1.0은 추적 카메라 수직 FOV의 가장 아래쪽 픽셀을 의미한다.
본 실시 예에서, y 위치는 4대의 추적 카메라들 모두에 대해 동일하며 수정되지 않는다. 그러나, 다른 실시 예에서, y 위치는 정규화될 필요가 있을 수 있다. x 위치는 모든 4대의 추적 카메라들에서 정규화되어야 한다.
- 카메라 1, x 위치의 범위는 0-0.25이다.
- 카메라 2, x 위치의 범위는 0.25-0.50이다.
- 카메라 3, x 위치의 범위는 0.50-0.75이다.
- 카메라 4, x 위치의 범위는 0.75-1.0이다.
정규화된 블랍 데이터는 작업 블랍 리스트에 위치된다.
그 다음에 프로세싱 시스템은 어느 블랍들이 공간과 시간에서 동일하지만 상쇄(offset) 될지를 결정하기 위하여 과거 데이터를 현재 데이터(작업 블랍 리스트 또는 추적된 플레이어들의 리스트)와 매칭시키는 플레이어 추적 프로세스를 실행한다. 상기 프로세스는 크기 > "n" 픽셀을 기반으로 블랍들을 필터링하고 이들을 리스트에 배치한다. "n" 값은 플레이어 블랍들의 상대적 크기를 기반으로 선택될 수 있으며 추적 카메라들의 위치와 해상도를 기반으로 조정될 수 있다. 예를 들어, "n" 값은 10에서 25 픽셀 사이의 범위일 수 있다. 예시적인 실시 예에서, "n"은 10.7 픽셀일 수 있으며, 그렇게 함으로써 크기가 10.7 평방 픽셀보다 작은 모든 블랍들을 노이즈로 고려한다. 블랍 추적 프로세스는 과거 블랍들과 리스트 내의 블랍들 간의 최상의 매칭을 찾기 위해 최소 거리 계산을 사용한다. 거리 계산이 최소 한계(minimum limit)보다 작은 경우에는 매칭이 있는 것이며, 블랍은 플레이어 객체를 할당받고 플레이어의 블랍들 리스트에 추가된다. 따라서 리스트에 추가된 블랍은 추적된 플레이어의 가장 최근의 마지막에 알려진 위치에 대응한다. 과거 데이터와 매칭되지 않은 블랍들은 새로운 것으로 간주되어 플레이어 객체에 할당된다. 플레이어의 블랍 리스트는 "n"개의 마지막 블랍들의 최대 길이로 유지된다. 다시 말해, 추적된 플레이어들의 리스트에서, 각각의 추적된 플레이어는 그들의 마지막으로 알려진 위치들의 미리 결정된 수 "n"과 관련된다. 이 문맥에서 "n" 값은 플레이어의 이동 방향을 확인하기 위해 필요한 최소한의 이전 정보(previous information)를 기반으로 선택될 수 있다. "n" 값은 예컨대, 5에서 10개의 마지막 블랍들 사이일 수 있다. 예시적인 실시 예에서, "n"은 5로서 선택되며, 따라서 각 플레이어의 블랍 리스트는 플레이어의 마지막으로 알려진 위치들에 대응하는 5개의 블랍만을 포함한다.
플레이어의 블랍 리스트는 플레이어의 속도와 방향을 계산하는데 사용된다. 플레이어의 x 또는 수평 방향을 계산하는 것은 플레이어의 블랍 리스트를 반복 실행(loop)하면서 새로운 x 위치와 이전 x 위치 간의 차이를 합산한 것을 기초로 한다.
xDir =
Figure pct00001
= (xDir[i+1]-xDir[i])
마찬가지로, 플레이어의 y 또는 수직 방향을 계산하는 것은 플레이어의 블랍 리스트를 반복 실행하면서 새로운 y 위치와 이전 y 위치 간의 차이를 합산한 것을 기초로 한다.
yDir =
Figure pct00002
= (yDir[i+1]-yDir[i])
xDir의 양수 값은 플레이어가 추적 카메라 영상 내에서 왼쪽에서 오른쪽으로 움직이고 있다는 것을 나타낸다. xDir의 음수 값은 플레이어가 추적 카메라 영상 내에서 오른쪽에서 왼쪽으로 움직이고 있다는 것을 의미한다. 0 값은 플레이어가 수평 방향으로 움직이지 않는다는 것을 나타낸다. xDir의 크기는 수평 방향의 속도이다.
yDir의 양수 값은 플레이어가 추적 카메라 영상 내에서 위에서 아래로 움직이고 있다는 것을 나타낸다. yDir의 음수 값은 플레이어가 추적 카메라 영상 내에서 아래에서 위로 움직이고 있다는 것을 의미한다. 0 값은 플레이어가 수직 방향으로 움직이지 않는다는 것을 나타낸다. yDir의 크기는 수직 방향의 속도이다.
단순화된 클러스터링은 처리 복잡도를 감소시키기 위해 적용될 수 있다. 일 실시 예에서, 각각의 추적 카메라는 잠재적인 클러스터 또는 플레이어 그룹으로 간주될 수 있다. 추적 카메라는 0 또는 1개의 플레이어 그룹의 클러스터로 구성될 수 있다. 따라서, 모든 추적 카메라에서 최소 0개의 플레이어 그룹과 최대 4개의 플레이어 그룹이 있을 수 있다. 다른 실시 예들에서, 플레이어들은 몇몇 플레이어 그룹들로 나뉠 수 있다. 하나의 관심 영역 또는 전체 경기 필드에서 클러스터 분석을 수행하면 관심 영역들 내에서의 플레이어 그룹들 또는 전체 경기장 내에서의 플레이어들의 글로벌 그룹에 대한 식별을 가능하게 할 수 있다. 그룹화는 서브 그룹들로 더 세분화 할 있다.
추적 카메라가 플레이어들을 감지한 경우, 그룹의 속도 및 방향은 각 플레이어의 속도 및 방향으로부터 계산된다. 왼쪽으로 이동하는 모든 플레이어들의 합을 평균하고 오른쪽으로 이동하는 모든 플레이어들의 합을 평균하여 두 평균의 최대 값을 얻는 것이 그룹의 속도와 방향이 된다. 속도와 방향은 모든 추적 카메라들에 대해 계산된다.
가장 왼쪽의 플레이어, 가장 오른쪽의 플레이어, 가장 위쪽의 플레이어 및 가장 아래쪽의 플레이어는 모든 플레이어들의 x 및 y 위치 값들을 기반으로 결정된다. 왼쪽 및 오른쪽 플레이어의 x 위치와, 위쪽 및 아래쪽 플레이어의 y 위치는 카메라의 잠재적인 FOV를 계산하는데 사용된다. 좁은 FOV는 왼쪽 및 오른쪽 플레이어들이 상대적으로 가까운 x 위치들을 가지거나 위쪽 및 아래쪽 플레이어들이 상대적으로 가까운 y 위치들을 가진다는 것을 의미한다. 넓은 FOV는 x 또는 y 위치들이 멀리 떨어져 있음을 의미한다.
경기 필드 상의 모든 플레이어들에 대한 개관(overview)을 제공하거나, 특정 관심 영역 내의 모든 플레이어들에 대한 개관을 제공하기 위하여 잠재적인 FOV가 일부 경기플레이 시나리오들에서 사용될 수 있다. 플레이어들이 움직이면, 잠재적인 FOV는 모든 플레이어들을 포함할 수 있도록 변한다. 따라서, 이러한 방식으로 계산된 FOV는 플레이어들이 아이스 링크의 한쪽 끝에서 다른 쪽 끝까지 이동하는 경우에, 일반적인 경기플레이에 대한 좋은 시야를 제공한다.
잠재적인 FOV는 한 영역 내의 모든 플레이어들을 포함하거나, 경기 필드 상의 움직이는 모든 플레이어들을 포함할 수 있도록 계산될 수 있다. 도 9a 및 도 9b를 참조하면, 제1 FOV(902)는 공격 영역(303) 내의 모든 플레이어들을 포함할 수 있도록 계산될 수 있다. 이 구성에서, 플레이어(904)는 가장 왼쪽에 있고; 플레이어(905)는 가장 오른쪽에 있고; 플레이어(906)는 가장 위쪽에 있고; 플레이어(907)는 가장 아래쪽에 있다. 이러한 FOV는 예컨대, 공격 시나리오 또는 파워 플레이를 묘사하는데 유용할 수 있다. 도 9a 및 도 9c를 참조하면, 제2 FOV(901)는 경기 필드(102) 상의 움직이는 모든 플레이어들을 한정하도록 계산될 수 있다. 이 구성에서, 플레이어(908)는 가장 왼쪽 플레이어를 대신하고, FOV는 공격 영역(303)과 중립 영역(302)의 시야를 포함한다. 이러한 FOV는 예컨대, 브레이크아웃(breakout) 플레이 시나리오에 유용할 수 있다.
가장 많은 플레이어들을 갖는 추적 카메라는, 경기 플레이를 결정하고 현재 경기플레이 시나리오를 선택하기 위해 소프트웨어로 구현된 프로세스에서 사용되는 추적 카메라 영역으로서 할당된다. 나머지 영역들에서의 데이터는 경기 플레이를 결정할 목적으로 무시될 수 있으므로, 예컨대 처리 복잡도를 감소시킬 수 있다.
플레이어들이 하나의 관심 영역(또한 추적 카메라 영역이라고도 함)에서 다른 영역으로 전환하는지 여부를 결정하기 위해, 이전 관심 영역을 저장하는 데 변수가 사용된다. 만일, 이전 영역 ID가 현재 영역 ID보다 작으면 플레이어들이 오른쪽으로 이동한다. 만일, 이전 영역 ID가 현재 영역 ID보다 크면 플레이어들이 왼쪽으로 이동한다. 만일, 이전 영역 ID가 현재 영역 ID와 같으면 플레이어들이 동일한 추적 카메라 영역 내에서 이동한다. 이 접근법은 천천히 이동하는 플레이어들의 전환을 감지하기에 충분하지만 빠르게 이동하는 플레이어들에게는 충분하지 않을 수 있다. 빠르게 이동하는 플레이어들 또는 플레이어 그룹들을 감지하려면 예측 프로세스가 필요할 수 있다.
한 영역에서 다른 영역으로 전환하는 플레이어들을 쉽게 감지할 수 있도록, 왼쪽 및 오른쪽 x 위치 트리거 마커들이 사용된다. 플레이어들의 그룹이 한 영역 내에서 이동하는 경우(x 방향이 0이 아닌 경우)와, 그룹의 x 위치가 마커 및 관련 영역 가장자리에 속하는 경우와, 그룹의 속도가 제한 한도보다 큰 경우, 그룹이 새로운 카메라 영역으로 전환하고 있다라고 예측된다.
현재 추적 카메라 영역과 예측된 전환 추적 카메라 영역은 경기 플레이를 결정하기 위한 프로세스에서 사용될 수 있다.
일부 실시 예들에서, 추적 카메라들은 움직이지 않는 플레이어들을 검출할 수 없으므로, 움직이지 않는 플레이어들에 대하여 프로세싱 시스템에 블랍 데이터를 전송하지 않는다. 프로세싱 시스템은 플레이어의 속도 및 방향을 추적함으로써 플레이어가 움직이지 않는 경우를 감지해야 한다. 플레이어의 현재 속도가 0으로부터의 "x" 한계 값에 근접하면, 플레이어는 정지된 것으로 간주되고 플레이어의 현재 위치, 속도 및 방향은 플레이어 정지 리스트에 저장된다. 플레이어 추적 도중에, 새로운 플레이어가 감지되면 그들의 위치가 정지 리스트 내의 플레이어들과 비교된다. 만일 매칭되는 경우 새로운 플레이어는 이전에 정지된 플레이어이다. 정지 리스트 내의 플레이어 값들은 수명이 있으므로, "t" 시간 후에 플레이어 값들이 움직이는 플레이어와 매칭되지 않으면 그 값들은 삭제된다.
정지된 플레이어들은 여러 명의 정지된 플레이어들과 새로운 위치로 움직이는 한 명의 심판(official) 혹은 한 명의 플레이어가 있는 경우의 페이스오프(faceoff) 처리에 사용될 수 있다. 순수 우선순위 움직임 기반 프로세스(pure priority movement-based process)에서, 움직이는 심판 혹은 플레이어는 프로세스가 팬, 틸트 및 줌 값들을 생성하도록 하여 방송 카메라가 움직임을 추적하게 한다. 본 방법에서, 상기 프로세스는 플레이어들이 페이스오프 서클에서 정지된 것을 인지하고, 페이스오프 경기플레이 시나리오를 선택한다. 페이스오프 경기플레이 시나리오에서, 방송 카메라는 플레이어 또는 플레이어들의 그룹이 위치하는 페이스오프 영역 상에 초점을 맞추기 위해 팬, 틸트, 줌 된다. 단일 플레이어 움직임이 있더라도, 프로세스는 단일 플레이어의 움직임을 추적하는 대신 현재 방송 카메라의 팬, 틸트 값들을 유지할 것이다. 이러한 상태는 페이스오프가 끝날 때까지 유지되며 프로세스는 다른 경기플레이 시나리오를 선택한다.
브레이크어웨이(breakaway) 경기플레이 시나리오는 플레이어 그룹의 역동성(속도 및 위치)과 단일 플레이어의 행동의 조합과 같은 활동을 분석하여 식별될 수 있다. 도 7을 참조하면, 다음 이벤트들의 순서(700)는 브레이크어웨이를 예측하기 위해 발생해야 한다.
- 모든 플레이어들(그룹)은 일정 시간 "t" 동안 추적 카메라 영역들 1 또는 4(엔드 존) 중 하나에 있다(702).
- 한 명의 플레이어(브레이크어웨이 플레이어)는 플레이어 그룹보다 더 빠른 속도로(704) 그리고 그룹으로부터 "d" 보다 더 큰 거리로(706) 다른 영역(2 또는 3)으로 전환한다.
- 플레이어 그룹은 "엔드 존" 내에서 브레이크어웨이 플레이어와 같은 방향으로 이동하거나 또는 다른 영역으로 전환해야 한다(708).
플레이어 및 그룹 활동을 조사할 때, 시스템은 가장 많은 수의 플레이어들을 포함하는 하나의 관심 영역에서 플레이어 및 그룹의 역동성을 분석할 수 있다. 플레이가 빠르게 변하는 시나리오에서, 상기 순서는 플레이어 또는 그룹이 영역 2 혹은 3으로 이동하는지 여부를 예측하는 단계(710)를 포함할 수 있다. 그렇다면, 시스템은 예측 영역과 현재 가장 많은 플레이어들을 포함하는 영역 모두에서 활동을 분석할 수 있다.
경기플레이 시나리오는 경기 동안 자주 바뀔 수 있다. 따라서, 경기플레이 시나리오를 선택하는 것은 적절한 시나리오를 선택하기 위해 경기플레이 활동의 지속적인 분석을 포함할 수 있다. 상기 선택은 특정 시나리오를 나타내는 패턴들 또는 일련의 이벤트들을 식별하는 의사 결정 트리를 포함할 수 있다. 시나리오가 선택되면, 방송 카메라의 PTZ는 방송 가능한 비디오의 프레임 내에서 현재 경기플레이를 가장 잘 표현하도록 조정될 수 있다.
도 8을 참조하면, 현재 경기플레이 시나리오를 선택하는 방법은 특정 경기플레이 시나리오를 식별하고 이에 따라 방송 카메라의 PTZ 값들을 조정하기 위하여 전술한 파라미터들을 사용한다. 플레이어들이 움직이고 있고(802) 플레이어들이 페이스오프 영역에서 나오는 경우(804), 선택된 시나리오는 완료된 페이스오프이다. 카메라는 아이스 링크를 더 많이 보여주기 위해 페이스오프 영역을 줌 아웃한다(806). 플레이어들이 움직이고 있지만(802) 페이스오프 영역에서 나오지 않는 경우(804), 선택된 시나리오는 표준 플레이이다. 카메라는 플레이어들의 움직임을 추적하기 위해 팬, 틸트 및 줌 된다. 도 7에서 설명된 이벤트들의 순서가 발생하는 경우, 선택된 시나리오는 브레이크어웨이이다(818). 브레이크어웨이 플레이어 및 영역이 발견되며(820) 카메라가 브레이크어웨이 플레이어에 초점을 맞추기 위해 팬, 틸트 및 줌 된다(822).
플레이어들이 프로세스의 시작 시에 움직이지 않지만(802), 플레이어들이 페이스오프 영역에 있는 경우(810), 선택된 시나리오는 페이스오프이다. 방송 카메라는 페이스오프 서클 상에 초점을 맞추기 위해 팬, 틸트 및 줌 된다. 플레이어들이 페이스오프 서클에 있지 않은 경우(810), 카메라는 그에 따라 동작을 추적하기 위해 틸트 및 줌 된다(814).
계속해서 도 8을 참조하면, 일단 PTZ 값들이 계산된 다음, 그 값들은 API를 통해 컴퓨터로부터 방송 카메라로 전송된다(808).
상기 방법은 방송 카메라에 의해 녹화된 비디오 상에 스코어보드 비디오를 합성하는 추가적인 단계를 더 포함할 수 있다. 도 10을 참조하면, 합성된 비디오(1000)는 방송 카메라(1002)에 의해 캡처된 비디오의 일부분 상에 오버레이 된 스코어보드(1004)의 비디오 피드를 포함할 수 있다. 이 방식에서 비디오를 보는 관중은 언제나 경기의 스코어를 볼 수 있다. 설명된 실시 예에서, 스코어보드 카메라로부터의 피드가 방송 카메라로부터의 피드 상에 직접 합성된다. 스코어보드 비디오는 방송 카메라로부터의 비디오와 시각적으로 간섭하지 않도록 위치되는 것이 바람직하다. 스코어보드 비디오가 방송 카메라 비디오와 간섭을 일으킬 것으로 판단되는 경우, 예컨대 플레이어를 덮는 경우, 스코어보드 피드는 흐려지거나 일시적으로 숨겨질 수 있다. 일 실시 예에서, 스코어보드 비디오는 디스플레이되는 정보를 추출하기 위해 처리될 수 있다. 이 정보는 방송 카메라로부터의 비디오 상에 오버레이되는 스코어보드를 나타내는 사용자 정의 그래픽을 자동으로 생성하는 데 사용될 수 있다. 일단 합성되면, 결과 비디오는 인터넷 또는 다른 네트워크를 통해 클라이언트 장치들로 방송될 수 있다. 그것은 경기의 라이브 피드 형식으로 방송되거나, 또는 나중에 방송용으로 저장될 수 있다.
나열된 단계들은 본 발명의 가능한 실시 예들의 일부에 불과하다. 다른 실시 예들에서는 일부 단계들이 상이한 순서로 수행되거나 상이한 구성들 상에서 수행될 수 있으며, 또는 일부 단계들은 단일 구성상에서 수행될 수 있다. 예를 들어, 블랍 데이터는 추적 카메라 유닛 내 별도의 컴퓨팅 모듈 상에서 생성되는 대신, 경기 플레이를 결정하는 동일한 컴퓨팅 유닛 상에서 생성될 수 있다.
다른 가능한 실시 예들에 따르면, 하키 이외의 다른 스포츠를 추적하기 위한 방법을 사용하는 경우, 특정 스포츠에 특정된 상이한 경기플레이 시나리오를 식별하고 선택하기 위한 추가적인 단계들이 포함될 수 있다. 또한, 다른 실시 예들에 따르면, 다양한 프로세스들에서 사용되는 임계값들 및 픽셀 크기들은 다양할 수 있고 시스템의 필요에 따라 조정될 수 있다. 전술한 실시 예에서 설명된 특정 값들은 단지 예시적인 것이며 본 발명의 범위를 제한하기 위한 것으로 간주되어서는 안된다.

Claims (21)

  1. 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하는 방법에 있어서,
    상기 경기장을 복수의 관심 영역들로 분할하는 단계;
    적어도 하나의 고정된 추적 카메라를 사용하여 상기 관심 영역들 내에서 각 플레이어들의 위치를 결정함으로써 상기 경기장에서 상기 각 플레이어들을 광학적으로 추적하는 단계;
    상기 각 플레이어들의 위치에 기초하여, 상기 관심 영역들 내에서 플레이어 그룹들을 식별하기 위해 클러스터 분석을 수행하는 단계;
    상기 각 플레이어들을 가장 많이 포함하는 상기 관심 영역들 중 주어진 하나를 결정하는 단계;
    상기 활동에 대응하는 현재 경기플레이 시나리오를 선택하기 위해 상기 관심 영역들 중 주어진 하나 내에서 상기 각 플레이어들 및 플레이어 그룹들의 활동을 분석하는 단계 - 상기 현재 경기플레이 시나리오는 미리 결정된 경기플레이 시나리오들의 세트로부터 선택됨; 및
    상기 현재 경기플레이 시나리오에 기초하여, 방송 카메라의 팬(pan), 틸트(tilt) 또는 줌(zoom)을 실시간으로 조정함으로써, 상기 방송 카메라의 시야(field of view)를 변경하고 상기 스포츠 경기의 방송 가능한 비디오를 캡처하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 현재 경기플레이 시나리오는,
    상기 관심 영역들 중 주어진 하나에 관하여 상기 각 플레이어들 중 적어도 하나 또는 상기 플레이어 그룹들 중 적어도 하나의 현재 위치, 속도 또는 방향을 기반으로 하여 선택되는 것을 특징으로 하는 방법.
  3. 제1항 또는 2항에 있어서,
    인접한 관심 영역들 사이에서 전환(transitioning)하는 각 플레이어들 또는 플레이어 그룹들을 식별하는 단계를 더 포함하며,
    상기 현재 경기플레이 시나리오는 상기 인접한 영역들 사이에서 전환하는 상기 각 플레이어들 또는 플레이어 그룹들의 현재 위치, 속도, 또는 방향을 기반으로 하여 선택되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    제1 및 제2 인접한 영역들 사이에서 상기 각 플레이어들 또는 플레이어 그룹들의 전환을 예측하는 단계를 더 포함하며,
    상기 각 플레이어들 또는 플레이어 그룹들의 활동은, 상기 현재 경기플레이 시나리오를 선택하기 위해 상기 제1 및 제2 영역 모두에서 분석되는 것을 특징으로 하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 각 플레이어들을 광학적으로 추적하는 단계는,
    상기 적어도 하나의 고정된 추적 카메라에 의해 캡처된 추적 비디오의 프레임들로부터 전경(foreground) 블랍들(blobs)을 추출하는 단계;
    상기 추적 비디오의 프레임들 내에서 그들의 위치들을 기반으로 상기 전경 블랍들의 위치들을 결정하는 단계;
    상기 각 플레이어들과 상기 전경 블랍들 각각을 연관시키는 단계; 및
    추적된 플레이어들의 리스트를 유지하는 단계 - 상기 리스트 내의 각 추적된 플레이어는 상기 플레이어의 마지막으로 알려진 위치들의 미리 결정된 수와 연관됨;
    를 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 전경 블랍들을 연관시키는 단계는,
    상기 전경 블랍에 가장 가까운 마지막으로 알려진 위치를 갖는 상기 리스트 내의 플레이어와 전경 블랍의 위치를 매칭시키는 단계;
    매칭이 발견된 경우, 상기 플레이어와 연관된 가장 최근의 마지막으로 알려진 위치가 상기 전경 블랍의 위치에 대응되도록 상기 리스트를 업데이트하는 단계; 및
    매칭이 발견되지 않은 경우, 상기 전경 블랍의 위치에 대응하는 가장 최근의 마지막으로 알려진 위치를 가진 새로운 추적된 플레이어를 상기 리스트에 추가하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 적어도 하나의 고정된 추적 카메라에 의해 캡처된 추적 비디오의 프레임들로부터 전경 블랍들을 추출하는 단계는,
    차분 영상(difference image)을 획득하기 위해 상기 추적 비디오의 연속된 프레임들을 감산하는 단계; 및
    배경(background) 상에서 상기 전경 블랍들의 이진 영상(binary image)을 획득하기 위해 상기 차분 영상에 임계값을 적용하는 단계; 노이즈를 제거하기 위해 상기 이진 영상을 블러링(blurring)하는 단계; 및 상기 블랍들을 추출하기 위해 상기 이진 영상에 컨투어링(contouring) 알고리즘을 실행하는 단계에 의해 상기 차분 영상으로부터 상기 전경 블랍들을 추출하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    움직이는 플레이어들에 대응하는 움직이는 블랍들 및 정지된 플레이어들에 대응하는 정지된 블랍들을 식별하는 단계를 더 포함하며,
    상기 움직이는 블랍들은 상기 차분 영상으로부터 추출되고, 상기 정지된 블랍들은 상기 추적 비디오의 단일 프레임으로부터 추출되는 것을 특징으로 하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 현재 경기플레이 시나리오를 선택하는 단계는,
    상기 각 플레이어들 및 플레이어 그룹들의 활동을 상기 미리 결정된 경기플레이 시나리오들의 세트 내에서 특정 경기플레이 시나리오와 연관된 미리 설정된 패턴과 매칭하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 경기장은 상기 관심 영역들이 상기 경기장 내에서의 경기 필드의 영역들에 대응하도록 분할되는 것을 특징으로 하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 경기장 내의 경기 필드 상에서 추적 영역을 맵핑함으로써 상기 적어도 하나의 고정된 추적 카메라를 조정하는 단계를 더 포함하며,
    상기 추적 영역은, 추적 비디오가 상기 각 플레이어들을 광학적으로 추적하는데 사용되는 내부 영역 및 상기 추적 비디오가 무시되는 외부 영역인 것을 특징으로 하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 각 플레이어들은 복수의 고정된 추적 카메라들을 사용하여 추적되며,
    상기 복수의 추적 카메라들로부터의 추적 데이터를 정규화하는 단계; 및
    상기 경기장 내에서 상기 각 플레이어들을 전체적으로 추적하기 위해 상기 복수의 추적 카메라들로부터의 추적 데이터를 병합하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 경기장 내에서 플레이어들의 글로벌 그룹을 식별하기 위해 상기 각 플레이어들의 위치에 대한 클러스터 분석을 수행하는 단계; 및
    상기 글로벌 그룹의 현재 위치, 속도 또는 방향을 기반으로 상기 경기플레이 시나리오를 선택하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    스코어보드 비디오를 캡처하고 상기 방송 가능한 비디오에 상기 스코어보드 비디오를 합성하는 단계를 더 포함하며,
    상기 스코어보드 비디오는 상기 경기장 내의 스코어보드의 비디오를 포함하는 것을 특징으로 하는 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 방송 카메라의 팬, 틸트 또는 줌은,
    상기 시야가 상기 관심 영역들 중 주어진 하나 또는 상기 경기장 내에서 가장 왼쪽의 플레이어, 가장 오른쪽의 플레이어, 가장 위쪽의 플레이어 및 가장 아래쪽의 플레이어를 포함하도록 조정되는 것을 특징으로 하는 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    네트워크를 통해 라이브 피드(live feed)로 상기 방송 가능한 비디오를 방송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 경기장 내에서 스포츠 경기의 방송 가능한 비디오를 자동으로 캡처하는 시스템에 있어서,
    상기 경기장에서 플레이어들의 추적 비디오를 캡처하는 적어도 하나의 고정된 추적 카메라;
    상기 스포츠 경기의 상기 방송 가능한 비디오를 캡처하는 방송 카메라 - 상기 방송 카메라는 그것의 팬, 틸트 또는 줌을 조정하기 위해 원격으로 제어 가능함; 및
    상기 적어도 하나의 추적 카메라 및 상기 방송 카메라에 작동 가능하게 연결된 프로세싱 시스템을 포함하며,
    상기 프로세싱 시스템은,
    상기 경기장을 복수의 관심 영역들로 분할하고,
    적어도 하나의 고정된 추적 카메라를 사용하여 상기 관심 영역들 내에서 각 플레이어들의 위치를 결정함으로써 상기 경기장에서 상기 각 플레이어들을 광학적으로 추적하고,
    상기 각 플레이어들의 위치에 기초하여, 상기 관심 영역들 내에서 플레이어 그룹들을 식별하기 위해 클러스터 분석을 수행하고,
    상기 각 플레이어들을 가장 많이 포함하는 상기 관심 영역들 중 주어진 하나를 결정하고,
    상기 활동에 대응하는 현재 경기플레이 시나리오를 선택하기 위해 상기 관심 영역들 중 주어진 하나 내에서 상기 각 플레이어들 및 플레이어 그룹들의 활동을 분석하되, 상기 현재 경기플레이 시나리오는 미리 결정된 경기플레이 시나리오들의 세트로부터 선택되고,
    상기 현재 경기플레이 시나리오에 기초하여, 상기 방송 카메라의 팬(pan), 틸트(tilt) 또는 줌(zoom)을 실시간으로 조정함으로써, 상기 방송 카메라의 시야(field of view)를 변경하고 상기 스포츠 경기의 방송 가능한 비디오를 캡처하도록 구성되는 것을 특징으로 하는 시스템.
  18. 제17항에 있어서,
    상기 적어도 하나의 추적 카메라는 복수의 추적 카메라들이고, 상기 복수의 추적 카메라들 각각은 상기 경기장 내에서 상기 복수의 관심 영역들 중 특정한 한 영역의 추적 비디오를 캡처하도록 할당되는 것을 특징으로 하는 시스템.
  19. 제17항 또는 제18항에 있어서,
    상기 적어도 하나의 추적 카메라는 광학 추적 모듈을 포함하며,
    상기 광학 추적 모듈은,
    상기 적어도 하나의 고정된 추적 카메라에 의해 캡처된 추적 비디오의 프레임들로부터 전경(foreground) 블랍들(blobs)을 추출하고,
    상기 추적 비디오의 프레임들 내에서 그들의 위치들을 기반으로 상기 전경 블랍들의 위치들을 결정하고,
    상기 전경 블랍들의 위치들의 좌표들을 상기 프로세싱 시스템에 전송하되, 상기 좌표들은 상기 추적 비디오의 전송 없이도 상기 프로세싱 시스템에 전송되도록 구성되는 것을 특징으로 하는 시스템.
  20. 제17항 내지 19항 중 어느 한 항에 있어서,
    상기 프로세싱 시스템에 작동 가능하게 연결된 스코어보드 카메라를 더 포함하며,
    상기 스코어보드 카메라는 상기 경기장 내의 스코어보드의 스코어보드 비디오를 캡처하고,
    상기 프로세싱 시스템은 상기 방송 가능한 비디오에 상기 스코어보드 비디오를 합성하도록 더 구성되는 것을 특징으로 하는 시스템.
  21. 스포츠 경기 동안 경기장에서 적어도 하나의 추적 카메라 및 원격 제어 가능한 방송 카메라에 작동 가능하게 연결된 하나 이상의 프로세서에 의해 실행되는 하나 이상의 명령 시퀀스를 기록한 비일시적 판독 가능한 매체(non-transitory machine-readable medium)에 있어서,
    상기 하나 이상의 프로세서는,
    상기 경기장을 복수의 관심 영역들로 분할하는 단계;
    적어도 하나의 추적 카메라를 사용하여 상기 관심 영역들 내에서 각 플레이어들의 위치를 결정함으로써 상기 경기장에서 상기 각 플레이어들을 광학적으로 추적하는 단계;
    상기 각 플레이어들의 위치에 기초하여, 상기 관심 영역들 내에서 플레이어 그룹들을 식별하기 위해 클러스터 분석을 수행하는 단계;
    상기 각 플레이어들을 가장 많이 포함하는 상기 관심 영역들 중 주어진 하나를 결정하는 단계;
    상기 활동에 대응하는 현재 경기플레이 시나리오를 선택하기 위해 상기 관심 영역들 중 주어진 하나 내에서 상기 각 플레이어들 및 플레이어 그룹들의 활동을 분석하는 단계 - 상기 현재 경기플레이 시나리오는 미리 결정된 경기플레이 시나리오들의 세트로부터 선택됨; 및
    상기 현재 경기플레이 시나리오에 기초하여, 상기 방송 카메라의 팬(pan), 틸트(tilt) 또는 줌(zoom)을 실시간으로 조정함으로써, 상기 방송 카메라의 시야(field of view)를 변경하고 상기 스포츠 경기의 방송 가능한 비디오를 캡처하는 단계를 수행하는 것을 특징으로 하는 비일시적 판독 가능한 매체.
KR1020177012681A 2014-10-10 2015-05-08 스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법 KR20170086493A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462062457P 2014-10-10 2014-10-10
US62/062,457 2014-10-10
PCT/CA2015/050409 WO2016054729A1 (en) 2014-10-10 2015-05-08 System and method for optical player tracking in sports venues

Publications (1)

Publication Number Publication Date
KR20170086493A true KR20170086493A (ko) 2017-07-26

Family

ID=55652430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177012681A KR20170086493A (ko) 2014-10-10 2015-05-08 스포츠 경기장에서의 광학 플레이어 추적 시스템 및 방법

Country Status (10)

Country Link
US (2) US9468850B2 (ko)
EP (1) EP3205112A1 (ko)
JP (1) JP2017531979A (ko)
KR (1) KR20170086493A (ko)
CN (1) CN107005654A (ko)
AU (1) AU2015330646A1 (ko)
BR (1) BR112017007408A2 (ko)
MX (1) MX2017004722A (ko)
RU (1) RU2017116214A (ko)
WO (1) WO2016054729A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102112517B1 (ko) * 2020-03-06 2020-06-05 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
KR102407516B1 (ko) * 2021-10-07 2022-06-13 주식회사 씨스토리 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11309081B2 (en) 2010-10-13 2022-04-19 Gholam A. Peyman Telemedicine system with dynamic imaging
US10456209B2 (en) 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
WO2019014521A1 (en) * 2017-07-13 2019-01-17 Peyman Gholam A DYNAMIC IMAGE RECOGNITION SYSTEM FOR SECURITY AND TELEMEDICINE
AU2014347366B2 (en) * 2013-11-08 2019-10-31 Performance Lab Technologies Limited Automated prescription of activity based on physical activity data
US11861906B2 (en) 2014-02-28 2024-01-02 Genius Sports Ss, Llc Data processing systems and methods for enhanced augmentation of interactive video content
US11120271B2 (en) 2014-02-28 2021-09-14 Second Spectrum, Inc. Data processing systems and methods for enhanced augmentation of interactive video content
US10713494B2 (en) 2014-02-28 2020-07-14 Second Spectrum, Inc. Data processing systems and methods for generating and interactive user interfaces and interactive game systems based on spatiotemporal analysis of video content
US10521671B2 (en) 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
US10769446B2 (en) 2014-02-28 2020-09-08 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
NO20161098A1 (en) * 2016-07-01 2018-01-02 Teameye As Camera system for filming sports venues
US10530972B2 (en) 2016-09-21 2020-01-07 Htc Corporation Control method for optical tracking system
JP6821398B2 (ja) * 2016-11-09 2021-01-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20180157974A1 (en) * 2016-12-05 2018-06-07 Disney Enterprises, Inc. Data-driven ghosting using deep imitation learning
US10269133B2 (en) * 2017-01-03 2019-04-23 Qualcomm Incorporated Capturing images of a game by an unmanned autonomous vehicle
JP6965975B2 (ja) * 2017-03-10 2021-11-10 株式会社Ｊｖｃケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
JP6766707B2 (ja) * 2017-03-10 2020-10-14 株式会社Ｊｖｃケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
WO2018191192A1 (en) * 2017-04-10 2018-10-18 Hrl Laboratories, Llc System for predicting movements of an object of interest with an autoencoder
WO2018232412A1 (en) * 2017-06-16 2018-12-20 Skycam, Llc Infinite virtual pan tilt zoom camera
US11601715B2 (en) * 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
WO2019025833A1 (en) * 2017-08-02 2019-02-07 Playgineering Systems, Sia AUTOMATED TURNING SYSTEM AND METHOD
US10885310B2 (en) * 2017-08-17 2021-01-05 Jpmorgan Chase Bank, N.A. Sytems and methods for object recognition and association with an identity
JP6972804B2 (ja) * 2017-09-11 2021-11-24 株式会社Ｊｖｃケンウッド チャット端末装置、チャットシステム、チャット表示方法、及びチャット表示プログラム
CN111263945A (zh) * 2017-10-22 2020-06-09 T·马丁 用于体育赛事中的运动员的图像标识登记的系统和方法
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
EP3713650A4 (en) * 2017-11-23 2021-12-29 Fatty Industries Pty Ltd Exercise bay and exercise apparatus for use with same
US20190183190A1 (en) * 2017-12-18 2019-06-20 Revolution Cycle Works Company Portable article including a number of patterns
US10896357B1 (en) 2017-12-29 2021-01-19 Automation Anywhere, Inc. Automatic key/value pair extraction from document images using deep learning
CN108211319B (zh) * 2018-01-30 2019-06-18 平顶山学院 用于体育田径的多功能智能记录台
RU2683499C1 (ru) * 2018-03-15 2019-03-28 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
WO2019183235A1 (en) * 2018-03-21 2019-09-26 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
US10769427B1 (en) * 2018-04-19 2020-09-08 Automation Anywhere, Inc. Detection and definition of virtual objects in remote screens
WO2019229748A1 (en) * 2018-05-28 2019-12-05 United Perfectum Ltd. Golf game video analytic system
US10904076B2 (en) * 2018-05-30 2021-01-26 International Business Machines Corporation Directing functioning of an object based on its association to another object in an environment
US11172248B2 (en) 2019-01-22 2021-11-09 Tempus Ex Machina, Inc. Systems and methods for customizing and compositing a video feed at a client device
US11140328B2 (en) * 2019-01-22 2021-10-05 Tempus Ex Machina, Inc. Systems and methods for partitioning a video feed to segment live player activity
EP3935832A4 (en) * 2019-02-28 2023-06-07 Stats Llc SYSTEM AND METHOD FOR CALIBRATION OF MOBILE CAMERAS CAPTURING BROADCAST VIDEO
JP7274307B2 (ja) * 2019-03-05 2023-05-16 日本放送協会 番組映像制作装置およびカメラモデル学習装置、ならびに、それらのプログラム
US11058950B2 (en) * 2019-03-15 2021-07-13 Sony Interactive Entertainment Inc. Methods and systems for spectating characters in virtual reality views
US10918945B2 (en) * 2019-03-15 2021-02-16 Sony Interactive Entertainment Inc. Methods and systems for spectating characters in follow-mode for virtual reality views
CN110213611A (zh) * 2019-06-25 2019-09-06 宫珉 一种基于人工智能视觉识别技术的球类赛场摄像实现方法
CN110300288A (zh) * 2019-07-29 2019-10-01 富咖科技(大连)有限公司 一种用于摸摸动物园游玩的视频自动采集与合成方法
US11321566B2 (en) 2019-08-22 2022-05-03 Jpmorgan Chase Bank, N.A. Systems and methods for self-learning a floorplan layout using a camera system
CN112637612B (zh) * 2019-09-24 2021-11-23 广州虎牙科技有限公司 直播平台及其交互视频处理方法
US11113535B2 (en) 2019-11-08 2021-09-07 Second Spectrum, Inc. Determining tactical relevance and similarity of video sequences
JP7384008B2 (ja) * 2019-11-29 2023-11-21 富士通株式会社 映像生成プログラム、映像生成方法及び映像生成システム
US20210170229A1 (en) * 2019-12-06 2021-06-10 Acronis International Gmbh Systems and methods for providing strategic game recommendations in a sports contest using artificial intelligence
JP7464437B2 (ja) 2020-04-23 2024-04-09 株式会社Ｎｔｔドコモ 情報処理装置
CN111541846A (zh) * 2020-05-07 2020-08-14 元动未来(北京)科技有限公司 一种冰壶影像自动跟拍系统
CN111915643B (zh) * 2020-05-20 2023-10-10 北京理工大学 基于zed视觉的游泳运动员出水高度的检测系统及方法
US11452940B2 (en) * 2020-06-09 2022-09-27 International Business Machines Corporation Real-world activity simulation augmentation with real-world data of the activity
CN111898096B (zh) * 2020-07-23 2024-02-09 浙江大学 足球运动员跨国转会分析可视化的系统和方法
JP7054950B1 (ja) 2020-11-12 2022-04-15 独立行政法人日本スポーツ振興センター 位置計測システム、及び位置計測方法
KR102544972B1 (ko) * 2020-11-16 2023-06-20 주식회사 핏투게더 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
WO2022165620A1 (en) * 2021-02-02 2022-08-11 Intel Corporation Game focus estimation in team sports for immersive video
US11902603B2 (en) * 2021-08-20 2024-02-13 Stats Llc Methods and systems for utilizing live embedded tracking data within a live sports video stream
US11831982B2 (en) * 2022-03-25 2023-11-28 International Business Machines Corporation Multiple entity video capture coordination

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124862A (en) 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6270433B1 (en) * 1997-12-15 2001-08-07 Toy Builders Player position detection system
JP3985369B2 (ja) * 1998-08-21 2007-10-03 株式会社セガ ゲーム画面の表示制御方法、キャラクタの移動制御方法およびゲーム機並びにプログラムを記録した記録媒体
US9555310B2 (en) 1998-11-20 2017-01-31 Maxx Holdings, Inc. Sports scorekeeping system with integrated scoreboard and automatic entertainment system
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US8965898B2 (en) * 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US20020030742A1 (en) * 1998-11-20 2002-03-14 Aman James A. Employing electomagnetic by-product radiation for object tracking
US6567116B1 (en) 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
CA2328048E (en) * 2000-12-11 2013-04-09 Hockeyline Inc. Electronic scorekeeping device and system therefor
GB2379571A (en) * 2001-09-11 2003-03-12 Eitan Feldbau Determining the Position of Players on a Sports Field
CA2467545C (en) 2001-11-20 2015-02-03 James A. Aman Optimizations for live event, real-time, 3d object tracking
US6950123B2 (en) 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
WO2004045734A1 (ja) * 2002-11-20 2004-06-03 Sega Corporation ゲーム画像の表示制御プログラム及びゲーム装置並びに記憶媒体
US8614741B2 (en) * 2003-03-31 2013-12-24 Alcatel Lucent Method and apparatus for intelligent and automatic sensor control using multimedia database system
JP3656118B2 (ja) * 2003-09-25 2005-06-08 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置、コンピュータの制御方法及びプログラム
US6867116B1 (en) * 2003-11-10 2005-03-15 Macronix International Co., Ltd. Fabrication method of sub-resolution pitch for integrated circuits
EP2408193A3 (en) 2004-04-16 2014-01-15 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
AU2005279687B2 (en) * 2004-08-30 2010-02-18 Trace Optic Technologies Pty Ltd A method and apparatus of camera control
US9327191B2 (en) * 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
US8611723B2 (en) 2006-09-06 2013-12-17 James Andrew Aman System for relating scoreboard information with event video
CA2662136A1 (en) 2006-09-11 2008-03-20 James A. Aman System and methods for translating sports tracking data into statistics and performance measurements
US8385658B2 (en) * 2007-07-27 2013-02-26 Sportvision, Inc. Detecting an object in an image using multiple templates
JP5390115B2 (ja) * 2008-03-31 2014-01-15 株式会社バンダイナムコゲームス プログラム、ゲームシステム
US8339456B2 (en) * 2008-05-15 2012-12-25 Sri International Apparatus for intelligent and autonomous video content generation and streaming
EP2150057A3 (en) * 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
CA2736750A1 (en) 2008-09-15 2010-03-18 James A. Aman Session automated recording together with rules based indexing, analysis and expression of content
US8622795B2 (en) * 2008-12-04 2014-01-07 Home Box Office, Inc. System and method for gathering and analyzing objective motion data
US8698898B2 (en) * 2008-12-11 2014-04-15 Lucasfilm Entertainment Company Ltd. Controlling robotic motion of camera
WO2010083238A1 (en) * 2009-01-13 2010-07-22 Futurewei Technologies, Inc. Method and system for image processing to classify an object in an image
US9462030B2 (en) * 2009-03-04 2016-10-04 Jacquelynn R. Lueth System and method for providing a real-time three-dimensional digital impact virtual audience
JP5299018B2 (ja) * 2009-03-26 2013-09-25 ソニー株式会社 情報処理装置、コンテンツ処理方法及びプログラム
US8786415B2 (en) * 2010-02-24 2014-07-22 Sportvision, Inc. Tracking system using proximity and/or presence
US9600760B2 (en) * 2010-03-30 2017-03-21 Disney Enterprises, Inc. System and method for utilizing motion fields to predict evolution in dynamic scenes
US8170413B2 (en) * 2010-03-31 2012-05-01 James Cameron Single seat-kill camera system
US8456518B2 (en) * 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
EP2618897A4 (en) 2010-07-08 2016-09-07 Intheplay Inc POINT COUNTER SYSTEM FOR SPORT WITH INTEGRATED DISPLAY PANEL AND AUTOMATIC ENTERTAINMENT SYSTEM
US9626786B1 (en) * 2010-07-19 2017-04-18 Lucasfilm Entertainment Company Ltd. Virtual-scene control device
US9055226B2 (en) * 2010-08-31 2015-06-09 Cast Group Of Companies Inc. System and method for controlling fixtures based on tracking data
US8854594B2 (en) 2010-08-31 2014-10-07 Cast Group Of Companies Inc. System and method for tracking
JP5614211B2 (ja) * 2010-09-30 2014-10-29 株式会社セガ 画像処理プログラム及びコンピュータ読み取り可能な記録媒体
NZ733111A (en) * 2010-11-19 2019-03-29 Isolynx Llc Associative object tracking systems and methods
US20120142429A1 (en) * 2010-12-03 2012-06-07 Muller Marcus S Collaborative electronic game play employing player classification and aggregation
US8659663B2 (en) * 2010-12-22 2014-02-25 Sportvision, Inc. Video tracking of baseball players to determine the start and end of a half-inning
JP5725953B2 (ja) * 2011-04-13 2015-05-27 キヤノン株式会社 撮像装置及びその制御方法、並びに情報処理装置
CA2798298C (en) 2011-12-09 2016-08-23 W-Ideas Network Inc. Systems and methods for video processing
US8704904B2 (en) * 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
US9363488B2 (en) * 2012-01-06 2016-06-07 Nokia Technologies Oy Methods, apparatuses and computer program products for analyzing crowd source sensed data to determine information related to media content of media capturing devices
US9202526B2 (en) * 2012-05-14 2015-12-01 Sstatzz Oy System and method for viewing videos and statistics of sports events
US20130300832A1 (en) * 2012-05-14 2013-11-14 Sstatzz Oy System and method for automatic video filming and broadcasting of sports events
EP2870748A4 (en) * 2012-07-06 2016-03-09 H4 Eng Inc AUTOMATIC TRACKING SYSTEM FOR REMOTELY CONTROLLED VIEWING APPARATUS
US8968100B2 (en) * 2013-02-14 2015-03-03 Sstatzz Oy Sports training apparatus and method
CA3104723C (en) 2013-04-29 2023-03-07 Intelliview Technologies Inc. Object detection
US9014830B2 (en) * 2013-06-06 2015-04-21 Zih Corp. Method, apparatus, and computer program product for combined tag and sensor based performance modeling using real-time data for proximity and movement of objects
US9319641B2 (en) * 2013-07-24 2016-04-19 The Boeing Company Controlling movement of a camera to autonomously track a mobile object
US20150189243A1 (en) * 2013-12-27 2015-07-02 Telemetrio LLC Automated video production system
CN104038737A (zh) * 2014-05-30 2014-09-10 西安交通大学 主动获取感兴趣目标高分辨率图像的双摄像机系统及方法
US9498678B2 (en) * 2014-07-11 2016-11-22 ProSports Technologies, LLC Ball tracker camera
WO2016007967A1 (en) * 2014-07-11 2016-01-14 ProSports Technologies, LLC Ball tracker snippets
US9591336B2 (en) * 2014-07-11 2017-03-07 ProSports Technologies, LLC Camera feed distribution from event venue virtual seat cameras
US9398213B1 (en) * 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102112517B1 (ko) * 2020-03-06 2020-06-05 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
WO2021177535A1 (ko) * 2020-03-06 2021-09-10 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
US11831929B2 (en) 2020-03-06 2023-11-28 Mobilecen Unmanned sports relay service method using camera position control and image editing through real-time image analysis and apparatus therefor
KR102407516B1 (ko) * 2021-10-07 2022-06-13 주식회사 씨스토리 돔형 경기장 스포츠 및 이벤트 촬영 및 중계 시스템

Also Published As

Publication number Publication date
BR112017007408A2 (pt) 2019-11-19
JP2017531979A (ja) 2017-10-26
US20170001118A1 (en) 2017-01-05
US9744457B2 (en) 2017-08-29
EP3205112A1 (en) 2017-08-16
US20160101358A1 (en) 2016-04-14
CN107005654A (zh) 2017-08-01
RU2017116214A (ru) 2018-11-12
MX2017004722A (es) 2017-11-30
AU2015330646A1 (en) 2017-06-01
WO2016054729A1 (en) 2016-04-14
US9468850B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
US9744457B2 (en) System and method for optical player tracking in sports venues
CA2798298C (en) Systems and methods for video processing
US10666861B2 (en) Method and system for producing a video production
US9288545B2 (en) Systems and methods for tracking and tagging objects within a broadcast
US20150297949A1 (en) Automatic sports broadcasting system
KR20170082735A (ko) 객체 추적 기반의 객체 영상 제공 방법
US20150189191A1 (en) Process and system for video production and tracking of objects
WO2018004354A1 (en) Camera system for filming sports venues
CA2901913C (en) System and method for optical player tracking in sports venues
EP4099704A1 (en) System and method for providing a recommended video production
Katsarakis et al. Person tracking for ambient camera selection in complex sports environments