KR20230154002A - 로봇 카메라 교정 시스템 및 방법 - Google Patents

로봇 카메라 교정 시스템 및 방법 Download PDF

Info

Publication number
KR20230154002A
KR20230154002A KR1020237027133A KR20237027133A KR20230154002A KR 20230154002 A KR20230154002 A KR 20230154002A KR 1020237027133 A KR1020237027133 A KR 1020237027133A KR 20237027133 A KR20237027133 A KR 20237027133A KR 20230154002 A KR20230154002 A KR 20230154002A
Authority
KR
South Korea
Prior art keywords
camera
image
ball
sports ball
orientation
Prior art date
Application number
KR1020237027133A
Other languages
English (en)
Inventor
프레드릭 투센
마이클 웅스트럽
저스틴 패드젠
토마스 쇤더가드
Original Assignee
트랙맨 에이/에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트랙맨 에이/에스 filed Critical 트랙맨 에이/에스
Publication of KR20230154002A publication Critical patent/KR20230154002A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3691—Golf courses; Golf practising terrains having a plurality of driving areas, fairways, greens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0616—Means for conducting or scheduling competition, league, tournaments or rankings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021—SAR image post-processing techniques
    • G01S13/9029—SAR image post-processing techniques specially adapted for moving target detection within a single SAR image or within multiple SAR images taken at the same time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0025—Tracking the path or location of one or more users, e.g. players of a game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0691—Maps, e.g. yardage maps or electronic maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/12—Absolute positions, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/62—Time or time measurement used for time reference, time stamp, master time or clock signal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/89—Field sensors, e.g. radar systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A63B2225/54—Transponders, e.g. RFID
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

프로세서 및 카메라는 볼의 위치에 대응하는 데이터를 캡처하고 카메라의 배향 및 줌 레벨을 자동으로 조정한다. 프로세서는 카메라를 사전 교정하여, 초기 배향이 세계 좌표계(WCS)에 공지되어 있고, 따라서 상이한 줌 레벨이 각각의 파라미터 값과 연관된다. 제1 이미지에서 볼의 제1 위치가 검출되고 제1 이미지의 제1 줌 레벨 및 제1 줌 레벨에 대한 고유 파라미터 값이 판독된다. 초기 배향에 대한 팬 및 틸트에 기초하여, 로봇 카메라의 제1 배향이 결정된다. 카메라를 통과하는 3D 라인과 WCS의 볼은 제1 위치에 기초하여 결정되고, 제1 줌 레벨에 대한 제1 배향 및 파라미터 값, 및 3D 위치는 카메라에 외인성인 정보에 기초하여 라인을 따라 WCS에서 결정된다.

Description

로봇 카메라 교정 시스템 및 방법
우선권 청구
본 출원은 2021년 3월 5일에 출원된 미국 특허 가출원 제63/200,425호 및 2021년 6월 27일에 출원된 미국 특허 가출원 제63/202,850호에 대한 우선권을 주장한다. 상기 식별된 출원의 명세서는 여기에 참조로 포함된다.
기술 분야
본 개시는, 골프 이벤트 동안 골프 볼 및 골프 플레이어를 포함하는 객체를 추적하고 골프 이벤트의 방송에 사용하기 위한 통계를 결정하기 위한 시스템 및 방법에 관한 것이다.
골프 샷에 대한 상세한 통계는 아마추어 플레이 동안 또는, PGA 투어 이벤트와 같은, 프로 토너먼트 동안 캡처될 수 있다. 예를 들어, 레이더 기반 추적 시스템은 볼이 비행 중인 동안 티샷에 대한 샷 데이터를 캡처하는 데 사용될 수 있다. 그러나, 현재 사용되고 있는 많은 시스템은, 예를 들어, 바운스 및 롤 후 볼에 대한 최종 휴지 위치를 포함하여, 보다 진보된 샷 메트릭을 결정할 수 없다. 프로 토너먼트의 경우, 이러한 결정은 현재, 예를 들어, 레이저 거리 측정기를 사용하는 인간 작동자에 의해 수동으로 수행된다. 이는, 통상적으로 수백 명의 작동자가 필요한, 매우 노동 집약적인 작업이다. 특정 샷 데이터의 생성에 더하여, 골프 이벤트의 성공적이고 시각적으로 만족스러운 방송 중에 수행되는 많은 작동은 인간 작동자의 광범위한 수동 입력을 필요로 한다.
본 개시는 로봇 카메라 교정을 위한 시스템, 방법 및 처리 배열에 관한 것이다. 시스템은 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성된 로봇 카메라로서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 상기 로봇 카메라의 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 로봇 카메라; 및 상기 로봇 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 상기 로봇 카메라의 초기 배향이 세계 좌표계에서 알려지도록 상기 로봇 카메라를 미리 교정하고 상기 로봇 카메라에 의해 사용되는 복수의 상이한 줌 레벨 각각을 각각의 내인성 파라미터 값과 연관시키고; 제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되고; 상기 로봇 카메라로부터 상기 제1 이미지와 연관된 제1 줌 레벨 및 상기 제1 줌 레벨과 연관된 상기 내인성 파라미터 값을 판독하고; 상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트에 기초하여 상기 로봇 카메라의 제1 배향을 결정하고; 상기 스포츠 볼의 검출된 제1 이미지 위치, 상기 결정된 제1 배향 및 상기 제1 줌 레벨에 대한 상기 내인성 파라미터 값에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고; 상기 로봇 카메라에 대한 외인성 정보에 기초하여 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서의 상기 스포츠 볼의 3차원 위치를 결정하도록 구성된다.
도 1은 4개의 예시적인 홀의 추적 유닛에 대한 예시적인 레이아웃(100~115)을 도시한다.
도 2는 다양한 예시적인 실시예에 따라 예시적인 골프 홀(250)의 추적 시스템에 대한 예시적인 도면(200)을 도시한다.
도 3은 다양한 예시적인 실시예에 따라 골프 코스의 추적 시스템에 대한 예시적인 도면(300)을 도시한다.
도 4는 다양한 예시적인 실시예에 따라 레이더 시스템(405) 및/또는 카메라 시스템(410) 및/또는 라이다 시스템(415)을 포함하는 예시적인 추적 유닛(400)을 도시한다.
도 5a는 MFCW 도플러 레이더 추적의 제1 원리의 일례를 도시한다.
도 5b는 MFCW 도플러 레이더 추적의 제2 원리의 일례를 도시한다.
도 5c는 MFCW 도플러 레이더 추적의 제3 원리의 일례를 도시한다.
도 6은 다양한 예시적인 실시예에 따라 골프 샷에 대한 실시간 데이터 획득 동안 방송 엔티티 및/또는 다른 애플리케이션에 송신된 골프 샷에 대한 특정 데이터를 포함하는 예시적인 데이터 패킷(605~630)의 도면(600)을 도시한다.
도 7은 플레이어 뒤의 위치로부터 클럽 헤드의 예시적인 이미지(700)를 도시한다.
도 8a는 샷 궤적의 오버레이, 즉, 샷에 대한 제1 트레이서(805), 및 일부 연관된 궤적 데이터를 포함하는 샷을 묘사하는 비디오 피드로부터의 제1 이미지(800)를 도시한다.
도 8b는 샷 궤적의 오버레이, 즉, 샷에 대한 제2 트레이서(855), 및 일부 연관된 궤적 데이터를 포함하는 샷을 묘사하는 비디오 피드로부터의 제2 이미지(850)를 도시한다.
도 9는 플레이어 스윙과 관련된 이벤트를 검출하기 위해 신경망에 의해 분석될 수 있는 예시적인 이미지(900~915)를 도시한다.
도 10a는 세계 좌표(1020)에서 로봇 카메라(1005)의 배향을 결정하기 위해 로봇 카메라(1005)에 의해 캡처된 예시적인 이미지(1000)를 도시한다.
도 10b는 도 10a의 제1 이미지(1000) 및 상이한 배향을 사용하여 로봇 카메라(1005)에 의해 캡처된 제2 이미지(1030)에 기초하여 로봇 카메라(1005)의 배향을 결정하기 위한 프로세스를 도시한다.
도 10c는 도 10a의 제1 이미지(1000) 및 제2 카메라(1035)에 의해 캡처된 제2 이미지(1040)에 기초하여 로봇 카메라(1005)의 배향을 결정하기 위한 프로세스를 도시한다.
도 10d는 도 10a의 제1 이미지(1000) 및 제1 이미지(1000)의 축소된 버전을 포함하는 제2 이미지(1030)에 기초하여 로봇 카메라(1005)의 배향을 결정하기 위한 프로세스를 도시한다.
도 11은 다양한 예시적인 실시예에 따라 휴지된 볼을 포함하는 볼의 일련의 이미지를 캡처하는 적어도 하나의 카메라(1105) 및 볼을 추적하기 위한 처리 배열을 포함하고/하거나 휴지된 볼의 위치를 결정하는 예시적인 추적 시스템(1100)을 도시한다.
도 12는 다양한 예시적인 실시예에 따라 카메라(1105), 골프 코스의 지형(1205), 및 골프 코스 지형(1205) 상에 중첩된 상응하는 3D 모델(1135)을 포함하는 예시적인 도면(1200)을 도시한다.
도 13은 일련의 이미지로부터의 (u,v) 이미지 평면에서의 볼 검출의 시계열(1300) 및 도 11에 기술된 비-프로젝터(1115)에 의해 결정된 카메라 볼 라인에 대한 고도 각도의 상응하는 시계열(1350)을 도시한다.
도 14는 시작 위치(1405), 홀 위치(1410), 및 성공적인 퍼팅으로 귀결되는 가능한 퍼팅 궤적을 나타내는 라인(1415~1425)을 포함하는 플롯(1400)을 도시한다.
도 15는 성공적인 퍼팅(1510)으로 귀결되는 퍼팅에 대한 발사 방향 및 발사 속도 조합 및, 제2 퍼팅을 위한 핀에 대해 동일한 거리를 갖는 볼 위치로 귀결되는 발사 방향 및 발사 속도 조합을 나타내는, 등고선(1515, 1520)의 도면으로서 퍼팅 브레이크 팬(1500)을 도시한다.
도 16a는 골프 코스의 홀에서 플레이하는 동안 발사된 볼의 3차원 위치를 추적하되, 상기 추적은 제1 센서 및 제2 센서 둘 모두로부터의 데이터를 사용하여 수행되는 예시적인 방법(1600)을 도시하며, 여기서 제2 센서의 작동은 제1 센서에 의해 캡처된 데이터로부터 결정된 3D 위치 추적 정보에 기초하여 제어된다.
도 16b는 다양한 예시적인 실시예에 따라 방송에 포함하기 위한 추적 데이터를 송신하기 위한 방법(1610)을 도시한다.
도 16c는 다양한 예시적인 실시예에 따라 플레이어를 식별하고 샷 데이터를 고유한 playerID와 연관된 특정 플레이어 프로필과 연관시키는 방법(1630)을 도시한다.
도 16d는 다양한 예시적인 실시예에 따라 자동 방송 피드 전환을 위한 방법(1650)을 도시한다.
도 16e는 다양한 예시적인 실시예에 따라 맞춤형(예: 개별화된) 방송 피드의 자동 생성을 위한 방법(1660)을 도시한다.
도 16f는 다양한 예시적인 실시예에 따라 트레이서를 방송 피드에 자동으로 삽입하기 위한 방법(1670)을 도시한다.
도 16g는 다양한 예시적인 실시예에 따라 로봇 카메라를 세계 좌표계에 교정하기 위한 방법(1680)을 도시한다.
도 16h는 다양한 예시적인 실시예에 따라 현장 관중을 위한 경고 시스템에 대한 방법(1690)을 도시한다.
도 17a는 다양한 예시적인 실시예에 따라 볼의 3D 위치 좌표를 결정하기 위한 방법(1700)을 도시한다.
도 17b는 다양한 예시적인 실시예에 따라 이미지 데이터에 기초하여 움직이는 볼의 바운스 및 롤을 결정하기 위한 방법(1720)을 도시한다.
도 17c는 다양한 예시적인 실시예에 따라 다가올 퍼팅에 대한 정보를 결정하기 위한 방법(1740)을 도시한다.
도 17d는 다양한 예시적인 실시예에 따라 추적된 퍼팅에 기초하여 퍼팅 그린에 대한 지형 파라미터를 결정하기 위한 방법(1750)을 도시한다.
기술된 예시적인 실시예는 다음의 설명 및 관련 첨부 도면을 참조하여 추가로 이해될 수 있으며, 여기서 유사한 요소는 동일한 참조 번호를 갖는다. 예시적인 실시예는, 골프 샷, 골프 클럽 및 골프 플레이어를 포함하는, 골프 코스에서 객체를 식별하고 추적하기 위한 시스템 및 방법에 관한 것이다. 객체 추적의 상이한 양태와 관련하여, 조합하여 사용될 때, 골프 코스 상에서 관련 이동 객체의 완전한 커버리지를 제공할 수 있는 다수의 기술이 설명된다. 일부 양태에 따르면, 설명된 기술에 따라 생성된 데이터는 골프 이벤트, 예를 들어, PGA 투어 이벤트의 실시간 방송 커버리지를 풍부하게 하고 향상시키기 위해 사용될 수 있다. 특히, 설명된 기술들 중 거의 전부는 자동으로 수행되며, 골프 코스 상에서 작동자의 수동 입력을 거의 또는 전혀 필요로 하지 않는다.
통상적인 골프 라운드에서, 등록된 통계는 플레이어가 각 홀에서 시도하는 샷 수만 포함할 수 있다. 이러한 샷 등록은 통상적으로 수동으로 수행된다. PGA 투어가 주최하는 토너먼트를 포함하여, 일부 프로 토너먼트 동안, 각 샷에 대한 볼의 위치 및 라이와 같은, 보다 상세한 통계가 캡처된다. 최근 몇 년 동안, TrackMan 시스템과 같은 레이더 기반 추적 시스템으로부터의 볼 궤적 데이터는 또한 티샷에서 샷 데이터를 캡처하기 위해 PGA 투어에 사용되어 왔다. 이들 시스템은 일반적으로 볼이 지면에 닿을 때까지 비행 동안 볼의 3차원 위치를 측정하였다. 그러나, 최종 휴지 위치는 일반적으로 측량사 유형의 레이저 거리 측정기를 사용하여 작동자에 의해 수동으로 결정되었다. 마지막 휴지 위치에 대한 이러한 결정은 매우 노동 집약적이며, PGA 투어에서 통상적인 4일 토너먼트의 모든 라운드를 통해 모든 샷을 추적하기 위해 수백 명의 작동자를 필요로 한다. 일부 시나리오에서, 자원 봉사자들은 또한 토너먼트에서 생성되는 샷 시간을 캡처하기 위해 휴대용 장치의 버튼을 누르는 작업을 맡았다.
본 개시에 따른 실시예는, 프로 토너먼트 동안 데이터를 캡처하기 위한 기존의 방법과 비교하여 데이터세트를 풍부하게 하고, 캡처된 데이터를 향상시키고, 현재 수동으로 수행되는 많은 작업을 자동화한다. 프로 토너먼트 동안 거의 모든 작동을 자동화하는, 이러한 솔루션은 임의의 골프 코스에 적용될 수 있어, 로컬 골프 코스에서 플레이하는 아마추어 골퍼에 대해 동일하거나 유사한 데이터를 생성할 수 있다.
본 개시에 따른 실시예는, 골프 코스에서의 모든 샷에 대해 완전 자동 또는 반자동 추적을 수행하고 각각의 골프 샷을 고유한 playerID에 할당하여, 동일한 플레이어로부터의 모든 샷이 해당 플레이어에 고유한 동일한 playerID로 태그되도록 한다. 발사 위치에서 휴지 위치까지 각각의 골프 샷의 비행, 바운스 및 롤을 추적하는 것 외에도, 각각의 샷에 대해 추적 시스템에 의해 다음을 포함하는 다양한 키 태그가 수집된다: 플레이되는 골프 홀에 대한 번호 또는 다른 식별자, 볼의 라이에 관한 데이터, 샷 수(예: 현재 샷까지 포함하여 이 홀에서 플레이어가 시도한 샷의 수), 샷이 이루어진 임팩트 시간, 현재 샷에 사용된 클럽 유형, 바람과 온도와 같은 환경 조건.
본 발명에 따른 시스템은 골프 라운드 동안 모든 플레이어가 시도한 모든 샷을 자동으로 기록할 수 있다. 당업자는 특정 시스템이 또한 바람직할 경우 수동 입력을 수신할 수 있다는 것을 이해할 것이다. 예를 들어, 토너먼트 플레이에서, 카메라는 현재 샷을 준비하는 플레이어 뒤의 페어웨이로 이동될 수 있다(예: 카메라는 플레이어가 치려고 준비하는 볼보다 홀로부터 더 멀리 있을 것이다). 이러한 카메라는, 이하에서 더욱 상세히 설명되는 바와 같이, 수동 및 자동 교정될 수 있고, 추적 정보는 카메라로부터의 이미지 내로 삽입되거나 카메라로부터의 이미지로부터 도출될 수 있다. 또한, 이러한 수동 배치된 카메라는 또한 시스템에 추가 추적 정보를 제공하는 모바일 유닛을 포함할 수 있다. 당업자에 의해 이해되는 바와 같이, 카메라(및 임의의 부착된 레이더 또는 다른 추적 유닛)를 수동으로 재배치하거나 조준하는 것은, 원하는 대로 자동화된 추적 및 이미징 작동과 원활하게 통합되어 반자동화된 추적 시스템을 생성할 수 있다.
골프 라운드 중에 모든 샷을 기록하면 플레이어 및/또는 제3자에게 완벽하고 매력적인 데이터 세트를 제공할 수 있다. 그러나, 본 해결책은, 원하는 대로 몇 개의 완전한 골프 홀, 선택된 티샷 등과 같은, 골프 라운드의 일부에만 사용될 수도 있다는 것을 이해해야 한다. 또한, 이러한 데이터의 기록 및/또는 보급은 선택된 골퍼 그룹에 대해서만 또는 심지어 단일 골퍼에 대해서만 수행될 수 있고, 예를 들어, (예: 추가 요금에 대한) 추가 서비스로서 제공될 수 있다. 이하에서 상세히 설명되겠지만, 플레이어 식별 시스템은 개별 플레이어를 추적하고, 해당 플레이어와 관련된 데이터(예: 플레이 동안 캡처된 샷 데이터)를 개별 플레이어에 연관시키는 데 사용될 수 있다. 플레이 동안 캡처된 골프 볼 및/또는 골프 클럽 통계는 고유한 playerID를 가진 특정 골퍼와 연관될 수 있다. 캡처된 통계는 다음과 같은 골프 경기와 관련된 임의의 정보를 포함할 수 있다: 캐리 위치, 최종 휴지 위치, 바운스 및 롤을 포함한 궤적, 볼 발사 데이터(속도, 각도, 방향, 스핀 속도 및 스핀 축), 한 홀에서 샷 수, 홀 번호, 각 샷에 대한 볼의 라이, 충격 시간, 사용된 클럽, 스윙 데이터 등. 물론, 이러한 시스템으로부터의 데이터는 또한 다양한 조건 하에서 및/또는 상이한 플레이어 해부학적 구조 또는 스윙 유형 등으로 상이한 볼 및/또는 클럽 유형을 평가하기 위해 집계되고 사용될 수 있다. 이러한 집계된 데이터는 코스 설계(또는 재설계)를 평가하고/하거나 티 및 핀 배치를 선택하는 데 사용될 수도 있다.
일부 실시예에 따르면, 전체 코스 추적 시스템은, 예를 들어, 샷에 대한 트레이서, 진보된 샷 메트릭, 착지 예측 등을 포함하는, 방송 피드 상에 오버레이될 수 있는 실시간 데이터를 제공함으로써 이벤트의 방송을 풍부하게 하기 위해 프로 골프 토너먼트 동안 사용될 수 있다. 이러한 정보는 또한 플레이어가 사용할 수 있는데 이들의 게임을 개선하거나 연습과 토너먼트 조건 사이의 실행 차이를 평가하는 데 사용하기 위함이다. 그러나, 동일한 시스템은 아마추어 골프 라운드 동안, 골프 토너먼트, 연습 라운드, 또는 임의의 다른 시간 동안에도 사용될 수 있다. 아마추어 라운드 및 연습 라운드 동안, 골퍼 그루핑 및 플레이 일정은, 예를 들어, 티 예약 시스템 또는 유사한 것을 통해, 시스템에 제공되거나, 이 정보가 제공되지 않을 수 있다. 예정되지 않은 티 타임 동안 골퍼가 추적 시스템을 이용할 수 있는 시나리오에서, 시스템은 골퍼의 플레이를 추적하기 전에 골퍼로부터 동의를 받기 위한 일부 메커니즘을 포함할 수 있다. 이러한 동의는 라운드 전에 또는, 경우에 따라, 라운드 후에 제공될 수 있다.
후술되는 예시적인 실시예는 다음을 포함하는 개념에 관한 것이다: 전체 코스 추적을 위한 추적 시스템(골프 라운드 또는 심지어 전체 멀티-라운드 토너먼트 동안 시도된 모든 샷 또는 거의 모든 샷 추적); 골프 샷 및/또는 골프 클럽을 식별하고/하거나 추적하도록 작동 가능한 레이더 기반, 카메라 기반, 라이다 기반, 및/또는 다른 센서에 대한 사양 및 작동을 포함하여, 상기 추적 시스템에 사용될 수 있는 추적 유닛 장치; 골프 샷의 바운스 및 롤을 추적하도록 특별히 구성된 추적 유닛 장치 및 작동; 상기 추적 유닛 및/또는 다른 센서에 대한 교정 스킴; 상기 추적 시스템의 센서를 활용한 방송 카메라의 교정을 포함하여, 상기 추적 시스템과 협력하여 작동할 수 있는 골프 이벤트의 비디오 피드를 방송하기 위한 방송 시스템; 플레이어 식별 시스템; 특정 플레이어에 맞게 조정할 수 있는 자동화된 방송 피드; 자동 트레이서; 플레이어가 샷을 시도하려고 할 때를 포함하여, 플레이어 이벤트의 자동 검출; 상기 추적 시스템에 의해 제공된 실시간 추적 데이터에 기초한 로봇 카메라의 교정 및 제어; 현장 관중을 위한 안전/경고 시스템; 아마추어 라운드 추적을 위한 스킴; 및 대체 불가능 토큰(NFT) 생성. 설명 전체에 걸쳐, 전력-절감 스킴이 기술될 것이며, 여기서, 예를 들어, 추적 유닛 및/또는 센서는, 예를 들어, 객체가 전원이 꺼진 추적 유닛의 시야에 진입할 것임을 나타내는 다른 추적 유닛에 의해 제공된 추적 데이터에 기초하여, 전력이 켜지도록 트리거된다. 일부 바람직한 실시예에서, 시간 동기화에 사용되는 세계 좌표계 및 공통 시간 기준은 전체 골프 코스에 대한 추적 시스템에 의해 사용되어, 예를 들어, 하나의 센서로부터의 데이터를 다른 센서의 로컬 좌표계로 신속하게 전송할 수 있다.
시스템 개요
본 개시는 전체 골프 코스 주위에 분포된 다수의 추적 유닛을 포함하는 추적 시스템에 관한 것이다. 추적 유닛의 배열은, 예를 들어, 홀의 레이아웃, 추적 유닛의 능력, 홀의 원하는 추적 커버리지, 또는 이하에서 상세히 설명될 다른 고려 사항을 포함하는 다수의 인자에 따라 달라질 수 있다. 본원에서 사용되는 바와 같이, 용어 "홀"은, 예를 들어, 일반적인 골프 용어에 따라, 티 박스, 페어웨이, 러프, 그린, 해저드, 벙커 등을 포함하는, 골프 홀의 전체와 관련될 수 있음을 이해해야 한다. 골프 볼이 궁극적으로 그 안에 가라앉고 깃발로 표시되도록 의도된, 그린 상에 위치한 실제 홀은, 본원에서 "컵"으로 지칭될 수 있지만, 일반적인 골프 용어는 또한 이러한 특징을 "홀"로 지칭할 수 있다. 당업자는 골프 홀 전체를 포함하는 "홀"의 더 넓은 정의와 그린 상에 위치하고 깃발로 표시된 컵만을 포함하는 "홀"의 더 좁은 정의 사이의 구별을 이해할 것이다.
도 1은 4개의 예시적인 홀의 추적 유닛에 대한 예시적인 레이아웃(100~115)을 도시한다. 도 1에 도시된 바와 같이, 각각의 홀에 대한 시스템 구성 요소의 구성은 홀의 길이 및 레이아웃에 따라 달라진다. 통상적으로, 각각의 홀은 홀의 티 박스에 가깝게 위치하는 제1 추적 유닛 및, 홀의 길이 및 레이아웃에 따라, 상이한 위치에 분포된 추가 추적 유닛을 가져, 골프 볼이 홀의 플레이 동안 위치할 것으로 예상될 수 있는 임의의 위치에서 강력한 추적 커버리지를 보장할 것이다. 또한, 높은 정확도 및/또는 고품질 추적이 달성될 것으로 예상될 수 있는 위치에 추적 유닛을 배치하는 것이 유리할 수 있다. 추가적인 추적 유닛은 또한 일차 추적 유닛의 시야를 방해하는 골퍼, 나무 또는 다른 객체에 의한 폐색을 회피/최소화하는 것이 바람직할 수 있다. 레이아웃(100)은, 단일 추적 유닛, 이 예에서, 레이더 유닛(레이더 1)이 홀의 티 박스 근처에 위치하는 파 3 홀을 도시한다. 이 예에서의 레이더 유닛은 전체 파 3 홀의 완전한 추적 커버리지를 제공할 수 있다. 레이아웃(105)은, 2개의 추적 유닛, 이 예에서, 제1 레이더 유닛(레이더 1) 및 제2 레이더 유닛(레이더 2)이 홀의 티 박스 근처에 그리고 홀의 그린 근처에 각각 위치하는 파 4 홀을 도시한다. 이 예에서의 2개의 레이더 유닛은 전체 파 4 홀의 완전한 추적 커버리지를 제공할 수 있다. 레이아웃(110)은, 2개의 추적 유닛, 이 예에서, 제1 레이더 유닛(레이더 1) 및 제2 레이더 유닛(레이더 2)이 홀의 티 박스 근처에 그리고 홀의 그린 근처에 각각 위치하는 파 5 홀을 도시한다. 이 예에서의 2개의 레이더 유닛은 전체 파 5 홀의 완전한 추적 커버리지를 제공할 수 있다. 레이아웃(115)은 3개의 추적 유닛, 이 예에서, 제1 레이더 유닛(레이더 1), 제2 레이더 유닛(레이더 2), 및 제3 레이더 유닛(레이더 3)이 홀의 티 박스 근처에, 홀의 페어웨이를 따라, 그리고 홀의 그린 근처에 각각 위치하는 파 5 홀을 도시한다. 이 예에서의 3개의 레이더 유닛은 전체 파 5 홀의 완전한 추적 커버리지를 제공할 수 있다.
도 2는 다양한 예시적인 실시예에 따라 예시적인 골프 홀(250)의 추적 시스템에 대한 예시적인 도면(200)을 도시한다. 각각의 골프 홀 레이아웃은 일반적으로 티 영역 또는 티 박스(255), 페어웨이(260), 일반적으로 페어웨이(260)를 둘러싸는 그린(265), 및 그린(265)을 포함한다. 그린(265)은, 깃발(270)로 표시된, 플레이어가 골프 홀(250)을 완료하기 위해 골프 볼이 그 안에서 종료되도록 의도된 컵을 포함한다. 이 예에서, 골프 홀(250)은 워터 해저드(275) 및 벙커(280)를 추가로 포함한다. 도면(200)의 추적 시스템은 티 박스(255) 근처에 위치한 제 1 추적 유닛(205) 및 그린(265) 뒤에 위치한 제 2 추적 유닛(210)을 포함한다. 전술한 바와 같이, 특정 홀에 대해, 하나 이상의 추가 추적 유닛이 홀을 둘러싸는 상이한 위치에 분포될 수 있다. 추적 유닛(205, 210)은 사용되는 골프 볼(215) 및/또는 골프 클럽의 위치 및/또는 모션 데이터를 제공하며, 이하에서 더욱 상세히 설명된다. 모든 위치 데이터는, 예를 들어 골프 코스 전체에 걸쳐 트랙을 생성하는 데 사용되는 세계 좌표계(220)에서 궁극적으로 결정될 수 있지만, 일부 센서는, 이하에서 더욱 상세히 설명되는, 홀에 특정한 좌표계 및/또는 센서에 대한 로컬 좌표계에서 일부 위치 데이터를 결정할 수 있다.
도면(200)은 홀(250)의 플레이 동안 볼(215)의 예시적인 경로를 추가로 보여준다. 볼(215)은 티 박스(255) 상의 제1 휴지 위치(215a)에서 시작하여 궤적(215b)을 따라 페어웨이(260) 상의 제2 휴지 위치(215c)에 도달한다. 그 다음, 볼(215)은 궤적(215d)을 따라 그린(265) 상의 제3 휴지 위치(215e)에 도달한다. 거기에서, 볼(215)은 깃발(270)로 표시된 컵으로 퍼팅될 수 있다. 본원에 설술된 예시적인 실시예에 따라 시스템은 움직이는 볼 위치(215b, 215d) 및/또는 휴지 상태의 볼 위치(215a, 215c, 215e)를 정확하게 알 수 있다. 일부 실시예에서, 제1 추적 유닛(205)은 티샷(예: 휴지 위치(215a)로부터 발사된 궤적(215b))을 추적하고 이들 티샷으로부터 특정 정보(예: 발사 파라미터)를 도출하기 위해 선택된 제1 능력을 갖는 티 박스(티 영역) 추적 유닛일 수 있다. 제2 추적 유닛(210)은, 어프로치 샷(예: 휴지 위치(215c)로부터 발사되고 휴지 위치(215e)에서 끝나는 궤적(215d)) 및/또는 치핑과 퍼팅을 추적하고 이들 샷으로부터 특정 정보( 예: 퍼팅 파라미터)를 도출하기 위해 선택된 제2 능력을 갖는 그린(그린 측) 추적 유닛일 수 있다. 제3 유형의 추적 유닛은, 빈번한 재배치를 위해 휴대성을 유지하면서, 페어웨이(260)에 착지하고 페어웨이로부터 발사되는 샷을 추적하기 위해 선택된 제3 능력을 갖는 페어웨이 추적 유닛을 포함할 수 있다. 그러나, 센서 및 능력의 다양한 조합을 포함하는, 다수의 상이한 유형의 추적 유닛이 사용될 수 있으며, 이하에서 더욱 상세히 설명된다.
도 3은 다양한 예시적인 실시예에 따라 골프 코스의 추적 시스템에 대한 예시적인 도면(300)을 도시한다. 도면(300)에서, 단지 3개의 골프 홀(350)(예: 제1 홀(350a)(홀 1), 제2 홀(350b)(홀 2) 및 제3 홀(350c)(홀 3))이 도시되어 있다. 그러나, 예시적인 도면(300)에 대해 설명된 원리는 임의의 수의 홀까지 연장될 수 있고, 임의의 수의 홀(예: 9, 18, 27 등)을 포함하는 전체 골프 코스를 포함할 수 있음을 이해해야 한다. 도면(300)에서, 3명의 플레이어(355)가 도시되어 있으며, 예를 들어, 제1 플레이어(355a)는 제1 홀(350a)에 도시되어 있고, 제2 플레이어(355b)는 제2 홀(350b)에 도시되어 있고, 제3 플레이어(355c)는 제3 홀(350c)에 도시되어 있다. 이하에서 더욱 상세히 설명되겠지만, 본원에 설명된 추적 시스템은, 골프 샷을 추적하는 것 외에, 예를 들어, playerID를 사용하여, 플레이어를 정확하게 식별하고 이들 플레이어를 시스템에 의해 추적되는 골프 샷과 연관시킬 수 있다. 도 3에 도시된 예시적인 추적 시스템은, 예를 들어, 골프 코스가 PGA 투어 이벤트와 같은 프로 이벤트에 사용될 때, 골프 코스의 비디오 피드를 방송하기 위해 추가로 구비된다. 그러나, 추적 시스템의 방송 측면은 선택적이고, 추적 시스템은 프로 이벤트의 방송과 무관한 다양한 목적으로 사용될 수 있다는 것을 이해해야 한다. (예: 플레이어/샷 정보/추적에 대해) 방송으로 송신된 데이터 송신, 방송 카메라 교정, 자동 피드 전환 등을 포함하는, 이벤트의 방송과 관련된 특정 기술이 이하에서 더욱 상세히 설명될 것이다.
도 3의 각각의 홀은 홀의 추적 커버리지를 제공하고 유선 또는 무선 연결(310)을 통해 추적 서버(320)에 연결되는 다수의 추적 유닛(305)으로 구비된다. 이 예에서, 다수의 방송 카메라(315)는 또한 유선 또는 무선 연결(310)을 통해서 추적 서버(320)에 또한 연결되는 각각의 홀 상에 배치된다. 제1 홀(350a)은 티 박스에 인접한 제1 추적 유닛(305a) 및 제1 방송 카메라(315a)와 홀에 인접한 제2 추적 유닛(305b) 및 제2 방송 카메라(315b)를 포함한다. 제2 홀(350b)은 티 박스에 인접한 제3 추적 유닛(305c) 및 제3 방송 카메라(315c), 페어웨이를 따라 위치한 제4 추적 유닛(305d), 및 홀에 인접한 제5 추적 유닛(305e)을 포함한다. 제3 홀(350c)은 티 박스에 인접한 제6 추적 유닛(305f) 및 제4 방송 카메라(315d)와 홀에 인접한 제7 추적 유닛(305g) 및 제5 방송 카메라(315e)를 포함한다. 도 3에 도시된 추적 유닛(305) 및 방송 카메라(315)의 위치 및 수는 단지 예시적인 목적을 위해 제공되며, 원하는 추적 커버리지/정확도, 코스에 대한 홀 레이아웃(들), 및/또는 방송 엔티티(예: PGA 투어)의 원하는 방송 능력에 따라 임의의 수의 추적 유닛(305) 및 방송 카메라(315)가 사용될 수 있다는 것을 이해해야 한다.
도 3에 도시된 일차 추적 유닛(305)과 유사하거나, 감소되거나, 상이한 능력을 갖는 추가 추적 유닛은 아래에서 상세히 설명되는 다양한 고려 사항에 따라 전체 코스 추적을 위해 구현될 수 있다. 일례에서, 페어웨이 추적에 사용되는 하나 이상의 모바일 추적 유닛은 티 영역 및/또는 그린에 사용되는 추적 유닛에 비해 감소된 능력을 가질 수 있다. 또한, 당업자는 몇몇 매우 짧은 샷(예: 관중, 나무 등에 의해 폐색된 위치에서의 잘못된 샷)이 시스템에 의해 포착되지 않을 수 있다는 것을 이해할 것이다. 놓칠 수 있는 샷을 해결하기 위해, 시스템은 수동 수정/추가의 입력을 위한 능력을 가질 수 있다. 예를 들어, 시스템은 홀을 완료한 각 플레이어에게 샷 수를 검증할 수 있다. 이러한 상황에서는, 누락 샷(들)에 대한 데이터가 존재하지 않을지라도, 채점은 여전히 정확할 것이다.
추적 처리는, 추적 서버(320)에서, 각각의 추적 유닛(305)에 내장된 처리 유닛에 의해, 또는 내장된 처리 유닛과 추적 서버(320) 간의 협력을 통해 수행되는 다양한 단계를 통해 수행될 수 있다. 추적 서버(320)는, 예를 들어, 현장 서버 또는 클라우드 기반 처리 서비스일 수 있다. 추적 서버(320)는 처리 배열 및 저장 배열을 포함하고, 추적 유닛(305), 방송 카메라(315), 및 선택적으로 전체 코스 추적 시스템 및/또는 방송 시스템에 사용될 수 있는 다른 센서 또는 장치에 결합되며, 이하에서 더욱 상세히 설명될 것이다. 추적 서버(320)에 대한 처리 배열은 하나의 중앙 프로세서 또는 복수의 프로세서를 포함할 수 있고; 일부 실시예에서, 추적 서버(320)는, 아래에서 더욱 상세히 설명될 다양한 추가 기능에 더하여, 비교적 높은 연산 전력을 필요로 하는, 수십 또는 수백 개의 객체의 트랙을 동시에 처리할 수 있다. 일부 실시예에서, 추적 서버(320)는 또한, 예를 들어 비디오 피드, 오디오 피드 등의 출력/전환에 의해, 실시간 이벤트(예: PGA 투어 이벤트)의 비디오 커버리지를 제공하는 방송 시스템으로서 기능하거나 방송 시스템과 함께 작동하여 시청자에게 응집력 있는 시청 경험을 제공할 수 있다. 다른 실시예에서, 추적 서버(320)는 시청자에게 디스플레이될 콘텐츠를 담당하는 방송 엔티티에 정보를 제공할 수 있다. 이 시나리오에서, 추적 서버(320) 및 방송 엔티티는, 실시간 데이터가 실질적으로 실시간으로 방송에 삽입될 수 있도록 협력하여 작동할 수 있으며, 이하에서 더욱 상세히 설명된다.
추적 서버(320)는 (움직이거나 휴지 상태의) 각각의 볼을 해당 볼을 플레이하는 개별 플레이어(355)와 연관시키는 역할을 하며, 여기서 코스 상의 각 플레이어는 고유한 playerID와 연관된다. 추적 서버(320)는 추가로, 추적된 볼을 친 플레이어의 playerID와 함께, 관련 볼 추적 정보를 다양한 소비자에게 송신하는 역할을 한다. 추적 시스템이 방송 목적으로 사용될 때, 추적 서버(320)는, 방송 카메라 데이터와 협력하여 playerID와 함께 추적 정보를 방송사(325), 웹 애플리케이션(330) 및/또는 현장 애플리케이션(335)과 같은 소비자에게 송신할 수 있다. 추적 시스템이 주로 정보 제공 목적으로 사용되는 경우, 즉, 방송과 연관되지 않는 경우, 상기 정보는, 예를 들어, 개별 플레이어에 의한 추후 검색을 위해 현장 데이터베이스로 송신되거나, 예를 들어, 플레이어가 사용하는 모바일 장치를 위한 모바일 애플리케이션을 통해 개별 플레이어에게 직접 송신되거나, 다른 이해 당사자에게 송신될 수 있다. 플레이어를 식별하고 이들 플레이어를 추적 시스템에 의해 캡처된 데이터와 연관시키는 데 사용되는 플레이어 식별 시스템은 아래에서 더 상세히 설명될 것이다.
추적 유닛(들)
도 3에 도시된 예시적인 추적 유닛(305)은 하나 이상의 카메라, 예를 들어 하나 이상의 비-이미지 기반 센서(예: 마이크로폰, 레이더 및/또는 라이다 시스템 등)뿐만 아니라 하나 이상의 카메라를 포함하는 이미징(예: 카메라 기반) 시스템을 포함할 수 있다. 추적 유닛(305)은 비-이미지 기반 센서만, 이미지 기반 센서만, 또는 비-이미지 기반 및 이미지 기반 센서의 조합을 포함할 수 있다. 예를 들어, 카메라 시스템은 시야, 해상도, 배향, 프레임 속도, 파장 감도, 전자 제어 가능 줌(아날로그 또는 디지털), 고정되거나 이동 가능한, 고정되거나 전자 조정 가능한 팬-틸트 배향 등과 같은 상이한 특성을 갖는 다수의 카메라 센서를 포함할 수 있다. 카메라 센서는 수동 광 수신 센서, 비행 시간 카메라, 이벤트 기반 카메라 등을 포함할 수 있고, 조명되는 장면의 신호 대 노이즈 비율(SNR)을 증가시키기 위해 카메라의 프레임 노출과 동기화된 가시광선, 적외선(IR) 또는 근적외선(NIR) 조명을 포함할 수도 있다. 카메라 시스템과 유사하게, 비-이미지 기반 센서(예: 레이더 및/또는 라이다)는 상이한 특성(예: 상이한 시야, 배향, 해상도, 프레임 속도, 파장, 변조 등)을 갖는 다수의 센서를 포함할 수 있다. 논의를 단순화하기 위해, 개시된 실시예는 추적 유닛(305)의 비-이미지 기반 구성 요소를 레이더 유닛으로 지칭할 것이다. 그러나, 당업자는 이러한 구성 요소가 원하는 대로 추가적인 비-이미지 기반 센서에 의해 치환되거나 이를 포함할 수 있음을 이해할 것이다.
추적 시스템은 상이한 크기 및 구성을 갖는 상이한 추적 유닛의 임의의 혼합을 포함할 수 있다. 일부 추적 유닛은 조합된 레이더 및 카메라 시스템을 포함할 수 있는 반면, 다른 추적 유닛은 레이더 시스템만 또는 카메라 시스템만 포함할 수 있다. 예를 들어, 레이더 유닛의 각도 정확도는 일반적으로 다양한 안테나 사이의 간격에 관련되므로, 더 큰 간격은 더 높은 각도 정확도를 생성할 수 있다. 일부 경우에, 더 큰 레이더 유닛이 원하는 정확도를 달성하는 데 필요할 수 있는 반면, 다른 레이더 유닛은 휴대성 또는 더 작은 시각적 풋프린트를 제공하기 위해 더 작을 수 있다. 일 실시예에서, 페어웨이 추적 유닛은 비교적 작고 휴대할 수 있어서, 작동자는 그 부근의 샷의 다양한 위치에 따라 추적 유닛의 위치와 배향을 변경할 수 있는 반면, 티 박스 추적 유닛 및 그린 추적 유닛은 이들 추적 유닛이 각각의 홀에 대해 시도된 특정 샷(예: 티샷 및 치핑/퍼팅) 각각에 대한 양호한 커버리지를 제공할 높은 가능성 또는 확실성의 관점에서 더 크고 실질적으로 고정될 수 있다. 또한, 일부 추적 유닛은, 예를 들어, (다른 추적 유닛 또는 센서로부터의 추적 데이터에 기초한) 추적 서버로부터의 명령에 기초하여 또는 동일한 추적 유닛으로부터의 추적 데이터에 기초하여 배향을 자동으로 변경할 수 있는 로봇 카메라를 포함할 수 있다. 로봇 카메라는 광학 추적을 수행하고 볼 검출에 기초하여 배향을 변경하는 추적 카메라일 수 있거나, 로봇 카메라는 다른 센서로부터 획득된 추적 데이터에 의존하는 방송 카메라일 수 있다.
상기 배향에 더하여, 줌 레벨 및 크롭을 제어할 수 있다. 일부 실시예에서, 추가 센서(예: 레이더 또는 라이다)가 단일 추적 유닛 상의 로봇 카메라와 함께 포함되고, 추적 유닛 상에 포함된 모든 센서는 함께 배향을 변경할 수 있다. 당업자가 이해할 수 있는 바와 같이, 로봇 카메라와 함께 움직이는 레이더 유닛은, 예를 들어, 이러한 레이더가 종종 이들의 시야의 중심 근처에서 움직이는 물체로부터 더 강한 반사 신호를 수신한다는 사실로 인해, 레이더가 감도를 높인 레이더의 시야의 일부분 내에서(예: 그 중심 부근에서) 볼이 계속 추적되게 할 수 있다.
각각의 추적 유닛(305)은, 그 자체로 또는 다른 추적 유닛(305)과 조합하여, 자신의 시야 내에서 각 플레이어에 의해 사용되는 골프 볼 및/또는 골프 클럽에 대한 위치 및/또는 모션 데이터를 제공할 것이다. 이하에서 더욱 상세히 설명되겠지만, 일부 추적 유닛(305)은 또한 자신의 시야 내에서 플레이어(들)를 식별하고, 볼/클럽 데이터를 해당 플레이어와 연관시킬 수 있다. 전술한 바와 같이, 모든 위치 데이터는 세계 좌표 시스템으로 변환되어 골프 코스에서 볼 및/또는 플레이어의 위치를 찾을 수 있다. 볼의 스핀 속도 및 스핀 축과 같은, 볼 궤적 및 관련 파라미터의 추적은, 전적으로 레이더 데이터에 기초하여 수행될 수 있거나, 이미지 기반 추적을 레이더 기반 추적과 조합하여 볼 궤적의 3차원 위치를 결정할 수 있다. 또한, 순수 이미지 기반 추적 또는 라이다와 같은 임의의 다른 추적 기술이 일부 시나리오에서 사용될 수 있다. 바람직하게는, 이들 애플리케이션은 골퍼가 사용하는 장비(예: 볼 또는 클럽 마킹)를 변경할 필요가 없는 비침습적 기술을 채용하는데, 이는 임의의 프로 토너먼트에서 채택될 가능성이 낮기 때문이다. 이는, 결과를 향상시키고, 서비스 비용을 낮추는 등의 경우, 플레이어가 상이한 장비의 사용에 더욱 순응할 수 있는 아마추어 시나리오에서 덜 중요할 수 있다. 또한, 클럽 속도, 공격 각도, 클럽 경로, 면대 경로 각도 및 클럽 면 상의 충격 위치와 같은 클럽 추적은, 레이더 기반 추적, 이미지 기반 추적, 라이다 기반 추적, 또는 이들 및 다른 시스템의 임의의 조합을 사용하여 수행될 수 있다.
도 4는 다양한 예시적인 실시예에 따라 레이더 시스템(405) 및/또는 카메라 시스템(410) 및/또는 라이다 시스템(415)을 포함하는 예시적인 추적 유닛(400)을 도시한다. 추적 유닛(400)은, 전술한 바와 같이, 전술한 센서의 임의의 조합을 포함할 수 있다. 다양한 센서는 이들의 구성된 파라미터에 따라 데이터를 캡처하도록 작동 가능하다. 일부 센서에서, 캡처된 데이터는, 데이터를 처리하여, 애플리케이션에 따라, 로컬 좌표계 또는 세계 좌표계일 수 있는 좌표계(420)에서의 트랙을 결정하는, 처리 유닛(예: 도 3과 관련하여 전술한 추적 서버(320) 또는 임의의 다른 데이터 처리 유닛)으로 직접 송신될 수 있다. 다른 센서는 캡처된 데이터에 대한 데이터 처리의 일부 또는 전부를 수행하기 위한 내부 처리 배열을 포함한다. 추적 유닛(400)은 티 박스에 인접하게 위치할 수 있고, 볼(425)에 대한 발사 파라미터 및 플레이어(435)에 의해 사용되는 클럽(430)에 대한 클럽 경로 파라미터 둘 다를 포함하여, 플레이어(435)에 의해 볼(425)의 티샷(440)에 대한 발사 파라미터를 캡처하도록 구성될 수 있다. 추적 유닛(400)은 또한 홀을 따라 추가로 위치할 수 있고, 주로 3D 위치 추적을 위해 구성될 수 있다.
바람직한 실시예에서, 예시적인 추적 유닛은 3D 도플러 레이더 시스템 및 일반적으로 1개 또는 2개의 내장 카메라를 포함하는 카메라 시스템을 포함한다. 3D 도플러 추적 레이더는 사전 정보(예: 발사 위치)를 이용할 수 없는 경우에도 XYZ 좌표에서 움직이는 객체의 3D 위치를 결정할 수 있다. 이는, 예를 들어, 나무 뒤에서 갑자기 나타나는 볼을 레이더에 의해 시선이 확립되자 마자 3D로 정확하게 위치 지정할 수 있다는 것을 의미한다. 그러나, 가능한 경우 발사 위치에 대한 소정의 정보를 사용할 수 있다.
본 실시예에서, 카메라는, 레이더 데이터에 대해 시간 동기화되고, 레이더의 좌표계에 대해 교정된다. 이는, 임의의 주어진 시간에, 레이더에 의해 결정되는 움직이는 볼에 대한 3D 위치가 이미지에서 위치뿐만 아니라 시간에 해당하는 카메라에 의해 캡처된 프레임에 정확하게 매핑될 수 있음을 의미한다. 유사하게, 이미지 데이터로부터 결정된 움직이는 볼에 대해 결정된 3D 위치는, 예를 들어, 추적을 보다 정확하게 결정하기 위해, 상응하는 레이더 데이터와 상관될 수 있다. 대안적인 실시예에서, 3D 도플러 레이더 대신에, 하나 이상의 추적 유닛은 1D 도플러 레이더 및 카메라 시스템을 포함할 수 있다. 이 예에서, 1D 레이더는 볼의 시야를 통과할 때 볼의 반경 거리 또는 범위 속도만을 측정하는 반면, 카메라 시스템은 볼이 카메라의 시야를 통과할 때 볼의 각도 위치를 결정한다. 이들 각각의 시야가 중첩될 때, 데이터는, 미국 특허 제10,989,791호에 기술된 바와 같이, 객체의 3차원 트랙을 생성하도록 조합될 수 있으며, 이는 그 전체가 참조로서 본원에 통합된다.
바람직하게는, 각각의 카메라는 내인성으로 및 외인성으로 교정되며, 이는 센서에 대한 내부 및 외부 모두의 파라미터가 알려지거나 결정됨을 의미한다. 카메라에 대한 내부 파라미터는 일반적으로, 예를 들어, 초점 길이, 렌즈 왜곡 파라미터 및 주점을 포함할 수 있는 반면, 레이더에 대한 내부 파라미터는 일반적으로, 예를 들어, 수신기 사이의 위상 오프셋을 포함할 수 있다. 외부 파라미터는 통상적으로 센서의 위치 및 배향을 구성한다. 추적 유닛 내의(또는 일부 실시예에서는, 추적 시스템 내의 상이한 유닛에 걸쳐) 센서에 대한 내인성 및 외인성 교정은, 카메라에 의해 캡처된 이미지의 각 픽셀의 각도 배향이 레이더 시스템의 교정과 관련하여 알려질 수 있게 한다. 하나 이상의 카메라에 대한 왜곡 파라미터에 대한 지식을 통해, 원하는 경우, 이미지/비디오의 왜곡을 제거(교정)하여 인간 눈에 더 즐거워 보이게 할 수 있다. 이러한 왜곡 제거 특징에 대한 다양한 애플리케이션은, 특히, 레이더만을 사용하여 캡쳐하기 어려울 수 있는 골프 샷의 바운스 및 롤의 추적에 관하여 더 상세히 후술될 것이다.
2개 이상의 카메라가 추적 유닛에 내장된 경우, 카메라는 통상적으로 상이한 시야(FOV)로 구성되고 상이한 프레임 속도로 작동될 것이다. 예를 들어, 제1 카메라는 4K 해상도를 갖고, 50도의 수평 FOV로 30fps로 작동하도록 구성되어, 시각적으로 보기 좋은 비디오 스트림을 제공할 수 있다. 제1 카메라는, 예를 들어, 방송 카메라로 사용되거나 샷의 클립의 생성을 위해 사용될 수 있다. 제2 카메라는, 예를 들어, 페어웨이를 향해 후방을 바라보고 그린을 겨냥한 샷을 추적하도록 구성된 그린 측 추적 유닛에서, 먼 거리에서 더 높은 픽셀 해상도를 제공하는 좁은 시야를 가질 수 있다.
카메라와 레이더의 이러한 정밀한 정렬 및 교정은 레이더 추적 및 이미지 추적이 서로를 보완하고 향상시킬 수 있도록 한다. 일부 시나리오에서, 볼, 클럽 헤드 및/또는 사람이 먼저 레이더에 의해 검출되는 반면, 다른 시나리오에서는, 이들 객체/신체가 카메라 중 하나에 의해 먼저 검출된다. 많은 시나리오에서, 두 센서 유형은 객체가 그들 각각의 시야 내에 있을 때 항상 객체의 견고한 트랙을 가질 것이다. 이는, 각각의 센서가 가장 정확한 상이한 시나리오에서 각각의 센서를 사용하고, 단 하나의 센서 유형에 기초한 측정에 비해 정확도를 증가시킬 수 있는 경우 다수의 센서로부터의 데이터를 조합하는 가능성을 허용한다.
바람직한 시스템은, 추적 유닛 간의 시간 동기화를 가능하게 하는 기술뿐만 아니라, 모든 유닛이 동일한 좌표(예: 세계 좌표계)로 교정되는 것을 보장하는 고급 교정 스킴으로 추가로 예비되며, 이하에서 더욱 상세히 설명된다. 본질적으로, 전술한 바와 같이, 단일 추적 유닛 내에서 가능한 센서 데이터 및 교차 센서 향상의 조합은, 예를 들어, 볼의 비행의 초기 부분을 추적하는 제1 추적 유닛과 협력하여 작동하는 다수의 추적 유닛에 걸쳐 이용 가능하며, 제2 추적 유닛은 비행의 후속 부분을 인수한다. 당업자는, 제1 및 제2 추적 유닛의 시야의 모두(중첩 시야 영역)에 포함되는 볼의 비행 부분의 경우, 둘 모두로부터의 데이터가 조합될 수 있음을 이해할 것이다. 대안적으로, 시스템은, 예를 들어, 제1 추적 유닛으로부터의 데이터가 더 정확한 중첩 시야 영역의 제1 부분, 제1 및 제2 추적 유닛으로부터의 데이터의 조합이 가장 정확하고/하거나 가장 신뢰성 있는 데이터를 제공하는 중첩 시야 영역의 제2 부분, 및 제2 추적 유닛으로부터의 데이터가 더 정확한 중첩 시야 영역의 제3 부분을 식별할 수 있다. 중첩 시야 영역의 이들 제1, 제2 및 제3 부분의 윤곽은, 예를 들어, 제1 및 제2 추적 유닛 각각으로부터의 거리, 폐색 요소 등을 고려하여 사례별로 이루어질 수 있다. 당업자는, 3개 이상의 추적 유닛의 시야가 중첩될 때, 동일한 일반 원리가 다양한 추적 유닛으로부터의 데이터의 상이한 사용 모드들 간의 유사한 변화를 허용할 것임을 이해할 것이다.
일부 실시예에서, 제1 센서로부터의 데이터를 사용하는 실시간 3D 추적은 제2 센서의 작동을 제어하는 데 사용될 수 있다. 예를 들어, 시스템은 제1 센서로부터의 데이터로부터의 실시간 3D 추적 정보에서 이벤트를 검출할 수 있고, 이러한 검출된 이벤트는 제2 센서를 트리거하여 추적을 시작하는 기준으로 사용될 수 있다. 이들 이벤트는, 예를 들어, 샷의 발사; 티로부터 특정 거리를 지나가는 볼; 기준선으로부터 소정의 거리를 넘어 움직이는 볼; 및/또는 볼이 제2 센서의 시야에 진입했거나 진입할 것임을 나타내는 다른 이벤트를 포함할 수 있다. 제2 센서의 작동 상태의 변화를 트리거할 이벤트는 주어진 홀의 레이아웃에 기초하여 선택되고 구성될 수 있다. 예를 들어, 예를 들어, 홀의 길이, 제1 또는 제2 센서의 뷰/커버리지를 폐색할 수 있는 아이템을 포함하는, 홀의 지형(예: 홀의 길이)를 고려하는 게임 로직이 사용될 수 있다. 또한, 각각의 센서의 능력을 고려할 수 있는데, 예를 들어, 주어진 홀에 대해 센서는 우수한 추적 커버리지를 제공하는 경우 및 그렇지 않은 경우이다. 볼이 티로부터 특정 거리를 통과하고/하거나 기준선으로부터 소정의 거리를 넘어 측방향으로 이동하고/하거나 제1 센서보다 제2 센서에 더 가깝게 이동하는 경우, 시스템은 제2 센서로 추적을 시작하도록 프로그래밍될 수 있다. 일부 실시예에서, 센서는 전체 또는 부분적으로 중첩되는 시야를 가질 수 있지만, 이는 요구되지 않는다.
검출된 이벤트는 또한, 추적 시스템의 상이한 센서 및 서브시스템에 대해 보다 효과적으로 전력 사용을 관리하는 데 사용될 수 있다. 특정 시스템 능력을 필요로 하는 이벤트가 현재 제1 센서 또는 다른 시스템 구성 요소로부터의 데이터에서 검출되지 않는 경우, 다른 센서, 예를 들어, 홀의 더 아래에 위치한 센서의 전력 사용은, 예를 들어, 시스템이, 물품의 완전한 활성화를 필요로 하는 이벤트 또는 즉시 대기 중인 이벤트를 검출할 때까지, 물품의 다양한 전력 인출 구성 요소를 수면 또는 저전력 모드에 둠으로써 감소될 수 있다. 골프 코스의 시스템은 종종 배터리로 작동되거나 발전기를 통해 전력이 공급되기 때문에, 이는 실제로 매우 중요할 수 있다.
관련 실시예에서, 로봇 카메라, 예를 들어, 추적 서버에 의해 원격으로 제어될 수 있는 추적 카메라 및/또는 방송 카메라는 실시간 3D 위치 추적 정보에 따라 제어된다. 볼에 대한 실시간 위치 데이터를 사용하여, 추적 시스템은 로봇 카메라를 제어하여 이 카메라가 현재 볼 위치를 가르키고(예: 비행을 통해 볼을 추적하고), 추가적으로 줌 및 초점을 제어하여 골프 토너먼트 동안 전문 카메라 작동자가 달성하는 것과 동일한 방식으로 시청자에게 익숙한 선명한 시청자 친화적인 이미지를 보장(예: 방송 비디오 피드를 제공)할 수 있다. 로봇 카메라에 대한 볼의 3D 위치는 추적 시스템 내의 다른 센서에 의해 획득된 실시간 데이터에 기초하여 추적 시스템에서 항상 알 수 있다. 따라서, 로봇 카메라에 대한 최적의 크롭, 배향 및 줌 레벨은 실시간 데이터에 기초하여 시스템에 의해 자동으로 제어될 수 있다. 비행하는 볼의 광학 추적은 로봇 카메라(또는 임의의 다른 카메라)로부터의 데이터 분석을 사용하여 수행될 수도 있고, 임의의 공지된 방법을 사용하여 원하는 이미지를 달성하기 위해 로봇 카메라를 제어하는 데 사용될 수 있다. 로봇 카메라는 카메라의 수동 작동자를 대체하는 데 사용될 수 있으며, 시청자에게 비디오 영상을 훨씬 더 매력적으로 만들 수 있다. 이는 또한, 예를 들어, 볼의 라이를 포함하여, 예시하기 위한 클로즈업 영상을 만들 수 있는 가능성을 가능하게 한다. 로봇 카메라의 안정적이고 시청자 친화적인 이동을 보장하기 위해, 추적 시스템으로부터의 실시간 3D 데이터의 특별한 필터링된 버전이 생성되고 로봇 카메라를 제어하는데 사용될 수 있다. 또한, 지연, 최대 각가속도, 최대 각속도, 초점 지연 등과 같은 로봇 카메라 제어의 특징에 대한 지식은 카메라를 제어할 때 고려되고 보상될 수 있다. 로봇 카메라는 또한 세계 좌표에서 클럽 및 볼 위치 설정을 위한 추적 센서로서 사용될 수 있다. 그러나, 이는 시야가 정적이 아니기 때문에 로봇 카메라의 교정을 필요로 한다. 이들 실시예는 이하에서 더욱 상세히 설명될 것이다.
예를 들어, 일 실시예에서, 제2 센서는 카메라(예: 로봇 카메라)일 수 있고, 활성화 명령은 로봇 카메라에 대한 최적의 크롭, 배향 및 줌 레벨을 제어하기 위한 파라미터를 포함할 수 있다. 로봇 카메라의 줌 및 초점은, 볼이 보이지 않거나 카메라로부터의 이미지에서 쉽게 찾을 수 없는 경우에도, 다른 센서 또는 다른 추적 유닛에 의한 볼의 비행 중 추적에 기초하여 연속적으로 업데이트될 수 있다.
도 16a는 골프 코스의 홀에서 플레이하는 동안 발사된 볼의 3차원 위치를 추적하되, 상기 추적은 제1 센서 및 제2 센서 둘 모두로부터의 데이터를 사용하여 수행되는 예시적인 방법(1600)을 도시하며, 여기서 제2 센서의 작동은 제1 센서에 의해 캡처된 데이터로부터 결정된 3D 위치 추적 정보에 기초하여 제어된다. 일부 실시예에서, 제1 센서는 레이더(예: 티 박스 추적 유닛 내의 레이더)이다. 다른 실시예에서, 제1 센서는 상이한 유형의 추적 유닛, 예를 들어, 페어웨이 추적 유닛의 레이더일 수 있거나, 카메라일 수 있다. 일부 실시예에서, 제2 센서는, 예를 들어, 페어웨이 추적 유닛의 레이더이다. 다른 실시예에서, 제2 센서는 카메라이다. 일부 실시예에서, 제2 센서는 제1 센서와 함께 위치할 수 있는데, 예를 들어, 제2 센서는 티 박스 추적 유닛 내의 카메라이고, 제1 센서는 티 박스 추적 유닛 내의 레이더이다. 바람직한 실시예에서, 제1 및 제2 센서는 세계 좌표계로 교정된다.
다음에서, 특정 처리 단계는 추적 시스템에서 수행되는 것으로 설명된다. 전술한 바와 같이, 추적 처리는, 추적 서버에서, 각각의 추적 유닛에 내장된 처리 유닛에 의해, 또는 내장된 처리 유닛과 추적 서버 사이의 협력 하에 수행되는 다양한 단계를 통해 수행될 수 있다. 전술한 바와 같이, 추적 서버는, 골프 코스 현장의 물리적 서버, 또는 클라우드 기반 서비스에 포함된 서버, 또는 이러한 요소들의 임의의 조합일 수 있다.
1602에서, 추적 시스템은 제1 센서를 사용하여, 발사된 볼의 궤적의 제1 부분에 상응하는 제1 데이터를 캡처하고, 데이터가 수집될 때 실시간으로 볼의 3D 위치를 계산한다. 제2 센서는 제1 데이터가 제1 센서에 의해 캡처되는 동안 감소되거나 상이한 능력을 갖는 작동 상태에 있다. 예를 들어, 제2 센서는 저전력 상태에 있을 수 있다. 다른 예에서, 제2 센서는 전원이 완전히 켜져 있지만, 임의의 데이터 캡처 및/또는 추적 기능을 아직 수행하지 않을 수 있다. 또 다른 예에서, 제2 센서는, 예를 들어, 크롭, 배향 및 줌 레벨에 대한 초기 카메라 파라미터에 따라 데이터를 캡처하는 로봇 카메라일 수 있다.
1604에서, 추적 시스템은 제1 데이터에 기초하여 발사된 볼에 대한 이벤트를 검출한다. 일 실시예에서, 볼의 3D 위치는 이벤트가 제2 센서에 대해 검출되었는지 여부를 결정하기 위한 기준으로서 사용된다. 예를 들어, 볼의 3D 위치가 하나 이상의 위치 기준을 충족할 때, 이벤트는 검출될 수 있다. 위에서 논의된 바와 같이, 이들 이벤트는: 티로부터 특정 거리를 지나가는 볼; 기준선으로부터 소정의 거리를 넘어 움직이는 볼; 및/또는 볼이 제2 센서의 시야에 진입했거나 진입할 것임을 나타내는 다른 이벤트를 포함할 수 있다. 또 다른 예에서, 이벤트는 샷의 발사를 포함할 수 있다.
1606에서, 추적 시스템은 제2 센서가 발사된 볼의 궤적의 제2 부분에 상응하는 제2 데이터를 캡처하도록 검출된 이벤트에 기초하여 제2 센서의 작동 상태를 제어한다(예: 제2 센서를 활성화하거나 제2 센서의 데이터 캡처 파라미터를 조정함). 일부 실시예에서, 활성화 명령은 전원을 완전히 켜고/켜거나 3D 위치 추적을 위한 데이터를 캡처하기 시작하는 명령을 포함할 수 있다. 다른 실시예에서, 활성화 명령은 로봇 카메라를 제어하기 위한 파라미터를 포함할 수 있다. 또 다른 실시예에서, 도 11 내지 도 13; 도 17a 및 도 17b에 대하여 이하에서 더욱 상세히 설명되는 바와 같이, 활성화 명령은 지면과의 초기 충격 후의 바운스 및 샷의 롤을 추적하기 위한 처리 모듈에 전력을 공급할 수 있다. 다른 실시예에서, 제2 센서가 볼을 보다 신속하게 검출하고 더 적은 처리 자원을 사용할 수 있도록 볼이 발견될 가능성이 있는 지역에 관심 영역이 제공될 수 있다.
전술한 방법(1600)은 특히 다른 센서에 의해 캡처된 데이터로부터 유도된 비행 중인 볼의 3차원 추적 데이터에 기초하여 데이터를 캡처하고/하거나 비행 중인 볼을 추적하기 위한 센서의 활성화에 관한 것이다. 그러나, 전술한 일반 원리는 이하에서 더욱 상세히 설명되는 많은 다른 예시적인 실시예에 적용될 수 있다.
예를 들어, 일 실시예에서, 제2 센서는 카메라(예: 로봇 카메라)일 수 있고, 활성화 명령은 로봇 카메라에 대한 최적의 크롭, 배향 및 줌 레벨을 제어하기 위한 파라미터를 포함할 수 있다. 로봇 카메라의 줌 및 초점은, 볼이 보이지 않거나 카메라로부터의 이미지에서 쉽게 찾을 수 없는 경우에도, 다른 센서 또는 다른 추적 유닛에 의한 볼의 비행 중 추적에 기초하여 연속적으로 업데이트될 수 있다.
또 다른 예에서, 이벤트 검출은 플레이어 검출, 예를 들어 비디오 피드에서 플레이어의 ID, 샷까지 이어지는 플레이어에 의해 취해진 특정 움직임 등과 관련될 수 있으며, 여기서 방송 피드 또는 일부 다른 처리 모듈은 이벤트 검출에 기초하여 활성화된다. 예를 들어, 레이더는 티 박스에서 샷을 할 준비가 된 플레이어의 검출에 기초하여 활성화될 수 있다.
또 다른 예에서, 특정 데이터 패킷은 볼의 실시간 3D 위치 추적에 기초하여 (예: 방송 엔티티로의) 방송으로의 송신을 위해 트리거된다. 볼의 비행과 관련된 메트릭은 특정 이벤트가 검출될 때 처리되고/되거나 송신된다. 예를 들어, 발사 시 계산되고 계산된 후 송신되는 발사 파라미터; 정점이 검출된 직후에 송신되는 정점 파라미터; 지면과의 초기 충격 시 계산되고 계산된 후 송신되는 평활 궤적 파라미터; 바운스/롤 및/또는 휴지 시 볼이 검출될 때 계산된 바운스 및 롤 및/또는 최종 휴지 위치 파라미터; 등이다.
또 다른 예에서, 이벤트 검출은 발사된 볼에 대한 추정 착지 위치와 관련될 수 있다. 샷의 시작에서 획득된 데이터에 기초하여, 플레이어 및/또는 관중이 위치하는 착지 위치가 추정되는 경우, 이들이 잘못된 샷으로부터 자신을 보호할 수 있도록, 자동 경고(자동 "FORE" 경고)가 트리거된다. 이들 및 추가 실시예는 이하에서 더욱 상세히 설명될 것이다.
레이더 추적
레이더 기술에서, 비행 중인 볼의 추적은 일반적으로 X-대역에서 작동하는 다중 주파수 연속파(MFCW) 도플러 레이더를 사용하여 수행된다. X-대역 도플러 레이더는 비행 중 골프 볼을 추적하는 강력한 기술이다. 양호한 조건에서, 볼은 300미터가 넘는 거리까지 추적될 수 있고, 레이더는 모든 조명 및 기상 조건에서 작동할 수 있다.
도 5a는 MFCW 도플러 레이더 추적의 제1 원리의 일례를 도시한다. 레이더 전파는 특정 송신 주파수(FTX)로 유닛에 의해 송신된다. 볼에 의해 반사되고 반환 주파수(FRX)에서 유닛에 의해 수신된 전파는, 추적 유닛에 대해 볼의 반경 속도(VR)에 비례하는 도플러 시프트를 겪을 것이다. 주파수 시프트는 송신 및 수신 신호를 혼합하고 주파수 분석을 수행함으로써 검출될 수 있다. 다양한 신호 처리 알고리즘이 적용되어 볼을 검출하고 추적하고, 궁극적으로 궤적 및 다양한 데이터 포인트를 추정할 수 있다.
도 5b는 MFCW 도플러 레이더 추적의 제2 원리의 일례를 도시한다. 각도 측정은 다수의 수신 안테나를 포함하는 MFCW 도플러 레이더에 의해 수행될 수 있다. 안테나는, 볼로부터 반사된 파면 전방이 유닛으로부터 볼까지의 방향 및 안테나들 사이의 거리/방향을 포함하는 파라미터에 의존하는 시차를 갖고 2개의 수신 안테나에 도달하도록 배열된다. 주 빔 및 추적 방향에 대략 수직인 평면에 걸쳐 있는 3개 이상의 수신 안테나를 포함하는 시스템은 수평 및 수직 차원 모두에서 각도 측정을 수행하여 3차원 추적을 생성할 수 있다.
혼합 후, 시간 시프트는 수신 채널 내의 신호 사이의 위상 시프트 계수(2ð)로서 관찰될 수 있다. 2ð 모호성은, 그 전체가 참조로서 본원에 통합되는, 미국 특허 제9,958,527호에 기술된 바와 같이, 2차원 그리드로 교묘하게 이격된 3개 초과의 수신 안테나를 가짐으로써 해결될 수 있다. 다수의 수신 안테나는 또한 다수의 수신기로부터의 신호가 밀착하여 추가될 때 수신된 신호의 신호 대 노이즈 비율을 증가시킬 수 있다.
도 5c는 MFCW 도플러 레이더 추적의 제3 원리의 일례를 도시한다. 범위 측정은 다수의 송신 주파수를 사용하여 수행될 수 있다. 2개의 주파수 각각에 대해 추적될 볼, 클럽, 또는 임의의 다른 물품으로부터 반사된 파면 전방은 볼까지의 거리 및 주파수 분리에 따라 상이한 위상을 갖는 공통 수신 안테나에 도달할 것이다. 혼합 후, 위상 차이(들)는 2개 이상의 상이한 송신기 주파수로부터 수신 채널 내의 신호들 사이의 위상 시프트 계수(2ð)로서 관찰될 수 있다. 2ð 모호성은 2개 초과의 주파수를 갖거나 측정된 물품에 대한 대략적인 거리에 대한 소정의 지식으로부터 해결될 수 있다. 예를 들어, 볼 궤적의 경우, 궤적의 특정 부분에서 볼까지의 거리에 대한 사전 정보가 사용될 수 있는데, 예를 들어, 발사 시의 범위 측정은 티 박스에 위치된 레이더에 대한 소정의 범위 간격 내에 있는 것으로 가정될 수 있다.
볼에 대한 범위를 결정하기 위한 다수의 주파수를 송신하는 것에 대한 대안으로서, 당업자에게 잘 알려져 있는 바와 같이, FM-CW 레이더와 같은 주파수 변조형 또는 위상 변조형 연속파(CW) 레이더가 사용될 수 있다.
레이더 추적 기술의 주요 장점은 속도, 견고성 및 성숙도; 볼의 전체 비행 중 임의의 시간에 골프 볼의 3차원 위치를 추정하지 않고 직접적으로 측정하는 능력; 및 골프 볼의 비행을 나타내는 상세한 공기역학 모델이 구축된 방대하고 성장하는 데이터 기록이다.
또한, 추적 유닛은, 레이더 데이터 및 카메라 데이터의 최첨단 센서 융합을 위해 구비될 수 있고, 본질적으로 확장 가능하다. 추가적인 정확성이 중요한 경우에 다수의 추적 유닛이 채택되어, 예를 들어, 티 영역 시스템을 그린 측 시스템(및 원하는 경우, 추가적인 홀 중간 추적 유닛)과 조합하여, 홀에서 시도된 모든 샷에 대한 주요 이벤트(예: 발사 및/또는 착지)에서 극단적인 정확성을 제공할 수 있다.
데이터가 레이더에 의해 캡처되는 모든 시점(예: 약 20ms 간격)에서, 레이더에 보일 수 있는 모든 이동 물체에 대해, 방사상 속도; 범위; 수평 및 수직 각도; 3D 위치; 및 본원에 기술된 바와 같은 임의의 추가 정보에 대한 결정이 이루어질 수 있다.
통상적으로 100~500ms에 걸쳐, 충분한 수의 이러한 골프 볼 검출이 시간적으로 연속적으로 이루어졌을 때, 볼의 발사가 확인되고 공기역학 모델이 데이터에 맞춰진다. 공기역학 모델은, 예를 들어, 데이터의 적절한 가중 하에서 최대 가능성 의미로 데이터에 맞는 뉴턴 물리학에 기초하여 제약된 파라메트릭 편미분 방정식을 포함할 수 있다. 레이더가 원시 레이더 데이터에서 충격 시간을 직접 검출하지 못하는 경우, 모델은 예상 충격 위치 또는 높이까지 시간적으로 역으로 외삽될 수 있다. 대안적으로, 다른 센서(예: 마이크로폰)로부터의 데이터가 발사 시간을 결정하는 데 사용될 수 있다. 그 다음, 도출된 충격 시간에 모델을 평가함으로써 발사 파라미터를 추출할 수 있다. 발사 파라미터는, 예를 들어, 충격의 타임스탬프; 충격 이전에 휴지된 볼 위치; 볼 속도; 수직 발사 각도; 및 수평 발사 각도를 포함할 수 있다. 따라서, 공기역학 모델은 원시 레이더 데이터를 평활화하고 지금까지 볼의 비행을 적절히 표현하는 역할을 한다.
예를 들어 비선형 칼만 필터를 사용하여 볼의 나머지 비행을 추적하여, 지면과 충격할 때까지 볼의 전체 비행을 추적할 가능성을 증가시킨다. 또한, 볼에 대한 시선이 임의의 기간 동안 폐색되는 경우, 시선이 재확립되면 볼로부터의 신호가 재획득될 수 있다. 일단 착지하면, 바운스는, 레이더에 가시적인 경우 또는 이미지 기반 추적 유닛 또는 추적 유닛의 이미지 기반 구성 요소에 의해 연속적으로 추적될 수 있다. 바운스 및 롤을 추적하고 볼의 최종 휴지 위치를 결정하기 위한 방법론에 대해 상세한 설명이 아래에 추가로 제공된다.
시스템에 의해 캡처된 실시간 데이터는, 레이더 유닛에 의해 캡처된 데이터를 포함하여, 예를 들어, 추적 서버(320)에 및/또는 추적 유닛에서 처리 후 방송을 위해 제3자에게 직접, 볼이 움직이는 동안 연속적으로 송신될 수 있다. 유사하게, 추적 서버(320)에서 수신된 데이터는 연속적으로 처리되어 제3자 또는 방송에 송신될 수 있다. 대안적으로, 데이터는 발사, 정점, 캐리 착지 및 휴지 시의 볼과 같은 샷의 주요 지점에서만 송신될 수 있다.
도 6은 다양한 예시적인 실시예에 따라 골프 샷에 대한 실시간 데이터 획득 동안 방송 엔티티 및/또는 다른 애플리케이션에 송신된 골프 샷에 대한 특정 데이터를 포함하는 예시적인 데이터 패킷(605~630)의 도면(600)을 도시한다. 데이터 패킷(605~630)은 시간에 따른 샷의 궤적의 예시적인 플롯에 대해 도시되어 있고, 데이터 패킷의 대략적인 송신 시간이 샷의 발사 시간에 대해 제공된다. 또한, 데이터 패킷(605~630)에 대한 대략적인 송신 시간이 표시되고 상이한 유형의 레이더 센서에 대해 구별된다. 예를 들어, 대략적인 송신 시간은 상이한 파라미터 및/또는 처리 능력을 갖는 레이더 센서에 걸쳐 달라질 수 있으며, 데이터 패킷에 대해 상이한 양의 처리 시간을 요구하고/하거나, 통상적으로 발사부터 휴지까지 더 짧은 또는 더 긴 지속 시간을 갖는 상이한 유형의 샷을 추적할 수 있다. 현재 목적을 위해, 예를 들어, 추적 유닛(305)으로부터 추적 서버(320)로 또는 방송/애플리케이션으로, 및/또는 추적 서버(320)로부터 방송/애플리케이션으로의 데이터 송신에 필요한 대기 시간은 무시될 수 있다. 본 예에서, 명확성을 위해, 추적 서버(320)는 추적 유닛으로부터 데이터 패킷을 수신하고, 임의의 수의 유리한 지점으로부터 샷의 실시간 비디오를 방송하는 수신 방송 엔티티에 데이터 패킷을 송신하는 것으로 추정된다. 추적 서버(320)는 단일 추적 유닛 또는 다수의 추적 유닛으로부터 데이터/트랙을 수신할 수 있다. 원시 레이더 신호의 처리가 추적 서버(320) 상에서 발생할 때, 도 6에 도시된 데이터 패킷(605~630)은 추적 서버(320)에 의해 생성되고 방송으로 송신된다.
실시간 비디오는 샷의 트레이서를 포함할 수 있으며, 이는 이하에서 더욱 상세히 설명되는 기술을 사용하여 실질적으로 실시간으로 결정된다. 샷의 방송 동안, 트레이서의 디스플레이와 동시에, 수신된 데이터 패킷에 포함된 정보가 디스플레이되어 진행 중인 샷에 대한 실시간 정보로 방송를 향상시킬 수 있다. 당업자는, 트레이서가 일반적으로, 발사부터 현재 이미지에서 볼의 위치까지 볼에 의해 점유된 이미지 내의 위치에 상응하는 이미지 내의 위치에서 삽입된 샷의 궤적의 시각적 표현을 보여주는 비디오 피드 그래픽을 지칭한다는 것을 이해할 것이다. 트레이서 그래픽은 궤적의 다양한 지점에서 보여지는 수치 데이터, 예를 들어, 볼 속도, 정점 높이 등을 포함할 수 있다.
추적 서버로부터 방송으로 송신되는 제1 데이터 패킷(605)은, 예를 들어, 충격 시간, 휴지 시의 볼 위치, 발사 시의 볼 속도, 및 수평 및 수직 발사 각도 둘 모두를 포함하는 발사 데이터를 포함한다. 이들 파라미터를 처리하고 일부 통신 매체를 통해 방송 엔티티에 송신하기 위해, (추적 서버와 협력하여) 통상적인 추적 유닛은, 예를 들어, (티 박스 추적 유닛의 경우) ~600ms, (그린 추적 유닛의 경우) ~1000ms, 또는 (공정 추적 유닛의 경우) ~650ms 미만의 지연으로 송신할 수 있다. 즉, 순수한 실시간 타이밍에서 최소한의 지연(매우 "실시간"에 가까운)을 요구하는 방식으로 데이터가 처리되고 이미지에 포함되며 방송 준비가 되고, 데이터 수집 및 처리의 효율성이 매우 중요하다. 발사 데이터는, 비디오 피드에 중첩된 수치 또는 그래픽으로서, 또는 추후 조작 및 분석을 위해 저장되는 것 이외에 홀/샷의 렌더링에 포함된 다양한 다른 방식으로 방송에 디스플레이될 수 있다.
추적 유닛으로부터 방송으로 송신된 제2 데이터 패킷(610)은 이러한 데이터가 캡처되고 결정될 때 실시간 궤적 데이터(예: 볼의 3차원 위치)를 포함한다. 볼의 비행 중 언제라도, 추적 유닛(305)은 이러한 실시간 궤적 정보를 데이터 패킷(610)으로 송신하기 시작할 수 있고, 데이터가 통신되는 송신 매체 및/또는 추적 유닛의 능력에 의해 제한될 수 있는 주어진 간격에서 이들 데이터 패킷(610)을 송신하도록 진행할 수 있다. 송신은, 샷이 일부 소정의 위치(예: 정점)에 도달할 때, 또는 추가 정보를 포함하는 추가 데이터 패킷의 송신 시에, 일부 소정의 지속 시간 후에 종료될 수 있다. 도 6의 예에서, 실시간 궤적 데이터 패킷(610)의 송신은 발사 데이터를 포함하는 제1 데이터 패킷(605)의 송신 시 시작되도록 트리거된다. 이하에서 설명되는 바와 같이, 실시간 궤적 데이터 패킷(610)의 송신은 제3 데이터 패킷(615)이 송신될 때 종료된다. 그러나, 당업자는, 실시간 궤적 데이터 패킷(610)이 샷의 비행 동안 임의의 지속 시간 동안 송신에 대해 구성될 수 있다는 것을 이해할 것이다.
비선형 칼만 필터는 궤적의 실시간 렌더링을 위해 데이터가 방송으로 송신되는 모든 경우에 평활화될 수 있다. 이는 지금까지 기록된 모든 데이터에 따라 볼의 궤적에 대한 가장 정확한 사후 추정을 제공한다. 평활화된 궤적은 시청자 경험을 향상시키기 위해 디스플레이되기 전에 자동 회귀 프로세스를 사용해 추가로 필터링될 수 있다. 궤적 데이터는, 예를 들어 홀의 렌더링 상의 궤적 플롯같은 것을 포함하여, 다양한 방식으로 디스플레이될 수 있다. 수치 데이터는, 예를 들어, 거리, 곡선, 높이 등을 위한 계측기같은 것을 포함하여, 직접 사용될 수도 있다.
추적 유닛(305)으로부터 방송으로 송신된 선택적인 제3 데이터 패킷(615)은 착지 예측을 포함한다. 착지 예측은, 지금까지 볼의 비행에 대해 수집된 정보에 기초하여, 볼에 대한 추정 3차원 착지 위치를 포함할 수 있다. 착지 예측은 또한 추정에 관한 불확실성 정보를 제공할 수 있다. 추적 유닛은, 예를 들어, (티 박스 추적 유닛의 경우) ~1500ms 후, (그린 추적 유닛의 경우) 정점에서, 또는 (페어웨이 추적 유닛의 경우) ~1500ms 후, 발사 시간에 대해 제3 데이터 패킷(615)을 송신하도록 지정될 수 있다. 착지 예측은, 예를 들어, 홀의 렌더링 상의 위치를 포함하는 다양한 방식으로 방송에 디스플레이될 수 있다. 추적 유닛(305)으로부터 방송으로 송신된 제4 데이터 패킷(620)은 스핀 속도를 포함한다. 추적 유닛은, 예를 들어 (티 박스 추적 유닛의 경우) 약 2500ms 후에, 발사 시간에 대해 제4 데이터 패킷(620)을 송신하도록 지정될 수 있다. 그린 추적 유닛 및/또는 페어웨이 추적 유닛의 경우, 스핀 속도는 방송으로 송신되지 않을 수 있고; 스핀 속도의 결정은 비교적 복잡한 연산이며, 이러한 정보는 통상적으로 그린 및 페어웨이 유닛에 의해 캡쳐된 더 짧은 샷에 대해 생략될 수 있다. 스핀 속도 결정은, 예를 들어, 숫자 값으로서 또는 임의의 원하는 그래픽 방식으로 방송에 표시될 수 있다.
추적 유닛(305)으로부터 방송으로 송신된 제5 데이터 패킷(625)은, 예를 들어, 정점 높이, 범위 및 측면을 포함하는, 실시간 정점을 포함한다. 정점 측면은 샷의 알려진 또는 가정된 표적선으로부터의 볼의 측방향 거리, 예를 들어 더 짧은 홀의 경우 핀에 대한 방향 또는 더 긴 홀의 경우 티 박스로부터 특정 거리에서 페어웨이의 중심에 대한 방향을 지칭한다. 대안적으로, 정점 측면은 볼의 초기 발사 방향을 기준으로 결정될 수 있다. 추적 유닛은, 추적 유닛(305)에 포함된 센서의 유형에 관계없이, 추적 유닛(305)이 샷의 정점이 도달되었다고 결정할 때, 제5 데이터 패킷(625)을 송신하도록 지정될 수 있다. 실시간 정점 결정은 예를 들어, 홀의 렌더링 상에 중첩된 수치 또는 그래픽으로 방송에 디스플레이될 수 있다.
추적 유닛(305)으로부터 방송으로 송신된 제6 데이터 패킷(630)은 볼이 착지한 후 샷에 대한 최종 측정을 포함한다. 일단 볼이 지면에 충격하면, 발사 시 사용된 모델보다 더 복잡한 공기역학 모델은 수집된 모든 데이터에 적합하여 충격부터 정점을 지나 착지까지 볼의 가장 가능성이 높은 궤적의 결정을 제공할 수 있다. 공기역학 모델은 볼 스핀 및 속도가 볼 상의 순간적인 항력 및 양력에 영향을 미치는 방식을 정량화하는 것 외에도 볼의 스핀 감쇠를 캡쳐할 수 있다. 모델은 날씨 및 바람의 효과를 추가로 설명할 수 있다. 일 양태에서, 공기역학적으로 평활화된 궤적을 사용하여 볼의 비행에 영향을 미치는 유효 풍속 및 방향을 추정할 수 있다.
모델은, 충격의 타임스탬프; 충격 전, 휴지 시 볼 위치(측정된 경우); 볼 속도; 수직 발사각; 수평 발사각; 정점 높이, 측면 및 범위; 추정된 스핀 축(측정되지 않은 경우); 추정된 스핀 속도(측정되지 않은 경우); 캐리 및 측면(플랫), 착지 각도 및 속도(플랫); 및 비행 시간(플랫)을 포함하는, 모든 최종 데이터 포인트에 대한 값을 추출하기 위해 적절히 평가된다. 캐리 및 측면, 착지 각도, 속도 및 비행 시간에 대한 "플랫" 값은 볼이 발사된 동일한 높이/레벨에서 결정된 값을 지칭한다. 플랫 값은 동일한 위치에서 시작/착지되지 않은 샷을 비교하는 데 유용하다. 공기역학 모델은, 궤적을 알려진 골프 홀 레이아웃의 3D 표현과 교차시킴으로써, 비행 시간; 착지 각도; 착지 속도; 범위 및 측면에 대한 플랫 값이 아닌 실제 값을 추출하는 데 추가로 사용된다. "실제" 값은 고도 차이가 고려되는 지면과 볼의 실제 충돌에서 결정된 값을 지칭한다. 원하는 경우, 제3자가 쉽게 송신, 시각화 및 조작할 수 있도록 하는 일련의 다항식으로 공기역학 모델을 요약할 수 있다.
제6 데이터 패킷(630)은, 이전의 데이터 패킷(605~625)에서 결정/예측되고 송신된 메트릭의 보다 정확한 버전을 포함하는, 평활화된 궤적 데이터 및 임의의 원하는 주요 메트릭을 포함할 수 있다. 이러한 파라미터를 처리하고 일부 통신 매체를 통해 방송 엔티티에 송신하기 위해, 통상적인 추적 유닛(305)은, 예를 들어, ~300ms 후(티 박스 추적 유닛의 경우), ~350ms 후(그린 추적 유닛의 경우), 또는 ~350ms 후(페어웨이 추적 유닛의 경우), 지면 충격 시간에 대해 제6 데이터 패킷(630)을 송신하도록 요구하거나 그렇지 않으면 지정될 수 있다. 최종 샷 측정은 데이터 패킷(605~625)에 대하여 전술한 임의의 방법을 포함하여, 다양한 방식으로 방송에 디스플레이될 수 있다.
전술한 데이터 패킷(605~630)에 대한 특정 구성 및 송신 시간은 예시적인 목적을 위해 제공되며, 임의의 더 많거나 더 적은 수의 유사하거나 상이한 데이터 패킷이 임의의 이유에 기초하여, 예를 들어, 방송인으로부터의 특정 요청, 추적 유닛의 능력 등에 기초하여 방송으로 송신될 수 있음을 이해해야 한다. 예를 들어, 상이한 센서에 특정인 패킷 송신 아키텍처는, 샷 파라미터 결정을 위한 처리 시간, 통상적으로 추적되는 샷의 유형 등과 같은 인자에 따라, 센서가 상이한 시간에 상이한 데이터를 송신하도록 구성될 수 있다. 착지 후의 샷의 바운스 및 롤에 관한 추가 데이터가, 예를 들어 궤적에 대한 최종 측정 데이터와 함께 제6 데이터 패킷(630)에 제공되거나, 상이한 시간에 별도의 패킷에 제공될 수 있다. 샷의 바운스 및 롤을 분석하기 위한 특정 기술은 도 13과 관련하여 이하에서 더욱 상세히 설명될 것이다.
도 16b는 다양한 예시적인 실시예에 따라 방송에 포함하기 위한 추적 데이터를 송신하기 위한 방법(1610)을 도시한다. 전술한 바와 같이, 추적 시스템은 볼의 발사 및/또는 비행 및/또는 지면 충격을 추적하기 위한 레이더 유닛을 포함할 수 있다(그리고 일부 실시예에서는, 레이더 유닛이 초기 지면 충격 후에 바운스 및 롤을 추적할 수 있다). 추적 시스템은 또한 바운스 및 롤을 추적하기 위한 카메라를 포함할 수 있다. 데이터는 샷 궤적 전체에 대해 획득될 수 있고, 다양한 추적 유닛은 추적 서버와 협력하여 작동하여 볼의 3D 궤적을 계산하고 볼의 비행과 관련된 이벤트를 검출할 수 있다.
1612에서, 발사 이벤트는 추적 시스템에 의해 검출되고, 발사된 볼에 대한 발사 데이터는 제1 추적 유닛의 센서를 사용하여 캡처된다. 추적 유닛(및/또는 추적 서버)은 발사 직후에 발사 데이터를 처리하여 발사 파라미터를 도출한다.
1614에서, 적어도 제1 데이터 패킷은 결정된 발사 파라미터를 포함하여 방송 엔티티에 송신된다. 제1 데이터 패킷은, 발사 파라미터가 추적 서버에서 결정된 후(또는 추적 유닛에서 결정된 후 추적 서버에서 수신된 후) 또는 개시 후 소정의 시간에 즉시 송신될 수 있다.
1616에서, 복수의 제2 데이터 패킷은 실시간 3D 궤적 데이터를 포함하여 방송 엔티티에 송신된다. 일 실시예에서, 제2 데이터 패킷의 송신은 발사 후 소정의 시간에 트리거될 수 있고 시작 후 소정의 시간에 종료될 수 있다. 다른 실시예에서, 제2 데이터 패킷의 송신은 제1 데이터 패킷의 송신 시 트리거될 수 있다. 또 다른 실시예에서, 제2 데이터 패킷의 송신은, 볼에 대한 3D 위치 이벤트가 검출될 때, 예를 들어 볼이 그의 궤적 내의 특정 지점, 예를 들어, 티로부터 소정의 높이 또는 거리에 도달할 때 트리거될 수 있다. 또 다른 실시예에서, 제2 데이터 패킷의 송신을 종료하는 것은, 볼에 대한 3D 위치 이벤트가 검출될 때, 예를 들어 볼이 그 궤적의 특정 지점에 도달할 때, 예를 들어 예측된 정점 높이의 백분율로서 결정된 정점 또는 일부 높이에 도달할 때 트리거될 수 있다.
1618에서, 볼이 비행 중인 동안 추가 데이터 패킷이 방송 엔티티에 송신될 수 있다. 예를 들어, 제3 데이터 패킷은 (예를 들어, 1616에서의 실시간 궤적 데이터의 송신이 종료된 후 송신된) 예측된 착지 위치를 포함할 수 있고, 제4 데이터 패킷은 (예를 들어, 비행 후 소정의 지속 시간이 경과한 후 또는 스핀 속도를 정확하게 결정하기 위해 충분한 데이터가 캡처되고 처리된 직후에 송신된) 스핀 속도를 포함할 수 있고, 제5 데이터 패킷은 (예를 들어, 검출 시 송신된) 실시간 정점을 포함할 수 있다.
1620에서, 충격 이벤트는 추적 시스템에 의해 검출되고(예: 시스템은 비행 중인 볼이 초기에 지면과 충격했음을 검출함), 볼 궤적에 대한 데이터는 센서에 걸쳐 컴파일되고/되거나 공기역학 모델에 맞춰져 (이전 데이터 송신에서 제공된 측정보다 더 정확할 수 있는) 볼의 궤적에 대한 최종 측정을 결정한다.
1622에서, 볼의 궤적에 대한 최종 측정을 포함하여 적어도 하나의 제6 데이터 패킷이 방송 엔티티에 송신된다. 제6 데이터 패킷은 최종 측정이 결정된 직후, 또는 지면 충격 이후 소정의 시간에 송신될 수 있다.
1624에서, 바운스 및 롤 및/또는 최종 휴지 위치를 포함하는, 볼에 대한 착지 데이터는 추적 유닛 및/또는 추가 추적 유닛(예: 지면 충격 부근의 카메라)에 의해 추적될 수 있다. 도 11 내지 도 13에 대하여 이하에서 더욱 상세히 설명되는 바와 같이, 추적 유닛(및/또는 추적 서버)은 바운스 및 롤을 처리하고, 볼 움직임의 이러한 부분 동안 3D 위치 데이터를 결정하고, 휴지 위치를 추가로 결정할 수 있다.
1626에서, 적어도 하나의 제7 데이터 패킷은 착지 정보를 포함하여 방송 엔티티에 송신된다. 제7 데이터 패킷은 착지 정보가 결정된 직후, 또는 볼이 휴지한 후 소정의 시간에 송신될 수 있다.
1628에서, 방송 엔티티는 볼의 비행 지속 시간 동안 및 충격/휴지 이후에 송신된 패킷 각각을 수신하고, 방송 비디오 피드에서 데이터 패킷에 포함된 데이터를 제시한다. 정보는 시각적으로 만족스러운 그래픽 등으로 처리될 수 있다. 바운스 및 롤 데이터는 초기 궤적 데이터와 조합되어 발사에서 휴지까지 볼의 전체 이동 경로를 표시할 수 있다.
7가지 유형의 데이터 패킷 송신이 상기 방법(1610)에 포함되지만, 당업자는 상이한 수 및/또는 유형의 데이터 패킷이 사용될 수 있음을 이해한다.
특정 현상은 볼의 레이더 추적의 품질을 방해할 수 있는데, 예컨대: 특히 낮은 볼 속도를 갖는 샷; 레이더 유닛에 대한 시선에 대해 다소 수직으로 움직이는 샷; 주로 지면으로부터의, 강한 다중 경로 반사; 레이더에 대한 직접 시선을 폐색하는 객체; 및 전자기 간섭을 방출하는 외부 장치이다. 그러나, 볼의 비전 추적으로 원시 레이더 데이터를 향상시킴으로써, 레이더 추적의 품질에 영향을 미치는 대부분의 현상이 보조될 수 있다.
바람직한 실시예에서, 하나 이상의 추적 유닛은, 레이더 자체의 추적 능력에 더하여 이미지 평면 추적 또는 3차원 위치 추적이 가능한 추적 카메라를 구비할 수 있다. 레이더는 종종 관심 영역을 볼의 정확한 픽셀 위치를 검출하는 데 필요한 연산을 감소시키는 카메라에 제공할 것이고, 또한 카메라를 조준하고 초점을 맞춰 이미지 기반 추적 데이터의 품질을 더욱 향상시키는 데 사용될 수 있다. 2개의 센서로부터의 데이터가 차례로 병합되어, 카메라로부터 수평 및 수직 각도의 정확한 측정으로 레이더로부터 범위 및 범위 속도에 대한 정확한 추정치를 추출한다. 두 기술의 융합은 카메라 기반 추적의 향상된 각도 정확도와 결합된 레이더 추적의 속도, 견고성, 내후성 및 범위 측정 능력이라는 두 세계 모두의 최고를 제공한다.
추적 시스템은 본질적으로 확장 가능하며, 공동 추적 및 센서 융합을 위해 임의의 수의 추적 유닛을 추가할 수 있다. 이는 사례별로 결정될 수 있고 정확성 및/또는 신뢰성이 가장 중요한 경우에 적용될 수 있다. 정확성 증가의 명백한 이점 외에도, 추가 센서는 모든 샷이 추적되는 것을 보장하기 위해 레이더 추적을 방해하는 전술한 다수의 이슈를 동등하게 해결할 수 있다.
교정
추적 유닛이 의미 있는 데이터를 출력하기 위해서는, 각각의 추적 유닛(305)이 그 측정을 그 자체의 로컬 좌표계와 상이한 세계 좌표계에 매핑할 수 있는 것이 매우 중요하다. 이는 궤적이, 특히, 코스의 이미지 또는 비디오 상에 중첩될 수 있게 할 뿐만 아니라, 트레이서와 같은 그래픽을 방송 비디오 피드에 삽입할 수 있게 한다. 특정 데이터 지점의 정확도는 추적 유닛(305)의 측정 정확도뿐만 아니라 전 세계 좌표에 대한 이들 측정의 교정 정확도 둘 모두에 의존한다. 영향을 받는 측정 유형으로는 휴지 시의 볼 위치(충격 전); 수평 발사 각도; 정점 측면; 및 캐리 측면(플랫)이 있다.
세계 좌표계에 대해 추적 유닛을 교정하는 방법은, 개별 추적 유닛(305)이 티에 배치되어, 페어웨이를 내다보는지, 또는 그린에 배치되어 페어웨이를 되돌아보는지에 관계없이, 추적 유닛(305)에 걸쳐 동일할 수 있다. 교정은 다수의 상이한 방식으로 수행될 수 있다. 바람직한 실시예에서, 각각의 홀에 대한 주요 기준점의 GPS 위치가 결정된다. 또한, 각각의 추적 유닛(305)의 GPS 위치가 결정된다. 카메라 시스템을 포함하는 각각의 추적 유닛(305)에 대해, 하나 이상의 기준 위치가 카메라 이미지에서 결정되어, 추적 유닛(305)의 배향이 세계 좌표로 결정될 수 있게 한다. (예: 추적 유닛(305)이 코스 상에서 누군가에 의해 부딪히거나 추적 유닛이 장착된 구조물이 이를 이동시키기 때문에) 교정 수행 후에 추적 유닛(305)이 이동되는 경우, 위에 열거된 측정이 영향을 받을 수 있다. 추적 유닛(305)의 배향의 변화는 내장 카메라로부터의 이미지에서의 특징 매칭에 의해 검출될 수 있다. 대안적으로, 배향의 변화는 추적 유닛(305) 중 하나 이상에 내장된 모션 센서에 의해 또는 다른 방식으로 결정될 수 있다.
페어웨이 추적 유닛(305)은 유사한 방식으로 세계 좌표계에 대해 교정될 수 있지만, 휴대용 추적 유닛의 경우, 속도를 위해 세계 좌표계에 대한 교정을 생략하는 것이 바람직할 수 있다. 페어웨이 추적 유닛(305)은, 예를 들어, 카메라를 갖는 공통 좌표계에 대한 트레이서 및/또는 다른 정보를 제공하기 위한 방송 카메라에 대해 교정될 수 있으며, 이하에서 더욱 상세히 설명될 것이다.
방송/촬영을 위한 별도 카메라 추가
언급된 바와 같이, 추적 유닛(305)의 일부 또는 전부는 카메라 시스템을 포함할 수 있다. 그러나, 하나 이상의 추가 카메라가 골프 샷을 방송/촬영하기 위한 목적으로 홀의 각각 또는 일부에 배치될 수 있다. 다음에서, 카메라의 일차적 목적이 실시간, 거의 실시간 또는 사후에 양호한 시청 경험을 제공하는 것이지, 주로 추적을 위한 데이터를 제공하는 것이 아니라면, 촬영 전용 카메라는 실제 방송을 위해 사용되는 카메라인지 여부와 상관없이 방송 카메라라고 지칭된다.
방송 카메라의 위치 및 배향은 추적 유닛(305)에 사용된 것과 유사한 방식으로 결정될 수 있다. 따라서, 이동 중이거나 휴지 상태인 임의의 볼은, 적어도 대략적으로, 방송 카메라에 의해 생성된 이미지 내에 위치할 수 있다. 이러한 방식으로, 트레이서 또는 이미지 도시에서의 다른 것과 같은 볼 추적 정보는 추적 시스템으로부터의 추적 정보에 기초하여 결정된 위치에 상응하는 이미지 내의 위치에서 방송 카메라로부터의 이미지 내에 삽입될 수 있다.
일부 경우에, 추적 유닛(305)에 존재하는 카메라 시스템이 방송 카메라로서 사용될 수 있다. 이 경우, 추적에 사용된 동일한 이미지가 방송에 사용될 수 있다.
추적 유닛(305)을 보충하기 위해 카메라를 더 추가하는 것은 간단한 과정이다. 교정 스킴은 추적 및 시각화 작업에 다른 카메라를 포함시키는 것을 용이하게 하며, 추적 유닛(305) 간의 시간 동기화를 포함한다. 일례에서, 로봇 카메라와 같은 팬, 틸트 및 줌(PTZ) 카메라가 추가될 수 있다. PTZ 카메라로, 팬, 틸트 및 줌은 추적 시스템에 의해 캡처된 실시간 볼 궤적에 기초하여 직접 제어될 수 있으며, 이는 아래에서 더 상세히 설명된다.
플레이어 식별
전술한 바와 같이, 고유한 playerID는 골프 코스의 각 플레이어와 연관될 수 있고, 추적 시스템에 의해 추적된 각 골프 샷을 시도한 플레이어와 정확하게 연관시키는 데 사용될 수 있다. 이러한 플레이어 식별 기능은, 이하에서 설명되는 바와 같이, 단독으로 또는 대안적인 옵션과 조합하여, 다수의 상이한 방식으로 구현될 수 있다.
제1 옵션에서, 시스템은 토너먼트에서 각 골퍼에 대한 스윙 특징을 분석하고 골퍼의 스윙 특징의 고유한 양태에 기초하여 각 골퍼에 대한 고유 식별자를 생성한다. 예를 들어, 고유한 스윙 특성은 각각의 골퍼의 스윙의 생체역학에 관한 데이터(스윙하는 동안 상이한 지점에서 클럽 샤프트에 대한 전완 및 상완 위치 설정, 다리에 대한 신체의 비틀림 정도 등)와 생체 인식 데이터 지점(예: 상완 길이, 높이 등에 대한 전완의 비율)의 조합을 포함할 수 있다.
제2 옵션에서, 시스템은 골퍼의 의복 및/또는 얼굴을 인식한다. 예를 들어, 각각의 골퍼는 각각의 라운드의 시작 시에 시스템에 수동으로 식별될 수 있고, 그 다음 골퍼가 착용한 의복의 특징은 라운드 전체에 걸친 인식을 위해 시스템 내의 골퍼와 매칭될 수 있다. 이러한 정보는 시스템에 의해 그 자체로 사용되거나, 임의의 다른 생체인식 및/또는 생체역학적 특징과 조합하여 사용되어 모든 샷에 대해 각각의 골퍼를 인식할 수 있다. 이러한 옵션은 단독으로 사용되거나, 예를 들어, 다른 옵션 중 어느 하나 또는 전부와 조합하여 사용될 수 있다. 제3 옵션으로, 각각의 골퍼는 시스템에 의해 배치될 수 있는 전자 식별자를 보유한다. 예를 들어, 이는 시스템에 의해 인식되는 고유 식별자뿐만 아니라 세계 좌표로 매핑될 수 있는 GPS 좌표를 송신하는 스마트폰 상의 앱만큼 간단할 수 있다. 이러한 옵션은 단독으로 사용되거나, 예를 들어 제1 또는 제2 옵션과 조합하여 사용될 수 있다.
제4 옵션에서, 플레이어 식별 기능은, 플레이어가 통상적으로 골프 라운드를 플레이하는 방식에 관한 로직을 추가로 사용할 수 있다. 예를 들어, 플레이어는 일반적으로 2~4명으로 이루어진 그룹으로 플레이하고(예: 투어에서는 통상적으로 3명의 골퍼임), 이러한 그룹의 플레이어는 라운드 전체에 걸쳐 각각의 홀을 함께 플레이하며, 홀에서 가장 먼 그룹의 구성원이 다음 샷을 시도하도록 번갈아 가며 플레이한다. 다른 예에서, 플레이어가 샷을 친 후, 해당 플레이어로부터의 다음 샷은 티샷이 착지한 지점과 가까운 위치에서 발생할 것이다. 또 다른 예에서, 시스템은 코스의 레이아웃에 관한 지식을 사용할 수 있다. 예를 들어, 그룹이 홀(예: 홀 1)을 완료한 후, 시스템은 그룹이 다음 홀(이 경우, 홀 2)의 티 박스로 이동할 것이라고 예측한다. 제4 옵션에 따른 이러한 게임 로직 방법은, 플레이어 식별을 개선하고/하거나 플레이어를 식별하는 데 필요한 처리 부담을 감소시키기 위해 전술한 옵션 1~3과 조합하여 사용될 수 있다. 이러한 유형의 게임 로직을 사용하고, 그룹이 코스를 진행함에 따라 각 그룹의 진행 상황을 추적함으로써, playerID 추적은 일반적으로 주어진 그룹의 구성원들 사이에서만 구별할 필요가 있을 수 있다(예: 시스템은 각 그룹을 추적한 다음, 해당 그룹이 코스의 어느 부분에 있는가를 아는 것은, 코스의 특정 지점에서 플레이하는 것으로 알려진 그룹 내 3명의 플레이어 중 누가 특정 샷을 시도하고 있는지 결정하는 것만을 필요로 한다). 이러한 추가 지원은 라운드를 시작하기 위한 그룹의 제1 샷(예: 제1 홀에서 그룹을 위한 티샷)을 제외하고 라운드 동안 모든 샷에 대해 이용할 수 있어야 한다. 이러한 제1 티샷의 경우에도, 현재 제1 티에 있는 그룹에 있는 골퍼의 ID에 관한 정보가 시스템에 제공될 수 있다. 이 옵션은, 예를 들어, 칠 준비를 하고 있다고 검출된 플레이어의 ID를 결정할 때 플레이어 식별 시스템에 의해 고려되는 옵션 목록을 좁히기 위한 3개의 선행 옵션 중 어느 하나와 조합하여 사용될 수 있다.
위에서 논의된 이미지 기반 옵션(제1 및 제2 옵션)과 관련하여, 시각적 프로필은 플레이어가 처음으로 검출되고 고유한 playerID와 연관될 때 생성될 수 있다. 플레이어가 비디오 스트림에서 검출될 때, 알고리즘은 이전에 검출된 이전의 시각적 프로필과 검출된 시각적 프로필을 매칭시킬 수 있다(예: 동일한 라운드 동안 또는, 비-의복 기반 특징의 경우, 이전 이벤트에서). 예를 들어, 플레이어는 라운드 중에 신발, 바지 또는 모자를 거의 바꾸지 않을 것이고, 라운드 중에 상체 의복의 외관을 거의 변경하지 않을 것이다. 비가 오기 시작하면, 플레이어는 레인 재킷을 착용하기로 결정하거나, 더워지면 스웨터를 벗을 수 있다, 등등. 이러한 특징을 활용하여, 알고리즘은 (충분한 이미지 품질을 제공하는) 임의의 카메라에서 플레이어를 재식별할 수 있다. 이러한 기능은, 예를 들어 콘볼루션 신경망(CNN)에 의해 구현될 수 있다. 플레이어를 구별하기 위해, 특징 추출 및 고유 playerID와 연관된 특징의 분류를 사용할 수 있다. 특징 추출은 의복의 색상, 키, 팔다리 길이, 골퍼의 스윙 유형을 검출함으로써, 또는 자동 인코더를 훈련함으로써 수행될 수 있다. 후자의 경우, 특징 벡터는 자동 인코더에 의해 제공되지만, 인간 해석을 위해 반드시 명시적인 특징에 있는 것은 아니다. 골퍼가 처음 식별될 때, 특징 벡터 v_0이 검출과 연관될 수 있고, 원래의 검출 v_0에 가까운 특징 벡터 v_ni를 초래하는 후속 플레이어 검출은 동일한 골퍼인 것으로 해석될 것이다. 특정 골퍼에 상응하는 검출 클러스터는 검출이 높은 신뢰도로 이루어지는 경우 새로운 특징 벡터로 업데이트될 수 있다.
제1 티에서 치는 순서가 정의되면, 각 플레이어에 대한 이름 및/또는 playerID는 고유한 시각적 프로필과 연관될 수 있고, 라운드 전체에 걸쳐 이러한 시각적 프로필에 대한 임의의 후속 매칭은 해당 플레이어와 연관된 playerID로 태그될 수 있다. 이러한 식별 기능은 게임 로직(예: 라운드 동안 동일한 그룹에서 플레이하는 플레이어에 관한 지식; 이들 플레이어가 홀 1을 플레이한 후에 홀 2를 플레이할 것이라는 지식 등)을 이용함으로써 더욱 개선될 수 있다. 예를 들어, 이미지 품질이 플레이어를 식별하기에 충분하지 않을 수 있는 비-티샷의 경우, 플레이어 식별 시스템은, 볼 비행 추적뿐만 아니라 추적 시스템에 의해 결정된 이전 샷의 최종 휴지 위치를 포함하는, 추적 시스템으로부터의 지식을 사용할 수 있다. 이 데이터를 사용하여, 시스템은 주어진 플레이어의 다음 샷이 시도될 위치를 높은 신뢰도로 결정할 수 있다.
플레이어의 데이터베이스는, 심지어 제1 티에서도, 시스템이 데이터베이스에서 발견되는 플레이어를 인식하고 해당 플레이어를 플레이어의 해당 playerID와 연관시킬 수 있도록 생성될 수 있다. 예를 들어, 이러한 유형의 데이터베이스는 PGA 투어의 모든 플레이어에 대해 생성될 수 있다. 처음으로 PGA 투어 이벤트에 참석하는 플레이어의 경우, 시스템은 플레이어가 제1 티에서 제1 샷을 칠 때 또는 이러한 제1 샷 이전에(예: 연습 라운드, 워밍업 활동 등) 새로운 시각적 playerID를 생성할 수 있다. 요약하자면, 이는 라운드 내내 자동 playerID 추적을 제공한다. 시스템은 플레이어의 모든 시각적 외관을 아는 훈련된 사람이 사용하는 것과 유사한 로직에 기초하여 작동할 수 있다.
도 16c는 다양한 예시적인 실시예에 따라 플레이어를 식별하고 샷 데이터를 고유한 playerID와 연관된 특정 플레이어 프로필과 연관시키는 방법(1630)을 도시한다. 방법(1630)을 수행하기 위한 시스템은, 적어도 카메라 및 카메라로부터의 이미지에서 식별된 플레이어에 대한 샷 데이터를 캡처하기 위한 하나 이상의 추적 유닛을 포함한다.
1632에서, 플레이어 식별 시스템은, 시각적 프로필과 연관된 플레이어를 인식하기 위한 정보를 포함하는 시각적 프로필의 데이터베이스를 생성하기 위한 플레이어 정보를 수신한다. 예를 들어, 데이터베이스는 플레이어를 위한 시각적 정보, 예를 들어 스윙 특징(예를 들어, 각 골퍼의 스윙의 생체역학에 관한 데이터와 생체 인식 데이터 포인트의 조합을 포함함), 의복 특징, 안면 특징, 또는 이들의 조합을 포함할 수 있다. 각각의 시각적 프로필은, 샷 데이터를 시각적 프로필과 연관시키기 위해 플레이어 식별 시스템에 의해 사용될 수 있는 playerID와 추가로 연관된다. 일부 실시예에서, 데이터베이스는, 예를 들어, 프로 이벤트를 추적하기 위한 PGA TOUR 플레이어를 포함할 수 있는 반면, 다른 실시예에서, 데이터베이스는 아마추어 플레이어를 포함할 수 있다.
1634에서, 플레이어 식별 시스템은, 데이터베이스에서 아직 식별되지 않았거나 고유한 playerID/시각적 프로필과 연관되지 않은 새로운 플레이어에 대한 플레이어 정보를 수신/생성할 수 있다. 예를 들어, 시스템은 새로운 플레이어에 대한 스윙, 의복, 또는 안면 특징을 분석하고 결정된 정보를 새로운 시각적 프로필과 연관시킬 수 있다. 또한, 의복 특징은 시각적 프로필과 이미 연관된 임의의 플레이어에 대해, 예를 들어 현재 라운드의 시작 시에 업데이트될 수 있다. 일부 실시예에서, 예를 들어, 아마추어 플레이어 추적 중에, 플레이어 식별 시스템 및/또는 추적 시스템에 연결된 애플리케이션이, 예를 들어 스마트폰 또는 스마트워치에 설치될 수 있다. 각각의 골퍼는, 예를 들어 라운드의 시작 시, 추적 시스템 playerID를 골퍼와 연관시키는 데 사용될 수 있는 애플리케이션 내에 양의 표시를 제공할 수 있다. 아마추어 라운드 추적과 관련된 추가 고려사항은 이하에서 더욱 상세히 설명될 것이다. 데이터베이스는 1632 및 1634 중 하나 또는 이들의 조합을 사용하여 채워질 수 있다.
선택적인 1636에서, 플레이어 식별 시스템은 자신의 플레이어 식별 기능을 개선하기 위해 골프 게임 로직을 이용하는 알고리즘을 실행한다(예: 그룹 내에서 함께 플레이하는 모든 플레이어는 골프 라운드를 위해 서로 연관될 수 있어서, 시스템은 그룹의 인식된 멤버와 함께 플레이하는 임의의 골퍼가 이 그룹의 또 다른 멤버라고 가정할 수 있다). 이는 플레이어가 통상적으로 골프 라운드를 플레이하는 방법; 코스의 레이아웃; 등에 관한 로직을 포함할 수 있어서, 플레이어/그룹이 특정 위치로부터 시도된 샷과 관련하여 코스 주위에서 추적될 때, 플레이어 식별 시스템은 단지 주어진 그룹의 멤버 사이에서 구별할 필요가 있다. 일부 실시예에서, 훈련된 콘볼루션 신경망(CNN)은 후술하는 게임 로직 및/또는 플레이어 검출/매칭 기능을 실행하는 데 사용된다.
1638에서, 플레이어는 골프 라운드의 플레이 동안 제1 카메라로부터의 비디오 스트림에서 검출되고, 시각적 프로필은, 예를 들어, 의복, 얼굴, 스윙 역학 등에 기초하여 검출된다. 검출된 시각적 프로필은 데이터베이스 내의 시각적 프로필과 매칭된다. 일부 실시예에서, 플레이어의 위치는, 예를 들어, 세계 좌표로 결정된다. 전술한 바와 같이, 플레이어는 비디오 스트림에서 관찰된 시각적 특징에만 기초하여 검출될 수 있다. (예: 플레이어의 전화기로부터 송신된) 전자 식별자가 매칭을 개선하는 데 사용될 수 있다(그리고, 일부 실시예에서, 이미지 분석 대신에 사용될 수 있음). CNN은 또한 데이터베이스에서 시각적 프로필에 대한 검출된 시각적 프로필의 매칭을 개선하는 데 사용될 수 있다.
선택적인 1640에서, 1636 단계의 선택적인 CNN은 1638 단계의 것과 같은 플레이어 검출에 기초하여 업데이트될 수 있다. 일부 실시예에서, CNN은 카메라 피드에서 각각의 플레이어 검출 후에 업데이트되는 반면, 다른 실시예에서, CNN은 덜 자주(예: 다수의 검출 후 또는 이전의 검출로부터 소정의 지속 시간 후) 재학습된다.
1642에서, 골프 샷은 비디오 스트림에서 검출된 플레이어에 의해 검출된다. 일부 실시예에서, 플레이어를 식별하는 데 사용되는 제1 카메라는 또한 샷을 검출하는 데 사용되는 반면, 다른 실시예에서, 샷은 추적 시스템 내의 다른 센서에 의해 검출된다. 일부 실시예에서, 이하에서 더욱 상세히 설명되겠지만, 플레이어에 의해 사용되는 골프 클럽 또는 골프 클럽 유형이 또한 식별되고 샷과 연관된다.
일부 실시예에서, 이하에서 더욱 상세히 설명되겠지만, 특히 아마추어 라운드 추적과 관련하여, 샷과 매칭되는 플레이어에 대해, 플레이어가 비디오 스트림에서 검출될 필요는 없다. 예를 들어, 플레이어는 스윙 동작을 검출하도록 작동 가능한, 플레이어와 연관된 웨어러블 장치를 가질 수 있다. 웨어러블 장치는 스윙을 검출하고, 스윙을 타임 스탬프 및/또는 위치(예: GPS 위치)와 연관시키고, 이 정보를 추적 서버에 송신할 수 있다. 이어서, 추적 시스템이 샷을 검출하고 추적하는 경우, 추적 서버는 스윙 검출(및 관련 타임 스탬프 및/또는 위치)을 실시간으로 또는 나중에(예: 라운드 종료) 비교하여, 스윙 및 샷과 연관된 타임스탬프 및/또는 위치에 기초하여 스윙을 검출된 샷에 매칭시켜 스윙 정보가 기원한 웨어러블 장치의 플레이어와 샷을 연관시킨다. 대안적인 실시예에서, 스윙 모션을 검출하는 웨어러블 장치를 사용하는 대신에, 휴대폰과 같은, 시간 스탬프 위치 정보를 제공하는 장치를 사용하여, 샷 시도 시점에 장치의 해당 위치와 세계 좌표로 기록된 샷 추적을 매칭시킬 수 있다.
1644에서, 샷은 검출된 플레이어와 매칭되고 플레이어의 고유 playerID와 연관된다. 매칭은, 추적 시스템에 의해 결정되는 바와 같이, 세계 좌표에서 샷의 발사 위치가 제1 카메라로부터의 비디오 스트림에서 검출된 플레이어에 대해 결정된 위치와 매칭되는 것에 기초하여 수행될 수 있다.
이하에서 더욱 상세히 설명되는 바와 같이, 고유한 playerID와 샷의 이러한 연관성은 다양한 목적을 위해 사용될 수 있는데, 예를 들어, 샷에 대한 데이터를 처리 직후에 플레이어에게 송신하는 것, 전체 플레이어 라운드 동안 샷 데이터를 수집하는 것, 라운드 동안 주어진 플레이어가 시도한 각각의 샷의 클립을 수집하는 것 등이 있다. 아래에서 상세히 설명되는 추가 실시예에 따르면, 전술한 방법(1630)은 프로 이벤트 추적 또는 아마추어 라운드 추적을 위해 최적화될 수 있다.
선택적인 1646에서, 샷 및 연관된 플레이어에 대한 데이터는 플레이 동안 출력된다. 일례로, 예를 들어, 프로 라운드 추적을 위해, 플레이어에 대한 샷 정보가 방송으로 송신될 수 있다. 다른 예에서, 예를 들어, 아마추어 라운드 추적에 대해, 샷 정보는 플레이어의 개인 장치 상의 애플리케이션으로 송신될 수 있다. 볼 추적 데이터는, 플레이어가 골프 라운드를 플레이하는 동안 데이터를 검토할 수 있도록, 기록된 직후에 개인 애플리케이션으로 송신될 수 있다. 이 특징에 대한 특히 흥미로운 애플리케이션은 골퍼가 자신의 공을 찾는 것을 돕는 것일 수 있다. 예를 들어, 골퍼가 쉽게 찾을 수 없는 샷을 친 경우, 개인 애플리케이션은 볼이 발견될 가능성이 높은 위치로, 예를 들어, 애플리케이션 내에 제공된 골프 홀 맵 상의 위치로 좁힐 수 있다. 다른 예에서, 볼이 예를 들어, 워터 해저드에 빠지거나 경계를 벗어나는 경우, 시스템은 새로운 볼이 떨어질 수 있는 영역을 정확하게 결정하고, 애플리케이션을 통해 골퍼에게 이 영역을 표시할 수 있다. 프로 및 아마추어 라운드 추적 모두에 대한 PlayerID 특징의 애플리케이션에 대한 추가의 예가 이하에서 더욱 상세히 설명될 것이다.
1648에서, 골프 라운드 동안 특정 플레이어에 의해 시도된 모든 샷에 대한 데이터는, 예를 들어, 라운드 종료시 플레이어에게 제시하거나 다른 용도를 위해 데이터베이스 상에 수집된다. 데이터는, 예를 들어, 분석을 위해 플레이어에게 통계를 제공하고 그래픽을 생성하는 등의 다양한 목적을 위해 사용될 수 있다.
자동 클럽 유형 태그 부착
플레이어의 뒤 또는 옆에(예: 페어웨이를 내려다보는 티 박스 상에) 배치된 카메라의 경우, 알고리즘은 각 플레이어가 전체 샷 또는 일부 샷에 대해 사용하는 클럽의 유형을 인식하도록 학습될 수 있다. 이러한 뷰 지오메트리에서, 카메라로부터의 이미지는 후방으로부터 클럽 헤드의 뷰를 제공할 것이다. 도 7은 플레이어 뒤의 위치로부터 클럽 헤드의 예시적인 이미지(700)를 도시한다. 티샷에서 클럽 데이터 추적에 사용되는 카메라는, 예를 들어, 200fps에서 2.5mm/픽셀의 픽셀 해상도로 작동할 수 있다. 이러한 카메라 사양은 클럽 궤적 추적에 필요한 최소 카메라 기능에 해당할 수 있다.
카메라 데이터에 기초하여 클럽 유형을 결정하기 위한 한 가지 방법은 상이한 카테고리의 클럽을 인식하기 위해 신경망을 학습시키는 것이다. 예를 들어, 신경망은, 드라이버, 우드, 하이브리드, 롱 아이언, 숏 아이언, 웨지 및 퍼터를 포함하는 7개의 상이한 카테고리의 골프 클럽을 구별하도록 학습될 수 있다. 신경망의 보다 세분화된 학습은 보다 세부적인 분석을 통해 클럽의 보다 구체적인 특징(예: 특정 클럽 유형, 동일한 클럽 유형 내의 상이한 클럽 간의 특징 구별 등)을 결정할 수 있게 한다.
대안적인 옵션에서, (예: 스윙 모션에서) 사용 시 고유 식별자를 방출하는 전자 태그가 클럽 유형의 식별을 위해 사용될 수 있다. 수신기는, 클럽이 사용 중일 때 신호를 수신할 수 있고, 클럽에 대한 식별자를 식별자와 연관된 플레이어 프로필과 매칭시킬 수 있다. 수신기는, 예를 들어, 각각의 티 박스에 위치할 수 있다. 이 옵션을 위해, 클럽 식별 시스템은, 예를 들어, 신호를 송신하는 클럽이 샷에 사용되었을 가능성이 있음을 확인하기 위해, 추적 시스템으로부터의 데이터를 추가로 사용할 수 있다.
PGA 투어에서, 특정 플레이어 샷에 대한 클럽 카테고리는 현재 수동으로 입력되고 있으므로, 이를 결정하는 자동화된 방법이 매우 바람직할 것이다. 클럽 정보는 샷과 연관될 수 있고, 더 나아가, 샷을 시도한 플레이어와 연관될 수 있다.
방송 카메라 교정
방송 카메라 피드에서 트레이서를 정확하게 렌더링하기 위해, 방송 카메라가 세계 좌표로 교정된다. 이는 전술한 바와 같이, 세계 좌표에 대한 추적 유닛의 교정과 동일한 방식으로 달성될 수 있다.
휴대용 장치, 예를 들어, 페어웨이 추적 장치의 경우, 샷 궤적을 세계 좌표계에 매핑할 필요가 없다. 일부 시나리오에서, 방송 카메라는 페어웨이 추적 유닛과 함께 장착될 수 있다. 삼각대 상에 페어웨이 추적 유닛과 함께 장착되는 방송 카메라로부터 피드에 트레이서를 그리기 위해, 추적 유닛 좌표에 대한 방송 카메라의 교정만이 요구된다. 이러한 베이스라인 교정은, 예를 들어, 각각의 라운드 전 아침에 수행되어, 상이한 줌 레벨에 대한 추적 유닛의 내장 카메라 및 방송 카메라의 내인성 파라미터 사이의 관계를 확립할 수 있다. 각각의 스트로크에 대해, 줌 레벨은, 예를 들어, 동일한 시간(예: 샷 이전의 볼의 정지 위치)으로부터의 이미지에서 볼의 위치, 및 발사 시 티 위치와 볼의 범위와 같은 추적 데이터를 포함할 수 있는 다른 정보를 포함하여, 2개의 카메라로부터의 이미지 간의 특징 매칭을 사용하여 결정된다. 이를 통해 방송 카메라는 각각의 스트로크에 대해 독립적으로 줌할 수 있고, 추적기가 방송 카메라로부터 줌 레벨을 판독할 필요 없이, 방송 카메라로부터 이미지 내의 볼의 위치에 대해 원하는 위치에서 트레이서를 정확하게 렌더링(또는 임의의 다른 그래픽을 배치)할 수 있다.
방송 피드 자동 제작
전술한 바와 같이, 전체 코스 추적 시스템은 샷의 자동화된 태그 부착, 즉 각각의 샷을 시도한 골퍼의 자동 식별을 허용한다. 골프 코스에서 시도된 거의 모든 샷에 대해, 트레이서(볼의 경로를 따라 삽입된 샷 궤적의 시각적 표현)와 같은 비디오 피드 그래픽을 촬영, 추적하고, 심지어 삽입하는 능력을 포함하는 조정된 추적 및 방송 시스템은 또한, 각 골퍼에 대해, 골퍼가 시도한 모든 샷에 대한 장면 및 데이터에 대한 모음을 사용할 수 있도록 할 수 있다. 이는 결과적으로 개별 소비자 또는 다른 시장에 맞게 맞춤화된 방송의 (자동화된 또는 반자동화된) 조립을 허용한다. 예를 들어, 골퍼가 특정 지역 또는 국가에서 매우 인기 있는 경우, 해당 지역 또는 국가에서의 방송 피드, 이 골퍼가 시도한 모든 샷(또는 원하는 일부 샷)을 분리하고 맞춤형 피드에 자동으로 삽입할 수 있다. 예를 들어, 소비자가, 예를 들어, 인터넷 기반 배포를 통해 보이는 맞춤형 피드에 포함시키기 위해, 예를 들어, 선호하는 골퍼 및 토너먼트 리더 등의 조합에 대한 원하는 것 및/또는 선호하는 골퍼의 목록을 소비자가 표시할 수 있는 보다 개별화된 방식으로 동일한 것이 수행될 수 있다.
이러한 개별 피드를 더욱 효율적으로 제작하기 위해, 표준 방송 카메라에 의해 제공되는 이미지 및/또는 영상은 코스 주위에 위치한 추적 유닛의 일부 또는 전부에 포함된 카메라로부터의 이미지 및/또는 영상에 의해 보충될 수 있다. 일 실시예에서, 각각의 홀에 대해 티 박스에 인접하게 배치된 제1 추적 유닛은, 예를 들어, 레이더 추적 유닛에 더하여, 적어도 제1 카메라 및 잠재적 추가 카메라를 포함한다. 그린이 제1 카메라로부터 선명하게 보일 수 없는 홀(예: 높이 변화가 크거나 볼이 그린에 도달하기 전에 나무 또는 기타 장애물이 제1 카메라의 시선을 방해하도록 구부러진 홀)과 같은, 특정 홀의 경우, 제2 카메라를 포함하는 제2 추적 유닛이 그린 뒤에 (즉, 페어웨이에서 그린으로 접근하는 방향의 반대쪽 그린 측에) 배치될 수 있다. 필요하거나 원하는 경우, 추가 카메라를 포함하는 추가 추적 유닛을 티 박스와 그린 사이의 페어웨이 길이를 따라 배치시켜 모든 샷의 완전한 커버리지를 보장할 수 있다. 예를 들어, 티샷의 초기 부분은 티 박스 뒤에 위치한(또는 제1 카메라에 의해) 표준 방송 카메라에 의해 도시될 수 있고, 볼이 발사된 후에, 시스템은 여러 상이한 방식 중 어느 하나로 다른 카메라로 자동 전환될 수 있다.
첫째, 예를 들어, 주어진 홀의 지형 분석(예: 홀의 길이 및, 티 박스 또는 제1 카메라 뒤의 방송 카메라의 시야를 폐색할 수 있는 임의의 물품까지 거리를 아는 것)을 포함하여, 게임 로직에 기초하여, 시스템은, 볼이 티로부터 특정 거리를 지나고/지나거나 기준선으로부터 소정의 거리를 넘어 측방향으로 이동하는 경우, (예: 그린 사이에 배치된) 제2 카메라로 전환하도록 프로그래밍될 수 있다. 대안적으로, 시스템은 제1 추적 유닛에 의해 측정된 샷의 궤적을 제2 추적 유닛에 의해 측정된 것에 매칭시키고(즉, 시스템은 제1 및 제2 추적 유닛에 의해 동시에 추적되는 궤적이 비행 중인 동일한 볼에 상응하는지 결정할 수 있고), 소정의 기준이 충족될 때(예: 볼이 제1 추적 유닛에 비해 제2 추적 유닛에 더 가까움), 시스템은 방송 피드를 제2 카메라로 자동 전환할 수 있다. 이는 추적 유닛 중 하나가 모바일 유닛인 경우에 유용할 수 있는데, 이는 서로에 대한 제1 및 제2 추적 유닛의 위치가 샷마다 변하는 경우 소정의 컷오프 지점의 사용이 실용적이지 않기 때문이다.
또한, 시스템은, 주어진 피드에서, 2명의 원하는 골퍼가 동시에 또는 거의 동시에 샷을 시도하는 경우, 다른 원하는 골퍼에 의한 샷의 피드가 완료된 후, 골퍼 중 1명으로부터의 샷이 식별되고 방송를 위해 완충될 수 있도록 개별화된 방송를 관리할 수 있다. 이를 위한 파라미터는 시스템 내에 설정될 수 있다(예: 이전 샷이 휴지한 후 일정 시간이 경과할 때까지 제2 샷의 피드를 지연시킨다 등). 이러한 자동화는 인간 작동자가 엄청나게 증가된 필요한 카메라 각도 전환의 수를 관리하는 필요성 등을 증가시키지 않고 다양한 고품질 개별화된 피드의 생성을 가능하게 한다. 전술한 동일한 접근법은 또한 방송/웹캐스트에 대한 또는 주문형 서비스에서 하이라이트를 자동으로 생성하는 데(예: 특정 골퍼 또는 골퍼 그룹 등에 대한 하이라이트 클립을 생성하는 데) 사용될 수 있다.
또한, 피드 간의 원활한 발표/주석의 전환을 보장하기 위해, 추적 시스템에 알려진 정보에 기초하여, 인간 해설자가 제공할 수 있는 것과 유사하게, 컴퓨터 생성 해설자가 시청자와 관련된 정보를 자동으로 제공하는 데 사용될 수 있다. 예를 들어, 기록 데이터를 사용하여 곧 시도될 샷에 대한 맥락을 제공할 수 있다. 이력 데이터는, 예를 들어, 복수의 반복 시나리오 각각에 공통적으로 사용되는 문구, 유사한 샷 시나리오에서 동일한 플레이어에 의해 실행되는 샷, (동일한 이벤트의 동일한 날, 동일한 이벤트의 이전 날, 이전 토너먼트 등으로부터) 유사한 샷 시나리오에서 다른 플레이어에 의해 실행되는 샷 ,또는 플레이어에 대해 수집된 일반적인 성능 메트릭을 포함할 수 있다. 또 다른 예에서, 현재 데이터는 곧 있을 샷에 대한 맥락, 예를 들어, 현재 홀 번호, 현재 샷 수, 컵까지의 거리, 라이에 대한 정보 등을 제공하는 데 사용될 수 있다. 자동 해설은 텍스트 형식(예: 자막)으로 제공되거나, 오디오(예: 컴퓨터 생성 음성)로 제공되거나, 오디오와 텍스트를 조합할 수 있다. 방송 피드가 오디오 피드를 포함하지 않거나 오디오 피드를 보강하고자 하는 경우, 인공적인 사운드가 방송 피드에 삽입될 수 있는데, 예를 들어, 샷의 소리(발사 검출 시 피드에 삽입되거나, 지연 후, 자연적인 소리가 어떤 이유로든 들리지 않거나 사용할 수 없는 경우), 배경 오디오 등이 있다. 자동 해설은 (실시간 방송 동안) 실질적으로 실시간으로 제공될 수 있거나, 실시간 이벤트 후에 생성된 하이라이트 클립 등에서 제공될 수 있다.
골프 볼을 추적하고 이미징하기 위한 그리고 방송의 자동 제작을 위한 본원에 기술된 원리는, 특히 동시에 발생하는 다수의 상이한 이벤트의 커버리지가 요구되는 시나리오에서, 다른 환경에서, 예를 들어 다른 스포츠에 대해, 적용될 수 있다는 것을 이해해야 한다. 일 실시예에서, 이들 원리는 테니스 토너먼트의 실시간 커버리지에 적용될 수 있다. 또 다른 예에서, 이러한 원리는 다수의 상이한 아메리칸 풋볼 경기가 동일한 시간 슬롯 내에 발생하는 경우, 아메리칸 풋볼의 실시간 커버리지에 적용될 수 있다. 이벤트 후에 생성된 비디오 피드(예: 하이라이트 릴)와 관련하여, 이들 원리는 임의의 스포츠, 예를 들어, 야구, 풋볼(축구) 등에 적용될 수 있다.
도 16d는 다양한 예시적인 실시예에 따라 자동 방송 피드 전환을 위한 방법(1650)을 도시한다. 방법(1650)을 수행하기 위한 시스템은, 방송 엔티티에 방송 비디오 피드를 제공하는 다수의 카메라, 발사된 볼의 3D 위치 추적을 위한 추적 유닛, 및 새로운 방송 비디오 피드로 현재 방송 비디오 피드의 전환을 트리거할 수 있는 추적 데이터 내의 이벤트를 검출하기 위한 처리 장치를 포함하는 추적 시스템을 포함할 수 있다.
1652에서, 방송 비디오 피드는 소정의 규칙에 따라 하나 이상의 방송 카메라의 비디오 피드에 기초하여 생성된다. 예를 들어, 제3자 방송, 즉 상이한 엔티티(방송 엔티티)에 의해 제어되거나 본 실시예의 범위를 벗어나는 기준에 기초하여 선택된 비디오 피드가 사용될 수 있다. 본 목적을 위해, 현재 방송 피드가 티샷을 시도하기 전에 순간에 플레이어를 보여주는 티 박스 방송 피드인 것으로 가정할 수 있다.
1654에서, 추적 시스템은 볼에 대한 궤적 데이터에 기초하여 발사된 볼에 대한 이벤트를 검출한다. 일 실시예에서, 볼의 3D 위치는 이벤트가 다른 잠재적 방송 카메라에 비해 현재 방송 카메라에 대해 검출되었는지 여부를 결정하기 위한 기준으로 사용된다. 예를 들어, 볼의 3D 위치가 하나 이상의 위치 기준을 충족할 때, 이벤트는 검출될 수 있다. 위에서 논의된 바와 같이, 이들 이벤트는: 티로부터 특정 거리를 지나가는 볼; 기준선으로부터 소정의 거리를 넘어 움직이는 볼; 및/또는 볼이 제2 카메라의 시야에 진입했거나 진입할 것임을 나타내는 다른 이벤트를 포함할 수 있다. 또 다른 예에서, 이벤트는 샷의 발사를 포함할 수 있다.
1656에서, 방송 피드는 제2 카메라가 볼의 궤적의 제2 부분을 캡쳐하도록 검출된 이벤트에 기초하여 제2 카메라의 비디오 피드로 전환된다. 지연은 이벤트 검출 후 및 피드 전환 전에 구현될 수 있다. 예를 들어, 티 박스 유닛으로부터 샷이 검출될 수 있고, 페어웨이 유닛으로 전환하기 전에 소정의 지연(예: 3초)이 적용될 수 있다.
제2 카메라가 로봇 카메라인 경우, 피드를 전환하기 전에 카메라에 대한 파라미터를 제어할 수 있다. 예를 들어, 로봇 카메라에 대한 최적의 크롭, 배향 및 줌이 조정되어 방송 시청자에게 시각적으로 만족스러운 비디오 피드를 제공할 수 있다.
도 16e는 다양한 예시적인 실시예에 따라 맞춤형(예: 개별화된) 방송 피드의 자동 생성을 위한 방법(1660)을 도시한다. 방법(1660)을 수행하기 위한 시스템은 전술한 방법(1650)을 수행하기 위한 시스템과 유사할 수 있다. 또한, 본 시스템은, 새로운 방송 비디오 피드로 현재 방송 비디오 피드의 전환을 트리거하기 위해, 이미지 데이터에서 플레이어를 검출하고 플레이어 및/또는 이의 속성을 식별하기 위한 (예를 들어, 방송 카메라와 동일할 수 있는) 카메라를 포함할 수 있다.
1662에서, 맞춤형 방송 피드에 대한 기준이 수신된다. 기준은, 예를 들어, 방송 피드에 표시될 플레이어의 우선순위를 지정할 수 있다. 예를 들어, 맞춤형 피드는 다음을 포함하는 기준에 기초하여 생성될 수 있다: 하나 이상의 특정 골퍼를 위한 모든 샷이 맞춤형 피드에 표시되어야 함; 특정 국가/지역의 모든 골퍼를 위한 모든 샷이 맞춤형 피드에 표시되어야 함; 특정 플레이어의 계층이 식별되고 이에 따라 방송에 우선순위가 부여됨; 특정 홀이 우선순위화됨; 특정 유형의 샷(예: 매우 도전적인 샷)이 우선순위화됨 등. 상기 기준은 방송에 오버레이될 특징, 예를 들어, 방송 피드에 디스플레이될 특정 데이터 포인트 및/또는 그래픽을 추가로 식별할 수 있다. 상기 기준은, 예를 들어, 특정 플레이어, 플레이어 또는 샷 또는 홀의 조합이 유행하는 소셜 미디어 관심 대상 또는 증가된 베팅 활동의 주제라는 것을 나타내는, 방송 또는 소셜 미디어로부터의 메트릭에 기초한 기준을 포함하는, 플레이어, 샷, 홀 또는 시나리오의 임의의 우선순위 결정 방식을 포함할 수 있다. 하이라이트는 특히 중요하거나 잘 실행된 샷으로 생성될 수 있다. 샷은 샷이 얼마나 좋은지에 대한 척도(예: 잘 알려진 "획득된 스트로크" 메트릭)에 기초하여 이와 같이 식별될 수 있다. 따라서, 특히 고 또는 저 획득된 스트로크 값을 갖는 샷이 하이라이트 릴에 포함될 수 있다. 또한, 현재 리더(예: 5명 또는 10명 플레이어)의 모든 샷이 포함될 수 있다.
1664에서, 맞춤형 피드는 맞춤형 피드 기준을 포함하는 소정의 규칙에 따라 생성된다. 예를 들어, 맞춤형 피드 기준이 이를 허용하는 경우(예: 관심 플레이어가 현재 샷을 치지 않는 경우)에, 제3자 방송이 맞춤형 피드 방송에 사용될 수 있다. 일부 실시예에서, 다수의 관심 플레이어가 맞춤형 피드 기준에서 식별되고, 비디오 피드는, 예를 들어 특정 카메라로 방송의 전환을 트리거하는 이벤트가 검출될 때까지, 플레이어에서 플레이어로 전환될 것이다.
1666에서, 다른 카메라로 방송 피드의 전환을 트리거하는 이벤트가 검출된다. 이벤트는 다음을 포함할 수 있다: 플레이어가 특정 카메라 유닛에 의해 검출되고 식별되는 것; 식별된 플레이어가 발사 영역(예: 티 박스) 근처에 위치하는 것; 식별된 플레이어가 타격 자세에 위치하는 것; 등; 이러한 유형의 이벤트가 시도되는 보류 중인 샷과 관련되는 것. 일부 실시예에서, 도 9와 관련하여 이하에서 더욱 상세히 설명되겠지만, 신경망을 사용하여 다가오는 샷과 관련된 이러한 이벤트를 검출할 수 있다. 다른 유형의 이벤트는, 도 16d의 방법(1650)과 관련하여 위에서 논의된 바와 같이, 현재 방송 카메라보다 더 나은 시야를 제공할 수 있는 다른 카메라(예: 페어웨이 및/또는 그린을 덮는 FOV를 갖는 카메라)로의 전환 여부를 결정하는 데 사용되는 (발사 후) 비행 중인 볼의 현재 3D 위치의 결정을 포함할 수 있다.
1668에서, 방송 피드는 이벤트 검출에 기초하여 현재 카메라에서 다른 카메라로 전환된다. 이벤트를 검출하는 카메라 및/또는 레이더 유닛은 전환되는 카메라와 상이하거나 별개로 배치될 수 있다.
모든 샷에 대한 자동 트레이서
도 8a는 샷 궤적의 오버레이, 즉, 샷에 대한 제1 트레이서(805), 및 일부 연관된 궤적 데이터를 포함하는 샷을 묘사하는 비디오 피드로부터의 제1 이미지(800)를 도시한다. 이 예에서, 제1 이미지(800)는, 레이더 및 적어도 하나의 카메라를 포함하는 티 박스 추적 유닛에 의해 캡쳐된다. 전술한 바와 같이, 이미지 내의 모든 픽셀 배향이 레이더의 좌표계에 대해 알려져 있기 때문에, 제1 트레이서(805)는 추적 유닛에서 카메라에 의해 제공된 이미지에서 자동으로 생성될 수 있다. 추적 유닛이 세계 좌표계로 교정되지 않더라도, 도 8a에 도시된 것과 같은 오버레이가 생성될 수 있다. 도 8b는 샷 궤적의 오버레이, 즉, 샷에 대한 제2 트레이서(855), 및 일부 연관된 궤적 데이터를 포함하는 샷을 묘사하는 비디오 피드로부터의 제2 이미지(850)를 도시한다. 이 예에서, 제2 이미지(850)는 그린 측 추적 유닛에 의해 캡쳐된다. 예를 들어, 전술한 제1 트레이서(805) 또는 제2 트레이서(855)를 포함하는 유사한 그래픽 오버레이는 카메라가 샷을 추적하는 레이더에 대해 교정되는 한 임의의 카메라로부터의 이미지에 삽입될 수 있다. 트레이서는, 볼을 추적하는 레이더 유닛이 외부 방송에 사용되는 카메라와 동일한 추적 유닛에 위치하지 않는 경우에도, 볼 궤적을 추적하는 레이더의 레이더 좌표계가 카메라에 대해 교정되는 한, 외부 방송의 비디오 피드와 같은 임의의 이미지에 삽입될 수 있다. 볼 속도, 캐리 및 커브와 같은 추가 정보가 추가적으로 추적되고 도 8a 내지 도 8b에 도시된 것과 같은 숫자로 표시될 수 있다.
레이더 추적에만 기초하여 결정된 볼 위치는, 보다 진보된 공기역학 모델이 데이터에 맞춰지기 전에 약간의 불확실성을 포함할 수 있다. 시각적으로 유쾌한 트레이서를 제공하기 위해서는, 트레이서는 볼이 발사되는 위치와 정확하게 상관된 위치에서 이미지에서 시작하는 것이 중요하다. 결과적으로, 볼의 발사 전에 가능한 한 정확하게 하나 이상의 이미지에서 볼의 위치를 검출하는 것이 바람직하다.
볼의 위치를 식별하기 위해, 볼 식별 알고리즘이 사용될 수 있다. 플레이어가 카메라에서 식별되고 (예: 식별된 자세에 기초하여) 샷을 칠 준비가 된 것으로 결정되면, 볼 식별 알고리즘은 이미지에서 볼의 정확한 위치를 검색하게 된다. 그 다음, 이 위치를 사용하여 추적 프로그램의 시작 위치를 결정할 수 있다. 이 데이터를 이용할 수 없는 경우(예: 볼이 깊은 러프에 의해 가려진 경우), 시스템은 비행 중인 볼의 제1 검출 위치로부터 원래의 볼 위치의 일반 마커로서 플레이어 자세를 사용하여 여전히 교정될 수 있는 발사 위치로 후방으로 외삽할 필요가 있을 수 있다. 따라서, 추적 시스템이 샷을 검출하고 궤적 데이터를 출력함에 따라, 이들 데이터는 인간 입력이 거의 없거나 전혀 없는 트레이서로서 방송에 자동으로 표시될 수 있다.
볼 위치를 찾는 것은, 스윙을 시작하기 전에 클럽 헤드 근처에 위치한 볼과 함께, (샷을 치기 전에 항상 행해지는 것과 같이) 볼 위에 자세를 취하는 플레이어를 검출하기 위해 플레이어 움직임의 분석을 사용할 수도 있다. 플레이어가 볼을 치기 전에 자신의 자세를 취하고 있을 때, 클럽 헤드의 주변 위치를 검색하여 볼을 찾고 인식하도록 신경망을 학습시킬 수도 있다.
도 16f는 다양한 예시적인 실시예에 따라 트레이서를 방송 피드에 자동으로 삽입하기 위한 방법(1670)을 도시한다. 1670의 방법을 수행하기 위한 시스템은, 발사된 볼의 3D 위치 추적을 제공하는 레이더 추적 유닛 및 볼 발사의 비디오 피드를 제공하는 방송 카메라를 포함하며, 여기서 방송 카메라(또는 실제 카메라로부터 상류에 있는 방송 엔티티)는 방송 피드에 3D 그래픽(적어도 트레이서를 포함하는 3D 그래픽)을 삽입하도록 구성된다. 그러나, 다른 실시예에서, (방송 카메라와 별개이거나 동일한) 추적 카메라가 3D 위치 추적을 제공하는 데 사용될 수 있다.
1672에서, 볼 궤적을 추적하는 레이더의 레이더 좌표계는 방송 카메라에 대해 교정된다. 방송 카메라는 위에서 논의된 임의의 방식으로 레이더에 대해 교정될 수 있다. 예를 들어, 모바일 및/또는 로봇 추적 유닛(추적 유닛 및 방송 카메라(공동 장착됨) 중 하나 또는 둘 다를 포함함)의 경우, 방송 카메라로부터의 피드에 트레이서를 그리기 위해, 방송 카메라를 추적 유닛 좌표로 교정하는 것이 요구되는 전부이다. 카메라 추적 유닛의 경우, 전술한 바와 같이, 상이한 줌 레벨에 대해 추적 유닛의 카메라의 내인성 파라미터와 방송 카메라 사이의 관계가 확립될 수 있다.
선택적인 1674에서, 볼의 위치는 볼의 발사 전에 하나 이상의 방송 이미지에서 정밀하게 검출된다. 이러한 선택적인 단계는, 볼이 발사되는 위치와 정확하게 상관된 이미지 내의 위치를 결정함으로써 이미지 내의 트레이서 시작점의 렌더링을 개선할 수 있다. 볼 식별 알고리즘은 이미지에서 볼의 정확한 위치를 검색한 다음, 트레이서의 시작을 위한 위치를 결정하는 데 사용될 수 있다. 다른 실시예에서, 플레이어 자세는 볼을 위치시키기 위해 사용될 수 있고/있거나, 볼을 치기 전에 플레이어가 자신의 자세를 취하고 있을 때, 클럽 헤드의 주변에서 위치를 검색하여 볼을 찾고 인식하도록 신경망을 학습시킬 수 있다.
1676에서, 추적 유닛에 의해 캡처된 궤적 데이터에 기초하여 방송 비디오 피드에 대한 트레이서가 생성된다. 발사 전에 정확한 볼 위치에 대한 정보가 없는 경우(예: 볼이 깊은 러프에 의해 가려질 때), 시스템은 비행 중인 볼의 제1 검출 위치로부터 원래의 볼 위치의 일반 마커로서 플레이어 자세를 사용하여 여전히 교정될 수 있는 발사 위치까지 후방으로 외삽할 필요가 있을 수 있다. 방송 카메라는, 추적 유닛이 방송 카메라로부터 줌 레벨을 판독할 필요 없이 각각의 스트로크에 대해 임의의 줌 레벨로 독립적으로 줌될 수 있다(기준선 교정이 수행되었고 내인성 파라미터가 상이한 줌 레벨로 매핑되어, 현재의 파라미터가 추적 및 방송 카메라에서의 유사한 검출로부터 결정될 수 있게 하는 시나리오에서). 일부 실시예에서, 제1 트레이서는 (예: 티 박스에 배치된) 제1 방송 카메라로부터의 제1 비디오 피드에 대해 생성되고 궤적의 제1 부분(예: 초기 궤적) 동안 볼을 따를 수 있는 반면, 제2 트레이서는 (예: 페어웨이 또는 그린에 배치된) 제2 방송 카메라로부터의 제2 비디오 피드에 대해 생성되고 궤적의 제2 부분(예: 하강) 동안 볼을 따를 수 있다.
실시간 비디오는, 예를 들어, 트레이서 및 하위 제3 그래픽(예: 볼 속도, 정점, 휴대, 곡선, 회전 속도 등)과 같은 그래픽으로 자동으로 보강될 수 있다. 또한, 플레이어 이름, 이 홀에서 샷 수, 홀 번호, 현재 점수 및 실시간 스포츠 방송에서 볼 수 있는 기타 하위 제3 그래픽을 보여주는 다른 그래픽을 자동으로 추가할 수 있다.
이와 같이 완전 자동 방송이 생성될 수 있다. 각 샷의 비디오는 볼 추적을 기반으로 관련 시간 범위를 정확히 포함하도록 클립되고 다듬어질 수 있다. 또한, 각각의 클립은, 플레이어 이름(또는 playerID), 이 홀에서 샷 수, 홀 번호 등과 같은 태그를 가질 수 있다. 클립은 트레이서 정보 및/또는 다른 그래픽을 포함하여 및/또는 포함하지 않고 저장될 수 있다. 이 클립 데이터베이스는 기본적으로 모든 토너먼트의 모든 플레이어를 위한 모든 샷을 포함한다.
이벤트의 자동 검출
추적 유닛에서 카메라로부터의 실시간 비디오 스트림을 사용하여, 특정 골프 시나리오(예: 토너먼트 시나리오)의 특정 애플리케이션에 대해 신경망을 학습시킬 수 있다. 네트워크는 임의의 카메라 스트림에 적용될 수 있고, 티 박스 뒤에 위치하는 추적 유닛의 카메라에 특히 유용하다. 이 경우, 네트워크는, 예를 들어, 플레이어 및/또는 다른 사람이 티에 있을 때, 플레이어가 볼을 치려고 할 때, 및 샷을 쳤을 때와 같은 이벤트의 검출을 출력할 것이다. 이러한 검출을 사용하여 현장 직원, 방송사 및 베팅 애플리케이션에 유용한 이벤트 생성을 자동화할 수 있다. 검출된 이벤트는 다음을 포함할 수 있다: 티 상의 플레이어; 샷을 칠 준비를 하고 있는(볼을 어드레스하는) 플레이어; 스윙하는 플레이어; 샷 히트; 빈 티 박스.
도 9는 플레이어 스윙과 관련된 이벤트를 검출하기 위해 신경망에 의해 분석될 수 있는 예시적인 이미지(900~915)를 도시한다. 900에서, 플레이어는 샷을 시도하기 전에 이미지에서 검출된다. 신경망은 샷 관련 이벤트를 아직 검출하지 못했다. 905에서, 플레이어는 볼에 접근하는 것으로 검출된다. 910에서, 플레이어는 스윙하는 것으로 검출된다. 915에서, 플레이어는 볼을 치는 것으로 검출된다.
골퍼를 인식하기 위한 알고리즘 또는 네트워크를 개발할 경우, 신경망은 이벤트를 검출할 때 다양한 인자를 고려할 수 있다. 고려해야 할 한 가지 요소는, 일반적으로 골퍼만이 골프 클럽을 잡고, 동시에, 골프 샷을 치기 위해 어드레스 위치에 자신을 배치한다는 것이다. 어드레스에서 골프 샤프트의 특정 각도도 고유하며 사용될 수도 있다. 또한, 볼과 클럽 헤드의 상대적 위치는 볼을 어드레스하고 스윙을 시작하려는 플레이어를 식별하는 데 사용될 수 있는 좋은 지표이다. 개별 골퍼를 식별하는 데 사용되는 것과 유사한 기술은 또한 골퍼와 함께 이동하는 사람들을 이러한 식별로부터 배제하는 데 사용될 수 있다. 예를 들어, 캐디 및 이들의 의복은 시스템에서 식별되고 저장될 수 있어서, 이러한 개인이 클럽을 잡고 있고/있거나 볼 위에 자세를 취할 때에도 골퍼로서 식별되지 않을 것이다.
이벤트 검출은 또한, 추적 시스템의 상이한 센서 및 서브시스템에 대해 보다 효과적으로 전력 사용을 관리하는 데 사용될 수 있다. 추적 유닛 또는 다른 시스템 구성 요소의 시야에서 특정 시스템 기능을 필요로 하는 이벤트가 현재 검출되지 않는 경우, 예를 들어, 시스템이, 물품의 완전한 활성화를 필요로 하는 이벤트 또는 즉시 대기 중인 이벤트를 검출할 때까지, 물품의 다양한 전력 인출 구성 요소를 수면 또는 저전력 모드로 배치함으로써, 해당 물품의 전력 사용이 감소될 수 있다. 골프 코스의 시스템은 종종 배터리로 작동되거나 발전기를 통해 전력이 공급되기 때문에, 이는 실제로 매우 중요할 수 있다.
추가 양태에서, 다가오는 샷에 대한 이벤트 검출(예: 플레이어가 볼에 접근하거나 볼 위에 위치하는 것을 검출)은 다가오는 샷이 언제 발생할지를 예측하는 데 사용될 수 있다. 이것은, 예를 들어, 다가오는 드라이브에 대해 이동되는 거리 또는 핀으로부터의 거리에 베팅하는 것과 같은, 실시간 베팅 애플리케이션과 관련하여 실질적으로 매우 중요할 수 있다. 예를 들어, 시스템이 다가오는 샷이, 예를 들어, 5초 이내에 실행될 것으로 추정하는 경우, 해당 다가오는 샷에 대한 실시간 베팅 윈도우는 추정된 샷 시간에 따라 폐쇄될 수 있다. 기존의 방법은 일반적으로 수동 트리거에 의존하여 베팅 윈도우를 폐쇄한다.
실시간 베팅 애플리케이션의 경우, 예를 들어, 실제 샷 실행 후에 베팅을 할 수 있도록 실시간 피드를 지연시킴으로써, 예를 들어, 수동 작동자가 베팅 이점을 얻기 위해 센서를 조작할 수 없도록, 추적 시스템은 조작되지 않도록 또는 조작을 검출하도록 설계될 수 있다.
실시간 3D 추적 데이터로 로봇 카메라 제어
추적 시스템은 매우 짧은 대기 시간으로 움직이는 볼을 추적하고, 향후 볼의 예측 궤적을 지속적으로 업데이트하여 시스템이 다른 카메라를 실시간으로 제어할 수 있게 한다. 볼에 대한 실시간 위치 데이터를 사용하여, 추적 시스템은 로봇 카메라를 제어하여 이 카메라가 현재 볼 위치를 가르키고(비행을 통해 볼을 추적하고), 추가적으로 줌 및 초점을 제어하여 골프 토너먼트 동안 전문 카메라 작동자가 달성하는 것과 동일한 방식으로 시청자에게 익숙한 선명한 시청자 친화적인 이미지를 보장할 수 있다. 본원에 기술된 바와 같은 로봇 카메라는, 예를 들어, 도 3에 기술된 방송 카메라(315)에 상응할 수 있다. 그러나, 로봇 카메라는 방송 카메라로서가 아니라 추적을 위해 주로 사용될 수도 있다.
로봇 카메라에 대한 볼의 3D 위치는 추적 시스템 내의 다른 센서에 의해 획득된 실시간 데이터에 기초하여 추적 시스템에서 항상 알 수 있다. 따라서, 로봇 카메라에 대한 최적의 크롭, 배향 및 줌 레벨은 실시간 데이터에 기초하여 시스템에 의해 자동으로 제어될 수 있다. 비행하는 볼의 광학 추적은 로봇 카메라(또는 임의의 다른 카메라)로부터의 데이터 분석을 사용하여 수행될 수도 있고, 임의의 공지된 방법을 사용하여 원하는 이미지를 달성하기 위해 로봇 카메라를 제어하는 데 사용될 수 있다. 제안된 시스템의 장점은, 볼이 보이지 않거나 특정 카메라로부터의 이미지에서 쉽게 찾을 수 없는 경우에도(예: 백색 볼이 백색 구름의 배경 내로 사라질 때), 다른 센서 또는 다른 추적 유닛에 의한 볼의 비행 중 추적에 기초하여 로봇 카메라의 줌 및 초점이 연속적으로 업데이트될 수 있다는 것이다. 즉, 3차원 추적 데이터에 기초하여 로봇 카메라의 조준 및 초점을 제어하는 것은 로봇 카메라로부터의 이미지를 사용하는 광학 추적을 향상시키는 데 사용될 수 있는데, 이는 볼의 가능한 가장 선명한 이미지가 캡처될 수 있도록 보장하므로, 이미지에서 볼의 검출 가능성을 향상시킨다. 로봇 카메라에 대한 볼의 3D 위치에 대한 지식이 없으면, 광학 추적 시스템이 그 위치를 식별할 수 없는 볼(예: 카메라가 볼의 현재 위치에 상응하지 않는 거리에 초점을 맞추는 경우, 볼이 유사한 색상의 배경에 대해 손실되는 경우 또는 시선이 폐색되는 경우)을 재획득하려고 시도함에 따라, 이러한 검출은 많은 경우에 가능하지 않거나 지연될 것이다.
일부 시나리오에서, 로봇 카메라는 추가 센서(예: 레이더 또는 라이다)를 포함하는 추적 유닛 상에 위치할 수 있으며, 여기서 전체 추적 유닛은 카메라의 추적 기능에 기초하여 배향을 변화시킨다. 이러한 배향의 변화는 로봇 카메라의 추적에 더하여 추가 센서의 추적을 개선할 수 있다. 예를 들어, 일부 샷은 센서의 초기 FOV에 의해 잘 커버되지 않는 예상치 못한 궤적(예: 잘못 친 샷)을 가질 수 있다. 이들 샷이 추적 카메라에 의해 검출될 때, 추가 센서를 포함하는 전체 추적 유닛의 배향은, 예를 들어, 레이더에 대한 개선된 감도를 제공하도록 변경될 수 있다.
로봇 카메라는 카메라의 수동 작동자를 대체하는 데 사용될 수 있으며, 시청자에게 비디오 영상을 훨씬 더 매력적으로 만들 수 있다. 이는 또한, 예를 들어, 볼의 라이를 포함하여, 예시하기 위한 클로즈업 영상을 만들 수 있는 가능성을 가능하게 한다.
로봇 카메라의 안정적이고 시청자 친화적인 이동을 보장하기 위해, 추적 시스템으로부터의 실시간 3D 데이터의 특별한 필터링된 버전이 생성되고 로봇 카메라를 제어하는데 사용될 수 있다. 또한, 지연, 최대 각가속도, 최대 각속도, 초점 지연 등과 같은 로봇 카메라 제어의 특징에 대한 지식은 카메라를 제어할 때 고려되고 보상될 수 있다. 로봇 카메라는 또한 세계 좌표에서 클럽 및 볼 위치 설정을 위한 추적 센서로서 사용될 수 있다. 그러나, 이는 시야가 정적이 아니기 때문에 로봇 카메라의 교정을 필요로 한다.
로봇 카메라 교정
로봇 카메라를 추적 센서로서 사용하기 위해서는, 로봇 카메라가 교정될 필요가 있다. 교정은 2개의 부분, 즉 외인성 및 내인성 교정을 포함한다. 전술한 바와 같이, 외인성 파라미터는 본질적으로 2개의 부분을 포함한다: 세계 좌표에서 카메라의 위치 및 세계 좌표에서 배향의 결정. 로봇 카메라의 위치의 결정은 전술한 바와 같이 추적 유닛 및/또는 방송 카메라에 사용되는 것과 유사한 방식으로 수행된다. 남은 것은 세계 좌표 및 내인성 파라미터에서의 배향을 결정하는 것이다.
도 10a는 세계 좌표(1020)에서 로봇 카메라(1005)의 배향을 결정하기 위해 로봇 카메라(1005)에 의해 캡처된 예시적인 이미지(1000)를 도시한다. 이미지(1000)는 카메라(1005)에 로컬인 2차원(u,v) 좌표계를 갖는 것으로 도시되어 있다. 볼(1010)은 이미지에서 픽셀 좌표 (u,v)b(1015)로 이미지(1000)에 위치하였다. 세계 좌표(1020)에서 픽셀 (u,v)b(1015)의 위치를 결정하는 다양한 방법이 있다.
제1 옵션에 따르면, 픽셀 (u,v)b(1015)의 위치는 로봇 카메라(1005)에 의해 사용되는 각각의 상이한 줌 레벨에 대해 내인성 파라미터(예: 초점 길이, 주점, 렌즈 왜곡 등)를 사전 교정함으로써 세계 좌표(1020)에서 결정될 수 있다. 세계 좌표(1020)에서 로봇 카메라(1005)의 배향은, 예를 들어, 추적 유닛 카메라 및/또는 방송 카메라에 대해 전술한 것과 유사한 방식으로, 세계 좌표에 대한 교정이 수행된 로봇 카메라(1005)의 소정의 배향과 비교하여, 카메라 상의 팬/틸트 센서로부터 또는 카메라 배향에 적용된 추적 기반 제어 신호로부터 결정된, 볼(1010)을 볼 때 카메라(1005)의 배향의 팬 및 틸트의 오프셋을 사용함으로써 결정된다. 즉, 시스템은 팬/틸트 정보, 세계 좌표에서 벡터 R 및 지점 p에 의해 기술된 3차원 라인에 기초하여 결정하며, 여기서 p는 카메라의 위치이다. 이 벡터 R은 카메라로부터 (예: 카메라의 초점, 지점 p로부터) 볼(또는 위치가 결정되어야 하는 임의의 다른 객체)을 향하는 방향으로 연장된다. 카메라로부터의 이 선을 3차원으로 알고 있으면, 벡터 R 및 지점 p에 의해 기술된 라인 상의 볼(또는 다른 객체)의 3차원 위치는 이 라인 상의 데이터를 볼에 대한 거리 정보(예: 세계 좌표 또는 카메라의 좌표계로 변환할 수 있는 임의의 다른 좌표의 레이더 또는 다른 데이터)를 조합함으로써 또는 벡터 R 및 지점 p에 의해 기술된 라인이 골프 코스의 3차원 모델로 나타낸 바와 같은 골프 코스의 표면과 교차하는 위치를 결정함으로써 획득될 수 있다. 이는 벡터 R 및 지점 p에 의해 기술된 라인을 따라 볼의 3차원 위치가 세계 좌표에서 3차원으로 결정되게 한다. 당업자는, 벡터 R 및 지점 p에 의해 기술된 라인의 교차점과 골프 코스 표면의 3차원 모델을 식별함으로써 볼의 위치를 결정함으로써, 골프 코스의 표면 상에 휴지한 볼의 위치만을 결정할 수 있다는 것을 이해할 것이다. 이하에서 설명되는 추가 옵션은, 이 정보가 거리 정보 또는 3차원 표면 모델 정보와 함께 사용될 수 있도록 이 벡터 R을 식별하는 상이한 방법을 설명하여, 카메라로부터의 이미지에서의 픽셀 위치에 기초하여 세계 좌표에서 3차원으로 볼을 위치시킬 수 있다.
제2 옵션에 따르면, 먼저 로컬 (u,v) 좌표에서 이미지(1000) 내의 픽셀(u,v)b(1015)의 위치를 검출한 다음, 줌 레벨을 변경하지 않고, 로봇 카메라(1005)의 배향을 변화시켜 소정의 기준 위치(1025) 쪽으로 로봇 카메라(1005)를 향하게 함으로써　픽셀의 위치(u,v)b(1015)를　세계 좌표(1020)에서 결정하여, 기준 위치(1025)가 이미지(u,v)b에서 볼(1010)이 이미지(1000)에서 위치한 것과 동일한 위치에 위치하는 것을 보장할 수 있다.
도 10b는 도 10a의 제1 이미지(1000) 및 상이한 배향을 사용하여 로봇 카메라(1005)에 의해 캡처된 제2 이미지(1030)에 기초하여 카메라(1005)의 배향을 결정하기 위한 프로세스를 도시한다. 도 10a와 유사하게, 볼(1010)은 픽셀 좌표 (u,v)b(1015)로 제1 이미지(1000)에 위치하였다. 카메라(1005)는 기준 위치(1025)(세계 좌표로 알려진 위치)가 제1 이미지(1000)에서의 좌표 (u,v)b(1015)와 동일한 좌표 (u,v)b(1015)로 제2 이미지(1030)에 위치하도록 배향을 변화시킨다. 이는 시스템이 제1 이미지(1000)에서 카메라로부터 볼까지 3차원 벡터 R에 의해 기술된 라인을 식별할 수 있게 한다.
그 다음, 2개의 시나리오 사이의 팬 및 틸트의 오프셋을 사용하여 벡터 R(기준 위치(1025)에 대해 볼(1010)을 볼 때, 세계 좌표(1020)에서 카메라의 3차원 배향)을 계산한다. 이러한 방법의 명백한 장점은 카메라(1005)의 내인성 파라미터가 결정의 정확성에 영향을 미치지 않는다는 것이다.
제3 옵션에 따르면, 픽셀 (u,v)b(1015)의 위치는, 먼저 로컬 (u,v) 좌표로 제1 이미지(1000)에서 픽셀 (u,v)b(1015)의 위치를 검출한 다음, 추적 유닛 카메라(1035)로부터 제2 이미지(1040)에서 동일한 위치를 검출함으로써, 세계 좌표(1020)에서 결정될 수 있다. 바람직한 실시예에서, 로봇 카메라(1005) 및 추적 유닛 카메라(1035)는 함께 위치하지만, 이는 필수는 아니다.
도 10c는 도 10a의 제1 이미지(1000) 및 제2 카메라(1035)에 의해 캡처된 제2 이미지(1040)에 기초하여 로봇 카메라(1005)의 배향(3차원 벡터 R)을 결정하기 위한 프로세스를 도시한다. 제2 카메라(1035)는 세계 좌표계(1020)에 대해 교정된 추적 유닛 카메라일 수 있다. 로봇 카메라(1005)로부터의 제1 이미지(1000)는 추적 유닛 카메라(1035)로부터의 제2 이미지(1040) 내에 위치할 수 있다. 제1 이미지(1000)를 제2 이미지(1040) 내에 위치시키기 위한 하나의 옵션은, 세계 좌표로 알려진 위치를 갖는 식별된 특징(1045)(예: 나무, 벙커, 호수, 골프 깃발, 그린 등고선 및 이미지에서 식별될 수 있는 다른 고유 특징)을 사용하여, 2개의 이미지(1000, 1040) 사이의 특징 매칭을 수행하는 것이다. 제2 이미지(1040)에서의 위치가 세계 좌표(1020)로 알려져 있기 때문에, 이는 제1 이미지(1000)로 전달될 수 있고, 이에 의해 세계 좌표에서의 카메라의 벡터 R , 위치 p, 및 거리 정보의 조합은 전술한 바와 같이 골프 코스의 거리 및/또는 3차원 모델을 사용하여 로봇 이미지(1000)에서 볼(1010)의 세계 좌표 위치를 결정할 수 있게 한다.
제4 옵션에 따르면, 픽셀(u,v)b(1015)의 위치는, 먼저 로컬(u,v) 좌표로 제1 이미지(1000)에서 픽셀(u,v)b(1015)의 위치를 검출한 다음, 적어도 2개의 기준점(1060)(예: 1060a 및 1060b)이 이미지(1050)에서 보이도록 제1 이미지(1000)를 줌아웃함으로써(예: 제1 이미지(1000)의 줌아웃된 버전을 포함하는 제2 이미지(1050)을 생성함으로써) 세계 좌표(1020)에서 결정될 수 있다.
도 10d는 도 10a의 제1 이미지(1000) 및 제1 이미지(1000)의 축소된 버전을 포함하는 제2 이미지(1030)에 기초하여 로봇 카메라(1005)의 배향을 결정하기 위한 프로세스를 도시한다. 도 10a와 유사하게, 볼(1010)은 픽셀 좌표 (u,v)b(1015)로 제1 이미지(1000)에 위치하였다. 카메라(1005)는 기준점(1060)이 제2 이미지(1030)에서 보일 수 있도록 줌아웃되는 반면, 제2 이미지(1030)에서의 좌표 (u,v)b(1015)에서의 픽셀 위치는 제1 이미지(1000)에서의 좌표 (u,v)b(1015)와 동일하게 유지된다. 기준점(1060)은, 이미지(1000)에서 볼 위치의 위치(1015)를 추적하면서, 일부 픽셀 위치(1055)(예: 1055a 및 1055b)에서 제2 이미지(1050)에서 검출된다. 무시해도 될 정도의 렌즈 왜곡을 가정하면, 초점 길이를 결정하는 것만이 필요하다. 초점 길이는, 상응하는 2개의 기준 위치(1060)의 세계 좌표(1020)에서 소정의 각도와 기준 지점 위치(1055)를 상관시킴으로써 결정된다. 이하, 줌아웃 이미지(1050)에서의 볼(1015)의 위치는 세계 좌표(1020)로 결정될 수 있다.
도 16g는 다양한 예시적인 실시예에 따라 로봇 카메라를 세계 좌표계에 교정하기 위한 방법(1680)을 도시한다. 방법(1680)을 수행하기 위한 시스템은 로봇 카메라 및 이의 동작을 제어하기 위한 처리 장치만을 포함할 수 있다. 일부 실시예에서, 시스템은 추가 카메라를 포함할 수 있다.
1682에서, 로봇 카메라에는 교정되지 않은 내인성 파라미터가 제공된다. 예를 들어, 로봇 카메라는 최근에 전원이 켜졌거나 이전 방향에 대해 최근에 배향이 변경되었다.
1684에서, 제1 이미지(예: 교정 이미지)가 로봇 카메라로 캡처되고, 볼이 이미지에서 검출된다. 볼의 (u,v) 좌표는 카메라 좌표계에서 결정된다.
1686에서, 제2 이미지는 (다른 배향 및/또는 상이한 줌 레벨을 사용하여) 로봇 카메라로부터 또는 동시에 동일한 볼의 제2 이미지를 캡처하는 제2 카메라로부터 수신된다.
1688에서, 로봇 카메라의 배향은 제1 및 제2 이미지에 기초하여 결정된다.
현장 관중을 위한 안전/경고 시스템
실시간 볼 비행 추적은, 위에서 설명한 바와 같이, 공이 공중에 있는 동안 착지 지점을 예측하기 위해 실시간으로 업데이트될 수 있다. 이러한 착지 지점 예측은, 예를 들어, 잘못된 샷이 다가오고 있음을 관중에게 경고(예: 자동 'FORE')하는 데 사용될 수 있다. 예를 들어, 영향을 받은 영역의 관중은 엄폐물을 찾고 머리를 보호하는 등의 적절한 지침을 받을 수 있다.
경보 시스템은, 예를 들어, 추적 시스템에 의해 트리거될 수 있는 유선 또는 무선 지리-참조 스피커를 포함할 수 있다. 골프 코스는 바람직하게는 다른 관중 구역으로 분할될 것이다. FORE 경고는 잘못된 샷이 충분한 확률로 이들 구역에 접근할 때마다 하나 이상의 관중 구역에서 트리거될 수 있다. 경고 시스템은 또한 스마트폰 상의 개인 애플리케이션일 수 있고, 각 관중(또는 서비스에 가입하는 관중)의 위치를 추적할 수 있다. 진동/소리 또는 유사한 것과 같은 특별 경고는, 관중이 위치한 구역에 잘못된 샷이 착지할 가능성이 있는 경우에 스마트폰 애플리케이션에 의해 트리거될 수 있다.
도 16h는 다양한 예시적인 실시예에 따라 현장 관중을 위한 경고 시스템에 대한 방법(1690)을 도시한다.
1692에서, 궤적 데이터는 하나 이상의 제1 센서를 사용하여 캡처된다.
1694에서, 지금까지 캡처된 궤적 데이터에 기초하여 착지 지점이 예측된다. 착지 지점 예측은 초기에 볼의 비행 중 가능한 한 빨리 수행될 수 있고, 이어서 더 많은 궤적 데이터가 캡처됨에 따라 정제될 수 있다. 착지 지점 예측은 특정 지점을 포함할 수 있고, 경보 영역은 지점에 대해 소정의 불확실성 반경을 가질 수 있거나, 실제 추정 불확실성에 기초한 영역을 포함할 수 있다.
1696에서, 경보는 트리거되고, 예를 들어 경보 반경 내의 임의의 이해 당사자에게 전달된다. 일례에서, 예측된 착지 위치의 근위에 위치하는 스피커가 활성화되어 청각 경보를 제공할 수 있다. 다른 예에서, 경보는 착지 지점에 위치한 관찰자의 장치에 송신될 수 있다.
아마추어 라운드 추적
전술한 시스템의 모든 특징은 임의의 골프 코스에서 구현될 수 있다. 모든 볼 궤적 추적은 샷의 품질과 완전히 무관하며 프로와 마찬가지로 아마추어에게도 똑같이 적용된다. 또한, 아마추어 라운드는 프로 골프 토너먼트를 관장하는 관습 및 규칙과 유사한 방식으로 플레이될 수 있으며, 따라서 프로 이벤트에 대해 위에서 논의된 게임 로직은 아마추어 라운드와 유사할 수 있다. 예를 들어, 일반적으로 1~4명의 플레이어로 이루어진 그룹이 먼저 홀 1, 다음 홀 2 등을 플레이한다. 따라서, 전술한 상세한 playerID 추적은 실질적으로 유사한 방식으로 수행될 수 있다.
아마추어 라운드에 사용할 수 없는 프로 이벤트 추적의 한 가지 양태는 해당 그룹의 플레이어 신원에 관해 미리 저장된 정보이다. 골프 라운드의 추적을 특정 골퍼와 연관시키기 위해, 일부 추가 기능을 사용할 수 있다.
일 실시예에서, 추적 시스템에 연결된 애플리케이션은, 예를 들어 스마트폰 또는 스마트워치 상에 설치될 수 있다. 각각의 골퍼는, 예를 들어 라운드의 시작 시, 추적 시스템 playerID를 골퍼와 연관시키는 데 사용될 수 있는 애플리케이션 내에 양의 표시를 제공할 수 있다. 제1 티 주변에는 특별한 영역이 있을 수 있다. 예를 들어, 한 사람만 사용할 수 있는 공간이 있는 작은 표시가 있는 영역이 있으며, 여기서 플레이어는 스마트폰을 추적 시스템과 동기화할 수 있다. 예를 들어, 사용자는 특별 영역에 위치하는 동안 애플리케이션에서 '동기화' 버튼을 눌러, 추적 시스템의 고유 playerID와 플레이어의 이름 및 자격 증명이 연관되게 할 수 있다. 다른 실시예에서, playerID의 추적 및 연관성은 또한 일종의 비컨, 예를 들어 지리위치 기능을 갖는 스마트폰 또는 스마트워치를 통해 수행될 수 있다.
다른 실시예에서, 플레이어에 의해 착용되는 장치, 예를 들어, 스마트워치는 플레이어에 의한 스윙 모션을 검출하는 데 사용될 수 있다. 장치는 플레이어와 연관될 수 있고, 가속도계(또는 이러한 모션을 검출할 수 있는 다른 센서) 및 골프 스윙에 해당하는 가속도의 변화를 검출하기 위한 처리 로직을 포함할 수 있다. 상기 장치는, 스윙 시 플레이어의 대략적인 위치가 또한 검출될 수 있도록 GPS 능력을 가질 수 있다(또는 GPS 능력을 갖는 다른 근처의 장치, 예를 들어, 스마트폰에 연결될 수 있다). 장치는 또한 스윙 모션을 타임 스탬프와 연관시키도록 작동할 수 있다. 따라서, 추적 시스템이 샷(및 연관된 샷 시간)을 검출할 때, 샷은 샷의 타이밍 및 위치와 매칭하는 검출된 스윙과 매칭될 수 있다. 특히 아마추어 라운드 추적에서는, 스윙과 샷 간의 매칭이 실시간으로 수행될 필요가 없다. 따라서, 장치에 의해 검출된 스윙(및 연관된 타임스탬프)은, 나중에, 예를 들어, 라운드의 종료 시에 추적 시스템에 의해 검출된 샷에 대해 시간적으로 매칭될 수 있다. 이는, 예를 들어, 플레이어가 착용하는 장치가 무선 커버리지, 처리 능력 등과 관련하여 제한된 능력을 갖는 시나리오에서 특히 유용할 것이다. 장치는 스윙 데이터가 추적 데이터와 연관될 수 있는 나중 시점까지 관련 타임스탬프와 함께 스윙 검출을 저장할 수 있다. 일 실시예에서, 장치와 연관된 플레이어는, 라운드의 종료 시점에 검출된 스윙과 연관된 샷 정보를 검증하여 매칭의 정확성을 보장할 수 있다. 대안적인 실시예에서, 플레이어는 모바일 폰과 같은 위치 결정 장치를 휴대한다. 장치는 연관된 타임스탬프를 갖는 장치의 세계 좌표로 경로를 기록하며, 이는 추적 시스템에 의해 추적된 샷의 결정된 발사 위치와 매칭될 수 있다. 위치 결정 장치는 플레이어가 착용할 필요는 없지만, 플레이어가 볼을 발사하는 위치의 근처에 항상 있을, 플레이어의 가방에 있을 수 있다.
플레이어에 대한 이미지 프로필은 향후 골프 라운드를 위해 추적 시스템에 저장될 수 있거나, 모든 골프 라운드 이전에 생성될 수 있다. 다수의 코스의 각각의 추적 시스템은 일부 상황 하에서 잠재적으로 이들 이미지 프로필을 공유할 수 있다. 각 라운드가 플레이된 후, 캡처된 데이터는 개인 애플리케이션으로 송신될 수 있으며, 여기서 각 라운드는 골프 라운드에 대한 추후 분석을 위해 모든 추적 데이터와 함께 검토될 수 있다.
일 실시예에서, 볼 추적 데이터는, 플레이어가 골프 라운드를 플레이하는 동안 데이터를 검토할 수 있도록, 기록된 직후에 개인 애플리케이션으로 송신될 수 있다. 이 특징에 대한 특히 흥미로운 애플리케이션은 골퍼가 자신의 공을 찾는 것을 돕는 것일 수 있다. 예를 들어, 골퍼가 쉽게 찾을 수 없는 샷을 친 경우, 개인 애플리케이션은, 예를 들어, 애플리케이션 내에서 제공된 골프 홀 맵 상에서 또는 다른 맵 애플리케이션(예: Apple Maps 또는 Google Maps) 상에서 볼이 발견될 가능성이 높은 위치를 좁힐 수 있다. 이러한 특징은 깊은 러프에서 볼을 찾으려고 할 때 특히 유용할 수 있으며, 여기서 검색 영역을 좁히는 것은 볼을 찾을 가능성을 상당히 증가시키는 한편, 볼을 찾는 데 필요한 시간을 단축시킨다.
골퍼가 해저드 내로 이동하는 샷을 친 경우, 특정 해저드에 대한 골프 규칙에 따라, 이전 샷이 해저드 라인을 넘어간 위치에 따라 새로운 볼을 놓을 수 있는 옵션이 골퍼에게 주어질 수 있다. 시스템은 볼 궤적의 트랙을 가지고 있고 그에 따라 볼이 해저드 라인을 지나는 곳을 정확하게 알 수 있기 때문에, 시스템은 새로운 볼이 낙하할 수 있는 영역을 정확하게 결정할 수 있다. 이것은 볼을 합법적으로 떨어뜨릴 수 있는 위치에 대해 때때로 논란이 되는 결정을 해결할 수 있으며, 보다 공정한 결과에 도달하면서 골퍼의 시간과 부담을 줄일 수 있다. 허용 가능한 드롭 영역의 식별은 허용 가능한 드롭 영역을 갖는 홀의 레이아웃을 보여주는 소프트웨어 애플리케이션에 표시될 수 있다.
대체 불가능 토큰(NFT) 생성
제안된 시스템은 골프 라운드 동안 발생하는 임의의 특별한 이벤트를 자동으로 촬영하고 추적할 수 있으며, 이는 홀인원 또는 다른 임의의 특별한 골프 샷 또는 이벤트 발생일 수 있다. 시스템은 이러한 순간을 자동으로 검출하고 볼 트레이서, 클럽 및/또는 볼 궤적 정보를 포함할 수 있는 비디오 클립을 생성하도록 구성될 수 있다. 이들 클립의 생성은 단 하나의 단일 디지털 사본만이 존재할 수 있는 방식으로 생성될 수 있고, 이에 따라 대체 불가능 토큰(NFT)으로 사용될 수 있다.
카메라 비-프로젝션 애플리케이션 소개
샷(예: 티 박스로부터의) 또는 그린 상의 히트를 추적하기 위해, 추적 시스템은, 레이더, 레이더 및 카메라의 조합, 또는 여러 개의 추가 센서 조합을 포함할 수 있다. 이들 상이한 센서는 골프 볼의 비행의 상이한 부분 및/또는 중첩된 부분을 추적할 수 있다. 각각의 센서는, 장치에 특정인 좌표계에서, 1회 이상 볼의 측정으로 이루어진 객체 데이터를 획득하고, 서로에 대해 교정될 때, 데이터의 추가 처리 및 융합을 위한 높은 수준의 일관성을 갖는 글로벌 좌표계로 프로젝션될 수 있다. 각도 및 절대 범위 측정을 할 수 있는 도플러 레이더는 3차원에서 볼을 정확하게 추적할 수 있고; 레이더 및 카메라가 구비된 추적 유닛은 이미지 추적을 사용하여 보다 정확한 추적을 위해 각도 측정을 향상시킬 수 있고; 중첩 시야를 갖는 다수의 카메라를 포함하는 시스템은 입체 영상을 사용하여 3차원에서 볼 위치를 결정할 수 있다.
정확한 측정을 위해서는 센서의 교정이 중요한다. 센서를 교정하는 것은 센서의 내부 및 외부 모두에 대한 다양한 파라미터의 결정을 필요로 한다. 내부 파라미터는 초점 길이, 렌즈 왜곡 파라미터 및 카메라용 주점, 및 레이더용 위상 오프셋을 포함할 수 있다. 외부 파라미터는 통상적으로 센서의 위치 및 배향을 구성한다.
도플러 레이더 추적에 기초한 공지된 시스템은 단점을 갖는데, 예를 들어, 볼이 저속으로 이동하거나 지면에서 굴러갈 때; 볼이 레이더로부터 볼까지의 방향에 대해 특정 각도로 이동하여 레이더에 대한 방사상 속도 vr 가 낮은 경우; 볼이 휴지하고, 도플러 레이더 추적이 완전히 실패한 경우이다. 공을 추적하기 위해 입체 영상에 의존하는 공지된 시스템은 저속에서도 볼의 3차원 궤적을 결정할 수 있지만, 통상적으로는 골프 코스의 상세한 모델 없이는 골프에서의 숏 게임을 이해하는 데 관련된 메트릭을 전달할 수 없다.
센서의 내부 또는 내인성 파라미터는 일반적으로 센서의 내부 작동에 관한 파라미터로서 정의될 수 있다. 카메라의 내인성 파라미터는 이미지 지점의 픽셀 좌표를 카메라 기준 프레임의 해당 좌표와 연결하는 데 필요한 파라미터이며, 초점 길이, 주점 및 렌즈 왜곡 파라미터를 포함한다. 카메라의 내인성 파라미터는 생성 설정에서 측정되어 시스템에 저장될 수 있고, 실험실 설정에서 내인성 파라미터를 결정하는 방법은 당업자에게 공지된 것으로 간주된다.
센서의 외부 또는 외인성 파라미터는 일반적으로 세계 좌표에 대한 센서의 위치 설정(예: 위치 및 배향)에 관한 파라미터로서 정의될 수 있다. 센서의 외부 파라미터에 대한 지식은, 측정된 데이터를 센서의 좌표계로부터 글로벌 좌표계로 매핑할 수 있게 하여, 다른 센서로부터의 데이터와 비교되거나 골프 코스의 일부의 3차원 모델에서의 위치와 비교될 수 있다.
외인성 파라미터는 당업자에 의해 이해되는 바와 같이 여러 가지 방식으로 결정될 수 있다. 바람직한 교정 방법은 카메라의 GPS 위치 및 카메라의 시야 내에서 골프 코스 상의 몇몇 기준점을 측정하는 것이다. 교정 이미지는 카메라로 캡처되고, 측정된 기준점의 이미지 평면에서의 위치는 외인성 파라미터를 계산하기 위한 인간 주석 또는 자동 검출 수단에 의해 결정될 수 있다. 교정에 사용될 수 있는 쉽게 인식 가능한 특징은, 예를 들어 핀(홀)의 위치, 벙커의 에지, 또는 교정 목적으로 사용되는 코스 상에 일시적으로 또는 영구적으로 배치되는 객체를 포함한다. 기준점의 GPS 위치는, 예를 들어 레이저 거리 측정기 또는 유사한 장치를 사용하여 기준점과 카메라 사이의 거리 및/또는 높이 차이의 측정에 의해 보충될 수 있다.
본 실시예에 따라 바운스 및 롤 및/또는 휴지 위치를 추적하기 위한 추적 카메라는 통상적으로 그린 뒤에 배치되고, 카메라 시야가 그린 및 주변 영역을 포함하는 위치에서 TV 타워 또는 유사한 구조물에 장착된다. 카메라는 또한 긴 파-5 홀 상의 페어웨이를 따라 배치되어 페어웨이의 볼 착지 위치를 캡처할 수 있다. 본 실시예에 따라 추적 기능은 단일 카메라를 사용하여 구현될 수 있는데, 예를 들어, 입체 영상 기술을 이용하는 다수의 카메라를 필요로 하지 않는다.
일 실시예에서, 볼의 라이는 휴지된 볼의 단일 카메라 및 볼의 휴지 위치에서의 지형의 3D 모델로부터의 이미지에 기초하여 결정된다.
일부 실시예에서, 단일 카메라 및 골프 코스 일부의 정확한 3D 모델을 사용하여 바운스 및 칩 샷의 추적 메트릭을 추적하고 제공하기 위한 시스템 및 방법이 제공되며, 단일 카메라는, 카메라로 일련의 이미지를 캡처하고, 이미지에서 볼을 검출하고, 볼 검출의 픽셀 위치를 비-프로젝션하여 카메라로부터 볼 위치로 3D 공간에서 라인을 생성하고, 트랙의 시작 및 종료에 해당하는 시작 및 종료 라인을 결정하고, 3D 모델을 시작 및 종료 라인과 교차시키고, 물리적 모델을 적용하고 볼의 트랙을 결정함으로써, 3D 모델에 의해 커버되는 골프 코스의 일부에 대해 교정된다.
일 실시예에서, 일련의 이미지에서 검출된 볼이 바운싱인지 롤링인지가 결정된다.
일 실시예에서, 볼의 롤의 3D 추적은, 일련의 이미지에서 볼을 검출하고, 볼 검출의 픽셀 위치를 비-프로젝션하여 그에 따라 카메라로부터 볼 위치까지 3D 공간에서 라인을 생성하고, 3D 모델을 라인과 교차시키고, 볼의 트랙을 결정함으로써 제공된다.
일 실시예에서, 그린의 빠르기(stimp)는 3D 모델에서 퍼팅의 트랙 및 지형의 기울기로부터 결정된다.
일 실시예에서, 퍼팅 브레이크 팬은 주어진 초기 볼 위치에 대해 결정되고, 퍼팅 브레이크 팬은 측정된 3D 퍼팅 궤적과 비교되고, 성공적인 퍼팅에 대한 볼 발사 파라미터의 민감도가 결정된다. 퍼팅 브레이크 팬은 이하에서 더욱 상세히 설명될 것이다.
일 실시예에서, 골프 볼의 레이더 추적은 볼 검출기를 적시에 적절한 이미지 및 이미지 내의 적절한 검색 영역으로 안내하는 데 사용된다.
일 실시예에서, 이미지는 카메라로부터 캡처되고, 이미지가 사람을 포함하는지 및/또는 사람이 어드레스 중인 골퍼인지 여부를 결정하고, 이러한 검출에 기초하여, 볼 검출기는 적시에 적절한 이미지 및 이미지 내의 적절한 검색 영역으로 안내된다.
일 실시예에서, 3D 모델에 대한 카메라의 외부 교정 파라미터는 바운스의 추적에 기초하여 업데이트된다.
골프 코스 또는 골프 코스의 일부에 대한 3D 표면 모델
본원에 기술된 다양한 예시적인 실시예에 따르면, 전체 골프 코스, 또는 골프 코스의 특정 부분(예: 하나 이상의 그린 및 이들 그린을 바로 둘러싸는 영역)의 3차원 모델이 3D 모델에 의해 커버되는 영역 내에서 샷의 추적을 개선하고 향상시키는 데 사용될 수 있다.
3D 모델은 컴퓨터 메모리에 저장된 골프 코스(또는 골프 코스의 일부)를 나타내며, 골프 코스의 3D 그래픽을 렌더링하는 데 사용될 수 있다. 특정 골프 홀을 위한 3D 모델은 바람직하게는 본 실시예에 따라 골프 볼을 추적하는 데 사용되는 단일 카메라의 시야 내의 영역의 부분을 커버한다. 따라서, 3D 모델은, 최소한, 티 또는 페어웨이에서 친 샷이 착지할 가능성이 있는 그린 주위의 지형을 커버한다. 모델은 또한 페어웨이 및 주변 러프 및/또는 반 러프의 일부 또는 전부를 커버할 수 있거나, 전체 홀을 커버할 수 있다. 다수의 카메라가 사용되는 전체 골프 코스를 커버하기 위해, 다수의 3D 모델이 사용될 수 있고, 각각은 코스의 한 섹션을 커버하거나, 전체 코스를 커버하는 하나의 3D 모델이 사용될 수 있다. 세계 좌표에 대한 임의의 참조가 골프 코스 상의 모든 홀 또는 골프 코스 상의 단일 홀의 영역에 공통인 좌표계에 적용될 수 있음을 당업자는 이해할 것이다. 세계 좌표계의 사용은 상이한 센서로부터의 측정이 융합될 수 있게 하고 볼 위치의 측정이 3D 모델에 매핑될 수 있게 한다. 세계 좌표는 골프 라운드를 커버하는 모든 센서에 보편적일 필요는 없다. 즉, 임의의 샷의 비행을 추적하는 모든 센서가 그들의 데이터를 공통 좌표계로 변환할 수 있는 한, 원하는 결과가 얻어질 것이다. 따라서, 하나의 센서 그룹이 1번 홀 및 1번 홀만을 커버하는 경우, 이들 센서가 2번 홀의 센서로부터의 데이터를 공통 좌표계로 변환할 수 있어야 할 필요는 없다. 따라서, 월드 좌표계라는 용어는, 이 시스템이 센서의 물리적 주변과 상관된다는 것만을 의미하고, 이 좌표계가 골프 코스에서 작동하는 모든 센서에 걸쳐 범용일 필요가 있다는 것을 의미하지 않는다.
3D 모델은, 최소한, 코스 상의 주어진 위치에 대한 지형의 높이를 나타내는 표면 모델을 포함한다. 이러한 표면은 삼각형의 메시로, 스플라인 표면으로, 또는 당업자에게 잘 알려진 다른 표현으로 표현될 수 있다. 표면은 또한, 3D 모델로 표시되는 일부 또는 모든 특징의 보다 상세한 표면 맵을 제공하는 하나 이상의 미세 모델과 조합하여 코스의 높이의 대략적인 표시를 제공하는 거친 모델로 나타낼 수 있으며, 여기서 미세 모델은 거친 모델에 대한 오프셋을 나타낸다. 거친 모델은 주어진 지리적 영역에 대해 제공될 수 있는 반면, 미세 모델은, 예를 들어, 플레이가 일어날 가능성이 가장 높은 곳 또는 표면의 추가 정확도가 요구되는 곳에서, 거친 모델에 의해 커버되는 영역의 부분에 대해서만 제공될 수 있다. 이러한 영역에는 페어웨이와 주변 세미 러프, 벙커, 그린 및 그린 주변 영역이 포함될 수 있다. 거친 모델 및 하나 이상의 미세 모델을 포함하는 이러한 스킴은 전체 코스의 상세한 모델을 생성하고 처리하는 것을 피함으로써 유리할 수 있다.
바람직한 실시예에서, 골프 코스의 3D 표현은 GPS 위치가 3D 표현 상에 쉽게 매핑될 수 있도록 세계 좌표로 주어진다. 3D 표현은 또한 로컬 좌표계에서 제공될 수 있고, 세계 좌표에 대해 잘 알려진 매핑과 연관될 수 있다. GPS 및/또는 세계 좌표계를 3D 모델로 매핑하는 능력은 카메라 외인성 파라미터가 골프 코스 및 3D 모델 둘 다와 관련될 수 있게 하고, 따라서, 지면 상의 볼의 위치가, 카메라로 이미지를 캡처하고, 이미지에서 볼의 픽셀 위치를 검출하고 내인성 및 외인성 카메라 파라미터를 적용함으로써 검출을 비-프로젝션하여 좌표계(예: 세계 좌표계)에서 카메라-볼 라인을 결정하고, 3D 모델과 카메라-볼 라인 사이의 교차를 결정함으로써, 결정될 수 있게 한다.
일 실시예에서, 3D 모델은 모델에 의해 표시되는 골프 코스의 부분에 존재하는 지형의 유형을 나타내는 것을 포함하며, 예를 들어, 메시 내의 각각의 삼각형은 이와 연관된 지형 유형을 가질 수 있거나, 지형 유형은 미세 높이 모델로 표시될 수 있다. 지형의 유형은 적어도 페어웨이, 러프, 세미 러프, 벙커, 그린 및 프린지를 포함할 수 있지만, 골프 코스에서 발견되는 다양한 지형을 보다 세분화하여 표현하기 위해 더 많은 특징이 포함될 수 있다. 이들 특징은, 후술하는 바와 같이, 이들 지형에 영향을 미치는 볼의 궤적 추적을 개선하는 데 사용될 수 있다. 모델은 또한 3D 모델에 기초한 임의의 그래픽 렌더링에 현실감을 제공할 수 있는 나무, 관목 및 건물과 같은 비-지형 특징의 표현을 포함할 수 있지만, 이러한 비-지형 특징은 일반적으로 어떠한 추적 목적으로도 사용되지 않는다.
3D 모델은, 예를 들어, 라이다, 옵토메트리, 또는 이들의 조합을 사용하는 드론 스캔에 의해, 또는 당업자에게 공지된 다른 방법에 의해 획득될 수 있다. 스캔은, 당업자에게 잘 알려진 기술을 사용하여 3D 표면 모델이 생성될 수 있는 포인트 클라우드를 생성할 수 있다. 전 세계 좌표에 대한 코스 로컬 좌표계의 관계는 정확한 GPS 측정으로 3D 모델에서 식별 가능한 여러 고정점을 매핑함으로써 확립될 수 있다. 예를 들어, PGA 투어에는 투어에서 플레이하는 데 사용되는 골프 코스의 상세 지도가 있다.
비-프로젝터를 사용하여 볼 위치를 결정하기 위한 시스템
도 11은 다양한 예시적인 실시예에 따라 휴지된 볼을 포함하는 볼의 일련의 이미지를 캡처하는 적어도 하나의 카메라(1105) 및 볼을 추적하기 위한 처리 배열을 포함하고/하거나 휴지된 볼의 위치를 결정하는 예시적인 추적 시스템(1100)을 도시한다. 처리 배열은, 이미지 좌표계에서 볼의 위치를 결정하는 볼 검출기(1110), 카메라(1105)로부터 볼까지 3D 공간에서의 카메라-볼 직선을 결정하기 위한 내인성 및 외인성 카메라 파라미터(1130)을 사용하는 비-프로젝션 모듈(비-프로젝터)(1115), 및 카메라-볼 직선과 3D 모델(1135) 사이의 교차점을 결정하기 위해 골프 코스의 일부의 3D 모델(1135)을 사용하는 교차 모듈(교차자)(1120)를 포함한다. 처리 배열은, 예를 들어 방송 중에 사용하기 위해 결정된 정보를 출력하기 위한 출력 생성기(1125)를 더 포함한다. 도 11은 도 12와 함께 이하에서 설명된다.
도 12는 다양한 예시적인 실시예에 따라 카메라(1105), 골프 코스의 지형(1205), 및 골프 코스 지형(1205) 상에 중첩된 상응하는 3D 모델(1135)을 포함하는 예시적인 도면(1200)을 도시한다. 도면(1200)은 충격 위치(1215)와 볼의 최종 휴지 위치(1220)를 포함하는 골프 볼의 궤적(1210) 및 볼의 최종 휴지 위치(1220)에서 3D 모델(1135)과 교차하는 예시적인 카메라-볼 직선(1225)을 포함한다.
카메라(1105)는, 추적 시스템(1000)으로 추적이 수행될 골프 코스의 일부(예: 그린을 포함하는 지형 및 샷이 타격될 가능성이 가장 높은 방향에서 페어웨이를 포함하는 주변 환경)의 시야(FOV)를 제공하도록 선택된 센서 및 렌즈를 갖는다. 대안적으로, 카메라(1105)가 페어웨이 상에 착지하는 샷을 캡처하도록 배치되는 경우, 카메라(1105)의 FOV는 티로부터의 샷 또는 그린에 대한 어프로치 샷이 착지할 가능성이 가장 높은 페어웨이 부분(예: 도 12에 도시된 지형(1205))을 커버할 수 있다. 카메라(1105)의 해상도는 볼 검출기(1110)가 효과적으로 작동하기 위한 볼의 충분한 픽셀을 제공하도록 선택된다. 예를 들어, 캡처된 이미지에서 볼 수 있는 볼의 최소 단면은 3~10 픽셀 범위 내에 있어야 한다. 카메라는, 바람직하게 초당 30 내지 100 프레임의 소정의 프레임 속도 fs를 갖는 일련의 이미지(1190)(..., i(n-1), i(n), i(n+1), ...)을 캡처한다. 바람직한 실시예에서, 캡처된 이미지 i(n)은, 최소한, 이미지가 캡처된 시간 tn 을 포함하는 메타데이터를 포함한다. 메타데이터는 또한 이미지에 대한 노출 시간, 이미지에서 캡처된 센서의 크롭 영역, 및 잠재적으로 다른 파라미터를 포함할 수 있다.
일단 캡처되면, 카메라에 의해 캡처된 이미지(1190)의 시퀀스로부터의 각각의 이미지는 볼 검출기(1110)에 전달되고, 이는 볼이 특정 이미지(1195) 및 볼의 픽셀 위치 (u,v)에 존재하는지 여부를 결정하기 위한 하나 이상의 알고리즘을 포함한다. 알고리즘은 이미지에서 골프 볼을 검출하도록 학습된 콘볼루션 심층 신경망(CNN)을 포함할 수 있다. 볼이 이미지에서 검출되면, 볼 검출기(1110)는 (u,v) 좌표, 및 가능하게는 이미지 자체 및 메타데이터의 일부를 비-프로젝터(1115)에 송신한다.
비-프로젝터(1115)는, 적어도, 볼의 (u,v) 좌표를 포함하는, 볼 검출기(1110)로부터 정보를 수신하고, 메모리 또는 외부 저장 장치로부터 저장된 내인성 및 외인성 교정 파라미터(1130)를 판독한다. 이러한 정보를 가지고, 도 12에 도시된 바와 같이, 비-프로젝터(1115)는 이미지 평면에서의 (u,v) 좌표 및 카메라 내인성 및 외인성 파라미터(1130)에 기초하여 볼의 방향으로 카메라(1105)의 초점을 통과하는 직선을 포함하는 3D 공간에서의 카메라-볼 라인(1225)을 결정한다. 캡처된 이미지가 카메라(1105)의 전체 시야를 커버하지 않는 경우, 비-프로젝터(1115)는 또한 카메라-볼 라인(1225)을 결정하기 위해 이미지의 크롭 영역에 대한 정보를 사용한다. 크롭 영역은 카메라(1105) 또는 볼 검출기(1110)로부터 전달된 이미지 메타데이터의 일부일 수 있거나, 이미지의 전체 시퀀스에 대해 일정하다면, 교정 시 또는 시스템 초기화 시 시스템(1100)에 저장될 수 있고, 저장된 교정 파라미터(1130)와 유사한 방식으로 비-프로젝터(1115)에 접근할 수 있다. 비-프로젝터(1115)는 카메라-볼 라인(1125)의 표현을 교차 모듈(1120)에 송신한다.
교차 모듈(1120)은 카메라의 FOV와 중첩되는 골프 코스의 적어도 일부의 카메라-볼 라인(1225) 및 3D 모델(1135)에 기초하여 교차 알고리즘을 실행한다. 교차 모듈(1120)은 비-프로젝터(1115)로부터 카메라-볼 라인(1225)을 수신하고, 메모리 또는 외부 저장 장치로부터 3D 모델(1135)을 판독하고, 카메라-볼 라인(1225)과 3D 모델(1135) 사이의 교차(1220)를 결정한다. 교차(1220)의 3D 지점 표현은 코스 상의 볼 위치를 결정하는 데 사용된다. 볼이 휴지 상태일 때, 공간에서 3D 지점으로 나타낼 수 있는 이 교차(1220)는 코스 상의 볼 위치와 볼 위치에서의 지형 높이이다. 교차를 결정하기 위한 방법은 3D 모델의 표현, 예를 들어, 3D 모델이 삼각형의 메시, 스플라인 표면, 또는 임의의 다른 표면 표현인지에 따라 달라질 수 있다. 일부 경우에, 상기 방법은 반복적일 수 있거나, 교차는 최적화 문제에 대한 해결책으로 제형화될 수 있고, 수치 솔버를 사용함으로써 해결될 수 있다.
지면이 고르지 않거나 작은 언덕을 갖는 시나리오에서, 또는 볼이 벙커의 에지에 위치하는 경우, 3D 모델(1135)과 카메라-볼 라인(1225) 사이에 하나 이상의 교차가 있을 수 있다. 예를 들어, 3D 모델(1135)과 카메라-볼 라인(1225) 사이의 추가 교차(1230 및 1235)가 도 12에 도시되어 있다. 이 경우, 교차 모듈(1120)은 카메라-볼 라인(1225)과 카메라(1105)에 가장 가까운 3D 모델 사이의 교차(1220)가 되도록 볼의 위치를 결정할 수 있다.
교차 모듈(1120)은 교차(1220)의 3D 좌표를 출력 모듈(1125)에 전달한다. 출력 모듈(1125)은 볼 위치 정보를 사용하는 데 필요한 다음과 같은 임의의 출력 수단에 인터페이스한다: 플레이 동안 시도된 샷의 정보를 저장하기 위한 데이터베이스(1140); 예를 들어, 코스의 상면도에 의해 TV 또는 온라인 시청자를 위한 볼 위치를 묘사할 수 있는 3D 그래픽 렌더링 엔진(1145); (바운스 및 롤을 포함하는 실제 캐리를 위해) 휴지 볼 위치로부터 티 위치까지의 거리의 계산 및/또는 그래픽 도시에 대한 입력같은 것; 또는 볼 위치로부터 깃발 또는 골프 코스의 다른 흥미로운 특징(벙커, 연못 또는 그린)까지 거리의 계산 및/또는 그래픽 예시에 대한 입력같은 것.
시스템(1100)은, 레이더(1150)가 추적 카메라(1105)와 동일한 좌표계, 바람직하게는 세계 좌표계(1240)로 교정되고, 각각의 이미지가 레이더 측정 볼 위치와 상관될 수 있도록, 레이더(1150)가 추적 카메라(1105)에 시간 동기화되는, 시간의 함수로서 볼 위치를 측정할 수 있는 레이더(1150) 및 레이더 추적기(1155)를 포함할 수 있다. 이러한 시나리오에서, 레이더(1150)에 의해 검출된 볼 위치는, 프로젝터(1160)를 사용하여 카메라(1105)의 이미지 평면 내로 매핑되어 볼 검출기(1110)의 검색 윈도우를 좁힐 수 있다. 이는, 볼이, 예를 들어, 그린 측 카메라(1105)에 대해 그린 및 그린을 둘러싸는 영역을 포함하여, 카메라(1105)의 시야로 진입할 때 특히 유리한데, 이는 일부 상황에서 볼 검출기(1110)는 볼이 이전에 레이더(1150)에 의해 검출된 경우에만 작동될 필요가 있기 때문이다.
레이더(1150)는, 예를 들어, 최대 500 밀리와트 EIRP(Equivalent Isotropic Radiated Power)의 전력으로 X-대역 주파수(10 GHz)에서 마이크로파를 방출하는 연속파 도플러(Doppler) 레이더일 수 있으며, 따라서 단거리 국제 라디에이터(radiator)에 대한 FCC 및 CE 규정을 준수한다. 그러나, 다른 관할권에서는, 현지 규정에 따라 다른 전력 수준 및 주파수가 사용될 수 있다. 예시적인 일 실시예에서, 마이크로파는 예를 들어, 5 내지 125 GHz 사이의 더 높은 주파수로 방출된다. 더 낮은 객체 속도에서 보다 정밀한 측정을 위해, 20 GHz 이상의 주파수가 사용될 수 있다. 위상 또는 주파수 변조 CW(continuous wave) 레이더, 다중 주파수 CW 레이더 또는 단일 주파수 CW 레이더를 포함하여 임의의 유형의 CW 도플러 레이더가 사용될 수 있다. 라이다와 같은 다른 추적 장치가 가시 또는 비가시 주파수 영역에서 방사선과 함께 사용될 수 있음을 이해할 것이다. 전류-펄스형 레이더 시스템은 레이더 장치에 가까운 물체를 추적하는 능력이 제한된다. 그러나, 물체가 이러한 펄스형 레이더 시스템으로부터 떨어져 있어야 하는 거리는 시간이 지남에 따라 감소하였으며, 계속 감소할 것으로 기대된다. 따라서, 이들 유형의 레이더는 곧 이들 작동에 효과적일 수 있고, 후술하는 본 발명의 시스템에서 이들의 사용이 고려된다.
객체를 3차원으로 추적할 수 있는 임의의 유형의 레이더가 사용될 수 있다. X-대역에서, 또는 허용 밴드의 어느 곳에서든, 작동하는 MFCW 도플러 레이더는, 수신기들 간의 위상 차이를 측정하고, 이로부터 송신된 파동의 파장의 지식을 사용하여 로컬 레이더 좌표계에서 볼에 대한 방향을 도출하고, 위상 차이를 측정하기 위한 다수의 주파수를 송신하고, 이로부터 송신된 파동의 파장에 대한 지식으로부터 볼까지 범위를 유도하기 위해, 2차원 어레이로 이격된 다수의 수신 안테나를 구비할 수 있다.
레이더 추적기(1155)는 원시 센서 데이터에서, 관심 있는 이동 객체를 검출하고, 가능한 경우, 동일한 이동 객체의 연속적인 검출을 "트랙"으로 결합하는 역할을 한다. 따라서, 트랙은 연속하는 시간에 움직이는 객체의 하나 이상의 검출이다. 트랙은 노이즈의 영향을 제거하기 위해 평활해질 수 있고, 트랙은 트랙을 따르는 위치가 측정된 위치 사이에서 보간되거나 측정된 위치를 지나서 시간적으로 앞과 뒤 모두에서 외삽될 수 있게 하는 방식으로 표현될 수 있다.
카메라(1105) 및 3D 모델(1135)에 사용된, 세계 좌표, 또는 임의의 공통 좌표계로 레이더(1150)를 교정하는 것은 레이더의 위치와 배향을 결정하는 것을 필요로 한다. 이러한 목적을 위해, 레이더 유닛은 이전에 설명된 바와 같이 알려진 내부 파라미터 및 로컬 레이더 좌표계에 대해 알려진 상대 위치 및 배향을 갖는 카메라를 구비할 수 있다. 그 다음, 카메라 외부 파라미터의 결정과 같이 레이더 외부 파라미터가 결정될 수 있다.
바람직한 실시예에서, 레이더(1150) 및 카메라(1105)는, 유닛이 생성될 때 결정될 수 있는, 알려진 카메라-대-레이더 교정을 갖는 하나의 물리적 하드웨어 유닛에 내장되어 있다. 따라서, 일단 유닛이 전술한 기술 또는 유사한 방법을 사용하여 골프 코스에 대해 교정되면, 레이더(1150) 및 카메라(1105) 둘 다는 세계 좌표로 교정되고, 측정은 동일한 좌표계로 골프 코스의 일부의 3D 모델(1135)로 참조될 수 있다.
바람직한 실시예에서, 비행 중인 골프 볼의 트랙은 카메라(1105)에 의해 캡처된 이미지에 기초하여 볼 검출기(1110)의 검출과 조합하여 레이더(1150)에 의해 결정된 위치를 사용하여 결정된다. 따라서, 보다 정확한 볼 트랙을 얻을 수 있다. 칼만 필터를 사용하여 시간이 지남에 따라 레이더 위치를 평활화하는 경우, 카메라(1105)로부터의 볼 검출은 위치 결정의 정확성을 향상시키기 위해 칼만 필터에 대한 입력으로 사용될 수 있다. 향상된 레이더 궤적을 사용하여, 레이더 측정만을 사용하여 결정된 위치보다 더 정확한 볼 착지 위치가 결정될 수 있다. 전술한 바와 같이, 볼 착지 위치는, 카메라-볼 라인과 3D 모델 사이의 교차를 결정하기 위한 방법과 유사한 방식으로 골프 코스 부분의 볼 트랙과 3D 모델(1135) 사이의 교차(1220)로 결정될 수 있다.
바람직한 실시예에서, 볼 검출기(1110)는 이미지에서 예상 볼 위치 부근으로 검색 영역을 감소시키도록 안내될 수 있으므로, 볼을 검출하는 데 필요한 연산을 감소시킨다. 각 센서의 내부 및 외부 파라미터의 지식을 통해 레이더로부터의 볼 위치가 이미지 내로 프로젝션될 수 있거나, 또는 볼 검출기는, 카메라로부터 수신된 각각의 새로운 이미지에 대해, 볼이 하나 이상의 이전 이미지에서 검출된 곳에 대한 이전 정보를 사용하여 볼에 대한 검색 영역이 결정될 수 있도록 이전 이미지에서 검출된 볼의 위치의 메모리를 포함할 수 있다. 이러한 정보는 이전 프레임에 대한 (u,v) 좌표의 어레이로 볼 검출기(1110)에 저장될 수 있다. 볼 검출기(1110)는 대안적으로, 새로운 이미지를 처리할 때, 여러 개의 연속 이미지로부터의 검색 영역의 이미지 정보가 신경망에 공급되어 동시에 신경망의 검출 속도 및 정확도를 향상시킬 수 있도록 이전 이미지의 어레이를 포함할 수 있다.
또한, 볼 검출기(1110)는 검색 영역 내에서 여러 개의 볼을 취급하도록 구비될 수 있다. 골프 라운드 또는 골프 토너먼트에서, 정상적인 조건 하에서, 한 번에 하나의 볼만이 특정 홀에서 움직이고, 임의의 다른 볼은 휴지 상태로 있을 것이다. 신경망으로 탐색 영역에서 다수의 볼을 검출하고 이전 이미지로부터 저장된 검출 정보를 사용함으로써, 볼 검출 중 어느 것이 휴지 볼을 나타내고 어느 볼 검출이 움직이는 볼을 나타내는지를 결정할 수 있다. 대안적으로, 볼 검출을 위해 여러 개의 연속 이미지의 영역을 사용하도록 학습된 신경망은, 휴지 중인 또는 움직이는 볼을 나타내는 검출을 출력의 일부로 결정할 수 있다. 이는 움직이는 볼에 따라 검색 창이 업데이트되고, 이미지 내에 다수의 볼이 존재하는 경우에도, 볼의 트랙을 잃지 않도록 할 수 있다. 본원에 기술된 방법은, 시스템에 레이더가 존재하지 않거나, 레이더 추적기(1155)가 더 이상 볼을 추적할 수 없을 때, 제한된 검색 윈도우가 초기 볼 검출이 이루어진 후에 사용될 수 있게 한다.
볼 검출기(1110)는 2개 이상의 연속 이미지에서 볼 검출의 (u,v) 좌표를 비교함으로써 움직이는 볼이 휴지 상태가 될 때를 결정한다. 이러한 결정이 이루어진 후, 볼 검출기(1110)는 비-프로젝터(1115), 교차자(1120) 및 출력 모듈(1125)에 신호를 보내 위에서 상세히 기술된 바와 같이 적절한 계산을 하고 출력을 생성한다. 골프 샷에 대한 이전의 레이더 트랙이 결정되었으면, 이에 따라 결정된 스트로크의 휴지 위치는, 바람직하게는, 이를 레이더 트랙에 표지하는 데에도 사용되는 식별자로 표지함으로써, 레이더 측정에 연결된다.
도 17a는 다양한 예시적인 실시예에 따라 볼의 3D 위치 좌표를 결정하기 위한 방법(1700)을 도시한다. 상기 방법(1700)을 수행하기 위한 시스템은 적어도, 이미지에서 볼의 존재를 검출하고, 이미지 좌표를 3D 좌표로 비-프로젝션하고, 3D 좌표로 카메라 라인 볼을 결정하고, 카메라 라인 볼의 교차점을 결정하기 위한, 카메라 및 처리 장치를 포함한다. 전술한 단계 중 다양한 단계는, 전술한 바와 같이, 레이더 데이터가 추가적으로 이용 가능한 경우 향상될 수 있다. 3D 모델과 카메라-볼 라인의 교차점은 3D 좌표로 볼의 위치를 결정한다. 일부 실시예에서, 시스템은 볼이 휴지 상태이고 3D 좌표에서의 위치가 휴지 위치인지 여부를 결정한다.
1702에서, 카메라는 일련의 이미지를 캡처한다. 카메라는, 추적이 수행될 골프 코스의 일부의 시야(FOV)를 제공하도록 선택된 센서와 렌즈 및 볼 검출기가 효과적으로 작동하기 위해 볼의 충분한 픽셀을 제공하도록 선택된 해상도를 갖는다. 카메라는 특정 프레임 속도 fs를 갖는 일련의 이미지(..., i(n-1), i(n), i(n+1)...)를 캡처한다. 예를 들어, 이미지가 캡처된 시간(tn), 노출 시간, 크롭 영역, 및 잠재적으로 다른 파라미터를 포함하는 메타데이터가 이미지에 포함될 수 있다.
1704에서, 처리 장치(예: 이의 볼 검출 모듈)는 카메라로부터 순차적으로 이미지를 수신하고, 이미지 상에서 볼 검출 알고리즘을 실행하여 볼이 이미지 내에 있는지 여부와 검출된 볼의 (u,v) 좌표 내의 픽셀 위치를 결정한다. 일부 실시예에서, 볼 검출기는, 예를 들어, 검색된 이미지 영역을 좁히기 위해 또는 적시에 볼 검출 알고리즘의 실행을 트리거하기 위해, 레이더 데이터를 사용할 수 있다. 레이더 및 카메라는 하나의 물리적 하드웨어 유닛에 내장될 수 있거나, 레이더 및 카메라가, 예를 들어, 세계 좌표에 대해 공통적으로 교정되는 한, 별도로 배치될 수 있다. 일부 실시예에서, 볼 검출기는, 레이더 추적을 개선하고, 결국, 후속하는 볼 검출의 정확성을 개선하기 위해, 레이더/처리 장치에 볼 검출을 제공할 수 있다. 일 실시예에서, 볼 검출기는, 2개 이상의 연속 이미지에서 볼 검출의 (u,v) 좌표를 비교함으로써 움직이는 볼이 휴지 상태가 되는 때를 결정한다.
볼 검출기는 이전 정보(예: 이전 프레임에서의 볼 검출을 위한 (u,v) 좌표의 어레이)에 기초하여 검색 영역을 좁힐 수 있다. 볼 검출 알고리즘은, 콘볼루션 심층 신경망(CNN)의 검출 속도 및 정확도를 향상시키기 위해 이전 이미지 어레이로부터 검색 영역에 대한 이미지 정보를 수신할 수 있는, 이미지에서 골프 볼을 검출하도록 학습된 CNN을 포함할 수 있다. 또한, 볼 검출 알고리즘을 장착하여, 어느 볼 검출이 휴지 중인 볼을 나타내고 어느 볼 검출이 움직이는 볼을 나타내는지 결정하기 위해 로직을 사용하여 검색 영역 내의 여러 볼을 취급할 수 있다. 다른 실시예에서, 신경망은 휴지 중인 또는 움직이는 볼을 나타내는 검출을 결정하도록 학습되어, 볼 또는 볼들의 트랙을 잃지 않으면서 검색 윈도우를 업데이트할 수 있게 한다.
1706에서, 처리 장치(예: 비-프로젝션 모듈)은 카메라를 위한 내인성 및 외인성 교정 파라미터를 판독하고, 볼 검출기로부터 수신된 (u,v) 좌표를 사용하여, 알고리즘을 실행하여, 3D 공간(예: 세계 좌표)에서 볼의 방향으로 카메라의 초점을 통과하는 직선을 포함하는 카메라-볼 선을 결정한다. 처리 장치는 카메라-볼 라인을 결정하기 위해 이미지와 연관된 메타데이터(예: 크롭 영역)를 추가로 사용할 수 있다. 크롭 영역은 또한, 이미지의 전체 시퀀스에 대해 일정하게 유지되는 경우 시스템에 저장될 수 있다.
1708에서, 처리 장치(예: 교차 모듈)는 카메라-볼 라인과 카메라의 FOV와 중첩되는 골프 코스의 적어도 일부의 3D 모델에 기초하여 교차 알고리즘을 실행하여 3D 모델과 카메라-볼 라인의 교차점을 결정한다. 이러한 교차점은 3D 모델의 표현에 기초하여 결정되며, 일부 실시예에서, 교차점을 결정하기 위한 프로세스는 반복적이거나 최적화 문제를 해결하기 위해 수치 솔버를 사용할 수 있다. 카메라 및/또는 레이더 및/또는 3D 모델은, 예를 들어, 세계 좌표일 수 있는 공통 좌표계로 교정된다. 3D 모델은 컴퓨터 메모리에 저장된 골프 코스(또는 골프 코스의 일부)를 나타내며, 코스 상의 주어진 위치에 대한 지형의 높이 및/또는 유형을 나타내는 표면 모델(예: 삼각형의 메시, 스플라인 표면 등)을 포함한다. 3D 모델은, 예를 들어, GPS 위치 등을 3D 모델에 쉽게 매핑하기 위해 세계 좌표로 제공될 수 있다. 3D 모델은 또한 로컬 좌표계에 제공될 수 있고, 세계 좌표에 대한 매핑을 가질 수 있다.
1710에서, 처리 장치(예: 출력 모듈)은 볼의 3D 위치를, 예를 들어, 데이터베이스, 3D 그래픽 렌더링 엔진, 다른 코스 특징에 대한 볼의 위치의 그래픽 도시 등일 수 있는, 일부 출력 수단에 출력한다.
볼이 휴지 상태인 것으로 결정될 때, 예를 들어, 볼이 현재 놓이는 지형의 유형과 같은 추가의 결정이 이하에서 더욱 상세히 설명될 수 있다.
바운스 및 롤 추적
본 개시의 다른 양태에서, 카메라 기반 추적은 또한 볼의 바운스 및 롤을 추적하고 결정하는 데 사용될 수 있다. 바운스의 결정은 바람직하게는 전술한 비-프로젝터(1115)에서 수행되지만, (u,v) 좌표에만 기초하여 볼 검출기(1110)에서 구현될 수도 있다. 하나의 예시적인 방법에서, 일련의 이미지가 후술하는 바와 같이 바운스의 존재를 결정하기 위해 처리된다.
도 17b는 이미지 데이터에 기초하여 움직이는 볼의 바운스 및 롤을 결정하기 위한 방법(1720)을 도시한다. 방법(1720)을 수행하기 위한 시스템은 도 11 및 도 17a에서 전술한 시스템과 유사할 수 있으며, 적어도, 카메라 및, 볼 검출기 및 비-프로젝터를 포함하는 처리 배열을 포함한다. 방법(1720)은, 예를 들어, 칩 샷, 어프로치 샷, 또는 바운싱 거동을 나타내는 임의의 다른 샷을 추적하는 데 사용될 수 있다.
전술한 1702와 유사하게, 1722에서, 카메라는 일련의 이미지를 캡처한다. 1724에서, 1704와 유사하게, 처리 장치(예: 이의 볼 검출 모듈)은 이미지를 수신하고, 볼이 이미지 내에 있는 지 여부 및 검출된 볼의 (u,v) 좌표에서 픽셀 위치를 결정한다.
1726에서, 일련의 이미지가 처리된 후, 볼 검출기(또는, 일부 실시예에서, 비-프로젝터)는 일련의 이미지로부터 (u,v) 이미지 평면에서 볼 검출의 시계열을 생성한다. 1728에서, 비-프로젝터는 (u,v) 좌표를 비-프로젝터에 이용 가능한 내인성 및 외인성 카메라 교정을 사용하여 일련의 카메라-볼 라인으로 변환한다. 각 라인의 고도 각도, 즉 카메라-볼 라인과 지면 평면 사이의 각도가 계산되어, 카메라로부터 수직 프로젝션 각도의 시계열이 생성된다.
도 13은 일련의 이미지로부터의 (u,v) 이미지 평면에서의 볼 검출의 시계열(1300) 및 도 11에 기술된 비-프로젝터(1115)에 의해 결정된 카메라 볼 라인에 대한 고도 각도의 상응하는 시계열(1350)을 도시한다. 시계열(1350)은, 시계열(1350)의 지점(1352 및 1354)에 도시된 바와 같이, 카메라로부터 볼까지의 프로젝션 각도가 가장 가파르고, 볼과 지면 사이의 충돌에 상응할 가능성이 있는 검출을 나타내는 최소값에 대해 분석된다.
1730에서, 바운스에 상응하는, 시계열(1350)에서 이들 최소값의 카메라-볼 라인은, 도 11 및 도 17a에 대하여 전술한 바와 같이, 바운스의 3D 위치를 결정하기 위해 교차 모듈로 전달된다. 볼이 이러한 검출을 위해 지면 상인 것 또는 지면에 매우 가까운 것으로 가정될 수 있기 때문에, 3D 볼 위치는 볼의 휴지 위치를 결정하는 데 사용되는 방법에 의해 정확하게 결정될 수 있다. 바운스 검출의 정확도는, 바운스의 가장 가능성이 높은 서브 프레임 시간, 수직 프로젝션 각도 및 카메라-볼 라인을 결정하기 위해 시계열에서의 최소값 전후 모두에 (u,v) 좌표 또는 수직 프로젝션 각도 중 어느 하나의 외삽에 의해 서브 프레임 정확도로 개선될 수 있다.
레이더를 포함하는 시스템에서, 때때로 별도의 트랙으로 레이더 내의 바운스를 추적하고 롤링 볼로부터의 신호를 추적할 수 있다. 이러한 경우에, 이러한 정보는 카메라만을 사용하여 수행되는 바운스 및 롤 추적을 향상시키기 위해 사용될 수 있다. 레이더는 볼의 방사상 속도 및 볼까지의 거리를 측정하며, 볼의 방사상 속도는 통상적으로 볼이 바운스할 때 불연속성을 나타내기 때문에, 바운스를 나타내는 레이더 트랙의 시작 및 끝을 검출함으로써, 바운스의 매우 정확한 타이밍이 유도될 수 있다.
1732에서, 바운스는 롤과 구별된다. (u,v) 평면에서의 볼 검출의 시계열(1300)은, 이하에서 설명되는 바와 같이, 추가적인 방식으로 본원에서 사용된다.
바운스의 물리적 모델을 사용하여 볼의 롤과 바운스를 더 잘 구별할 수 있다. 예시적인 방법에서, 픽셀 위치 검출의 (u,v) 시계열(1300)에서 2개의 연속적인 최소값이 주어진 경우, 각각의 최소값에서의 볼의 위치는, 볼이 각각의 최소값에서 지면에 충격한다는 가정 하에 전술한 바와 같이 비-프로젝션로부터 결정될 수 있고, 각각의 가정된 지면 충격의 시간은 각각의 최소값에 가장 가까운 이미지의 시간으로 결정될 수 있거나, 대안적으로 전술한 바와 같이 (u,v) 검출의 외삽을 사용하여 결정될 수 있다. 결정된 3D 위치 및 바운스의 시작 및 종료 시간으로부터, 볼의 대략적인 3D 트랙이 물리적 모델(1165)에 기초하여 결정될 수 있다. 단순한 모델은 볼이 중력에 의해서만 영향을 받는다고 가정할 수 있으므로, 항력 및 양력(마그너스 힘)은 바운스와 관련된 낮은 속도 및 짧은 거리에서는 무관하다고 가정할 수 있다. 물리적 모델(1165)로부터 결정된 트랙은 카메라(1105)의 이미지 평면 상에 프로젝션되고, 2개의 (u,v) 시계열 최소값 사이의 볼 검출과 비교된다. 좋은 상응은 볼이 최소값 사이에서 바운스되었을 가능성이 있음을 나타낸다.
바운스인 것으로 결정되지 않은 (u,v) 시계열의 이미지 검출은 볼의 롤의 일부로서 분류될 것이다. 볼이 롤 동안 지면 상에 있는 것으로 가정될 수 있기 때문에, 롤에 상응하는 트랙은 (u,v) 위치의 비-프로젝션 및 카메라-볼 라인과 코스의 3D 모델 사이의 후속 교차 결정에 의해 생성될 수 있다.
1734에서, 이러한 트랙은 사용자에게 출력되거나, 방송 상에 오버레이되거나, 공통 식별자에 의해 주 볼 트랙과 연관되기 위해 출력 모듈(1125)에 전달되고 데이터베이스에 저장된다. 따라서 전술한 방법을 사용하여 결정된 볼 트랙은 출력 모듈(1125)에 전달되는 바운스에 대한 중요한 정보를 제공한다.
휴지 중인 볼의 라이에 대한 지형 결정
다른 양태에서, 볼의 라이, 또는 볼이 다음 스트로크를 위해 놓이는 지형의 특징이 결정될 수 있다. 2개의 예시적인 방법이 설명되거나, 2개의 방법의 조합이 사용될 수 있다. 하나의 방법에서, 볼이 휴지한 것으로 결정된 경우, 교차 모듈(1120)에서 결정된 볼의 위치를 골프 코스의 3D 모델(1135)에서의 정보와 비교하여 볼이 놓이는 지형을 결정할 수 있다. 이는, 예를 들어, 페어웨이, 세미 러프, 러프, 프린지, 벙커 또는 그린일 수 있다. 또 다른 방법에서, 이미지 내의 볼 검출은, 잔디의 길이를 특징화하기 위해 카메라에 볼이 얼마나 많이 보이는지, 또는 볼을 중심으로 이미지의 작은 크롭의 배경의 분류에 기초하여 페어웨이, 세미-러프, 러프, 프린지, 벙커 또는 그린 중 하나로서 분류될 수 있다. 후자의 결정은 볼과 지형을 포함하는 이미지의 작은 크롭에 기초하여 라이의 지형 유형을 검출하도록 학습된 신경망으로 이루어질 수 있다.
볼이 이미지에서 보이지 않는 경우, 다음 스트로크이 시도될 때, 이미지를 캡처하고, 이미지에서 골퍼를 검출하고, 골퍼가 볼을 어드레싱할 때 이미지에서 클럽을 검출하고, 비-프로젝션에 의해 클럽 헤드에 대한 방향을 추정하고, 골프 클럽의 헤드의 대략적인 위치를 결정하고, 코스의 3D 모델에서 이 위치와 관련된 지형과 같은 지형 유형을 식별함으로써, 라이를 결정할 수 있다.
칩 샷 및 퍼팅
다른 양태에서, 칩 샷 및 퍼팅은 또한 바운스 및 롤 추적을 위해 전술한 것과 유사한 기술을 사용함으로써 시스템에 의해 추적될 수 있다. 치핑 및 퍼팅 추적은 일반적으로, 샷이 그린 상에서 또는 그린 바로 주위의 영역으로부터 그린 상으로 모든 방향으로 히트되는 것으로 인해, 그리고 샷이 종종 저속인 것으로 인해, 레이더에 의해 측정되기에 낮은 방사상 속도를 초래하므로, 레이더만의 시스템으로는 가능하지 않다. 칩 샷은 일반적으로 초기 샷 아크를 따르고, 하나 이상의 바운스 및 롤을 포함한다. 바운스를 추적하기 위해 전술한 비-프로젝션 및 교차 기술을 사용함으로써, 초기 샷 아크를 추적할 수 있다. 샷의 후속 바운스 및 롤은 유사하게 이미 설명된 기술을 사용하여 추적될 수 있다.
퍼팅 궤적은 움직이는 볼의 물리학을 특징으로 하는 최대 3개의 세그먼트(바운스 세그먼트; 슬라이드 세그먼트; 및 롤 세그먼트)로 세분될 수 있다. 바운스 세그먼트 동안, 볼은 작은 바운스를 나타내고, 볼의 속도는 볼이 지면 상에서 바운스할 때마다 감소한다. 슬라이드 세그먼트 동안, 볼은 바운스하지 않지만, 볼의 스핀이 볼이 지면에서 이동하는 속도와 매칭하지 않아, 볼이 슬라이드되게 한다. 이 세그먼트에서, 볼은 속도를 상실하지만, 볼과 지면 사이의 마찰로 인해 스핀이 증가한다. 롤 세그먼트 동안, 볼은 마찰로 인해 속도를 상실한다. 일반적으로, 시간의 함수로서의 속도 감소는 바운싱 세그먼트 동안 가장 크고 롤링 세그먼트 동안 가장 작다. 모든 퍼팅이 바운스 및 슬라이드 세그먼트를 나타내는 것은 아니다. 퍼팅의 이들 양태는 측정될 수 있고, 전술한 원리에 관한 로직을 사용하여, 퍼팅 세그먼트는 추적 데이터에서 식별될 수 있다. 퍼팅 세그먼트 및 상응하는 속도 감소에 관한 추가의 세부 사항은 미국 특허 제10,444,339호에 제공되어 있으며, 이는 그 전체가 참조로서 본원에 통합된다.
퍼팅는 칩 샷과 유사한 방식으로 추적될 수 있다. 현재 개시된 카메라 및 3D 모델 시스템을 사용하여 퍼팅 궤적을 추적할 때, 볼이 전체 궤적 동안 지면 상에 있다고 가정하여, 퍼팅 추적을 롤의 추적으로 감소시키는 것이 종종 유효하다. 바운스 추적이 수행되지 않더라도, 퍼팅 궤적 동안 볼의 속도는 궤적의 바운스, 스키드 및 롤 세그먼트를 결정하기 위해 3D 모델과 매칭될 수 있다.
시스템에 대한 전력 소비 및/또는 연산 부하를 제한하기 위해, 시스템(1100)은 저 주파수(예컨대, 1 fps)로 이미지를 캡처하고 사람 검출(1170)를 수행할 수 있다. 사람 검출(1170)이 성공적인 경우(사람이 이미지에서 검출되는 경우), 어드레스 검출(1175)을 수행하여 샷이 곧 시도될지 여부를 결정할 수 있다. 어드레스가 검출되는 경우, 시스템(1100)은 카메라(1105)를 위에 명시된 바와 같이 더 높은 프레임 속도로 전환하고, 검출된 어드레스 주위의 이미지 영역에서 볼 검출(1110)을 시작할 수 있다. 예를 들어, 볼의 휴지 위치를 결정하기 위한 예시적인 방법에 의해 결정된, 이미지에서의 볼의 위치에 대한 이전의 지식은, 사람 검출(1170)이 어드레스 검출(1175)을 초래할 가능성이 있는지 여부를 결정하는 데 사용될 수 있다. 예를 들어, 사람이 볼 근처에서 검출되면, 어드레스가 발생할 가능성이 있다. 사람 검출 부근의 이미지에서 볼이 검출되지 않으면, 어드레스가 발생하지 않을 것이다. 사람을 검출하고 어드레스 자세의 골퍼를 검출하도록 학습된 콘볼루션 신경망으로 사람 검출기(1170) 및 어드레스 검출기(1175)를 구현하는 것이 유리하다.
또 다른 양태에서, 퍼팅 브레이크 팬은 퍼팅 이전에 볼의 휴지 위치 및 골프 코스의 3D 모델로부터 결정될 수 있다. 3D 퍼팅 브레이크 팬은 볼의 초기 위치로부터 성공적인 퍼팅 시도로 이어지는 다양한 발사 속도 및 발사 방향을 갖는　상이한 퍼팅 궤적을 디스플레이한다. 예상되는 성공적인 퍼팅 시도는 볼을 컵으로 낙하시키는 속도로 홀의 위치와 교차하는 볼 궤적으로서 결정된다. 일반적으로, 이는 볼이 홀 위에 있을 때 중력으로 인해 볼 직경의 절반 이상 떨어지는지 여부에 따라 달라진다. 따라서, 홀의 중심을 가로지르는 퍼팅 궤적은 홀에 대한 충격이 더 적은 퍼팅 궤적보다 더 높은 속도에서 성공적인 퍼팅을 초래할 수 있다. 그린의 빠르기와 코스의 3D 모델의 지식을 사용하고, 퍼팅의 특정 발사 속도와 발사 방향을 가정하면, 볼의 시뮬레이션 퍼팅 궤적을 결정할 수 있다. 퍼팅 브레이크 팬을 결정하는 방법은 상이한 발사 속도 및 발사 방향을 갖는 많은 퍼팅을 시뮬레이션하고 어떤 발사 조건이 성공적인 퍼팅을 초래하는지를 관찰하는 것이다.
도 14는 시작 위치(1405), 홀 위치(1410), 및 성공적인 퍼팅으로 귀결되는 가능한 퍼팅 궤적을 나타내는 라인(1415~1425)을 포함하는 플롯(1400)을 도시한다. 라인(1415)은 성공적인 퍼팅을 초래하는 최고 발사 속도를 나타내고, 라인(1425)은 성공적인 퍼팅을 초래하는 최저 발사 속도를 나타내고, 라인(1420)은　성공적인 퍼팅을 초래하는　최고 및 최저 발사 속도 사이의 발사 속도를 나타낸다. 라인(1415 및 1425)은 소위 퍼팅 브레이크 팬의 경계에 해당한다. 종종, 라인(1420)은, 컵이 존재하지 않아 해당 경로의 볼을 방해하지 않는다면, 볼이 홀 위치를 2피트 지나 휴지하는 퍼팅 궤적을 나타낸다. 라인(1415 및 1420) 사이의 퍼팅은 퍼팅이 성공적이지 않은 경우 2피트 미만의 짧은 후속 퍼팅을 초래할 수 있는 반면, 라인(1420 및 1425) 사이의 퍼팅 궤적은 2피트 초과의 후속 퍼팅을 초래할 것이다.
도 15는 성공적인 퍼팅(1510)으로 귀결되는 퍼팅에 대한 발사 방향 및 발사 속도 조합 및, 제2 퍼팅을 위한 핀에 대해 동일한 거리를 갖는 볼 위치로 귀결되는 발사 방향 및 발사 속도 조합을 나타내는, 등고선(1515, 1520)의 도면으로서 퍼팅 브레이크 팬(1500)을 도시한다.
퍼팅의 성공 허용 오차를 결정하기 위한 방법이 제공된다. 성공적인 퍼팅이 만들어지고, 시스템에 의해 추적되고, 결과가 결정되면, 발사 속도 및 발사 방향에 대한 작은 변화를 시뮬레이션하고 초래된 시뮬레이션 결과를 시뮬레이션함하여 성공에 대한 허용 오차를 결정할 수 있다. 실패한 퍼팅의 경우, 퍼팅이 성공하기 위해 발사 조건을 얼마나 많이 변경해야 하는지 유사하게 결정할 수 있다. 이 정보는, 퍼팅의 초기 위치로부터 성공적인 퍼팅을 위한 시작 속도와 발사 방향의 조합을 보여주는 2차원 도면으로서 출력될 수 있다.
일부 상황에서, 골퍼는 퍼팅을 홀에 넣으려 하지 않고, 대신에, 핀에 더 가까운 더 유리한 위치에　볼을　배치하는 퍼팅을 실행하여　후속 퍼팅이 성공할 확률을 향상시키도록 시도한다. 이러한 레이업 퍼팅의 결과는 시뮬레이션 퍼팅에 의해 유사한 방식으로 분석될 수 있다. 발사 속도 대 발사 방향 플롯의 Iso-곡선은　다음 샷을 위한 핀과 유사한 거리를 초래하는　발사 조건을 나타낼 수 있다.
또 다른 양태에서, 역 계산은 3D 볼 트랙 및 그린의 3D 모델로부터 그린의 빠르기를 결정하기 위해 이루어진다. 당업자에 의해 이해되는 바와 같이, 빠르기는 표면에 의해 볼의 이동에 인가되는 저항을 기술하는 그린의 척도(즉, 언덕 등에 대한 중력의 영향과 반대로 롤 동안 표면 품질로 인해　볼이 느려지는 정도)이다. 빠르기는, 볼이 그린의 저항에 의해 느려지는 정도를 측정하고, 따라서, 볼 트랙을 따라 임의의 높이 변화를 고려하여, 속도 감쇠를 계산함으로써 결정될 수 있다. 햇빛, 관개 또는 배수와 같은 요인으로 인해, 빠르기는 그린 전체에 걸쳐 다양할 수 있으며 종종 방향 의존적이다. 그러나, 몇몇 퍼팅의 추적에 기초하여, 성공적인 퍼팅을 위한 퍼팅 궤적 및 허용 오차의 추가 분석을 위해 그린 전체에 대한 빠르기의 2D 맵이 결정될 수 있다.
또 다른 양태에서, 공지된 바운스를 나타내는 카메라 기반 트랙은 카메라와 코스의 3D 모델 간의 교정을 업데이트하는 데 사용될 수 있다. 이러한 교정의 정확성은 비-프로젝션에서 카메라-볼 라인을 정확하게 결정하고, 따라서 교차 모듈에서 정확한 볼 위치를 결정하는 데 중요하다.
전술한 바와 같이, 바운스는 바운스의 시작과 종료의 3D 위치 및 바운스의 지속 시간에 기초한 물리적 모델에 의해 특징화될 수 있다. 바운스의 볼 위치를 이미지 평면 내로 프로젝션함으로써, 프로젝션된 볼 픽셀 위치와 볼 검출의 픽셀 위치를 비교할 수 있다. 카메라 대　3D 모델　교정이 약간 변경되는 경우, 바운스의 새로운 물리적 모델이 생성되며, 이는 차례로 이미지 평면 내로 프로젝션되고 볼 검출과 비교될 수 있다. 따라서, 교정 오프셋은, 물리적 모델 볼 위치의 프로젝션이　검출된 볼 위치와 가장 잘 매칭하게 하는　교정에 대한 변화로 결정될 수 있다.
유사하게, 볼까지의 거리가 바운스의 시작 또는 종료 시점에 레이더로부터 결정될 수 있는 경우, 레이더에 의해 결정된 범위는 교차 모듈에서 결정된 볼까지의 거리와 비교될 수 있고, 3D 모델에 대한 카메라의 교정은, 레이더에 의해 측정된 범위와 가장 매칭하는 교차 모듈의 카메라에서 볼까지의 범위를 얻도록 업데이트될 수 있다. 이러한 업데이트는 적용할 교정 업데이트를 보다 정확하게 결정하기 위해 여러 번의 검출이 이루어진 후에 적용될 수 있거나, 또는 교정 오프셋의 검출에 대한 노이즈를 필터링하기 위해 적응형 필터를 사용할 수 있다. 역으로,　카메라 대　3D 모델　교정이 더 신뢰되는 경우, 카메라 및 3D 모델의 볼 검출로부터 결정된 바운스의 위치를 반영하기 위해 레이더 범위 측정이 업데이트될 수 있다.
도 17c는 다양한 예시적인 실시예에 따라 다가올 퍼팅에 대한 정보를 결정하기 위한 방법(1740)을 도시한다. 방법(1740)을 수행하기 위한 시스템은 도 11 및 도 17a 및 도 17b에서 전술한 시스템과 유사할 수 있으며, 적어도 볼 검출기, 비-프로젝터 및 교차 모듈을 포함하는 처리 배열 및 카메라를 포함한다. 방법(1740)은, 예를 들어, 다음 퍼팅의 분석을 생성하는 데 사용될 수 있다.
1742에서, 전술한 바와 유사하게, 카메라는 일련의 이미지를 캡처하고, 처리 장치는 볼이 이미지 내에 있는지 여부 및 검출된 볼의 (u,v) 좌표 내의 픽셀 위치를 결정하고, 처리 장치는 카메라-볼 라인을 결정하고, 처리 장치는 3D 모델과 카메라-볼 라인의 교차점을 결정한다.
볼의 3D 위치는 그린에서 볼의 휴지 위치이다. 이러한 휴지 위치에 기초하여, 다음 퍼팅에 대한 정보를 결정할 수 있다.
1744에서, 코스의 그린 및 3D 모델의 요약 지식을 사용하고, 퍼팅의 특정 발사 속도 및 발사 방향을 가정하여, 볼의 시뮬레이션된 퍼팅 궤적을 결정할 수 있다. 많은 퍼팅이 상이한 발사 속도 및 발사 방향으로 시뮬레이션되고, 어떤 발사 조건이 성공적인 퍼팅을 초래하는지 관찰된다.
1746에서, 다양한 시뮬레이션 발사 조건이 퍼팅 브레이크 팬 도면에 매핑된다.
도 17d는 다양한 예시적인 실시예에 따라 추적된 퍼팅에 기초하여 퍼팅 그린에 대한 지형 파라미터를 결정하기 위한 방법(1750)을 도시한다. 방법(1750)을 수행하기 위한 시스템은 도 11 및 도 17a 내지 도 17c에서 전술한 시스템과 유사할 수 있으며, 적어도 볼 검출기, 비-프로젝터 및 교차 모듈을 포함하는 처리 배열 및 카메라를 포함한다. 방법(1750)은, 예를 들어, 실행된 퍼팅에 기초하여 그린 조건을 분석하기 위해 사용될 수 있다.
1752에서, 전술한 바와 유사하게, 카메라는 일련의 이미지를 캡처하고, 처리 장치는 볼이 이미지 내에 있는지 여부 및 검출된 볼의 (u,v) 좌표 내의 픽셀 위치를 결정하고, 처리 장치는 카메라-볼 라인을 결정하고, 처리 장치는 3D 모델과 카메라-볼 라인의 교차점을 결정한다. 그러나, 이 단계에서, 카메라는 현재 퍼팅을 추적하기 위한 이러한 위치 결정 기능을 수행한다.
1754에서, 추적된 퍼팅에 대한 속도 감쇠를 포함하여, 퍼팅에 대한 파라미터가 추출된다. 속도 감쇠는 퍼팅의 전체 또는 퍼팅의 복수의 세그먼트에 대해 특징화될 수 있다.
1756에서, 퍼팅 파라미터는 퍼팅된 볼이 그의 경로를 따라 직면하는 고도 차이에 기초하여 정제된다. 이 단계는 바람직하게는 그린의 3D 모델에 기초하여 수행된다. 그러나, 고도 차이는 추적 배열에 의해 직접 추적될 수도 있다.
1758에서, 그린의 빠르기가 결정된다. 위에서 언급한 바와 같이, 햇빛 및 관류와 같은 요인으로 인해, 빠르기는 그린 전체에 걸쳐 변할 수 있고 종종 방향 의존적이다. 그러나, 몇몇 퍼팅의 추적에 기초하여, 성공적인 퍼팅을 위한 퍼팅 궤적 및 허용 오차의 추가 분석을 위해 그린 전체에 대한 빠르기의 2D 맵이 결정될 수 있다.
본 개시는 시스템에 관한 것이며, 상기 시스템은, 복수의 스포츠 플레이어의 시각적 프로필을 포함하는 프로필을 저장하도록 구성된 데이터베이스로서, 각각의 시각적 프로필은 플레이어에 대한 식별 정보를 포함하고, 각각의 프로필은 연관된 playerID를 포함하는, 데이터베이스; 스포츠 플레이어의 이미지를 포함하는 비디오 스트림을 캡처하도록 구성된 카메라; 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤적에 상응하는 데이터를 캡처하도록 구성된 추적 배열; 및 데이터베이스, 카메라 및 추적 배열에 결합된 처리 배열로서, 상기 처리 배열은: 비디오 스트림으로부터 이미지 내의 제1 스포츠 플레이어를 검출하고 제1 검출된 스포츠 플레이어의 시각적 특징을 결정하고; 결정된 시각적 특징을 데이터베이스에 저장된 제1 프로필의 제1 시각적 프로필 및 연관된 제1 playerID와 매칭시키고; 제1 스포츠 샷과 연관된 제1 궤적을 제1 playerID와 연관시키도록 구성되는, 처리 배열을 포함한다.
시각적 프로필은 스포츠 플레이어의 볼 타격 스윙의 특징에 대한 정보를 포함한다. 볼 타격 스윙 특징은 볼 타격 스윙의 생체 역학과 조합된 생체 데이터 포인트를 포함한다. 스포츠 플레이어를 위한 생체 인식 데이터 포인트는 신장, 사지 길이, 및 이에 따른 파라미터를 포함한다. 볼 타격 스윙의 생체 역학은　휘두르는 볼 타격 도구에 대한 사지의 위치 지정 또는 다리에 대한 신체의 비틀림 정도를 포함한다. 시각적 프로필은 스포츠 플레이어의 안면 특징 또는 의복 특징에 대한 정보를 포함한다.
스포츠 플레이어의 의복 특징은 스포츠 이벤트의 시작 시 카메라 또는 추가 카메라에 의해 시각적으로 검출된다. 새로운 프로필 및 연관된 시각적 프로필은, 새로운 스포츠 플레이어의 볼 타격 스윙, 안면 특징 또는 의복 특징에 대한 특징을 분석함으로써 데이터베이스에서 아직 식별되지 않은 새로운 스포츠 플레이어에 대해 생성된다. 프로필은,　처리 배열이 새로운 스포츠 플레이어로부터 표시를 수신하여　새로운 프로필을 생성하고　카메라 또는 추가 카메라가 새로운 스포츠 플레이어의 비디오 스트림을 캡처하여 볼 타격 스윙에 대한 특징, 안면 특징 또는 새로운 스포츠 플레이어의 의복 특징을 분석할　때,　데이터베이스에 생성된다. 제1 스포츠 플레이어에 의해 휴대되고 제1 스포츠 플레이어와 연관된 전자 식별자는, 결정된 시각적 특징의 제1 시각적 프로필에 대한 매칭을 개선하기 위해 처리 배열에 의해 배치된다. 전자 식별자는 GPS 좌표를 처리 배열에 송신하는 장치를 포함한다. 스포츠 플레이어는 골퍼이고, 처리 배열은　골프 로직을 이용하는 알고리즘을 실행하여,　제1 시각적 프로필에 제1 검출된 스포츠 플레이어의 결정된 시각적 특징을 매칭시킬 때 고려되는 데이터베이스 내의 프로필의 목록을 좁히는 것에 의해　제1 검출된 스포츠 플레이어의 결정된 시각적 특징의 제1 시각적 프로필 및 연관된 제1 playerID에 대한 매칭을 향상시키도록 추가로 구성된다.
골프 로직은 골퍼의 그룹, 골프 홀 레이아웃, 또는 골프 코스 레이아웃과 관련된 로직을 포함한다. 골프 로직은, 추적 배열로부터의 데이터에 기초하여 결정된 바와 같이, 제1 검출된 스포츠 플레이어와 연관된 제1 스포츠 볼의 추정 현재 라이에 관한 로직을 포함한다. 알고리즘은 골퍼를 검출하고 시각적 프로필에 매칭시키도록 학습된 신경망을 포함한다. 신경망은 골퍼의 시각적 특징의 변화에 기초하여 플레이 전반에 걸쳐 업데이트된다. 신경망은 각각의 스포츠 플레이어 검출 및 시각적 프로필에 대한 매칭 후, 다수의 스포츠 플레이어 검출 및 시각적 프로필에 대한 매칭 후, 또는 이전의 플레이어 검출로부터 소정의 지속 시간 후에 업데이트된다. 처리 배열은, 제1 궤적에 대한 파라미터 및 연관된 playerID를 방송에 출력하도록 추가로 구성된다. 처리 배열은 제1 궤적에 대한 파라미터를 제1 스포츠 플레이어의 다음 샷 전에 playerID와 연관된 제1 스포츠 플레이어의 개인 장치에 출력하도록 추가로 구성된다. 제1 궤적에 대한 파라미터는,　개인 장치 상의 애플리케이션이 라이 위치를 표시하고 제2 스포츠 볼을 찾는 데 도움이 되는 정보를 제공할 수 있도록,　제2 스포츠 볼이 휴지된 후 제2 스포츠 볼에 대한 측정된 또는 추정된 라이 위치를 포함한다.
스포츠 플레이어는 골퍼이고, 제1 궤적에 대한 파라미터는, 제1 골퍼가 친 볼이 스포츠 플레이어가 플레이하는 골프 코스의 제1 영역의 위치에 휴지되었다는 표시를 포함하고, 제1 영역은 이와 연관된 특별한 규칙을 가지며, 파라미터는 제1 골퍼가 상기 위치와 특별 규칙에 기초하여 다음 샷을 시도할 수 있는 제2 영역의 표시를 추가로 포함한다. 처리 배열은 스포츠 이벤트 동안 제1 스포츠 플레이어가 시도한 모든 샷의 모든 궤적에 대한 파라미터를 포함하는 요약을 수집하도록 추가로 구성된다. 스포츠 플레이어는 골퍼이고, 처리 배열은, 제1 스포츠 플레이어가 시도한 제1 샷을 위해 제1 스포츠 플레이어가 사용한 골프 클럽의 유형을 검출하고; 검출된 유형의 골프 클럽을 제1 궤적과 연관시키도록 추가로 구성된다. 골프 클럽의 유형은, 복수의 상이한 유형의 골프 클럽을 인식하도록 학습된 신경망을 사용하여 비디오 스트림에서 검출된다. 골프 클럽의 유형은, 골프 클럽이 사용 중일 때 골프 클럽에 부착된 전자 태그로부터 방출된 신호에 기초하여 검출된다. 처리 배열은 데이터베이스가 제1 궤적에 대한 파라미터를 제1 시각적 프로필에 연관시킬 수 있도록 데이터베이스로 제1 궤적에 대한 파라미터를 출력하도록 추가로 구성된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 카메라에 의해 캡처된 비디오 스트림으로부터 이미지 내의 제1 스포츠 플레이어를 검출하는 단계; 상기 제1 검출된 스포츠 플레이어의 시각적 특징을 결정하는 단계; 상기 결정된 시각적 특징을　데이터베이스에 저장된　제1 프로필의 제1 시각적 프로필 및 연관된 제1 playerID에 매칭시키되, 상기 데이터베이스는 복수의 스포츠 플레이어의 시각적 프로필을 포함하는 프로필을 저장하고, 각각의 시각적 프로필은 플레이어에 대한 식별 정보를 포함하고,　각각의 프로필은　연관된 playerID를 포함하는 단계; 및 제1 스포츠 볼과 연관된 제1 궤적을 상기 제1 playerID와 연관시키되, 상기 제1 궤적은 추적 배열에 의해 캡쳐된 상기 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤적에 해당하는 데이터로부터 결정되는 단계.
본 개시는 또한　다음을 포함하는 작동을 수행하도록 구성된　데이터베이스, 카메라 및 추적 배열에 결합된 프로세서에 관한 것이다: 상기 카메라에 의해 캡처된 비디오 스트림으로부터의 이미지에서 제1 스포츠 플레이어를 검출하는 단계; 상기 제1 검출된 스포츠 플레이어의 시각적 특징을 결정하는 단계; 상기 결정된 시각적 특징을 상기 데이터베이스에 저장된　제1 프로필의 제1 시각적 프로필 및 연관된 제1 playerID에 매칭시키되, 상기 데이터베이스는 복수의 스포츠 플레이어의 시각적 프로필을 포함하는 프로필을 저장하고, 각각의 시각적 프로필은 플레이어에 대한 식별 정보를 포함하고,　각각의 프로필은　연관된 playerID를 포함하는 단계; 및 제1 스포츠 볼과 연관된 제1 궤적을 상기 제1 playerID와 연관시키되, 상기 제1 궤적은 상기 추적 배열에 의해 캡쳐된 상기 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤적에 해당하는 데이터로부터 결정되는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 복수의 스포츠 플레이어 각각에 대한 프로필을 저장하도록 구성된 데이터베이스로서, 각각의 프로필은 상기 플레이어 중 하나에 대한 식별 정보 및 상기 스포츠 플레이어 중 하나와 연관된 playerID를 포함하는, 데이터베이스; 상기 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤적에 해당하는 샷 데이터를 캡처하도록 구성된 추적 배열; 플레이어 또는 볼 충격 수단의 스윙 모션에 해당하는 모션 데이터를 캡처하도록 구성된 모션 센서 장치; 및 상기 데이터베이스, 상기 추적 배열 및 상기 모션 센서 장치에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 상기 모션 센서 장치에 의해 캡처된 상기 모션 데이터로부터 제1 스포츠 플레이어의 제1 스윙을 검출하되, 상기 제1 스포츠 플레이어는 제1 playerID와 연관되고; 상기 제1 스포츠 플레이어의 제1 스윙을　상기 제1 스윙에 대해 검출된　제1 타임스탬프 및 제1 위치와 연관시키고; 상기 제1 타임스탬프 및 상기 제1 위치에 기초하여 상기 제1 스윙에 해당하는 제1 샷에 해당하는 상기 추적 배열에 의해 캡처된 상기 샷 데이터로부터 스포츠 볼의 제1 궤적을 연관시키도록 구성된다.
상기 시스템은 상기 제1 스윙에 해당하는 스윙 데이터, 상기 제1 타임스탬프, 상기 제1 위치 및 추가　스윙에 상응하는　추가 타임스탬프 및 추가 위치를 갖는 상기 추가 스윙의 후속 검출을 저장하고, 제1 스윙 및 상기 추가 스윙은 상기 상응하는 제1 타임스탬프 및 제1 위치 및 상기 추가 타임스탬프 및 상기 추가 위치에 기초하여 상기 제1 스포츠 플레이어에 대한 플레이의 종료 시에 상기 제1 스윙 및 상기 추가 스윙의 궤적과 각각 매칭된다. 모션 센서 장치 또는 상기 모션 센서 장치와 연관된 추가 장치는 제1 스윙의 위치를 결정하기 위한 GPS 기능을 갖는다. 제1 스포츠 플레이어에 의해 휴대되고 제1 스포츠 플레이어와 연관된 전자 식별자를 검출하여 제1 스윙의 위치를 결정한다. 스포츠 플레이어는 골퍼이고, 처리 배열은　골프 로직을 이용하는 알고리즘을 실행하여, 매칭을 수행할 때 고려되는 데이터베이스 내의 프로필의 목록을 좁혀서 제1 스윙의 제1 궤적에 대한 매칭을 개선하도록 추가로 구성된다.
골프 로직은 골퍼의 그룹, 골프 홀 레이아웃, 또는 골프 코스 레이아웃과 관련된 로직을 포함한다. 골프 로직은, 추적 배열로부터의 데이터에 기초하여 결정된 바와 같이, 제1 스포츠 플레이어의 볼의 추정된 현재 라이에 관한 로직을 포함한다. 처리 배열은 제1 궤적에 대한 파라미터를 제1 스포츠 플레이어의 다음 샷 전에 playerID와 연관된 제1 스포츠 플레이어의 개인 장치에 출력하도록 추가로 구성된다. 제1 궤적에 대한 파라미터는, 개인 장치 상의 애플리케이션이 해당 스포츠 볼의 발견을 용이하게 하는 데이터를 제공할 수 있도록, 상응하는 스포츠 볼이 휴지된 후, 상응하는 스포츠 볼 중 하나에 대한 추정된 라이 위치를 포함한다. 스포츠 플레이어는 골프 코스에서 플레이하는 골퍼이며, 제1 궤적에 대한 파라미터는 제1 골퍼에 의한 볼이 골프 코스의 제1 영역 내의 위치에서 휴지된다는 표시를 포함하고, 제1 영역은 이와 연관된 특별한 규칙을 가지며, 파라미터는 제1 골퍼가 상기 위치 및 특별 규칙에 따라 다음 샷을 시도할 수 있는 제2 영역의 표시를 더 포함한다.
처리 배열은 스포츠 이벤트 동안 제1 스포츠 플레이어가 시도한 모든 샷의 모든 궤적에 대한 파라미터를 포함하는 요약을 수집하도록 추가로 구성된다. 스포츠 플레이어는 골퍼이고, 처리 배열은, 제1 골프 샷에 대해 제1 스포츠 플레이어가 사용한 골프 클럽의 유형을 검출하고; 검출된 유형의 골프 클럽을 제1 궤적과 연관시키도록 추가로 구성된다. 골프 클럽의 유형은, 클럽이 사용 중일 때 골프 클럽에 부착된 전자 태그로부터 방출된 신호에 기초하여 검출된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 모션 센서 장치에 의해 캡처된 모션 데이터로부터 제1 playerID와 연관된 제1 스포츠 플레이어의 제1 스윙을 검출하되, 상기 모션 센서 장치는 플레이어 또는 볼 타격 도구에 상응하는 모션 데이터를 캡처하고, 데이터베이스는 복수의 스포츠 플레이어 각각에 대한 프로필을 저장하고, 각각의 프로필은 상기 플레이어 중 하나에 대한 식별 정보 및 상기 스포츠 플레이어 중 하나와 연관된 playerID를 포함하는 단계; 상기 제1 스포츠 플레이어의 제1 스윙을 타임스탬프 및 위치와 연관시키는 단계; 및 상기 타임스탬프 및 상기 위치에 기초하여 상기 제1 스윙에 스포츠 볼의 제1 궤적을 연관시키되, 상기 제1 궤적은 추적 배열에 의해 캡쳐된 상기 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤적에 해당하는 데이터로부터 결정되는 단계.
본 개시는 또한　다음을 포함하는 작동을 수행하도록 구성된　데이터베이스, 모션 센서 장치 및 추적 배열에 결합된 프로세서에 관한 것이다: 상기 모션 센서 장치에 의해 캡처된 모션 데이터로부터 제1 playerID와 연관된 제1 스포츠 플레이어의 제1 스윙을 검출하되, 상기 모션 센서 장치는 플레이어 또는 볼 타격 도구에 상응하는 모션 데이터를 캡처하고, 상기 데이터베이스는 복수의 스포츠 플레이어 각각에 대한 프로필을 저장하고, 각각의 프로필은 상기 플레이어 중 하나에 대한 식별 정보 및 상기 스포츠 플레이어 중 하나와 연관된 playerID를 포함하는 단계; 및 상기 제1 스포츠 플레이어의 제1 스윙을 타임스탬프 및 위치와 연관시키는 단계; 및 상기 타임스탬프 및 상기 위치에 기초하여 상기 제1 스윙에 스포츠 볼의 제1 궤적을 연관시키되, 상기 제1 궤적은 상기 추적 배열에 의해 캡쳐된 상기 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤적에 해당하는 데이터로부터 결정되는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 복수의 스포츠 플레이어 각각에 대한 프로필을 저장하도록 구성된 데이터베이스로서, 각각의 프로필은 상기 플레이어 중 하나에 대한 식별 정보 및 상기 스포츠 플레이어 중 하나와 연관된 playerID를 포함하는, 데이터베이스; 상기 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤적에 해당하는 샷 데이터를 캡처하도록 구성된 추적 배열; 및 제1 playerID와 연관된 상기 복수의 스포츠 플레이어 중 제1 스포츠 플레이어와 연관된 위치 결정 장치로서, 상기 위치 결정 장치는 주어진 시간에 상기 위치 결정 장치의 위치에 근접한 위치 데이터를 캡처하도록 구성되는, 위치 결정 장치; 및 상기 데이터베이스, 상기 추적 배열 및 상기 위치 결정 장치에 결합된 처리 배열을 포함하고, 상기 위치 결정 장치는: 상기 샷 데이터에서, 제1 스포츠 볼의 제1 궤적을 검출하고; 상기 제1 스포츠 볼이 발사된 제1 위치 및 상기 제1 스포츠 볼이 발사된 제1 시간을 결정하고; 상기 제1 시간을 포함하는 지속 시간에 걸쳐 상기 위치 결정 장치의 위치를 포함하는 위치 데이터를 수신하되, 상기 위치 각각은 타임스탬프와 연관되고; 상기 상기 제1 궤적과 관련된 상기　제1 위치 및 상기　제1 시간이 상기 위치 데이터에서의 제1 위치 및 제1 타임스탬프와 매칭된다고 결정하고; 상기 제1 스포츠 볼의 제1 궤적을 상기 제1 playerID와 연관시키도록 구성된다.
제1 위치 및 제1 시간을 제1 위치 및 제1 타임스탬프와 매칭시키는 단계는: 제1 위치와　세계 좌표계에서의　제1 위치를 결정하는 단계; 및　제1 위치와　소정의 거리 내에서의 제1 위치 사이의 상응 관계를 결정하는 단계를 포함한다. 시스템은 제1 스포츠 플레이어의 제1 골프 라운드에 대한 위치 데이터를 저장하고, 샷 데이터에서 검출된 궤적은 제1 골프 라운드의 종료 시의 위치 데이터에 각각 매칭된다. 위치 결정 장치는 위치 데이터를 결정하기 위한 GPS 기능을 갖는다. 스포츠 플레이어는 골퍼이고, 처리 배열은　골프 로직을 이용하는 알고리즘을 실행하여　매칭을 수행하는 데 고려되는 데이터베이스 내의 프로필의 목록을 좁혀　제1 위치 및 제1 시간을　제1 위치 및 제1 타임스탬프와의 매칭을 개선하도록 추가로 구성된다.
골프 로직은 골퍼의 그룹, 골프 홀 레이아웃, 또는 골프 코스 레이아웃과 관련된 로직을 포함한다. 골프 로직은, 추적 배열로부터의 데이터에 기초하여 결정된 바와 같이, 제1 스포츠 플레이어의 볼의 추정된 현재 라이에 관한 로직을 포함한다. 처리 배열은 제1 궤적에 대한 파라미터를 제1 스포츠 플레이어의 다음 샷 전에 playerID와 연관된 제1 스포츠 플레이어의 개인 장치에 출력하도록 추가로 구성된다. 제1 궤적에 대한 파라미터는,　개인 장치 상의 애플리케이션이 제1 궤적에 상응하는 스포츠 볼의 발견을 용이하게 하는 데이터를 제공할 수 있도록,　제1 궤적에 상응하는 스포츠 볼이 휴지된 후 제1 궤적에 상응하는 스포츠 볼에 대한 추정된 라이 위치를 포함한다. 스포츠 플레이어는 골프 코스에서 플레이하는 골퍼이며, 제1 궤적에 대한 파라미터는 제1 골퍼에 의한 볼이 골프 코스의 제1 영역 내의 위치에서 휴지된다는 표시를 포함하고, 제1 영역은 이와 연관된 특별한 규칙을 가지며, 파라미터는 제1 골퍼가 상기 위치 및 특별 규칙에 따라 다음 샷을 시도할 수 있는 제2 영역의 표시를 더 포함한다.
처리 배열은 스포츠 이벤트 동안 제1 스포츠 플레이어가 시도한 모든 샷의 모든 궤적에 대한 파라미터를 포함하는 요약을 수집하도록 추가로 구성된다. 스포츠 플레이어는 골퍼이고, 처리 배열은, 제1 궤적에 상응하는 제1 골프 샷에 대해 제1 스포츠 플레이어가 사용한 골프 클럽의 유형을 검출하고; 검출된 유형의 골프 클럽을 제1 궤적과 연관시키도록 추가로 구성된다. 골프 클럽의 유형은, 클럽이 사용 중일 때 골프 클럽에 부착된 전자 태그로부터 방출된 신호에 기초하여 검출된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤도에 상응하는 추적 배열에 의해 캡처된 샷 데이터에서, 제1 스포츠 볼의 제1 궤적을 검출하는 단계; 상기 제1 스포츠 볼이 발사된 제1 위치 및 상기 제1 스포츠 볼이 발사된 제1 시간을 결정하는 단계; 제1 playerID와 연관된 제1 스포츠 플레이어와 연관된 위치 결정 장치로부터 위치 데이터를 수신하되, 데이터베이스는 복수의 스포츠 플레이어 각각에 대한 프로필을 저장하고, 각각의 프로필은 상기 플레이어 중 하나 및 상기 스포츠 플레이어 중 하나와 연관된 playerID에 대한 식별 정보를 포함하고, 상기 위치 데이터는 주어진 시간에 상기 위치 결정 장치의 위치에 근접하고, 상기 위치 데이터는 상기 제1 시간을 포함하는 지속 시간 동안 상기 위치 결정 장치의 위치를 포함하고, 상기 위치 각각은 타임스탬프와 연관되는 단계; 상기 상기 제1 궤적과 관련된 상기　제1 위치 및 상기　제1 시간이 상기 위치 데이터에서의 제1 위치 및 제1 타임스탬프와 매칭된다고 결정하는 단계; 및 상기 제1 스포츠 볼의 제1 궤적을 상기 제1 playerID와 연관시키는 단계.
본 개시는 또한　다음을 포함하는 작동을 수행하도록 구성된　데이터베이스, 추적 배열 및 위치 결정 장치에 결합된 프로세서에 관한 것이다: 스포츠 플레이어에 의해 발사된 스포츠 볼의 궤도에 상응하는 상기 추적 배열에 의해 캡처된 샷 데이터에서, 제1 스포츠 볼의 제1 궤적을 검출하는 단계; 상기 제1 스포츠 볼이 발사된 제1 위치 및 상기 제1 스포츠 볼이 발사된 제1 시간을 결정하는 단계; 제1 playerID와 연관된 제1 스포츠 플레이어와 연관된 상기 위치 결정 장치로부터 위치 데이터를 수신하되, 상기 데이터베이스는 복수의 스포츠 플레이어 각각에 대한 프로필을 저장하고, 각각의 프로필은 상기 플레이어 중 하나 및 상기 스포츠 플레이어 중 하나와 연관된 playerID에 대한 식별 정보를 포함하고, 상기 위치 데이터는 주어진 시간에 상기 위치 결정 장치의 위치에 근접하고, 상기 위치 데이터는 상기 제1 시간을 포함하는 지속 시간 동안 상기 위치 결정 장치의 위치를 포함하고, 상기 위치 각각은 타임스탬프와 연관되는 단계; 상기 상기 제1 궤적과 관련된 상기　제1 위치 및 상기　제1 시간이 상기 위치 데이터에서의 제1 위치 및 제1 타임스탬프와 매칭된다고 결정하는 단계; 및 상기 제1 스포츠 볼의 제1 궤적을 상기 제1 playerID와 연관시키는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성된 로봇 카메라로서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 상기 로봇 카메라의 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 로봇 카메라; 및 상기 로봇 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 상기 로봇 카메라의 초기 배향이 세계 좌표계에서 알려지도록 상기 로봇 카메라를 미리 교정하고 상기 로봇 카메라에 의해 사용되는 복수의 상이한 줌 레벨 각각을 각각의 내인성 파라미터 값과 연관시키고; 제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되고; 상기 로봇 카메라로부터 상기 제1 이미지와 연관된 제1 줌 레벨 및 상기 제1 줌 레벨과 연관된 상기 내인성 파라미터 값을 판독하고; 상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트에 기초하여 상기 로봇 카메라의 제1 배향을 결정하고; 상기 스포츠 볼의 검출된 제1 이미지 위치, 상기 결정된 제1 배향 및 상기 제1 줌 레벨에 대한 상기 내인성 파라미터 값에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고; 상기 로봇 카메라에 대한 외인성 정보에 기초하여 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서의 상기 스포츠 볼의 3차원 위치를 결정하도록 구성된다.
이미지 제1 위치에서, 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있고, 로봇 카메라에 대한 외인성 정보는 스포츠 볼의 3차원 위치를 포함하는 스포츠 플레이 영역의 적어도 일부의 3차원 모델로부터 수신된 정보를 포함하고, 처리 배열은 라인과 3차원 모델의 교차를 위치시킴으로써 스포츠 볼의 3차원 위치를 결정한다. 시스템은 로봇 카메라에 고정된 팬 및 틸트 센서를 더 포함하며, 처리 배열은 팬 및 틸트 센서로부터의 초기 배향에 대한 로봇 카메라의 팬 및 틸트를 판독하도록 추가로 구성된다.
로봇 카메라의 팬 및 틸트는 로봇 카메라를 제1 배향으로 조정하는 데 사용되는 제어 신호로부터 결정되며, 여기서 제어 신호는 제1 이미지의 캡처 전에 캡처된 스포츠 볼에 대한 추적 데이터에 응답하여 생성된다. 로봇 카메라는 캡처된 데이터 또는 외부 명령에 응답하여 크롭을 자동으로 조정하도록 추가로 구성된다. 내인성 파라미터는 초점 길이, 주점, 및 렌즈 왜곡을 포함한다. 로봇 카메라에 대한 외인성 정보는 로봇 카메라로부터의 스포츠 볼의 거리에 관한 센서로부터의 정보를 포함한다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 로봇 카메라의 초기 배향이 세계 좌표계에서 알려지도록 상기 로봇 카메라를 미리 교정하고 상기 로봇 카메라에 의해 사용되는 복수의 줌 레벨 각각을 각각의 내인성 파라미터 값과 연관시키되, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되는 단계; 상기 로봇 카메라로부터의 제1 줌 레벨 및 상기 제1 이미지에 상응하는 상기 로봇 카메라의 제1 줌 레벨에 대한 상기 연관된 내인성 파라미터 값을 판독하는 단계; 상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트에 기초하여 상기 로봇 카메라의 제1 배향을 결정하는 단계; 상기 스포츠 볼의 검출된 제1 이미지 위치, 상기 결정된 제1 배향 및 상기 제1 줌 레벨에 대한 상기 내인성 파라미터 값에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 상기 로봇 카메라에 대한 외인성 정보에 기초하여 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서의 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 로봇 카메라에 결합된 프로세서에 관한 것이다: 상기 로봇 카메라의 초기 배향이 세계 좌표계에서 알려지고 상기 로봇 카메라에 의해 사용되는 각각의 상이한 줌 레벨은 각각의 내인성 파라미터 값과 연관되도록　상기 로봇 카메라를 미리 교정하되, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되는 단계; 상기 로봇 카메라로부터의 제1 줌 레벨 및 상기 제1 이미지에 상응하는 상기 제1 줌 레벨에 대한 상기 연관된 내인성 파라미터 값을 판독하는 단계; 상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트에 기초하여 상기 로봇 카메라의 제1 배향을 결정하는 단계; 상기 스포츠 볼의 검출된 제1 이미지 위치, 상기 결정된 제1 배향 및 상기 제1 줌 레벨에 대한 상기 내인성 파라미터 값에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 상기 로봇 카메라에 대한 외인성 정보에 기초하여 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서의 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 세계 좌표계에서 소정의 위치를 갖는 로봇 카메라로서, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 로봇 카메라; 및 상기 로봇 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되고; 상기 로봇 카메라의 배향의 초기 조정 후에 캡처된 상기 제1 이미지 또는 추가 이미지에서 상기 이미지 좌표계의 기준점을 검출하여 상기　기준점을 이의 시야 내로 가져오되, 상기 기준점의 3차원 위치는 상기 세계 좌표계에서 알려져 있고; 상기 기준점이 제2 이미지의 상기 제1 이미지 위치에 위치하도록 상기 로봇 카메라의 배향을 제2 배향으로 조정하고; 상기 제1 배향과 상기 제2 배향 사이의 배향 차이를 결정하고; 상기 로봇 카메라에 대한 상기 기준점의 3차원 위치 및 상기 제1 방향과 상기 제2 방향 사이의 상기 배향 차이에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고; 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하도록 구성된다.
제1 이미지 위치에서, 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있고, 스포츠 볼의 3차원 위치는 스포츠 볼의 3차원 위치를 포함하는 스포츠 플레이 영역의 적어도 일부분의 3차원 모델과 라인 사이의 교차의 식별에 기초하여 결정된다.
제2 이미지는 제1 이미지에 대해 줌 레벨을 조정하지 않고 캡처된다. 시스템은 로봇 카메라에 고정된 팬 및 틸트 센서를 더 포함하고, 처리 배열은 팬 및 틸트 센서로부터 제1 배향과 제2 배향 사이의 배향 차이를 판독하도록 추가로 구성된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 로봇 카메라로 캡처되고, 상기 로봇 카메라는 세계 좌표계에서 소정의 위치를 갖고, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 상기 로봇 카메라의 배향의 초기 조정 후에 캡처된 상기 제1 이미지 또는 추가 이미지에서 상기 이미지 좌표계의 기준점을 검출하여 상기　기준점을 이의 시야 내로 가져오되, 상기 기준점의 3차원 위치는 상기 세계 좌표계에서 알려져 있는 단계; 상기 기준점이 제2 이미지의 상기 제1 이미지 위치에 위치하도록 상기 로봇 카메라의 배향을 제2 배향으로 조정하는 단계; 상기 제1 배향과 상기 제2 배향 사이의 배향 차이를 결정하는 단계; 상기 로봇 카메라에 대한 상기 기준점의 3차원 위치 및 상기 제1 방향과 상기 제2 방향 사이의 상기 배향 차이에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및 상기 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 로봇 카메라에 관한 것이다: 제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되고, 상기 로봇 카메라는 세계 좌표계에서 소정의 위치를 갖고, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 상기 로봇 카메라의 배향의 초기 조정 후에 캡처된 상기 제1 이미지 또는 추가 이미지에서 상기 이미지 좌표계의 기준점을 검출하여 상기　기준점을 이의 시야 내로 가져오되, 상기 기준점의 3차원 위치는 상기 세계 좌표계에서 알려져 있는 단계; 상기 기준점이 제2 이미지의 상기 제1 이미지 위치에 위치하도록 상기 로봇 카메라의 배향을 제2 배향으로 조정하는 단계; 상기 제1 배향과 상기 제2 배향 사이의 배향 차이를 결정하는 단계; 상기 로봇 카메라에 대한 상기 기준점의 3차원 위치 및 상기 제1 방향과 상기 제2 방향 사이의 상기 배향 차이에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 스포츠 볼의 위치에 해당하는 제1 데이터를 캡처하도록 구성된 로봇 카메라인 제1 카메라로서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 제1 카메라; 상기 스포츠 볼의 위치에 해당하는 제2 데이터를 캡처하도록 구성된 세계 좌표계로 교정된 제2 카메라; 및 상기 로봇 카메라 및 상기 제2 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는　상기 로봇 카메라의　제1 배향으로 캡처되고; 상기 제1 이미지에서 적어도 제1 특징을 검출하고; 상기 제2 카메라에 의해 캡처된 제2 이미지에서 상기 제1 특징을 검출하고; 상기 제2 카메라 교정에 기초하여 상기 세계 좌표계에서 상기 제1 특징의 3차원 위치를 결정하고; 상기 제1 특징에 기초하여 상기 제1과 제2 이미지 사이의 특징 매칭을 수행하여　상기 제2 이미지 내에서 상기 제1 이미지 위치를 지정하고; 상기 세계 좌표계에서의 상기 제1 특징의 3차원 위치　및 상기 스포츠 볼의 제1 이미지 위치에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고; 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하도록 구성된다.
제1 이미지 위치에서, 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있고, 스포츠 볼의 3차원 위치는 스포츠 볼의 3차원 위치를 포함하는 스포츠 플레이 영역의 적어도 일부분의 3차원 모델과 라인 사이의 교차에 기초하여 결정된다. 제2 카메라는 제1 카메라와 함께 위치된다. 스포츠 플레이 영역은 골프 코스이며, 여기서 제1 특징은 나무, 벙커, 호수, 골프 깃발, 그린을 포함한다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 카메라의 제1 배향으로 캡처되고, 상기 제1 카메라는 스포츠 볼의 위치에 해당하는 제1 데이터를 캡처하도록 구성된 로봇 카메라이고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 상기 제1 이미지에서 적어도 제1 특징을 검출하는 단계; 제2 카메라에 의해 캡처된 제2 이미지에서 상기 제1 특징을 검출하되, 상기 제2 카메라는 세계 좌표계로 교정되고 상기 스포츠 볼의 위치에 해당하는 제2 데이터를 캡처하도록 구성되는 단계; 상기 제2 카메라 교정에 기초하여 상기 세계 좌표계에서 상기 제1 특징의 3차원 위치를 결정하는 단계; 상기 제1 특징에 기초하여 상기 제1과 제2 이미지 사이의 특징 매칭을 수행하여　상기 제2 이미지 내에서 상기 제1 이미지 위치를 지정하는 단계; 상기 세계 좌표계에서의 상기 제1 특징의 3차원 위치　및 상기 스포츠 볼의 제1 이미지 위치에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 제1 카메라 및 제2 카메라에 결합된 처리 배열에 관한 것이다: 제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 상기 제1 카메라의 제1 배향으로 캡처되고, 상기 제1 카메라는 스포츠 볼의 위치에 해당하는 제1 데이터를 캡처하도록 구성된 로봇 카메라이고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 상기 제1 이미지에서 적어도 제1 특징을 검출하는 단계; 상기 제2 카메라에 의해 캡처된 제2 이미지에서 상기 제1 특징을 검출하되, 상기 제2 카메라는 세계 좌표계로 교정되고 상기 스포츠 볼의 위치에 해당하는 제2 데이터를 캡처하도록 구성되는 단계; 상기 제2 카메라 교정에 기초하여 상기 세계 좌표계에서 상기 제1 특징의 3차원 위치를 결정하는 단계; 상기 제1 특징에 기초하여 상기 제1과 제2 이미지 사이의 특징 매칭을 수행하여　상기 제2 이미지 내에서 상기 제1 이미지 위치를 지정하는 단계; 상기 세계 좌표계에서의 상기 제1 특징의 3차원 위치　및 상기 스포츠 볼의 제1 이미지 위치에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성된 로봇 카메라로서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 로봇 카메라; 및 상기 로봇 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 복수의 이미지의 이미지 좌표계에서 상기 스포츠 볼의 이미지 위치를 검출하되, 제1 이미지에서 상기 스포츠 볼의 제1 이미지 위치는 상기 로봇 카메라의 제1 배향으로 캡처되고; 제1 기준점 및 제2 기준점이 상기 로봇 카메라의 시야에 위치하도록　상기 로봇 카메라의 줌 레벨을 제2 줌 레벨로 조정하되,　상기 줌 레벨이 조정되는 동안　상기 스포츠 볼의 이미지 위치가 추적되고; 제2 이미지의 상기 이미지 좌표계에서 상기 제1 기준점의 제2 이미지 위치 및 상기 제2 기준점의 제3 이미지 위치를 검출하고; 상기 제2 이미지에서 상기 스포츠 볼의 제4 이미지 위치를 결정하고; 상기 제2 이미지 위치 및 상기 제3 이미지 위치를 상기 로봇 카메라에 대한 상기 제1 기준점 및 상기 제2 기준점에 대해 소정의 각도와 상관시킴으로써 상기 제2 이미지 위치 및 상기 제3 이미지 위치에 대한 상기 제4 이미지 위치의 각도 위치를 결정하고; 상기 제1 이미지 위치, 상기 제2 줌 레벨, 및 상기 제2 및 제3 이미지 위치에 대한 상기 제1 이미지 위치의 각도 위치에 기초하여 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고; 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하도록 구성된다.
제1 이미지 위치에서, 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있으며, 여기서 스포츠 볼의 3차원 위치는 스포츠 볼의 3차원 위치를 포함하는 스포츠 플레이 영역의 적어도 일부분의 3차원 모델과 라인 사이의 교차를 식별함으로써 결정된다. 제2 이미지는 제1 이미지에 대한 배향을 조정하지 않고 캡처된다. 스포츠 볼이 제2 이미지에서 보이지 않는 경우, 제2 이미지에서의 스포츠 볼의 제4 이미지 위치는 줌 레벨이 조정되는 동안 스포츠 볼의 이미지 위치의 추적에 기초하여 추론된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 이미지 좌표계의 복수의 이미지에서 스포츠 볼의 이미지 위치를 검출하되, 제1 이미지의 상기 스포츠 볼의 제1 이미지 위치는 로봇 카메라의 제1 배향으로 캡처되고, 상기 로봇 카메라는 상기 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 제1 기준점 및 제2 기준점이 상기 로봇 카메라의 시야에 위치하도록　상기 로봇 카메라의 줌 레벨을 제2 줌 레벨로 조정하되,　상기 줌 레벨이 조정되는 동안　상기 스포츠 볼의 이미지 위치가 추적되는 단계; 제2 이미지의 상기 이미지 좌표계에서 상기 제1 기준점의 제2 이미지 위치 및 상기 제2 기준점의 제3 이미지 위치를 검출하는 단계; 상기 제2 이미지에서 상기 스포츠 볼의 제4 이미지 위치를 결정하는 단계; 상기 제2 이미지 위치 및 상기 제3 이미지 위치를 상기 로봇 카메라에 대한 상기 제1 기준점 및 상기 제2 기준점에 대해 소정의 각도와 상관시킴으로써 상기 제2 이미지 위치 및 상기 제3 이미지 위치에 대한 상기 제4 이미지 위치의 각도 위치를 결정하는 단계; 상기 제1 이미지 위치, 상기 제2 줌 레벨, 및 상기 제2 및 제3 이미지 위치에 대한 상기 제1 이미지 위치의 각도 위치에 기초하여 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 로봇 카메라에 결합된 프로세서에 관한 것이다: 복수의 이미지의 이미지 좌표계에서 스포츠 볼의 이미지 위치를 검출하되, 제1 이미지의 상기 스포츠 볼의 제1 이미지 위치는 상기 로봇 카메라의 제1 배향으로 캡처되고, 상기 로봇 카메라는 상기 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계; 제1 기준점 및 제2 기준점이 상기 로봇 카메라의 시야에 위치하도록　상기 로봇 카메라의 줌 레벨을 제2 줌 레벨로 조정하되,　상기 줌 레벨이 조정되는 동안　상기 스포츠 볼의 이미지 위치가 추적되는 단계; 제2 이미지의 상기 이미지 좌표계에서 상기 제1 기준점의 제2 이미지 위치 및 상기 제2 기준점의 제3 이미지 위치를 검출하는 단계; 상기 제2 이미지에서 상기 스포츠 볼의 제4 이미지 위치를 결정하는 단계; 상기 제2 이미지 위치 및 상기 제3 이미지 위치를 상기 로봇 카메라에 대한 상기 제1 기준점 및 상기 제2 기준점에 대해 소정의 각도와 상관시킴으로써 상기 제2 이미지 위치 및 상기 제3 이미지 위치에 대한 상기 제4 이미지 위치의 각도 위치를 결정하는 단계; 상기 제1 이미지 위치, 상기 제2 줌 레벨, 및 상기 제2 및 제3 이미지 위치에 대한 상기 제1 이미지 위치의 각도 위치에 기초하여 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 스포츠 볼의 궤적에 해당하는 데이터를 캡처하도록 구성된 센서 시야를 갖는 제1 센서; 상기 스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 시야를 갖는 제1 방송 카메라; 및 상기 제1 센서 및 상기 제1 방송 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 제1 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 상기 제1 방송 카메라에 대한 상기 제1 센서를 교정하되, 상기 교정은 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제1 방송 카메라의 파라미터 사이의 관계를 더 포함하고; 상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 상기 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하고; 상기 스포츠 볼이 상기 센서 시야를 횡단할 때 상기 스포츠 볼 궤적에 대한 상기 데이터에 기초하여 궤적 파라미터를 결정하고; 상기 스포츠 볼의 경로를 나타내는 트레이서를 상기 방송 비디오 피드에 삽입하되, 상기 트레이서는 상기 제1 센서와 상기 제1 방송 카메라 사이의 상기 교정에 기초하여 생성되도록 구성된다.
제1 센서는 추적 카메라이다. 처리 배열은, 추적 카메라와 제1 방송 카메라로부터의 이미지들 간의 특징 매칭에 의해 제1 방송 카메라의 현재 줌 레벨을 결정하도록 추가로 구성된다. 트레이서는, 상이한 줌 레벨에 대한 교정에 기초하여, 제1 방송 카메라의 현재 줌 레벨에 상관없이, 방송 비디오 피드에 삽입된다. 스포츠 볼의 위치는 트레이서의 시작점의 렌더링을 개선하기 위해 발사 전의 제1 이미지 중 하나 이상에서 검출된다. 볼 식별 알고리즘은 제1 이미지에서 스포츠 볼의 위치를 검색한다. 플레이어의 자세는 스포츠 볼을 찾기 위해 발사 전에 검출된다. 제28항의 시스템에 있어서, 상기 시스템은: 상기 스포츠 볼의 궤적의 제2 부분의 제2 이미지를 포함하는 제2 비디오 스트림을 캡처하도록 구성된 제2 시야를 갖는 제2 방송 카메라를 더 포함하되, 상기 처리 배열은 추가로: 제2 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 상기 제2 방송 카메라에 대한 상기 제1 센서를 교정하되, 상기 교정은 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제2 방송 카메라의 파라미터 사이의 관계를 더 포함하고; 상기 방송 비디오 피드를　상기 스포츠 볼이 상기 제2 시야를 횡단할 때 상기 스포츠 볼 궤적의 제2 부분의 제2 이미지를 포함하는 상기 제2 비디오 스트림으로 전환하고; 상기 제1 센서와 상기 제2 방송 카메라 사이의 상기 교정에 기초하여 상기 방송 비디오 피드에 추가 트레이서를 삽입하도록 구성된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 제1 방송 카메라에 대해 제1 센서를 교정하되, 상기 제1 센서는 센서 시야를 가지며 스포츠 공의 궤적에 해당하는 데이터를 캡처하도록 구성되고, 상기 제1　방송 카메라는 상기　스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 시야를 갖고,　상기 제1 센서 및 상기 제1 방송 카메라는 상기 제1 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 교정되고, 상기 교정은　 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제1 방송 카메라의 파라미터들 사이의 관계를 더 포함하는 단계; 상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 상기 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하는 단계; 상기 스포츠 볼이 상기 센서 시야를 횡단할 때 상기 스포츠 볼 궤적에 대한 상기 데이터에 기초하여 궤적 파라미터를 결정하는 단계; 상기 스포츠 볼의 경로를 나타내는 트레이서를 상기 방송 비디오 피드에 삽입하되, 상기 트레이서는 상기 제1 센서와 상기 제1 방송 카메라 사이의 상기 교정에 기초하여 생성되는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 제1 센서 및 제1 방송 카메라에 결합된 프로세서에 관한 것이다: 상기 제1 방송 카메라에 대해 상기 제1 센서를 교정하되, 상기 제1 센서는 센서 시야를 가지며 스포츠 공의 궤적에 해당하는 데이터를 캡처하도록 구성되고, 상기 제1　방송 카메라는 상기　스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 시야를 갖고,　상기 제1 센서 및 상기 제1 방송 카메라는 상기 제1 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 교정되고, 상기 교정은　 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제1 방송 카메라의 파라미터들 사이의 관계를 더 포함하는 단계; 상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 상기 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하는 단계; 상기 스포츠 볼이 상기 센서 시야를 횡단할 때 상기 스포츠 볼 궤적에 대한 상기 데이터에 기초하여 궤적 파라미터를 결정하는 단계; 상기 스포츠 볼의 경로를 나타내는 트레이서를 상기 방송 비디오 피드에 삽입하되, 상기 트레이서는 상기 제1 센서와 상기 제1 방송 카메라 사이의 상기 교정에 기초하여 생성되는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 초기 궤적 이후 바운싱 및 롤링하는 스포츠 볼의 카메라 좌표계에서 이미지를 캡처하도록 구성된 제1 시야를 갖는 추적 카메라로서, 상기 추적 카메라는 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는, 추적 카메라; 상기 내인성 및 외인적 교정 파라미터와 상기 제1 시야와 중첩되는 스포츠 플레이 영역의 적어도 일부의 3차원(3D) 모델을 포함하는 저장 배열; 및 상기 추적 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 이미지에서 상기 스포츠 볼의 픽셀 위치를 검출하기 위해 볼 검출을 수행하고; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 3차원 좌표계에서 상기 스포츠 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하고; 상기 3D 모델에 기초하여, 상기　3D 모델과 상기　카메라 볼 라인의 교차점을 결정하고; 상기 교차점을 상기 이미지에서 상기 스포츠 공의 3D 위치로서 출력하도록 구성된다.
처리 배열은, 연속하는 이미지에서 스포츠 볼의 픽셀 위치를 비교함으로써 스포츠 볼이 휴지 상태인지를 결정하고; 이미지에서 스포츠 볼의 3D 휴지 위치로서 교차점을 출력하도록 추가로 구성된다. 캡처된 이미지는 이미지가 캡처된 시간, 노출 시간 및 크롭 영역을 포함하는 메타데이터와 연관된다. 시스템은, 스포츠 볼의 레이더 데이터를 캡처하도록 구성된 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 갖는 추적 레이더를 더 포함하되, 처리 배열은, 이미지에서 검색된 영역 및　시간에 따라 검색된 이미지의 수를 좁히기 위해, 레이더 데이터에 따라 스포츠 볼을 검출하도록 추가로 구성된다. 이미지와 조합하여 레이더 데이터를 사용하는 스포츠 볼의 검출은, 스포츠 볼의 3D 위치 결정의 정확성을 개선하기 위해 처리 배열에 의해 사용된다. 처리 배열은 이미지 내의 스포츠 볼을 검출하도록 학습된 신경망을 사용하여 스포츠 볼을 검출하도록 추가로 구성된다.
신경망은 현재 이미지에서 스포츠 볼의 검출 정확도를 개선하기 위해 이전 이미지로부터의 검색 영역에 대한 정보를 사용한다. 처리 배열은 이미지에 대한 크롭 영역에 기초하여 카메라-볼 라인을 결정하도록 추가로 구성된다. 스포츠 플레이 영역은 골프 코스이며, 여기서 골프 코스 부분의 3D 모델은 골프 코스 상의 주어진 위치에 대한 지형의 높이를 나타내는 표면 모델을 포함한다. 표면 모델은 골프 코스에서 주어진 위치에 대한 지형 유형을 추가로 나타낸다. 처리 배열은 스포츠 볼이 3D 모델에 기초하여 검출되는 지형의 유형을 결정하도록 추가로 구성된다. 표면 모델은 삼각형 또는 스플라인 표면의 메시를 포함한다. 교차점은 반복 프로세스를 사용하거나 수치 솔버를 사용하여 최적화 문제를 해결하여 결정된다. 이미지에서 스포츠 볼의 3D 위치는 데이터베이스, 3D 그래픽 렌더링 엔진, 또는 스포츠 볼의 3D 위치의 그래픽 일러스트레이션으로 출력된다. 3D 모델은 카메라-볼 라인을 위한 3D 좌표계에 제공된다.
본 개시는 다음을 포함하는 방법에 관한 것이다: 추적 카메라에 의해 캡처된 이미지에서 스포츠 볼의 픽셀 위치를 검출하기 위해 볼 검출을 수행하되, 상기 추적 카메라는 초기 궤적 이후 바운싱 및 롤링하는 상기 스포츠 볼의 카메라 좌표계에서 이미지를 캡처하도록 구성된 제1 시야를 갖고, 상기 추적 카메라는 저장 배열에 저장된 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는 단계; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 3차원 좌표계에서 상기 스포츠 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하는 단계; 상기 저장 배열에 저장된 3차원(3D) 모델에 기초하여, 상기　3D 모델과 상기　카메라-볼 라인의 교차점을 결정하되, 상기 3D 모델은 상기 제1 시야와 중첩되는 스포츠 플레이 영역의 적어도 일부를 포함하는 단계; 및 상기 교차점을 상기 이미지에서 상기 스포츠 공의 3D 위치로서 출력하는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 추적 카메라 및 저장 배열에 결합된 프로세서에 관한 것이다: 상기 추적 카메라에 의해 캡처된 이미지에서 스포츠 볼의 픽셀 위치를 검출하기 위해 볼 검출을 수행하되, 상기 추적 카메라는 초기 궤적 이후 바운싱 및 롤링하는 상기 스포츠 볼의 카메라 좌표계에서 이미지를 캡처하도록 구성된 제1 시야를 갖고, 상기 추적 카메라는 상기 저장 배열에 저장된 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는 단계; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 3차원 좌표계에서 상기 스포츠 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하는 단계; 상기 저장 배열에 저장된 3차원(3D) 모델에 기초하여, 상기　3D 모델과 상기　카메라-볼 라인의 교차점을 결정하되, 상기 3D 모델은 상기 제1 시야와 중첩되는 스포츠 플레이 영역의 적어도 일부를 포함하는 단계; 및 상기 교차점을 상기 이미지에서 상기 스포츠 공의 3D 위치로서 출력하는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 초기 궤적 이후 바운싱 및 롤링하는 스포츠 볼의 카메라 좌표계의 이미지 평면에서 이미지를 캡처하도록 구성된 제1 시야를 갖는 추적 카메라로서, 상기 추적 카메라는 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는, 추적 카메라; 상기 내인성 및 외인성 교정 파라미터를 포함하는 저장 배열; 및 상기 추적 카메라 및 상기 저장 배열에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 일련의 이미지 각각에서 상기 스포츠 볼의 이미지 평면에서 픽셀 위치를 검출하기 위해 볼 검출을 수행하고; 상기 이미지 평면에서 상기 볼 검출의 제1 시계열을 생성하고; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 상기 제1 시계열에서 상기 스포츠 볼 검출의 각각에 대해 3차원 좌표계에서 상기 스포츠 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하고; 각 카메라-볼 라인의 앙각의 제2 시계열을 생성하고; 상기 제2 시계열의 최소값에 기초하여, 상기 일련의 이미지에서 캡처된 상기 스포츠 볼의 바운스를 식별하도록 구성된다.
저장 배열은 제1 시야와 중첩되는 스포츠 플레이 영역의 적어도 일부의 3차원(3D) 모델을 추가로 저장하되, 처리 배열은,　3D 모델에 기초하여,　식별된 바운스 각각에 대해, 3D 모델과 카메라-볼 라인의 교차점을 결정하고, 스포츠 볼의 바운스의 3D 위치로서 교차점을 출력하도록 추가로 구성된다. 시스템은, 스포츠 볼의 레이더 데이터를 캡처하도록 구성된 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 갖는 추적 레이더를 더 포함하되, 처리 배열은, 레이더 데이터에서의 속도 불연속을 결정함으로써, 레이더 데이터에 따라 바운스를 식별하도록 추가로 구성된다. 처리 배열은, 바운스의 물리적 모델에 기초하여 제2 시계열에서 롤로부터 바운스를 구별하고; 바운스인 것으로 결정되지 않은 제2 시계열에서 각각의 최소값을 롤로 분류하도록 추가로 구성된다. 이미지에서 스포츠 볼의 3D 위치는 데이터베이스, 3D 그래픽 렌더링 엔진, 또는 스포츠 볼의 3D 위치의 그래픽 일러스트레이션으로 출력된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 추적 카메라에 의해 캡처된 일련의 이미지 각각에서 스포츠 볼의 이미지 평면에서 픽셀 위치를 검출하기 위해 볼 검출을 수행하되, 상기 추적 카메라는 초기 궤적 이후 바운싱 및 롤링하는 상기 스포츠 볼의 카메라 좌표계의 상기 이미지 평면에서 이미지를 캡처하도록 구성된 제1 시야를 갖고, 상기 추적 카메라는 저장 배열에 저장된 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는 단계; 상기 이미지 평면에서 상기 볼 검출의 제1 시계열을 생성하는 단계; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 상기 제1 시계열에서 상기 볼 검출의 각각에 대해 3차원 좌표계에서 상기 스포츠 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하는 단계; 각 카메라-볼 라인의 앙각의 제2 시계열을 생성하는 단계; 상기 제2 시계열의 최소값에 기초하여, 상기 일련의 이미지에서 캡처된 상기 스포츠 볼의 바운스를 식별하는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 추적 카메라 및 저장 배열에 결합된 프로세서에 관한 것이다: 상기 추적 카메라에 의해 캡처된 일련의 이미지 각각에서 스포츠 볼의 이미지 평면에서 픽셀 위치를 검출하기 위해 볼 검출을 수행하되, 상기 추적 카메라는 초기 궤적 이후 바운싱 및 롤링하는 상기 스포츠 볼의 카메라 좌표계의 상기 이미지 평면에서 이미지를 캡처하도록 구성된 제1 시야를 갖고, 상기 추적 카메라는 상기 저장 배열에 저장된 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는 단계; 상기 이미지 평면에서 상기 볼 검출의 제1 시계열을 생성하는 단계; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 상기 제1 시계열에서 상기 볼 검출의 각각에 대해 3차원 좌표계에서 상기 스포츠 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하는 단계; 각 카메라-볼 라인의 앙각의 제2 시계열을 생성하는 단계; 상기 제2 시계열의 최소값에 기초하여, 상기 일련의 이미지에서 캡처된 상기 스포츠 볼의 바운스를 식별하는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 스포츠 볼의 궤적에 해당하는 데이터를 캡처하도록 구성된 센서 시야를 갖는 제1 센서; 상기 스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 시야를 갖는 제1 방송 카메라; 상기 스포츠 볼의 궤적의 제2 부분의 제2 이미지를 포함하는 제2 비디오 스트림을 캡처하도록 구성된 제2 시야를 갖는 제2 방송 카메라; 상기 제1 센서 및 상기 제1 및 제2 방송 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 상기 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하고; 상기 스포츠 볼이 상기 센서 시야를 횡단할 때 상기 스포츠 볼 궤적에 대한 상기 데이터에 기초하여 궤적 파라미터를 결정하고; 상기 궤적 파라미터에 기초하여 상기 스포츠 볼에 대한 이벤트를 검출하고; 상기 스포츠 볼이 상기 제2 시야를 횡단할 때 상기 제2 방송 카메라가 상기 스포츠 공 궤적의 제2 부분의 제2 이미지를 캡처하도록 상기 검출된 이벤트에 따라 상기 제2 비디오 스트림을 사용하도록 방송 비디오 피드를 전환하도록 구성된다.
이벤트는, 스포츠 볼이 제2 시야에 진입했거나 진입할 것임을 나타내는 위치 기준에 대한 파라미터를 포함한다. 위치 기준은 발사 위치로부터 제1 거리를 지나 움직이는 스포츠 볼 또는 기준선으로부터 제2 거리를 지나 움직이는 발사된 볼을 포함한다. 이벤트는 스포츠 볼의 발사를 포함한다. 제2 방송 카메라는 로봇 카메라를 포함하고, 제2 카메라의 작동 상태는 제1 카메라 파라미터와 연관된 제1 상태로부터 제2 카메라 파라미터와 연관된 제2 상태로 조정된다. 제1 및 제2 카메라 파라미터는 각각 제1 및 제2 상태에서 로봇 카메라에 대한 크롭, 배향 및 줌 레벨을 포함한다. 처리 배열은 스포츠 볼이 발견될 가능성이 있는 영역의 제2 방송 카메라에 관심 영역을 제공하도록 추가로 구성된다. 제2 시야는 제1 시야와 적어도 부분적으로 중첩된다.
제2 시야는 제1 시야와 중첩되지 않는다. 방송 비디오 피드는 이벤트의 감지 후 소정의 지연 후에 제2 비디오 스트림을 사용하도록 전환된다. 제1 센서 및 제1 방송 카메라는 동일한 추적 유닛 상에 공동으로 위치한다. 제1 센서 및 제1 방송 카메라는 방송에 추가로 사용되는 추적 카메라를 포함하는 동일한 장치이다. 제1 센서, 제1 방송 카메라 및 제2 방송 카메라는, 방송 비디오 피드에서 스포츠 볼의 궤적을 매핑하는 트레이서가 제1 비디오 스트림 및 제2 비디오 스트림에 적용될 수 있도록 서로에 대해 교정된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하되, 상기 제1 비디오 스트림은 제1 시야를 갖는 제1 방송 카메라에 의해 캡처되고, 상기 제1 비디오 스트림은 상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 단계; 상기 스포츠 볼이 센서 시야를 횡단할 때 상기 센서 시야를 갖는 제1 센서에 의해 캡처된 상기 스포츠 볼의 궤적에 해당하는 데이터에 기초하여 궤적 파라미터를 결정하는 단계; 상기 궤적 파라미터에 기초하여 상기 스포츠 볼에 대한 이벤트를 검출하는 단계; 상기 스포츠 볼의 궤적의 제2 부분의 제2 이미지를 포함하는 제2 비디오 스트림을 사용하도록 상기 방송 비디오 피드를 전환하되,　상기 제2 비디오 스트림은 제2 시야를 갖는 제2 방송 카메라에 의해 캡처되고, 상기 스포츠 볼이 상기 제2 시야를 횡단할 때 상기 제2 방송 카메라가 상기 스포츠 볼 궤적의 제2 부분의 제2 이미지를 캡처하도록 상기 방송 비디오 피드는 상기 검출된 이벤트에 따라 전환되는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 제1 센서 및 제1 및 제2 방송 카메라에 결합된 프로세서에 관한 것이다: 스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하되, 상기 제1 비디오 스트림은 제1 시야를 갖는 상기 제1 방송 카메라에 의해 캡처되고, 상기 제1 비디오 스트림은 상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 단계; 상기 스포츠 볼이 센서 시야를 횡단할 때 상기 센서 시야를 갖는 상기 제1 센서에 의해 캡처된 상기 스포츠 볼의 궤적에 해당하는 데이터에 기초하여 궤적 파라미터를 결정하는 단계; 상기 궤적 파라미터에 기초하여 상기 스포츠 볼에 대한 이벤트를 검출하는 단계; 상기 스포츠 볼의 궤적의 제2 부분의 제2 이미지를 포함하는 제2 비디오 스트림을 사용하도록 상기 방송 비디오 피드를 전환하되,　상기 제2 비디오 스트림은 제2 시야를 갖는 상기 제2 방송 카메라에 의해 캡처되고, 상기 스포츠 볼이 상기 제2 시야를 횡단할 때 상기 제2 방송 카메라가 상기 스포츠 볼 궤적의 제2 부분의 제2 이미지를 캡처하도록 상기 방송 비디오 피드는 상기 검출된 이벤트에 따라 전환되는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 스포츠 볼의 궤적 또는 플레이어의 특징에 해당하는 데이터를 캡처하도록 구성된 센서 시야를 갖는 제1 센서; 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 방송 카메라; 제2 이미지를 포함하는 제2 비디오 스트림을 캡처하도록 구성된 제2 방송 카메라; 및 상기 제1 센서 및 상기 제1 및 제2 방송 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 맞춤형 방송 비디오 피드에 대한 기준을 수신하되, 상기 기준은 상기 맞춤형 방송 비디오 피드에 도시될 플레이어 또는 위치의 우선순위에 연관되고; 상기 제1 방송 카메라를 사용하여 상기 맞춤형 방송 비디오 피드의 제1 부분을 생성하고; 우선순위화된 플레이어 또는 위치와 관련된 이벤트를 검출하되, 상기 이벤트는 상기 우선순위화된 플레이어의 동작 또는 상기 우선순위화된 플레이어와 관련된 상기 제1 스포츠 볼에 대한 위치 또는 궤적 파라미터에 기초하고; 상기 맞춤형 방송 비디오 피드가 상기 우선순위화된 플레이어의 제2 이미지 또는 상기 우선순위화된 플레이어와 관련된 상기 제1 스포츠 볼의 궤적의 제2 이미지를 포함하도록 상기 검출된 이벤트에 따라 상기 제2 비디오 스트림을 사용하도록 상기 맞춤형 방송 비디오 피드를 전환하도록 구성된다.
이벤트는 제2 방송 카메라의 제2 이미지에서 우선순위화된 플레이어의 검출 및 식별을 포함한다. 이벤트는 제2 이미지에서 검출된 우선순위화된 플레이어의 위치 또는 배향을 더 포함한다. 우선순위화된 플레이어의 위치 또는 배향은 스포츠 볼에 다가가거나, 스포츠 볼 위에 자세를 취하거나, 클럽을 스윙하거나, 스포츠 볼을 치는　우선순위화된 플레이어를 포함한다. 신경망을 사용해 이벤트를 검출한다. 이벤트는 우선순위화된 플레이어에 의해 발사된 스포츠 볼이 제2 방송 카메라의 제2 이미지에서 캡처될 수 있음을 나타내는 위치 기준에 대한 파라미터를 포함한다. 위치 기준은 발사 위치로부터 제1 거리를 지나 움직이는 스포츠 볼 또는 기준선으로부터 제2 거리를 지나 움직이는 스포츠 볼을 포함하거나, 여기서 이벤트는 스포츠 볼의 발사를 포함한다. 제2 방송 카메라는 로봇 카메라를 포함하고, 제2 카메라의 작동 상태는 제1 카메라 파라미터를 사용하는 제1 상태로부터 제2 카메라 파라미터를 사용하는 제2 상태로 조정된다.
제1 및 제2 카메라 파라미터는 로봇 카메라에 대한 크롭, 배향 및 줌 레벨을 포함한다. 로봇 카메라는 제1 센서로 교정된다. 제1 센서, 제1 방송 카메라 및 제2 방송 카메라는, 맞춤형 방송 비디오 피드에서 스포츠 볼의 궤적을 매핑하는 트레이서가 제1 비디오 스트림 및 제2 비디오 스트림에 적용될 수 있도록 서로에 대해 교정된다. 맞춤형 방송 비디오 피드의 기준은 우선순위화된 플레이어에 대한 모든 샷을 맞춤형 방송 비디오 피드에 도시하는 것; 특정 국가 또는 지역의 모든 플레이어에 대한 모든 샷을 맞춤형 방송 비디오 피드에 도시하는 것; 또는 어떤　샷을　맞춤형 방송 비디오 피드에 도시할지 결정할 때　특정 플레이어의 계층을　식별하고 우선순위화하는 것을 포함한다. 여러 우선순위화된 플레이어가 동시에 샷을 시도하기로 결정되는 경우, 하나의 우선순위화된 플레이어에 대한 비디오 스트림이 다른 하나의 우선순위화된 플레이어에 대한 비디오 스트림 후에 방송을 위해 버퍼링된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 맞춤형 방송 비디오 피드에 대한 기준을 수신하되, 상기 기준은 상기 맞춤형 방송 비디오 피드에 도시될 플레이어 또는 위치의 우선순위에 연관되는 단계; 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 방송 카메라를 사용하여 상기 맞춤형 방송 비디오 피드의 제1 부분을 생성하는 단계; 우선순위화된 플레이어 또는 위치와 관련된 이벤트를 검출하되, 상기 이벤트는 상기 우선순위화된 플레이어의 동작 또는 상기 우선순위화된 플레이어와 관련된 제1 스포츠 볼에 대한 위치 또는 궤적 파라미터에 기초하고, 상기 이벤트는 스포츠 볼의 궤적 또는 플레이어의 특징에 해당하는 데이터를 캡처하도록 구성된 센서 시야를 갖는 제1 센서에 의해 검출되는 단계; 및 제2 방송 카메라에 의해 캡처된 제2 이미지를 포함하는 제2 비디오 스트림을 사용하도록 상기 맞춤형 방송 비디오 피드를 전환하되, 상기 맞춤형 방송 비디오 피드가 상기 우선순위화된 플레이어의 제2 이미지 또는 상기 우선순위화된 플레이어와 관련된 상기 제1 스포츠 볼의 궤적의 제2 이미지를 포함하도록 상기 맞춤형 방송 비디오 피드가 상기 검출된 이벤트에 따라 전환되는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 제1 센서 및 제1 및 제2 방송 카메라에 결합된 프로세서에 관한 것이다: 맞춤형 방송 비디오 피드에 대한 기준을 수신하되, 상기 기준은 상기 맞춤형 방송 비디오 피드에 도시될 플레이어 또는 위치의 우선순위에 연관되는 단계; 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 상기 제1 방송 카메라를 사용하여 상기 맞춤형 방송 비디오 피드의 제1 부분을 생성하는 단계; 우선순위화된 플레이어 또는 위치와 관련된 이벤트를 검출하되, 상기 이벤트는 상기 우선순위화된 플레이어의 동작 또는 상기 우선순위화된 플레이어와 관련된 제1 스포츠 볼에 대한 위치 또는 궤적 파라미터에 기초하고, 상기 이벤트는 스포츠 볼의 궤적 또는 플레이어의 특징에 해당하는 데이터를 캡처하도록 구성된 센서 시야를 갖는 상기 제1 센서에 의해 검출되는 단계; 및 상기 제2 방송 카메라에 의해 캡처된 제2 이미지를 포함하는 제2 비디오 스트림을 사용하도록 상기 맞춤형 방송 비디오 피드를 전환하되, 상기 맞춤형 방송 비디오 피드가 상기 우선순위화된 플레이어의 제2 이미지 또는 상기 우선순위화된 플레이어와 관련된 상기 제1 스포츠 볼의 궤적의 제2 이미지를 포함하도록 상기 맞춤형 방송 비디오 피드가 상기 검출된 이벤트에 따라 전환되는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 스포츠 볼의 발사를 포함하는　상기　스포츠 볼의 궤적의 제1 부분에 해당하는 제1 데이터를 캡처하도록 구성된 제1 시야를 갖는 제1 센서; 상기 스포츠 볼의 궤적의 제2 부분에 해당하는 제2 데이터를 캡처하도록 구성된 제2 시야를 갖는 제2 센서; 및 상기 제1 및 제2 센서에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분에 대한 상기 제1 데이터에 기초하여 상기 스포츠 볼의 3차원(3D) 위치 트랙을 결정하고; 상기 3D 위치 트랙으로부터 도출된 하나 이상의 파라미터에 기초하여 상기 스포츠 볼에 대한 이벤트를 검출하고; 상기 스포츠 볼이 제2 시야를 횡단하고 상기 처리 배열이 상기 스포츠 볼 궤적의 제2 부분에 대한 상기 3D 위치 트랙을 결정할 때 상기 제2 센서가 상기 스포츠 볼 궤적의 제2 부분에 대한 상기 제2 데이터를 캡쳐하도록 상기 검출된 이벤트에 따라 상기 제2 센서의 작동 상태를 조정하도록 구성된다.
이벤트는 제2 시야에 대한 스포츠 볼의 위치에 관한 파라미터를 포함한다. 제2 센서의 작동 상태는, 스포츠 볼이 발사 위치로부터 제1 거리를 지나 이동했다고 결정되거나 스포츠 볼이 기준선으로부터 제2 거리를 이동했다고 결정될 때 제2 데이터를 캡처하도록 조정된다. 제2 센서의 작동 상태는 저전력 상태로부터 완전 전력 상태로 조정된다. 제2 센서의 작동 상태는 비-추적 상태로부터 추적 상태로 조정된다. 제2 센서는 로봇 카메라를 포함하고, 제2 센서의 작동 상태는 제1 카메라 파라미터를 사용하는 제1 추적 상태로부터 제2 카메라 파라미터를 사용하는 제2 추적 상태로 조정된다. 제1 및 제2 카메라 파라미터는 로봇 카메라에 대한 크롭, 배향 및 줌 레벨을 포함한다. 제2 센서의 작동 상태는 바운스 및 롤이 전용 바운스 및 롤 추적 모듈을 사용하여 추적되지 않는 제1 상태로부터 바운스 및 롤이 전용 바운스 및 롤 추적 모듈을 사용하여 추적되는 제2 상태로 조정된다.
처리 배열은 스포츠 볼이 발견될 가능성이 있는 영역을 지정하는　제2 센서에　관심 영역을 제공하도록 추가로 구성된다. 제2 시야는 제1 시야와 적어도 부분적으로 중첩된다. 제2 시야는 제1 시야와 중첩되지 않는다. 처리 배열은 세계 좌표계에서 스포츠 볼 궤적의 제1 및 제2 부분에 대한 3D 위치 추적을 결정한다. 제1 및 제2 센서는 3D 도플러 레이더이다. 제1 및 제2 센서는 기준점의 GPS 위치 및 제1 및 제2 센서의 GPS 위치에 기초하여 세계 좌표계로 교정된다. 제1 센서는 3D 도플러 레이더이고 제2 센서는 추적 카메라이다. 제2 센서는 기준점의 GPS 위치에 기초하여 세계 좌표계로 교정되고, 처리 배열은 이미지에서 하나 이상의 기준점을 식별하고 이에 기초하여 제2 센서의 배향을 결정하도록 추가로 구성된다. 제1 센서 및 제2 센서는 공동 위치되고, 제2 센서의 배향은 이미지에서 특징 매칭으로부터 결정되고, 제1 센서의 배향은 제2 센서의 배향에 기초하여 결정된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 스포츠 볼의 발사를 포함하는 상기 스포츠 볼의 궤적의 제1 부분에 해당하는 제1 데이터를 캡처하도록 구성된 제1 시야를 갖는 제1 센서로부터, 상기 스포츠 볼이 상기 제1 시야를 통과할 때 상기 스포츠 볼 궤적의 제1 부분에 대한 상기 제1 데이터에 기초하여 상기 스포츠 볼의 3차원(3D) 위치 추적을 결정하는 단계; 상기 3D 위치 트랙으로부터 도출된 하나 이상의 파라미터에 기초하여 상기 스포츠 볼에 대한 이벤트를 검출하는 단계; 및 상기 검출된 이벤트에 따라 제2 센서의 작동 상태를 조정하되, 상기　제2 센서는 상기　스포츠 볼의 궤적의 제2 부분에 해당하는 제2 데이터를 캡처하도록 구성된 제2 시야를 가져, 상기 제2 센서는 상기 스포츠 볼이 상기 제2 시야를 횡단할 때 상기 스포츠 볼 궤적의 제2 부분에 대한 상기 제2 데이터를 캡처하는 단계; 및 상기 스포츠 볼 궤적의 제2 부분에 대한 상기 3D 위치 트랙을 결정하는 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 제1 및 제2 센서에 결합된 프로세서에 관한 것이다: 스포츠 볼의 발사를 포함하는 상기 스포츠 볼의 궤적의 제1 부분에 해당하는 제1 데이터를 캡처하도록 구성된 제1 시야를 갖는 상기 제1 센서로부터, 상기 스포츠 볼이 상기 제1 시야를 통과할 때 상기 스포츠 볼 궤적의 제1 부분에 대한 상기 제1 데이터에 기초하여 상기 스포츠 볼의 3차원(3D) 위치 추적을 결정하는 단계; 상기 3D 위치 트랙으로부터 도출된 하나 이상의 파라미터에 기초하여 상기 스포츠 볼에 대한 이벤트를 검출하는 단계; 및 상기 검출된 이벤트에 따라 상기 제2 센서의 작동 상태를 조정하되, 상기　제2 센서는 상기　스포츠 볼의 궤적의 제2 부분에 해당하는 제2 데이터를 캡처하도록 구성된 제2 시야를 가져, 상기 제2 센서는 상기 스포츠 볼이 상기 제2 시야를 횡단할 때 상기 스포츠 볼 궤적의 제2 부분에 대한 상기 제2 데이터를 캡처하는 단계; 및 상기 스포츠 볼 궤적의 제2 부분에 대한 상기 3D 위치 트랙을 결정하는 단계.
본 개시는 또한 다음 시스템에 관한 것이다: 그린 상에 위치하는 골프 볼의 카메라 좌표계에서 이미지를 캡처하도록 구성된 제1 시야를 갖는 추적 카메라로서, 상기 추적 카메라는 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는, 추적 카메라; 상기 내인성 및 외인적 교정 파라미터와 상기 제1 시야와 중첩되는 골프 코스의 적어도 일부의 3차원(3D) 모델을 포함하는 저장 배열; 및 상기 추적 카메라 및 상기 저장 배열에 결합된 처리 배열을 포함하고, 상기 처리 배열은: 이미지에서 휴지 상태의 상기 골프 볼의 이미지 평면에서　픽셀 위치를 검출하기 위해 볼 검출을 수행하고; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 3차원 좌표계에서 상기 골프 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하고; 상기 3D 모델에 기초하여, 상기　3D 모델과 상기　카메라 볼 라인의 교차점을 결정하고; 상기 그린 상에 휴지 상태의 상기 골프 볼의 3D 위치를 결정하고; 상기 그린의 빠르기 및　3D 모델의 지식을 사용한 다양한 발사 속도와 발사 방향에 기초하여 일련의 퍼팅 궤적을 시뮬레이션하고; 상기 일련의 시뮬레이션된 퍼팅 궤적에 기초하여 퍼팅 브레이크 팬을 생성하되, 상기 퍼팅 브레이크 팬은 퍼팅에 대한 발사 방향 및 발사 속도의 조합과 상기 퍼팅의 해당 결과의 플롯이도록 구성된다.
퍼팅 브레이크 팬은, 발사 방향 및 발사 속도의 조합이　홀에 들어가는　성공적인 퍼팅을 초래하는　플롯의 일부분,　발사 방향과 발사 속도의 조합이 홀로부터의 제1 거리를 갖는 휴지 볼 위치를 초래하는 제1 등고선, 및　발사 방향과 발사 속도의 조합이 홀로부터의 제2 거리를 갖는 휴지 볼 위치를 초래하는 제2 등고선을 포함한다. 그린의 빠르기는 이전 퍼팅을 추적하고 이전 퍼팅의 속도 감쇠를 결정함으로써 결정된다. 이전 퍼팅는 현재 퍼팅 이전의 소정의 지속 시간 내에 추적된다. 처리 배열은, 퍼팅 브레이크 팬을 방송 비디오 상에 중첩시키도록 추가로 구성된다. 처리 배열은, 주어진 발사 방향 및 주어진 발사 속도에 따라 성공적인 퍼팅의 확률을 나타내는 출력을 생성하도록 추가로 구성된다.
본 개시는 또한 다음을 포함하는 방법에 관한 것이다: 그린에 위치한 골프 볼의 카메라 좌표계에서 이미지를 캡처하도록 구성된 제1 시야를 갖는 추적 카메라에 의해 캡처된 이미지에서 휴지 상태의 상기 골프 볼의 이미지 평면에서 픽셀 위치를 검출하기 위해 볼 검출을 수행하되, 상기 추적 카메라는 저장 배열에 저장된 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는 단계; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 3차원 좌표계에서 상기 골프 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하는 단계; 상기 제1 시야와 중첩하는 골프 코스의 적어도 일부의　상기 저장 배열에 저장된 3차원(3D) 모델에 기초하여,　상기 3D 모델과　상기 카메라 볼 라인과의 교차점을 결정하는 단계; 상기 그린 상에 휴지 상태의 상기 골프 볼의 3D 위치를 결정하는 단계; 상기 그린의 빠르기 및　3D 모델의 지식을 사용한 다양한 발사 속도와 발사 방향에 기초하여 일련의 퍼팅 궤적을 시뮬레이션하는 단계; 및 상기 일련의 시뮬레이션된 퍼팅 궤적에 기초하여 퍼팅 브레이크 팬을 생성하되, 상기 퍼팅 브레이크 팬은 퍼팅에 대한 발사 방향 및 발사 속도의 조합과 상기 퍼팅의 해당 결과의 플롯인 단계.
본 개시는 또한 다음을 포함하는 작동을 수행하도록 구성된 추적 카메라 및 저장 배열에 결합된 프로세서에 관한 것이다: 그린에 위치한 골프 볼의 카메라 좌표계에서 이미지를 캡처하도록 구성된 제1 시야를 갖는 상기 추적 카메라에 의해 캡처된 이미지에서 휴지 상태의 상기 골프 볼의 이미지 평면에서 픽셀 위치를 검출하기 위해 볼 검출을 수행하되, 상기 추적 카메라는 상기 저장 배열에 저장된 이와 연관된 내인성 및 외인성 교정 파라미터를 갖는 단계; 상기 내인성 및 외인성 교정 파라미터에 기초하여, 3차원 좌표계에서 상기 골프 볼의 방향으로 상기 카메라를 통과하는 직선을 포함하는 카메라-볼 라인을 결정하는 단계; 상기 제1 시야와 중첩하는 골프 코스의 적어도 일부의　상기 저장 배열에 저장된 3차원(3D) 모델에 기초하여,　상기 3D 모델과　상기 카메라 볼 라인과의 교차점을 결정하는 단계; 상기 그린 상에 휴지 상태의 상기 골프 볼의 3D 위치를 결정하는 단계; 상기 그린의 빠르기 및　3D 모델의 지식을 사용한 다양한 발사 속도와 발사 방향에 기초하여 일련의 퍼팅 궤적을 시뮬레이션하는 단계; 및 상기 일련의 시뮬레이션된 퍼팅 궤적에 기초하여 퍼팅 브레이크 팬을 생성하되, 상기 퍼팅 브레이크 팬은 퍼팅에 대한 발사 방향 및 발사 속도의 조합과 상기 퍼팅의 해당 결과의 플롯인 단계.
다양한 변형이 본 개시의 사상 또는 범주로부터 벗어나지 않고 본 개시에서 이루어질 수 있다는 것이 당업자에게 명백할 것이다. 따라서, 본 개시는 첨부된 청구범위 및 이들의 균등물의 범주 내에 있는 경우에 본 개시의 수정 및 변경을 포함하도록 의도된다.

Claims (37)

  1. 시스템으로서,
    스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성된 로봇 카메라로서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 상기 로봇 카메라의 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 로봇 카메라; 및
    상기 로봇 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은:
    상기 로봇 카메라의 초기 배향이 세계 좌표계에서 알려지도록 상기 로봇 카메라를 미리 교정하고 상기 로봇 카메라에 의해 사용되는 복수의 상이한 줌 레벨 각각을 각각의 내인성 파라미터 값과 연관시키고;
    제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되고;
    상기 로봇 카메라로부터 상기 제1 이미지와 연관된 제1 줌 레벨 및 상기 제1 줌 레벨과 연관된 상기 내인성 파라미터 값을 판독하고;
    상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트에 기초하여 상기 로봇 카메라의 제1 배향을 결정하고;
    상기 스포츠 볼의 검출된 제1 이미지 위치, 상기 결정된 제1 배향 및 상기 제1 줌 레벨에 대한 상기 내인성 파라미터 값에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고;
    상기 로봇 카메라에 대한 외인성 정보에 기초하여 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서의 상기 스포츠 볼의 3차원 위치를 결정하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 이미지 제1 위치에서, 상기 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있고, 상기 로봇 카메라에 대해 외인성인 상기 정보는 상기 스포츠 볼의 3차원 위치를 포함하는 상기 스포츠 플레이 영역의 적어도 일부의 3차원 모델로부터 수신된 정보를 포함하고, 상기 처리 배열은 상기 라인과 상기 3차원 모델의 교차를 위치시킴으로써 상기 스포츠 볼의 3차원 위치를 결정하는, 시스템.
  3. 제1항에 있어서,
    상기 로봇 카메라에 고정된 팬 및 틸트 센서를 더 포함하되,
    상기 처리 배열은 상기 팬 및 틸트 센서로부터의 상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트를 판독하도록 추가로 구성되는, 시스템.
  4. 제1항에 있어서, 상기 로봇 카메라의 팬 및 틸트는 상기 로봇 카메라를 상기 제1 배향으로 조정하는 데 사용되는 제어 신호로부터 결정되고, 상기 제어 신호는 상기 제1 이미지의 캡처 전에 캡처된 상기 스포츠 볼에 대한 추적 데이터에 응답하여 생성되는, 시스템.
  5. 제1항에 있어서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 외부 명령에 응답하여 크롭을 자동으로 조정하도록 추가로 구성되는, 시스템.
  6. 제1항에 있어서, 상기 내인성 파라미터는 초점 길이, 주점, 및 렌즈 왜곡을 포함하는, 시스템.
  7. 제1항에 있어서, 상기 로봇 카메라에 대한 외인성인 상기 정보는 상기 로봇 카메라로부터의 상기 스포츠 볼의 거리에 관한 센서로부터의 정보를 포함하는, 시스템.
  8. 방법으로서,
    로봇 카메라의 초기 배향이 세계 좌표계에서 알려지도록 상기 로봇 카메라를 미리 교정하고 상기 로봇 카메라에 의해 사용되는 복수의 줌 레벨 각각을 각각의 내인성 파라미터 값과 연관시키되, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되는 단계;
    상기 로봇 카메라로부터의 제1 줌 레벨 및 상기 제1 이미지에 상응하는 상기 로봇 카메라의 제1 줌 레벨에 대한 상기 연관된 내인성 파라미터 값을 판독하는 단계;
    상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트에 기초하여 상기 로봇 카메라의 제1 배향을 결정하는 단계;
    상기 스포츠 볼의 검출된 제1 이미지 위치, 상기 결정된 제1 배향 및 상기 제1 줌 레벨에 대한 상기 내인성 파라미터 값에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계;
    상기 로봇 카메라에 대한 외인성 정보에 기초하여 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서의 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는, 방법.
  9. 로봇 카메라에 결합된 프로세서로서, 상기 프로세서는:
    상기 로봇 카메라의 초기 배향이 세계 좌표계에서 알려지고 상기 로봇 카메라에 의해 사용되는 각각의 상이한 줌 레벨은 각각의 내인성 파라미터 값과 연관되도록　상기 로봇 카메라를 미리 교정하되, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되는 단계;
    상기 로봇 카메라로부터의 제1 줌 레벨 및 상기 제1 이미지에 상응하는 상기 제1 줌 레벨에 대한 상기 연관된 내인성 파라미터 값을 판독하는 단계;
    상기 초기 배향에 대한 상기 로봇 카메라의 팬 및 틸트에 기초하여 상기 로봇 카메라의 제1 배향을 결정하는 단계;
    상기 스포츠 볼의 검출된 제1 이미지 위치, 상기 결정된 제1 배향 및 상기 제1 줌 레벨에 대한 상기 내인성 파라미터 값에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계;
    상기 로봇 카메라에 대한 외인성 정보에 기초하여 상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서의 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는 작동을 수행하도록 구성되는, 프로세서.
  10. 시스템으로서,
    세계 좌표계에서 소정의 위치를 갖는 로봇 카메라로서, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 로봇 카메라; 및
    상기 로봇 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은:
    제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되고;
    상기 로봇 카메라의 배향의 초기 조정 후에 캡처된 상기 제1 이미지 또는 추가 이미지에서 상기 이미지 좌표계의 기준점을 검출하여 상기　기준점을 이의 시야 내로 가져오되, 상기 기준점의 3차원 위치는 상기 세계 좌표계에서 알려져 있고;
    상기 기준점이 제2 이미지의 상기 제1 이미지 위치에 위치하도록 상기 로봇 카메라의 배향을 제2 배향으로 조정하고;
    상기 제1 배향과 상기 제2 배향 사이의 배향 차이를 결정하고;
    상기 로봇 카메라에 대한 상기 기준점의 3차원 위치 및 상기 제1 방향과 상기 제2 방향 사이의 상기 배향 차이에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고;
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하도록 구성되는, 시스템.
  11. 제10항에 있어서, 상기 제1 이미지 위치에서, 상기 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있고, 상기 스포츠 볼의 3차원 위치는 상기 스포츠 볼의 3차원 위치를 포함하는 상기 스포츠 플레이 영역의 적어도 일부분의 3차원 모델과 상기 라인 사이의 교차의 식별에 기초하여 결정되는, 시스템.
  12. 제10항에 있어서, 상기 제2 이미지는 상기 제1 이미지에 대해 줌 레벨을 조정하지 않고 캡처되는, 시스템.
  13. 제10항에 있어서,
    상기 로봇 카메라에 고정된 팬 및 틸트 센서를 더 포함하되,
    상기 처리 배열은 상기 팬 및 틸트 센서로부터 상기 제1 배향과 상기 제2 배향 사이의 상기 배향 차이를 판독하도록 추가로 구성되는, 시스템.
  14. 방법으로서,
    제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 로봇 카메라로 캡처되고, 상기 로봇 카메라는 세계 좌표계에서 소정의 위치를 갖고, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    상기 로봇 카메라의 배향의 초기 조정 후에 캡처된 상기 제1 이미지 또는 추가 이미지에서 상기 이미지 좌표계의 기준점을 검출하여 상기　기준점을 이의 시야 내로 가져오되, 상기 기준점의 3차원 위치는 상기 세계 좌표계에서 알려져 있는 단계;
    상기 기준점이 제2 이미지의 상기 제1 이미지 위치에 위치하도록 상기 로봇 카메라의 배향을 제2 배향으로 조정하는 단계;
    상기 제1 배향과 상기 제2 배향 사이의 배향 차이를 결정하는 단계;
    상기 로봇 카메라에 대한 상기 기준점의 3차원 위치 및 상기 제1 방향과 상기 제2 방향 사이의 상기 배향 차이에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및
    상기 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는, 방법.
  15. 로봇 카메라에 결합된 프로세서로서, 상기 프로세서는:
    제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 배향에서 상기 로봇 카메라로 캡처되고, 상기 로봇 카메라는 세계 좌표계에서 소정의 위치를 갖고, 상기 로봇 카메라는 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    상기 로봇 카메라의 배향의 초기 조정 후에 캡처된 상기 제1 이미지 또는 추가 이미지에서 상기 이미지 좌표계의 기준점을 검출하여 상기　기준점을 이의 시야 내로 가져오되, 상기 기준점의 3차원 위치는 상기 세계 좌표계에서 알려져 있는 단계;
    상기 기준점이 제2 이미지의 상기 제1 이미지 위치에 위치하도록 상기 로봇 카메라의 배향을 제2 배향으로 조정하는 단계;
    상기 제1 배향과 상기 제2 배향 사이의 배향 차이를 결정하는 단계;
    상기 로봇 카메라에 대한 상기 기준점의 3차원 위치 및 상기 제1 방향과 상기 제2 방향 사이의 상기 배향 차이에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는 작동을 수행하도록 구성되는, 프로세서.
  16. 시스템으로서,
    스포츠 볼의 위치에 해당하는 제1 데이터를 캡처하도록 구성된 로봇 카메라인 제1 카메라로서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 제1 카메라;
    상기 스포츠 볼의 위치에 해당하는 제2 데이터를 캡처하도록 구성된 세계 좌표계로 교정된 제2 카메라; 및
    상기 로봇 카메라 및 상기 제2 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은:
    제1 이미지의 이미지 좌표계에서 상기 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는　상기 로봇 카메라의　제1 배향으로 캡처되고;
    상기 제1 이미지에서 적어도 제1 특징을 검출하고;
    상기 제2 카메라에 의해 캡처된 제2 이미지에서 상기 제1 특징을 검출하고;
    상기 제2 카메라 교정에 기초하여 상기 세계 좌표계에서 상기 제1 특징의 3차원 위치를 결정하고;
    상기 제1 특징에 기초하여 상기 제1과 제2 이미지 사이의 특징 매칭을 수행하여　상기 제2 이미지 내에서 상기 제1 이미지 위치를 지정하고;
    상기 세계 좌표계에서의 상기 제1 특징의 3차원 위치　및 상기 스포츠 볼의 제1 이미지 위치에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고;
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하도록 구성되는, 시스템.
  17. 제16항에 있어서, 상기 제1 이미지 위치에서, 상기 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있고, 상기 스포츠 볼의 3차원 위치는 상기 스포츠 볼의 3차원 위치를 포함하는 상기 스포츠 플레이 영역의 적어도 일부분의 3차원 모델과 상기 라인 사이의 교차에 기초하여 결정되는, 시스템.
  18. 제16항에 있어서, 상기 제2 카메라는 상기 제1 카메라와 함께 위치되는, 시스템.
  19. 제17항에 있어서, 상기 스포츠 플레이 영역은 골프 코스이고, 제1 특징은 나무, 벙커, 호수, 골프 깃발, 그린을 포함하는, 시스템.
  20. 방법으로서,
    제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 제1 카메라의 제1 배향으로 캡처되고, 상기 제1 카메라는 스포츠 볼의 위치에 해당하는 제1 데이터를 캡처하도록 구성된 로봇 카메라이고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    상기 제1 이미지에서 적어도 제1 특징을 검출하는 단계;
    제2 카메라에 의해 캡처된 제2 이미지에서 상기 제1 특징을 검출하되, 상기 제2 카메라는 세계 좌표계로 교정되고 상기 스포츠 볼의 위치에 해당하는 제2 데이터를 캡처하도록 구성되는 단계;
    상기 제2 카메라 교정에 기초하여 상기 세계 좌표계에서 상기 제1 특징의 3차원 위치를 결정하는 단계;
    상기 제1 특징에 기초하여 상기 제1과 제2 이미지 사이의 특징 매칭을 수행하여　상기 제2 이미지 내에서 상기 제1 이미지 위치를 지정하는 단계;
    상기 세계 좌표계에서의 상기 제1 특징의 3차원 위치　및 상기 스포츠 볼의 제1 이미지 위치에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는, 방법.
  21. 제1 카메라 및 제2 카메라에 결합된 처리 배열로서, 상기 처리 배열은:
    제1 이미지의 이미지 좌표계에서 스포츠 볼의 제1 이미지 위치를 검출하되, 상기 제1 이미지는 상기 제1 카메라의 제1 배향으로 캡처되고, 상기 제1 카메라는 스포츠 볼의 위치에 해당하는 제1 데이터를 캡처하도록 구성된 로봇 카메라이고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    상기 제1 이미지에서 적어도 제1 특징을 검출하는 단계;
    상기 제2 카메라에 의해 캡처된 제2 이미지에서 상기 제1 특징을 검출하되, 상기 제2 카메라는 세계 좌표계로 교정되고 상기 스포츠 볼의 위치에 해당하는 제2 데이터를 캡처하도록 구성되는 단계;
    상기 제2 카메라 교정에 기초하여 상기 세계 좌표계에서 상기 제1 특징의 3차원 위치를 결정하는 단계;
    상기 제1 특징에 기초하여 상기 제1과 제2 이미지 사이의 특징 매칭을 수행하여　상기 제2 이미지 내에서 상기 제1 이미지 위치를 지정하는 단계;
    상기 세계 좌표계에서의 상기 제1 특징의 3차원 위치　및 상기 스포츠 볼의 제1 이미지 위치에 기초하여 상기 세계 좌표계에서 상기 로봇 카메라 및 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는 작동을 수행하도록 구성되는, 처리 배열.
  22. 시스템으로서,
    스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성된 로봇 카메라로서, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는, 로봇 카메라; 및
    상기 로봇 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은:
    복수의 이미지의 이미지 좌표계에서 상기 스포츠 볼의 이미지 위치를 검출하되, 제1 이미지에서 상기 스포츠 볼의 제1 이미지 위치는 상기 로봇 카메라의 제1 배향으로 캡처되고;
    제1 기준점 및 제2 기준점이 상기 로봇 카메라의 시야에 위치하도록　상기 로봇 카메라의 줌 레벨을 제2 줌 레벨로 조정하되,　상기 줌 레벨이 조정되는 동안　상기 스포츠 볼의 이미지 위치가 추적되고;
    제2 이미지의 상기 이미지 좌표계에서 상기 제1 기준점의 제2 이미지 위치 및 상기 제2 기준점의 제3 이미지 위치를 검출하고;
    상기 제2 이미지에서 상기 스포츠 볼의 제4 이미지 위치를 결정하고;
    상기 제2 이미지 위치 및 상기 제3 이미지 위치를 상기 로봇 카메라에 대한 상기 제1 기준점 및 상기 제2 기준점에 대해 소정의 각도와 상관시킴으로써 상기 제2 이미지 위치 및 상기 제3 이미지 위치에 대한 상기 제4 이미지 위치의 각도 위치를 결정하고;
    상기 제1 이미지 위치, 상기 제2 줌 레벨, 및 상기 제2 및 제3 이미지 위치에 대한 상기 제1 이미지 위치의 각도 위치에 기초하여 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하고;
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하도록 구성되는, 시스템.
  23. 제22항에 있어서, 상기 제1 이미지 위치에서, 상기 스포츠 볼은 스포츠 플레이 영역의 표면 상에 있고, 상기 스포츠 볼의 3차원 위치는 상기 스포츠 볼의 3차원 위치를 포함하는 상기 스포츠 플레이 영역의 적어도 일부분의 3차원 모델과 상기 라인 사이의 교차를 식별함으로써 결정되는, 시스템.
  24. 제22항에 있어서, 상기 제2 이미지는 상기 제1 이미지에 대한 배향을 조정하지 않고 캡처되는, 시스템.
  25. 제24항에 있어서, 상기 스포츠 볼이 상기 제2 이미지에서 보이지 않는 경우, 상기 제2 이미지에서의 상기 스포츠 볼의 제4 이미지 위치는 상기 줌 레벨이 조정되는 동안 상기 스포츠 볼의 이미지 위치의 추적에 기초하여 추론되는, 시스템.
  26. 방법으로서,
    이미지 좌표계의 복수의 이미지에서 스포츠 볼의 이미지 위치를 검출하되, 제1 이미지의 상기 스포츠 볼의 제1 이미지 위치는 로봇 카메라의 제1 배향으로 캡처되고, 상기 로봇 카메라는 상기 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    제1 기준점 및 제2 기준점이 상기 로봇 카메라의 시야에 위치하도록　상기 로봇 카메라의 줌 레벨을 제2 줌 레벨로 조정하되,　상기 줌 레벨이 조정되는 동안　상기 스포츠 볼의 이미지 위치가 추적되는 단계;
    제2 이미지의 상기 이미지 좌표계에서 상기 제1 기준점의 제2 이미지 위치 및 상기 제2 기준점의 제3 이미지 위치를 검출하는 단계;
    상기 제2 이미지에서 상기 스포츠 볼의 제4 이미지 위치를 결정하는 단계;
    상기 제2 이미지 위치 및 상기 제3 이미지 위치를 상기 로봇 카메라에 대한 상기 제1 기준점 및 상기 제2 기준점에 대해 소정의 각도와 상관시킴으로써 상기 제2 이미지 위치 및 상기 제3 이미지 위치에 대한 상기 제4 이미지 위치의 각도 위치를 결정하는 단계;
    상기 제1 이미지 위치, 상기 제2 줌 레벨, 및 상기 제2 및 제3 이미지 위치에 대한 상기 제1 이미지 위치의 각도 위치에 기초하여 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는, 방법.
  27. 로봇 카메라에 결합된 프로세서로서, 상기 프로세서는:
    복수의 이미지의 이미지 좌표계에서 스포츠 볼의 이미지 위치를 검출하되, 제1 이미지의 상기 스포츠 볼의 제1 이미지 위치는 상기 로봇 카메라의 제1 배향으로 캡처되고, 상기 로봇 카메라는 상기 스포츠 볼의 위치에 해당하는 데이터를 캡처하도록 구성되고, 상기 로봇 카메라는 상기 캡처된 데이터 또는 명령에 응답하여 배향 및 줌 레벨을 자동으로 조정하도록 추가로 구성되는 단계;
    제1 기준점 및 제2 기준점이 상기 로봇 카메라의 시야에 위치하도록　상기 로봇 카메라의 줌 레벨을 제2 줌 레벨로 조정하되,　상기 줌 레벨이 조정되는 동안　상기 스포츠 볼의 이미지 위치가 추적되는 단계;
    제2 이미지의 상기 이미지 좌표계에서 상기 제1 기준점의 제2 이미지 위치 및 상기 제2 기준점의 제3 이미지 위치를 검출하는 단계;
    상기 제2 이미지에서 상기 스포츠 볼의 제4 이미지 위치를 결정하는 단계;
    상기 제2 이미지 위치 및 상기 제3 이미지 위치를 상기 로봇 카메라에 대한 상기 제1 기준점 및 상기 제2 기준점에 대해 소정의 각도와 상관시킴으로써 상기 제2 이미지 위치 및 상기 제3 이미지 위치에 대한 상기 제4 이미지 위치의 각도 위치를 결정하는 단계;
    상기 제1 이미지 위치, 상기 제2 줌 레벨, 및 상기 제2 및 제3 이미지 위치에 대한 상기 제1 이미지 위치의 각도 위치에 기초하여 세계 좌표계에서 상기 로봇 카메라와 상기 스포츠 볼을 통해 연장되는 3차원 라인을 결정하는 단계; 및
    상기 3차원 라인을 따라 위치한 상기 세계 좌표계에서 상기 스포츠 볼의 3차원 위치를 결정하는 단계를 포함하는 작동을 수행하도록 구성되는, 프로세서.
  28. 시스템으로서,
    스포츠 볼의 궤적에 해당하는 데이터를 캡처하도록 구성된 센서 시야를 갖는 제1 센서;
    상기 스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 시야를 갖는 제1 방송 카메라; 및
    상기 제1 센서 및 상기 제1 방송 카메라에 결합된 처리 배열을 포함하고, 상기 처리 배열은:
    제1 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 상기 제1 방송 카메라에 대한 상기 제1 센서를 교정하되, 상기 교정은 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제1 방송 카메라의 파라미터 사이의 관계를 더 포함하고;
    상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 상기 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하고;
    상기 스포츠 볼이 상기 센서 시야를 횡단할 때 상기 스포츠 볼 궤적에 대한 상기 데이터에 기초하여 궤적 파라미터를 결정하고;
    상기 스포츠 볼의 경로를 나타내는 트레이서를 상기 방송 비디오 피드에 삽입하되, 상기 트레이서는 상기 제1 센서와 상기 제1 방송 카메라 사이의 상기 교정에 기초하여 생성되도록 구성되는, 시스템.
  29. 제28항에 있어서, 상기 제1 센서는 추적 카메라인, 시스템.
  30. 제29항에 있어서, 상기 처리 배열은, 상기 추적 카메라와 상기 제1 방송 카메라로부터의 이미지들 간의 특징 매칭에 의해 상기 제1 방송 카메라의 현재 줌 레벨을 결정하도록 추가로 구성되는, 시스템.
  31. 제30항에 있어서, 상기 트레이서는, 상이한 줌 레벨에 대한 상기 교정에 기초하여, 상기 제1 방송 카메라의 현재 줌 레벨에 상관없이, 상기 방송 비디오 피드에 삽입되는, 시스템.
  32. 제29항에 있어서, 상기 스포츠 볼의 위치는 상기 트레이서의 시작점의 렌더링을 개선하기 위해 발사 전의 상기 제1 이미지 중 하나 이상에서 검출되는, 시스템.
  33. 제32항에 있어서, 볼 식별 알고리즘은 상기 제1 이미지에서 상기 스포츠 볼의 위치를 검색하는, 시스템.
  34. 제32항에 있어서, 플레이어의 자세는 상기 스포츠 볼을 찾기 위해 발사 전에 검출되는, 시스템.
  35. 제28항에 있어서, 상기 시스템은:
    상기 스포츠 볼의 궤적의 제2 부분의 제2 이미지를 포함하는 제2 비디오 스트림을 캡처하도록 구성된 제2 시야를 갖는 제2 방송 카메라를 더 포함하되, 상기 처리 배열은 추가로:
    제2 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 상기 제2 방송 카메라에 대한 상기 제1 센서를 교정하되, 상기 교정은 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제2 방송 카메라의 파라미터 사이의 관계를 더 포함하고;
    상기 방송 비디오 피드를　상기 스포츠 볼이 상기 제2 시야를 횡단할 때 상기 스포츠 볼 궤적의 제2 부분의 제2 이미지를 포함하는 상기 제2 비디오 스트림으로 전환하고;
    상기 제1 센서와 상기 제2 방송 카메라 사이의 상기 교정에 기초하여 상기 방송 비디오 피드에 추가 트레이서를 삽입하도록 구성되는, 시스템.
  36. 방법으로서,
    제1 방송 카메라에 대해 제1 센서를 교정하되, 상기 제1 센서는 센서 시야를 가지며 스포츠 공의 궤적에 해당하는 데이터를 캡처하도록 구성되고, 상기 제1　방송 카메라는 상기　스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 시야를 갖고,　상기 제1 센서 및 상기 제1 방송 카메라는 상기 제1 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 교정되고, 상기 교정은　 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제1 방송 카메라의 파라미터들 사이의 관계를 더 포함하는 단계;
    상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 상기 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하는 단계;
    상기 스포츠 볼이 상기 센서 시야를 횡단할 때 상기 스포츠 볼 궤적에 대한 상기 데이터에 기초하여 궤적 파라미터를 결정하는 단계;
    상기 스포츠 볼의 경로를 나타내는 트레이서를 상기 방송 비디오 피드에 삽입하되, 상기 트레이서는 상기 제1 센서와 상기 제1 방송 카메라 사이의 상기 교정에 기초하여 생성되는 단계를 포함하는, 방법.
  37. 제1 센서 및 제1 방송 카메라에 결합된 프로세서로서, 상기 프로세서는:
    상기 제1 방송 카메라에 대해 상기 제1 센서를 교정하되, 상기 제1 센서는 센서 시야를 가지며 스포츠 공의 궤적에 해당하는 데이터를 캡처하도록 구성되고, 상기 제1　방송 카메라는 상기　스포츠 볼의 궤적의 제1 부분의 제1 이미지를 포함하는 제1 비디오 스트림을 캡처하도록 구성된 제1 시야를 갖고,　상기 제1 센서 및 상기 제1 방송 카메라는 상기 제1 이미지의 픽셀 배향이 상기 제1 센서의 좌표계에 대해 알려지도록 교정되고, 상기 교정은　 상이한 줌 레벨에 대한 상기 제1 센서와 상기 제1 방송 카메라의 파라미터들 사이의 관계를 더 포함하는 단계;
    상기 스포츠 볼이 상기 제1 시야를 횡단할 때 상기 스포츠 볼 궤적의 제1 부분의 제1 이미지를 포함하는 상기 제1 비디오 스트림을 사용하여 방송 비디오 피드를 생성하는 단계;
    상기 스포츠 볼이 상기 센서 시야를 횡단할 때 상기 스포츠 볼 궤적에 대한 상기 데이터에 기초하여 궤적 파라미터를 결정하는 단계;
    상기 스포츠 볼의 경로를 나타내는 트레이서를 상기 방송 비디오 피드에 삽입하되, 상기 트레이서는 상기 제1 센서와 상기 제1 방송 카메라 사이의 상기 교정에 기초하여 생성되는 단계를 포함하는 작동을 수행하도록 구성되는, 프로세서.
KR1020237027133A 2021-03-05 2022-03-04 로봇 카메라 교정 시스템 및 방법 KR20230154002A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163200425P 2021-03-05 2021-03-05
US63/200,425 2021-03-05
US202163202850P 2021-06-27 2021-06-27
US63/202,850 2021-06-27
PCT/IB2022/051942 WO2022185278A1 (en) 2021-03-05 2022-03-04 System and method for robotic camera calibration

Publications (1)

Publication Number Publication Date
KR20230154002A true KR20230154002A (ko) 2023-11-07

Family

ID=80736005

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237027134A KR20230154420A (ko) 2021-03-05 2022-03-04 플레이어의 식별을 위한 시스템 및 방법
KR1020237027133A KR20230154002A (ko) 2021-03-05 2022-03-04 로봇 카메라 교정 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237027134A KR20230154420A (ko) 2021-03-05 2022-03-04 플레이어의 식별을 위한 시스템 및 방법

Country Status (5)

Country Link
US (4) US20220284628A1 (ko)
EP (2) EP4302266A1 (ko)
JP (2) JP2024508137A (ko)
KR (2) KR20230154420A (ko)
WO (2) WO2022185276A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113574866B (zh) 2019-02-28 2024-08-02 斯塔特斯公司 校准捕捉广播视频的移动相机的系统及方法
JP7162142B2 (ja) * 2019-08-02 2022-10-27 日立Astemo株式会社 エイミング装置、運転制御システム、及びセンサデータの補正量の計算方法
US11875517B2 (en) * 2020-03-23 2024-01-16 Full-Swing Golf, Inc. Golf ball tracking system and methods
JP2023020966A (ja) * 2021-07-30 2023-02-09 エスジーエム・カンパニー・リミテッド ゴルフボールの位置把握方法及びゴルフプレイ情報提供システム
US20240091610A1 (en) * 2022-04-11 2024-03-21 Cobra Golf Incorporated Golf club fitting systems and methods
US11607601B1 (en) * 2022-06-15 2023-03-21 Pga Tour, Inc. Golf event management system with scoring and location tracking
SE2230320A1 (en) * 2022-10-04 2024-04-05 Topgolf Sweden Ab Ball spin axis determination
SE2230347A1 (en) * 2022-10-28 2024-04-29 Topgolf Sweden Ab Ball spin axis determination
US11986699B1 (en) * 2022-11-28 2024-05-21 Pga Tour Enterprises, Llc System and method for estimating final resting position of golf balls

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012023A1 (en) * 1996-02-12 2005-01-20 Vock Curtis A. Ball tracking in three-dimensions
JP4436990B2 (ja) * 2001-07-31 2010-03-24 Ｓｒｉスポーツ株式会社 ボール弾道計測装置
US8409024B2 (en) * 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
US10360685B2 (en) * 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
WO2003022369A2 (en) * 2001-09-12 2003-03-20 Pillar Vision Corporation Trajectory detection and feedback system
US7292711B2 (en) * 2002-06-06 2007-11-06 Wintriss Engineering Corporation Flight parameter measurement system
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US20050250590A1 (en) 2004-05-04 2005-11-10 Gps Industries, Inc. Method for conducting a multi-golf course performance contest
US8786596B2 (en) * 2008-07-23 2014-07-22 Disney Enterprises, Inc. View point representation for 3-D scenes
US8884741B2 (en) * 2010-02-24 2014-11-11 Sportvision, Inc. Tracking system
US8805007B2 (en) * 2011-10-13 2014-08-12 Disney Enterprises, Inc. Integrated background and foreground tracking
EP2605036B1 (en) 2011-12-16 2019-10-23 Trackman A/S A method and a sensor for determining a direction-of-arrival of impingent radiation
US9805546B2 (en) * 2013-06-19 2017-10-31 Glasson Investments Pty Ltd Methods and systems for monitoring golfers on a golf course
US20190134506A1 (en) * 2014-10-09 2019-05-09 Golfstream Inc. Sport and game simulation systems and methods
US10078898B2 (en) * 2014-11-07 2018-09-18 National Institute Of Standards And Technology Noncontact metrology probe, process for making and using same
US11159854B2 (en) * 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
CA2973115C (en) 2015-01-06 2023-04-04 Emss Antennas (Pty) Ltd Golf ball tracking system
US10086252B2 (en) 2015-02-17 2018-10-02 Donald Butler Curchod System and method for ranking of golf tournament participants
US10339662B2 (en) * 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10290119B2 (en) * 2016-09-15 2019-05-14 Sportsmedia Technology Corporation Multi view camera registration
US10372970B2 (en) * 2016-09-15 2019-08-06 Qualcomm Incorporated Automatic scene calibration method for video analytics
US10444339B2 (en) 2016-10-31 2019-10-15 Trackman A/S Skid and roll tracking system
US10989791B2 (en) 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data
US20180200576A1 (en) * 2017-01-17 2018-07-19 CHIP'd, Inc. Real-Time Tracking System for Sports Scoring Objects and Methods of Use
WO2018138708A1 (en) * 2017-01-30 2018-08-02 Topgolf Sweden Ab System and method for three dimensional object tracking using combination of radar and image data
US10810903B2 (en) * 2017-04-05 2020-10-20 Flyingtee Tech, Llc Computerized method of detecting and depicting a travel path of a golf ball
US10751569B2 (en) * 2017-06-27 2020-08-25 Information Systems Laboratories, Inc. System and method for 3D optical tracking of multiple in-flight golf balls
US10668342B2 (en) 2018-05-09 2020-06-02 Acushnet Company Golf club configuration detection system
WO2019229748A1 (en) * 2018-05-28 2019-12-05 United Perfectum Ltd. Golf game video analytic system
US11073373B2 (en) * 2018-08-22 2021-07-27 Government Of The United States Of America, As Represented By The Secretary Of Commerce Non-contact coordinate measuring machine using a noncontact metrology probe
US11551428B2 (en) * 2018-09-28 2023-01-10 Intel Corporation Methods and apparatus to generate photo-realistic three-dimensional models of a photographed environment
US10799759B2 (en) * 2018-11-16 2020-10-13 Acushnet Company Golf equipment identification and fitting system
JP7538816B2 (ja) 2019-05-13 2024-08-22 ホール－イン－ワン・メディア・インコーポレイテッド 自律的な活動監視方法、プログラムおよびシステム
US11606617B2 (en) * 2020-03-11 2023-03-14 Augusta National, Inc. Method, apparatus and computer program product for presenting a sporting event
US11729490B2 (en) * 2020-06-04 2023-08-15 Hole-In-One Media, Inc. Autonomous digital media processing systems and methods
JP7546895B2 (ja) 2020-07-29 2024-09-09 ディライトワークス株式会社 プログラム、ゴルフ情報提供方法及び情報処理装置

Also Published As

Publication number Publication date
WO2022185278A1 (en) 2022-09-09
EP4302265A1 (en) 2024-01-10
JP2024508137A (ja) 2024-02-22
KR20230154420A (ko) 2023-11-08
EP4302266A1 (en) 2024-01-10
JP2024508136A (ja) 2024-02-22
US12036465B2 (en) 2024-07-16
US20220280855A1 (en) 2022-09-08
US20220288481A1 (en) 2022-09-15
US20220284628A1 (en) 2022-09-08
US20220284625A1 (en) 2022-09-08
WO2022185276A1 (en) 2022-09-09

Similar Documents

Publication Publication Date Title
US12036465B2 (en) System and method for player's identification
CN109997054B (zh) 用于使用雷达数据和成像器数据跟踪物体的装置、系统和方法
US11541294B2 (en) Golf aid including heads up display for green reading
US11752417B2 (en) Electronic tracking system with heads up display
US12017131B2 (en) Golf aid including virtual caddy
KR101845503B1 (ko) 레이더 및 촬상 요소를 포함하는 조립체
US12109478B2 (en) Electronic tracking system with heads up display
AU2018404876A1 (en) Golf ball tracking system
US20170272703A1 (en) Athletic performance data acquisition systems, apparatus, and methods
KR20230087231A (ko) 인공지능 기반 이동 객체의 위치 측정 시스템 및 방법
US12121794B2 (en) Electronic tracking system with heads up display