KR20210064333A - 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법 - Google Patents

골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20210064333A
KR20210064333A KR1020217012343A KR20217012343A KR20210064333A KR 20210064333 A KR20210064333 A KR 20210064333A KR 1020217012343 A KR1020217012343 A KR 1020217012343A KR 20217012343 A KR20217012343 A KR 20217012343A KR 20210064333 A KR20210064333 A KR 20210064333A
Authority
KR
South Korea
Prior art keywords
firing
shot
golf
area
characteristic
Prior art date
Application number
KR1020217012343A
Other languages
English (en)
Inventor
프레드릭 투센
쳉 첸
마티아스 스트란드가드
Original Assignee
트랙맨 에이/에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트랙맨 에이/에스 filed Critical 트랙맨 에이/에스
Priority to KR1020247007057A priority Critical patent/KR20240034261A/ko
Publication of KR20210064333A publication Critical patent/KR20210064333A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3658Means associated with the ball for indicating or measuring, e.g. speed, direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/05Image processing for measuring physical parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/30Speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/89Field sensors, e.g. radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

골프 샷 특성을 결정하기 위한 방법은 이미저에 의해 캡쳐된 이미징 데이터에서, 제 1 발사 영역에서 발사된 골프 샷의 시그니처, 제 1 발사 영역 및 상기 제 1 발사 영역에 인접한 영역 중 하나를 포함하는 이미저의 시야를 검출하는 단계, 상기 이미징 데이터로부터 제 1 골프 샷 특성을 결정하는 단계로서, 상기 제 1 샷 특성은 제 1 발사 장소 및 제 1 발사 시간을 포함하며, 추가 센서 어레인지먼트에 의해 캡처된 센서 데이터로부터 결정된 제 2 골프 샷 특성에 대한 제 2 발사 장소 및 제 2 발사 시간에 대응하는지를 결정하는 단계와 조합하는, 단계, 및 상기 제 1 및 제 2 발사 장소와 상기 제 1 및 제 2 발사 시간 사이에 대응이 발견되지 않은 경우, 상기 제 1 샷 특성을 상기 제 1 발사 장소의 디스플레이로 전송하는 단계를 포함한다.

Description

골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법
우선권 청구
본 출원은 2019년 2월 22일에 출원된 미국 가특허 출원 제 62/809,083호를 우선권으로 청구한다. 상기 확인된 출원의 명세서는 인용에 의해 본원에 포함된다.
분야
본 개시는 골프 연습장(driving range)에서 골프 샷(golf shot)에 대한 이동 경로 특성을 결정하는 시스템 및 방법에 관한 것이다.
골프 연습장은 동시에 비행하는 비교적 많은 수의 골프 볼(ball)을 추적(track)하기 위한 센서(때로는 비교적 적은 수의 센서)를 구현할 수 있다. 예를 들어, 골프 연습장 주변에 위치한 3 개의 레이더를 포함하는 시스템은 여러 수준에 걸쳐 있는 수백 개의 타격 베이에서 발생하는 수십 개 또는 그 초과의 동시에 비행하는 골프 볼을 추적하기에 충분할 수 있다. 샷 데이터(shot data)는 레이더에 의해 캡쳐되고, 샷의 추적 및 기타 특성을 결정하기 위해 처리 어레인지먼트에 의해 처리될 수 있으며, 각각의 골퍼에게 자신의 샷과 관련된 샷 특성이 제공될 수 있도록 샷이 시작된 타격 베이에 제공될 수 있다.
센서 및 그 어레인지먼트에 따라, 이러한 시스템은 적어도 최소 속도 및 높이에서 공중으로 발사된 골프 볼을 더 잘 추적할 수 있다. 예를 들어, 특정 레이더 시스템은 15m/s 미만으로 이동하는 볼 또는 15m/s 또는 그 초과로 이동하는 경우에도 비행 시간이 짧은, 즉 작은 발사 각도로 발사되는 볼을 신뢰성 있게 검출할 수 없다. 이러한 유형의 샷은 잘 맞지 않거나 칩 샷이나 퍼팅과 같은 고의적인 짧은 샷일 수 있다. 이러한 경우, 센서로부터 데이터를 수신하는 컴퓨터는 다른 물체의 움직임이나 데이터의 노이즈때문에 상당히 느리게 움직이는 또는 작은 각도의 샷의 시그니처(signature)를 식별하지 못할 수 있다.
본 개시는 골프 샷 특성을 결정하는 방법에 관한 것이다. 이 방법은 이미저(imager)에 의해 캡쳐된 이미징 데이터(imaging data)에서 골프 볼이 발사될 복수의 발사 영역의 제 1 발사 영역에서 발사된 골프 샷의 시그니처, 제 1 발사 영역 및 제 1 발사 영역에 인접한 영역 중 하나를 포함하는 이미저의 시야를 검출하는 단계, 상기 이미징 데이터로부터, 골프 샷에 대한 제 1 샷 특성을 결정하는 단계로서, 상기 제 1 샷 특성은 제 1 발사 장소(location) 및 제 1 발사 시간을 포함하는, 단계; 제 1 발사 장소 및 제 1 발사 시간이 추가 센서 어레인지먼트에 의해 캡쳐된 센서 데이터로부터 결정된 제 2 발사 특성에 대한 제 2 발사 장소 및 제 2 발사 시간에 대응하는지 여부를 결정하는 단계; 및 제 1 및 제 2 발사 장소와 제 1 및 제 2 발사 시간 사이에 대응이 발견되지 않는 경우, 제 1 샷 특성을 제 1 발사 영역의 디스플레이로 전송하는 단계를 포함한다.
일 실시예에서, 상기 방법은 제 1 및 제 2 발사 장소와 제 1 및 제 2 발사 시간 사이에 대응이 발견될 때, 제 2 샷 특성을 제 1 발사 영역의 디스플레이로 전송하는 단계를 더 포함한다.
일 실시예에서, 골프 샷의 시그니처를 검출하는 단계는 골프 볼 시그니처에 상관되는 이미지 특징을 식별하는 블롭 검출(blob detection)을 포함한다.
일 실시예에서, 상기 방법은 골프 볼 시그니처가 검출된 복수의 인접한 이미지 프레임으로부터 모션 이미지를 계산하는 단계로서, 상기 모션 이미지가 골프 시그니처에 대응하는 블러(blur)를 포함하는, 단계; 및 모션 이미지로부터 블러에 대응하는 특징을 추출하는 단계를 더 포함한다.
일 실시예에서, 추출된 특징은 길이, 폭, 블러 인자(blur factor), 수평 각도, 및 블러의 추정된 발사 위치(launch position)를 포함한다.
일 실시예에서, 상기 방법은 공간 및 시간 검사에 기반하여 복수의 이미지에서 검출된 블롭이 모두 동일한 골프 샷에 대응하는지 여부를 결정하는 단계를 더 포함한다.
일 실시예에서, 상기 방법은 정수 프로그래밍 최적화에 기반하여 복수의 이미지에서 검출된 블롭이 모두 동일한 골프 샷에 대응하는지 여부를 결정하는 단계를 더 포함한다.
일 실시예에서, 상기 방법은 이미저를 제 1 발사 영역으로 교정하는 단계를 더 포함한다.
일 실시예에서, 추가 센서 어레인지먼트는 레이더 어레이 및 이미징 시스템 중 하나를 포함한다.
일 실시예에서, 제 1 샷 특성은 골프 샷의 초기 속도, 초기 방향, 및 추정된 이동 거리를 포함한다.
본 개시는 또한 골프 샷 특성을 결정하기 위한 시스템에 관한 것이다. 상기 시스템은 이미징 데이터를 캡쳐하고 골프 샷이 발사될 복수의 발사 영역의 제 1 발사 영역 및 제 1 발사 영역에 인접한 영역을 포함하는 시야를 갖는 이미저를 포함한다. 또한, 상기 시스템은 이미징 데이터에서 제 1 발사 영역에서 발사된 골프 샷의 시그니처를 검출하는 처리 어레인지먼트를 포함하고, 처리 어레인지먼트는 이미징 데이터로부터 골프 샷에 대한 제 1 샷 특성을 결정하고, 상기 제 1 샷 특성은 제 1 발사 장소 및 제 1 발사 시간을 포함하고, 상기 처리 어레인지먼트는 제 1 발사 장소 및 제 1 발사 시간이 추가 센서 어레인지먼트에 의해 캡쳐된 센서 데이터로부터 결정된 제 2 샷 특성에 대한 제 2 발사 장소 및 제 2 발사 시간에 대응하는지를 결정하고, 상기 처리 어레인지먼트는 제 1 및 제 2 발사 장소와 제 1 및 제 2 발사 시간 사이에 대응이 발견되지 않을 때, 제 1 샷 특성을 제 1 발사 영역의 디스플레이로 전송한다.
일 실시예에서, 제 1 및 제 2 발사 장소와 제 1 및 제 2 발사 시간 사이에 대응이 발견될 때, 처리 어레인지먼트는 제 2 발사 특성을 제 1 발사 영역의 디스플레이로 전송한다.
일 실시예에서, 상기 처리 어레인지먼트는 골프 샷의 시그니처를 검출하여 골프 볼 시그니처와 관련된 이미지 특징을 식별하기 위해 블롭 검출을 사용한다.
일 실시예에서, 상기 처리 어레인지먼트는 골프 볼 시그니처가 검출된 복수의 인접한 이미지 프레임으로부터 모션 이미지를 계산하고, 상기 모션 이미지는 골프 시그니처에 대응하는 블러를 포함하고, 그 블러에 대응하는 특징을 모션 이미지로부터 추출한다.
일 실시예에서, 추출된 특징은 길이, 폭, 블러 인자, 수평 각도, 및 블러의 추정된 발사 위치를 포함한다.
일 실시예에서, 처리 어레인지먼트는 공간 및 시간 검사에 기반하여 복수의 이미지에서 검출된 블롭이 동일한 골프 샷에 대응하는지 여부를 결정한다.
일 실시예에서, 처리 어레인지먼트는 정수 프로그래밍 최적화에 기반하여 복수의 이미지에서 검출된 블롭이 동일한 골프 샷에 대응하는지 여부를 결정한다.
일 실시예에서, 이미저는 제 1 발사 영역으로 교정된다.
일 실시예에서, 추가 센서 어레인지먼트는 레이더 어레이 및 이미징 시스템 중 하나를 포함한다.
일 실시예에서, 제 1 샷 특성은 골프 샷의 초기 속도, 초기 방향, 및 추정된 이동 거리를 포함한다.
또한, 본 개시는 골프 연습장에 있는 복수의 타격 베이에 골프 샷 특성을 제공하는 시스템에 관한 것이다. 상기 시스템은 골프 연습장의 타격 베이로부터 발사된 복수의 골프 샷 각각의 샷 특성에 대응하는 데이터를 검출하는 1차 감지 어레인지먼트; 이미징 데이터를 캡쳐하고, 타격 베이 중 제 1 타격 베이와 제 1 타격 베이에 인접한 영역 중 하나를 포함하는 시야를 갖는 이미저; 및 처리 어레인지먼트를 포함한다. 상기 처리 어레인지먼트는 이미징 데이터에서 제 1 타격 베이로부터 발사된 골프 샷의 시그니처를 검출하고, 상기 처리 어레인지먼트는 이미징 데이터로부터 제 1 골프 샷에 대한 제 1 샷 특성을 결정하고, 상기 제 1 샷 특성은 제 1 발사 장소 및 제 1 발사 시간을 포함하고, 상기 처리 어레인지먼트는 제 1 발사 장소 및 제 1 발사 시간이 1차 감지 어레인지먼트에 의해 캡쳐된 센서 데이터로부터 결정된 제 2 샷 특성에 대한 제 2 발사 장소 및 제 2 발사 시간에 대응하는지 여부를 결정하고, 여기서 제 1 및 제 2 발사 장소와 제 1 및 제 2 발사 시간 사이에 대응이 발견되지 않을 때, 프로세서는 제 1 샷 특성을 제 1 타격 베이의 디스플레이로 전송한다.
일 실시예에서, 1차 감지 어레인지먼트는 제 1 임계 수준 미만의 속도 및 제 2 임계 수준 미만의 비행 시간 중 하나를 갖는 골프 샷을 신뢰성 있게 추적할 수 없는 레이더 장치를 포함하고, 상기 처리 어레인지먼트는 제 1 임계 수준 미만의 속도 및 제 2 임계 수준 미만의 비행 시간 중 하나를 갖는 제 1 타격 베이로부터 발사된 샷에 대한 이미징 데이터에 기반한 데이터를 제 1 타격 베이로 제공한다.
도 1은 샷 데이터를 캡쳐하기 위한 복수의 센서를 포함하는 골프 연습장을 도시한다.
도 2는 제 1의 예시적인 실시예에 따른 샷 특성을 결정하기 위한 시스템을 도시한다.
도 3a는 타격 베이 내의 발사 영역 및 타격 베이에 인접한 표적 영역의 영역을 포함하는 도 2의 이미저에 의해 제공된 예시적인 프레임을 도시한다.
도 3b는 볼 시그니처에 대응하는 블롭이 캡쳐되고 검출된 예시적인 프레임을 도시한다.
도 3c는 임계치 및 윤곽 추출 이후의 도 3b의 이미지를 도시한다.
도 3d는 더 짧은 노출 시간으로 캡쳐된 프레임의 진행을 예시하는 예시적인 다이어그램을 도시한다.
도 3e는 더 긴 노출 시간으로 캡쳐된 프레임의 진행을 예시하는 예시적인 다이어그램을 도시한다.
도 4는 이미지 데이터에서 움직이는 볼의 시그니처로부터 정보를 검출하고 추출하기 위해 도 2의 시스템에서 구현된 방법을 보여준다.
도 5는 볼이 다른 거리 센서에 의해 추적될 수 없을 때 샷 피드백을 제공하기 위해 도 1의 골프 연습장에서 구현된 시스템을 도시한다.
도 6은 도 5의 시스템의 다중 센서에 의해 캡쳐된 샷 데이터를 조화시키는 방법을 도시한다.
예시적인 실시예는 골프 샷에 대한 이동 경로 특성을 제공하기 위한 시스템 및 방법을 설명한다. 보다 구체적으로, 상기 시스템은 현 시스템을 사용하여 정확하게 추적하기 어렵거나 불가능할 수 있는 골프 샷의 특성을 결정하기 위해 골프 연습장에서 구현된다. 본 실시예는 샷 데이터를 캡쳐하고 처리하기 위한 대안적인 어레인지먼트를 제공함으로써 이러한 저속 및/또는 낮은 발사 각도 샷의 정확한 추적을 가능하게 한다. 예시적인 실시예가 다중 타격 베이를 갖는 골프 연습장에 대해 설명될 것이지만, 여기에 설명된 데이터 캡쳐 및 처리 기술은 개방형 발사 영역(예를 들어, 개별 타격 베이를 정의하는 구조 없음)에서, 샷이 화면으로 발사되는 실내 세팅에서, 또는 발사체를 추적하려는 다른 상황에서 단일 타격 베이만을 구비한 거리에 적용될 수 있다.
일 실시예에 따르면, 이미저는 그 타격 베이에서 발생하는 골프 샷의 이미지를 캡쳐하기 위해 골프 연습장에서 각각의 타격 베이 내에 또는 인접하게 위치된다. 샷 특성은 이미저 데이터를 기반으로 각각의 샷에 대해 결정되고 다른 거리 센서에 의해 추적된 샷과 일치하여 이동 과정에서 샷을 포괄적으로 추적한다. 일치가 발견되지 않으면, 베이 내 이미저의 이미지로부터의 데이터만을 기반으로 결정된 샷 특성이 사용되어 예를 들면, 발사 속도, 발사 각도, 추정된 이동 거리, 등과 같은 샷 양태를 디스플레이함으로써 골퍼에게 피드백을 제공한다. 일치가 발견되면, 인-베이 이미저로부터의 이미지를 기반으로 하여 결정된 샷 특성이 폐기될 수 있지만, 다른 거리 센서에 의해 캡쳐된 데이터로부터 결정된 샷 특성이 이용될 수 있다.
도 1은 샷 데이터를 캡쳐하기 위한 복수의 센서를 포함하는 골프 연습장(100)을 도시한다. 상기 골프 연습장(100)은 사용자가 골프 볼을 표적 영역(110)으로 타격할 수 있는 발사 영역(120)을 포함한다. 발사 영역(120)은 다중 수준에 걸쳐 배치될 수 있는 복수의 타격 베이(130)를 갖는다. 본 실시예에서, 발사 영역(120)은 13개의 타격 베이(130(1)-130(13))를 갖는 단일 수준만을 갖는 것으로 도시되어 있지만, 발사 영역은 임의의 크기이고 임의의 수의 타격 베이(130)를 가질 수 있다. 예를 들어, 발사 영역(120)은 수백 개의 타격 베이(130)를 가질 수 있다. 대안적으로, 발사 영역(120)은 타격 베이를 정의하는 구조적 제한 없이 비교적 개방될 수 있다. 발사 영역(120)은 직선일 수 있어서, 각각의 타격 베이(130)로부터의 최적 발사 방향은 동일한 방향이거나, 작은 곡률을 가질 수 있다.
본 실시예에서 골프 연습장(100)은 3개의 거리 레이더, 즉 제 1 시야(FOV)(150)를 갖는 제 1 레이더(140), 표적 영역(110)의 측면에 위치하는 제 2 FOV(151)를 갖는 제 2 레이더(141), 및 발사 영역(120) 위에 위치된 제 3 FOV(152)를 갖는 제 3 레이더(142)를 갖는다.. 그러나, 당업자는 임의의 수의 센서(레이더, 이미저, 등)를 사용하는 시스템이 여기에 설명된 동일한 원리를 사용하여 작동될 수 있다는 것을 알고 있다. 제 1 및 제 2 레이더(140, 141)는 발사 영역(120)을 향하고, 제 3 레이더(142)는 발사 영역(120)의 상측에서 표적 영역(110)의 후방을 향한다.
이러한 어레인지먼트로, 제 3 레이더(142)는 FOV(152) 내의 대부분의 표적 영역(110), 특히 발사 영역(120)에서 더 멀리 떨어진 표적 영역(110)의 더 깊은 부분을 커버하고, 제 1 및 제 2 레이더(140, 141)가 함께 시야(150, 151) 내에서 발사 영역(120)에 인접한 표적 영역(110)의 일부를 커버한다. 이러한 3개의 레이더(140-142)는 비교적 많은 수의 골프 볼, 예를 들어 수십 개 또는 그 초과의 골프볼을 동시 비행에서 추적할 수 있다. 이러한 예시적인 레이더 시스템으로부터의 원시 데이터는 하나 또는 그 초과의 컴퓨터, 예를 들어, 아래에서 더 설명되는 중앙 처리 어레인지먼트(505)에 제공되며, 이는 발사된 볼이 어느 타격 베이(130)에서 유래했는지를 결정하고 발사된 볼의 비행 세부 사항을 적절한 타격 베이에서 디스플레이에 제공한다.
일부 샷은 3 개의 레이더 중 하나에 의해서만 검출될 수 있는 반면, 다른 샷은 각각의 추적이 함께 스티칭되거나, 평균화되거나, 시간상 다양한 독립적 및/또는 겹치는 순간에 레이더 중 2개 또는 3개 모두에 의해 검출될 수 있거나, 그렇지 않으면, 볼의 비행의 전체 추적 및 기타 특성을 결정하기 위해 조합된다. 다중 레이더 어레이를 사용한 골프 연습장 볼 추적은 예를 들어 미국 출원 제 2018/0011183호에서 미리 설명되고 있으며, 이 출원은 전체가 인용에 의해 본 명세서에 포함된다. 위에서 설명한 레이더 어레이는 예시 목적으로만 설명된다. 이미저, LIDAR 등과 같은 다른 센서는 발사 영역(120)으로부터 발사된 대부분의 샷을 추적하기 위해 사용될 수 있다.
예를 들어, 거리 센서 시스템은 카메라 기반일 수 있다. 복수의 카메라가 발사 영역(120) 위에 배치되고 표적 영역(110)으로 향할 수 있다. 카메라는 미리 결정된 거리(예: 10-20 미터)만큼 서로 이격될 수 있으며, 스테레오 비전 기술 또는 유사한 기술이 발사 영역(120)으로부터 발사된 샷의 특성(예를 들어, 3차원 궤도 데이터)을 결정하도록 구현된다. 그러나, 이러한 시스템은 또한 일부 샷, 예를 들면, 20 내지 25 미터(즉, 발사 장소에서 지상 20-25 미터의 제 1 충격까지의 거리)보다 짧은 비행 궤적을 갖는 샷을 검출하는 데 어려움을 겪을 수 있다. 아래에 설명된 시스템은 다른 거리 센서에 의해 제공하는 데이터를 보완하는 수단으로 제공된다.
도 2는 제 1의 예시적인 실시예에 따른 샷 특성을 결정하기 위한 시스템(200)을 도시한다. 상기 시스템(200)은 골프 연습장과 독립적으로 구현될 수 있다. 그러나, 시스템(200)의 주된 목적은 낮게 또는 약하게 타격된 볼을 추적하는 데 어려움이 있는 전술한 3개의 레이더 시스템과 같은 1차 추적 시스템을 보완하기 위한 대안적인 추적 시스템을 제공하는 것이다. 따라서, 본 실시예에서, 시스템(200)은 골프 연습장(100)의 타격 베이(130)에서 구현될 수 있으며 이에 대해 설명된다. 시스템(200)의 예는 각각의 타격 베이(130(1) -130(13)), 타격 베이(130)의 서브 세트 각각에서, 또는 단일 타격 베이(130)에서 개별적으로 제공될 수 있다.
상기 시스템(200)은 이미지 데이터(즉, 골프 볼의 발사 장소 및 발사 장소 바로 앞의 영역을 포함하는 장면의 프레임) 또는 발사 장소에 인접한 영역을 의도된 방사 방향으로 캡쳐하도록 구성된 이미저(205)를 포함한다. 이 실시예에서 이미저(205)는 예를 들어 타격 베이(130) 내의 구조에 장착된 타격 베이(130) 위에 위치된다. 이미저(205)는 다양한 높이로, 예를 들어, 3 내지 5 미터로 장착 될 수 있고, 이미저(205)의 시야가 상기 설명된 영역을 포함하는 한, 직선 아래로 또는 비스듬히 향한다. 도 3a는 타격 베이(130) 및 타격 베이(130)로부터 볼 타격의 예상된 이동의 방향으로 타격 베이(130)에 인접한 표적 영역(110)의 영역(302) 내에 발사 영역(301)(즉, 볼이 발사될 것으로 예상되는 영역, 예를 들어 타격 매트)을 포함하는 이미저(205)에 의해 제공된 예시적인 프레임(300)을 도시한다.
이미저(205)는 발사 영역(301)에 대한 카메라의 위치 및 방향을 결정하도록 교정된다. 이것은 다양한 방식으로 수행될 수 있다. 제 1 예에서, 교정은 이미저로부터의 이미지의 픽셀 위치에 대해 체커보드(checkerboard)의 알려진 치수 및 위치를 상관시키기 위해 타격 영역에 알려진 치수의 체커보드를 배치함으로써 당업자에 의해 이해되는 바와 같이 수행될 수 있다. 제 2 예에서, 타격 매트의 미리 결정된 치수는 픽셀 위치와 상관될 수 있다. 제 3 예에서, 이미저(205)의 알려진 FOV는 이미저(205)로부터 타격 매트까지의 미리 결정된 거리와 관련된다.
제 4 예에서, 교정은 이미저(205) 및 다른 거리 센서 모두를 사용하여 발사 영역(301)으로부터 샷을 추적하고, 두 시스템이 동일한 데이터를 전달하도록 이미저(205)의 파라미터를 조정하는 것을 수반할 수 있다. 예를 들어, 발사 구역(301)의 특징을 포함하는 다양한 인자에 따라 위에서 설명한 교정의 조합 또는 변경이 사용될 수 있다. 예를 들어, 전술한 바와 같이, 발사 영역(120)은 미리 정의된 타격 베이가 없는 개방 영역일 수 있다. 그러한 시나리오에서, 이미저(205)는 예를 들어, 위에서 제공된 제 4 예를 사용하여 정의되지 않은 발사 구역으로 교정될 수 있다.
당업자에 의해 이해되는 바와 같이, 이미저(205)는 볼이 이미저(205)의 시야를 횡단할 때 비행중인 볼의 다수의 이미지를 캡쳐하기에 충분히 높은 프레임 속도를 갖도록 선택된다. 예를 들어 , 이미저(205)에 대한 프레임 속도는 60 내지 120fps일 수 있다. 더 높은 프레임 속도, 예를 들어, 120fps가 낮 시간에 사용될 수 있고, 더 낮은 프레임 속도, 예를 들어, 60/90 fps가 볼에 대한 우수한 신호 품질을 얻도록 밤에 사용될 수 있다. 이미저(205)는 롤링 셔터를 가질 수 있다. 즉, 이미저(205) 중 이미저(예를 들어, 감광성 칩)를 가로질러 순차적으로 이동하는 패턴으로 한 번에 이미지 데이터 한 라인(픽셀)을 캡쳐할 수 있다. 이 경우, 이미저(205)는 바람직하게는 픽셀이 롤링 셔터를 통해 노출되는 이미저를 가로 지르는 방향(즉, 노출될 픽셀의 제 1 라인으로부터 노출될 픽셀의 다음 라인으로의 방향 등)이 이미저(205)의 시야를 가로지르는 볼의 예상 이동 방향과 동일하도록 방향된다.
즉, 도 3a에 도시된 프레임(300)과 관련하여, 이미저(205)는 이미지 데이터가 FOV의 상단(발사 영역(301) 포함)에서 시작하여 캡쳐되고 하방으로 FOV의 하단(영역(302) 포함)으로 진행되도록 방향되어 프레임을 가로질러 이미지화된 볼의 이동 경로 길이를 각각의 프레임에서 최대화한다. 다른 실시예에서, 이미저(205)는 이미저(205)의 시야를 연장하고 결론적으로 그 시야를 통해 볼의 이동 경로의 길이를 연장하기 위해 광각 렌즈(wide-angle lens)를 가질 수 있다. 당업자에 의해 이해되는 바와 같이, 이미저(205)의 시야의 조명은 예를 들어 하나 또는 그 초과의 광원에 의해 이미지의 원하는 선예도/선명도를 달성하기 위해 필요에 따라 향상될 수 있으며, 이것은 특히 실내 또는 야간 조건에 대해 사실일 수 있다. 이미저(205)는 다양한 파장에서 작동하도록 구성될 수 있다. 예를 들어, 카메라는 시각 스펙트럼 또는 적외선(또는 근적외선) 스펙트럼에서 작동할 수 있다.
이미저(205)는 이미지에 대한 픽셀 강도 히스토그램이 최적의 노출 조건을 반영하도록 노출 및 이득을 조정하기 위한 노출 제어를 구현할 수 있다. 본 실시예에 대해, "오른쪽으로 노출된(exposed to the right)" 이미지, 즉 이미지의 과다 노출을 피하면서 가능한 한 많은 빛을 모으기 위해 증가된 노출 시간을 사용하여 캡쳐되는 이미지는 사람이 보기 위해 의도된 일반적인 이미지에 대한 이상적인 노출에 비해 선호된다. 이미저(205)의 노출을 제어하는 하나의 절차가 아래에 설명되지만, 당업계에 알려진 다른 노출 제어 기술이 사용될 수 있다. 예를 들어, 자동 노출 기술은 미국 출원 제 2011/0293259호 및 미국 특허 제 9,871,972호에 미리 설명되고, 이의 전체 개시 내용은 인용에 의해 포함된다. 자동 노출의 일반적인 원리는 포화도를 최소화하면서 이미지의 최대 밝기를 얻는 것이다.
추가적인 노출 문제는 장면의 반사 또는 다양한 어려운 조명 조건으로 인한 유사한 상황으로 인해 발생할 수 있다. 이러한 문제는 카메라 렌즈 앞에 편광 필터를 사용하여 반사가 캡쳐되는 것을 방지하고 빛의 강도를 줄여 노출 시간을 늘림으로써 해결할 수 있다.
빠르게 움직이는 물체, 예를 들어, 발사된 골프 볼은 특히 이미저(205)가 긴 노출 시간(즉, 단일 프레임의 노출 동안 볼이 시야의 상당 부분을 횡단하는 노출 시간)을 갖는 경우 이미저(205)에 의해 선형 블러로 캡쳐될 수 있다. 노출 시간은 조명 조건에 따라 약 34μs에서 15ms까지 다양하다. 높은 빛의 세기의 짧은 노출 시간은 볼의 실질적으로 둥근 이미지를 보여주는 더 선명한 사진을 제공할 수 있는 반면, 장시간 노출 프레임에서는 볼이 끝이 둥근 선형 블러로 나타난다. 이 실시예에서, 카메라는 볼이 횡단하는 거리를 나타내는 블러의 길이를 측정하고 이를 노출 시간과 비교함으로써 속도를 결정할 수 있다. 볼의 수평 방향은 블러의 방향에서 명확하게 도출할 수 있으며, 볼의 수평 속도는 블러의 길이에 따라 결정되고 이 길이를 알려진 노출 시간으로 나눈다. 배경 노이즈를 최소화하기 위해 더 긴 노출 시간이 선호되지만, 위에서 설명된 바와 같이, 아래에 설명된 검출 알고리즘은 짧은 노출 시나리오에서 잘 기능하도록 충분히 견고하다.
도 3d는 더 짧은 노출 시간으로 캡쳐된 프레임의 진행을 예시하는 예시적인 다이어그램(315)을 도시하는 반면, 도 3e는 더 긴 노출 시간으로 캡쳐된 프레임의 진행을 예시하는 예시적인 다이어그램(320)을 도시한다. 골프 클럽(316)은 3개의 시점(tn-2, tn-1, 및 tn)에 도시되어 있으며, 여기서 tn은 골프 볼(317)이 타격되는 순간을 나타낸다. 도 3d에서, 프레임 속도는 더 높고 노출은 더 짧아서, 골프 볼(317)이 이미저(205)의 FOV를 떠나기 전에 시간(tn+1, tn+2, tn+3)에 움직이는 골프 볼(317)의 3 개의 이미지가 캡쳐되는 결과를 낳는다. 볼(317)은 타겟 라인(350)에 대해 각도(352)를 가지고 경로(351)를 따라 이동한다. 짧은 노출 시간은 약간의 신장(318)을 가질 수 있는 볼(317)의 실질적으로 둥근 이미지를 보여주는 더 선명한 사진을 제공한다. 예시도(315)에서, 볼의 수평 운동은 프레임들(참조 번호 319로 도시됨) 사이의 볼(317)의 위치 변화를 계산하고 알려진 카메라 프레임 속도에 기반하여 속도를 계산함으로써 결정될 수 있다. 각도(352)는 또한 경로(351)를 발사 위치로 다시 투영하고 경로(351)의 방향을 타겟 라인(350)과 비교함으로써 결정될 수 있다. 그러나, 도 3e에서, 프레임 속도가 더 낮고 노출이 더 길어서 볼(317)이 이미저(205)의 FOV를 떠나기 전에 시간(tn+1)에서 캡쳐되는 동작중인 골프 볼(317)의 단일 이미지를 초래한다. 볼(317)을 나타내는 선형 블러(317')의 길이가 측정될 수 있고 전술한 바와 같이, 이로부터 볼의 수평 속도 및 수평 각도(352)가 결정될 수 있다.
상기 시스템(200)은 이미저(205)에 의해 캡쳐된 이미지를 수신하고 처리하도록 구성된 컴퓨터(210)를 더 포함한다. 컴퓨터(210)는 프로세서(215) 및 예를 들어 프로세서(215)에 의한 실행을 위한 이미지 및 알고리즘 명령을 저장하는 메모리(220)를 포함한다. 컴퓨터(210)는 독립적으로, 즉 단일 타격 베이(310)로부터의 샷을 처리하기 위한 별도의 컴퓨터(210)로서 제공될 수 있거나, 전체 골프 연습장(100)에 대한 더 넓은 처리 어레인지먼트의 일부일 수 있다. 예를 들어, 아래에서 더 자세히 설명되는 바와 같이, 이미저(205)에 의해 캡쳐된 이미지 데이터로부터 결정된 샷 특성은 레이더(140-142)에 의해 캡쳐된 레이더 데이터로부터 결정된 샷 특성과 비교될 수 있으며, 샷 궤적이 레이더와 그로부터 결정된 추적에 의해 검출될 때, 이미지 데이터로부터 결정된 샷 특성은 폐기되거나 그렇지 않으면 골퍼에게 제공되지 않을 수 있다.
이미지로부터, 컴퓨터(210)는 예를 들어 발사된 볼의 초기 속도 및 방향을 포함하는 샷 특성을 결정할 수 있다. 예를 들어, 볼이 타격된 시간을 포함하는 추가 특성은 또한 이미저(205)의 볼 검출이 제시간에 매칭될 수 있고 하나 또는 그 초과의 거리 레이더로부터의 볼 검출과 비교될 수 있도록 결정될 수 있다. 이러한 결정은 아래에서 더 자세히 설명된다. 샷 특성이 결정되면, 샷 특성에 기반한 피드백이 샷이 시작된 타격 베이(130)에 위치된 디스플레이(225)에 제공될 수 있다. 디스플레이(225)는 결정된 샷 특성을 표시할 수 있으며, 초기 속도 및 방향에 기반하여 타격 베이에 대한 초기 속도 및 최종 휴지 위치가 주어졌을 때 볼이 이동할 추정 거리와 같은 투영된 비행 경로 세부 사항을 표시할 수도 있다.
도 4는 이미지 데이터에서 움직이는 볼의 시그니처로부터 정보를 검출하고 추출하기 위해 시스템(200)에서 구현된 방법(400)을 도시한다. 405에서, 이미저(205)에 의해 캡쳐된 이미지는 링 버퍼로 전송된다. 링 버퍼는 링 버퍼가 용량에 도달한 후 이전 이미지가 계속해서 덮어 쓰기되는 이미지를 저장하기 위한 메모리(225)의 일부이다. 예를 들어, 링 버퍼가 한 번에 1000개의 이미지를 저장하는 경우, 캡쳐된 1001번째 이미지가 캡쳐된 제 1 이미지를 대체하고 캡쳐된 1002번째 이미지가 캡쳐된 제 2 이미지를 대체한다. 이미저(205)의 프레임 속도가 90fps인 경우 , 1000개의 이미지 링 버퍼의 각각의 이미지는 약 11초 내에 덮어 쓰기 될 것이다. 링 버퍼의 크기는 이미지 해상도와 카메라에서 CPU 메모리로 이미지 데이터를 이동하는 데 필요한 시간에 따라 달라질 수 있다. 이미지 해상도는 볼에 대응하는 최소 픽셀 수와 최소 FOV를 기준으로 결정된다. 그러나 해상도가 CPU에서 너무 많은 리소스를 필요로 하여 프레임이 중단될 정도로 높지 않아야 한다.
410에서, 볼과 관련될 수 있는 후보 이미지 특징을 검출하기 위해 각각의 이미지에 대해 블롭 검출이 수행된다. 검출 단계는 예를 들어 영역(302)을 포함하는 이미지의 일부, 즉 발사시 볼을 검출하기 위한 트리거 영역으로 간주될 수 있는 타격 베이(130)에 인접한 표적 영역의 일부에서만 수행될 수 있다. 또는, 사용하는 컴퓨터가 충분히 빠르면, 전체 이미지가 사용할 수 있다. 골프 볼의 알려진 크기와 모양, 그리고 이미저(205)와 볼 사이의 대략적인 거리가 주어지면, 컴퓨터(210)는 트리거 영역을 통과하여 이동하는 볼의 시그니처에 대응하는 후보를 식별한다. 임계 값 요구 사항을 충족하는 블롭이 이미지에서 검출되지 않으면, 상기 방법이 종료된다. 골퍼가 일반적으로 샷을 하는 빈도와 타격 한 볼이 영역(302)을 통과하는 데 걸리는 짧은 시간을 고려할 때, 이미저(205)에 의해 캡쳐된 대부분의 이미지에서 블롭이 감지되지 않을 가능성이 높다.
다양한 다른 객체, 예를 들어, 클럽, 또는 카메라가 장착된 타격 베이로부터의 몸체 부분, 다른 타격 베이로부터 발사된 볼, 새, 등의 시그니처는 또한 가능한 후보로 검출될 수 있지만, 이들은 나중에 분석 단계에서 폐기된다. 블롭 검출은 예를 들면, 클럽에 의해 부분적으로 가려지거나 식별하기가 어려운 볼을 놓칠 가능성이 적은 관심 이미지에 대한 거친 필터로 기능한다. 블롭 검출은 이미저(205)에 의해 이미지가 캡쳐될 때 연속적으로 수행된다.도 3b는 볼 시그니처에 대응하는 블롭(303)이 캡쳐되고 검출된 프레임(305)을 도시한다.
415에서, 후보 프레임, 즉 볼의 모양/크기와 관련된 블롭이 검출된 프레임을 추가로 분석하여 그 특징을 추출한다. 특징 추출 분석은 여러 하위 단계로 구성된다. 첫째, 이미지는 임의의 조명 조건에 적응될 수 있도록 가장 많은 정보가 있는 다른 색 공간에 투영된다. 투영 행렬은 원래 색 공간(예: RGB), 즉 기본 구성 요소에 의해 정의된 간격에 대해 주성분 분석(PCA)을 수행하여 계산된다. 따라서 원본 RGB 이미지는 단일 채널 이미지에 보존된 가장 많은 정보를 나타내는 가장 큰 주성분에 대응하는 공간에 원본 정보의 가장 큰 분산이 유지되는 다른 공간으로 변환된다. CPU 용량에 따라 색 공간 변환 후 서로 다른 이미지 채널의 구성을 통해 최상의 단일 채널 이미지가 계산될 수 있다. 단일 채널 이미지는 모든 인접 프레임에서 추출되어 모션 이미지를 계산한다.
다음으로, 모션 이미지는 평활화되고, 임계화되고 필터링된다. 임계화 후 결과 이미지는 예를 들어 도 3c에 도시된 프레임(310)과 같은 이진 이미지이다. 이진 이미지의 블롭 윤곽선이 추출되어 윤곽 분석 기반의 블롭 필터링을 수행할 수 있다. 마지막으로, 존재하는 블롭의 특징은 가장자리 윤곽선에서 추출된다. 특히, 길이, 폭, 블러 인자(길이/폭), 촬영 각도(수평), 및 예상 발사 위치(예: 티(tee) 위치)는 모서리 윤곽선에서 결정된다. 블롭의 더 강한 축선은 볼의 이동 방향과 연관되고, 더 약한 블롭의 축선은 볼의 폭과 연관된다. 볼의 방향에 기반하여, 축이 발사 영역(301)으로 다시 투영될 수 있고 추정 발사 위치가 결정된다.
PCA는 최적의 색 공간을 찾기 위해 415에서 사용될 수 있다. FOV에서 광의 스펙트럼은 이미저(205)가 다른 신호 주파수를 감지하기 때문에 낮과 밤 동안 변할 수 있다. 따라서 다른 시간 동안 다른 색 공간을 볼 수 있다. 예를 들어, 낮 시간에는 빨간색과 초록색을 건너뛸 수 있지만 로컬 조명이 이러한 대역에 더 많이 대응할 수 있기 때문에 밤에 빨간색과 초록색이 사용할 수 있다. 이를 극복하기 위해, PCA는 이미지 데이터의 색상 공간에서 실행될 수 있으며 대응하는 가장 강력한 기본 벡터는 RGB를 대부분의 정보가 유지되는 단일 색상 공간으로 투영한다. 이러한 투영 후에는 더 높은 신호 대 노이즈 비를 볼 수 있다.
420에서, 다수의 이미지로부터의 블롭이 볼 궤적을 형성하는지, 즉 시야를 통과하여 이동하는 볼에 대응하는지가 결정된다. 먼저, 블롭 윤곽선은 감독되지 않은 기계 학습 방법, 예를 들어, 기능 공간 설명을 기반으로 블롭의 클러스터링(clustering)을 수행하기 위한 계층적 클러스터링을 사용하여 클러스터링된다. 다음으로, 특징 벡터가 서로 관련되는지 여부를 결정하기 위해 공간 및 시간 검사가 수행된다. 공간 검사는 선 모델을 사용하여 매우 작은 편차로 모든 감지된 볼 중심과 일치하는 반면, 시간 검사는 감지된 볼이 주어진 방향으로 시간적 증분으로 지속적으로 이동하는지 검사한다. 특히, 클러스터의 제 1 블롭에 대해 415에서 추출된 각각의 특징 벡터는 클러스터의 다른 블롭의 대응하는 특징 벡터와 비교된다. 특징이 실질적으로 일치하면, 블롭이 동일한 볼 궤적에 대응하는 것으로 결정된다. 볼 궤적을 나타내는 클러스터가 발견되지 않으면, 클러스터의 구성원이 충분하지 않거나 공간 및 시간 검사에 실패한 경우, 방법은 425로 진행된다.
425에서, 완화된 매칭 요건에 기반하여 제 2 매칭이 수행된다. 특히, 또 다른 비감독 클러스터링은 감소된 기능 공간에서 그리고 증가된 클러스터링 요구 사항으로 수행된다. 예를 들어, 특히 빠르게 움직이는 볼은 충분한 이미지, 예를 들면, 3개의 이미지에 나타나지 않을 수 있어 420을 충족하기에 충분히 실질적인 클러스터를 형성한다. 기능 공간이 줄어들지만 클러스터링 요구 사항이 증가하면(클래스 분산(class variance) 내에서 더 작음) 후보 블롭은 나머지 기능 일치 요구 사항을 만족하여 블롭이 동일한 볼 궤적에 대응하는 것을 결정하기에 충분히 상당한 정도로 만족한다.
430에서, 420 또는 425에서 볼 궤적이 식별된 것으로 결정되면, 식별된 특징으로부터 샷 특성이 결정되고 피드백이 디스플레이(225)에서 골퍼에게 제공된다.
대안적인 실시예에서, 단계 420-425는 후술하는 바와 같이 볼 궤적을 구성하는 블롭 에지 윤곽을 보다 효율적으로 선택하기 위해 단일 정수 프로그래밍 최적화로 대체된다. X1, X2, X3 특성 집합이 주어지면, N1, N2, N3를 찾으며, 여기서 N은 {0, 1} 중 하나여서 pair_wise_dist(X1 * N1, X2 * N2, X3 * N3,…)가 최소화되고, Variance(Speed_1_2, speed_2_3,…) < 작은 값으로 처리된다.
혼합 정수 프로그래밍(MIP) 모델은 적어도 하나의 변수가 이산적인 최적화 모델이다. "순수한(pure)" 정수 프로그래밍은 모든 변수가 이산적인 경우이다. MIP 문제의 공식화는 최적화 모델과 부등식 및 방정식 형태의 여러 제약으로 구성된다. MIP는 허용 오차 내에서 이미지(u, v)-평면의 피팅 라인에 가깝게 놓여있는 볼 대상(인라이어(inliers))의 추적을 찾고 대상의 위치, 또한 폭, 길이, 및 방향과 같은 대상 특징을 기반으로 다른 이진 이미지 대상 중에서 아웃라이어(outlier)를 감지하는데 사용된다. 아래에서, 최적화 문제는 데이터 포인트가 일련의 제약 조건을 받을 때 인라이어의 수를 최대화하는 것으로 공식화된다. N개의 데이터 지점에 대해 최적화 모델은
Figure pct00001
로 나타난다.
여기서 지점 k가 인라이어이고 (u, v)-평면의 피팅 라인이 지점 i와 지점 j를 통과하면
Figure pct00002
= 1이고 그렇지 않으면 0이다. 모델에는 몇 가지 제약이 있다.
Figure pct00003
외에도, 다른 이진 변수
Figure pct00004
가 정의된다. 피팅선이 지점 i와 j를 통과하면
Figure pct00005
=1이고 그렇지 않으면 0이다. 또한 다음 제약 조건이 도입되었다.
Figure pct00006
또한 RANSAC와 유사한 방식으로(u, v)-평면에서 인라이어가 피팅 라인으로부터 거리 임계 값(ε) 내에 있어야 하도록 거리 제약이 아래와 같이 정의된다.
Figure pct00007
여기서
Figure pct00008
는 지점 k에서 지점 i와 j를 통과하는 선까지의 거리이다.
Figure pct00009
Figure pct00010
=1을 산출하는 i 및 j에 대해 1이 되도록 하기 위해 다음 제약 조건이 도입되었다.
Figure pct00011
지금까지 N개의 데이터 지점과 피팅 라인의 관계만 다루었으며, 여기서 i와 j를 평면의 좌표 u와 v와 연관시켰다. 각 데이터 지점에 대해, 객체의 길이 및 폭과 같은 추가 기능이 관련되면 데이터 지점에서 두 개의 지점 i 및 j까지의 기능 공간 거리에 대한 제약이 추가된다. 특히 제약 조건은 다음과 같이 정의된다.
Figure pct00012
여기서 σ는 기능 임계 값입니다. 피쳐 공간의 거리(
Figure pct00013
)는 다음과 같이 선택된다.
Figure pct00014
여기서 dist()는 유클리드 거리이다. 따라서
Figure pct00015
는 지점 k에서 (u, v)-공간의 피팅 라인이 통과하는 지점 i 및 j까지 특징 공간의 평균 거리이다. N개의 데이터 지점이 주어진 거리
Figure pct00016
Figure pct00017
는 최적화를 실행하기 직전에 계산될 수 있으므로 상수 텐서 역할을 한다. COIN-OR 브랜치 및-CUT 솔버(CBC)가 사용될 수 있어 최적화를 수행하기 위해 사용될 수 있다.
방법(400)은 수평 발사 파라미터만을 결정하는 것으로 설명된다는 점에 주목한다. 따라서, 골퍼에게 제공되는 피드백의 유형은 전술한 실시예에서 수평 속도, 각도, 샷 후 볼의 최종 안착 위치 등으로 제한될 수 있다. 단 하나의 오버 헤드 카메라를 사용하여 수직 모션을 결정하는 것은 어려울 수 있다. 예를 들어 빠르게 움직이는 볼이 캡쳐된 프레임에서 흐릿하게 나타날 수 있다. 흐릿한 볼 이미지는 수평 거리/방향 결정에 실질적으로 영향을 미치지 않을 수 있지만, 예를 들어, 흐릿한 볼 이미지의 폭 변화에 기반하여 수직 위치를 결정하는 데는 덜 신뢰할 수 있다(연속 프레임들 사이의 이동 방향에 대해 수직한 방향으로 흐릿한 볼 이미지의 범위가 작다). 그러나 415의 이미지에서 볼의 크기와 관련된 추가 특징을 추출하여 가변 신뢰성의 수직 발사 각도 특성을 결정하는 데 사용될 수 있다. 대안적인 실시예에서, 대략적인 수직 발사 각도는 특정 범위 내에 있는 것으로 결정될 수 있다. 이러한 가변성을 포함하는 샷 특성이 디스플레이(225)에 제공될 수 있다. 예를 들어, 수직 발사 각도가 안정적으로 결정될 수 없는 경우 샷에 대한 대략적인 거리 범위가 샷 피드백으로 제공될 수 있다.
또는, 특징 추출 단계 이전에 딥 러닝-기반 객체 검출을 도입하거나, 특징 추출 단계 이후에 딥 러닝-기반 블롭 분류를 도입하여 410에서 검출된 블롭의 크기에 대한 요구 사항을 완화할 수 있어 카메라에서 다른 거리에 있는 볼을 확실하게 검출하고 볼까지의 거리를 추정하고 수직 발사 각도의 보다 정확한 결정을 제공한다.
전술 한 시스템(200)은 골프 연습장(100)의 임의의 중앙 처리 장치와 분리된 독립형 시스템으로 설명된다. 그러나, 앞서 언급한 바와 같이, 설명된 인-베이 이미지 처리 시스템은 아래에 설명된 방식으로 거리 추적 시스템과 조화될 수 있다.
도 5는 볼이 다른 거리 센서에 의해 추적될 수 없을 때 샷 피드백을 제공하기 위해 골프 연습장(100)에서 구현된 시스템(500)을 도시한다. 이러한 실시예에서, 거리 센서는 거리 레이더(140-142)를 포함한다. 전술한 바와 같이, 범위(100)는 13개의 타격 베이(130)(즉, 타격 베이(130(1)-130(13)))를 갖는다. 각각의 이러한 타격 베이(130)에는, 샷 특성을 결정하기 위해 전술한 이미저(205)(즉, 이미저 205(1)-205(13)) 및 상기 타격 베이(130)에서 골퍼에게 피드백을 제공하기 위해 전술한 디스플레이(225)(즉, 디스플레이 225(1)-225(13))가 있다.
시스템(500)은 프로세서(510) 및 메모리(515)를 포함하는 중앙 처리 어레인지먼트(505)를 포함한다. 중앙 처리 어레인지먼트(505)는 임의의 수의 컴퓨터를 포함할 수 있다. 예를 들어, 각각의 타격 베이(130)는 각각의 타격 베이(130)로부터 발생하는 샷에 대한 이미지 분석을 수행하기 위해 전술된 컴퓨터(210)를 포함할 수 있다. 그러나, 본 실시예에서, 이들 컴퓨터(210)는 전술한 바와 같이, 레이더(140 내지 142)에 의해 제공되는 레이더 데이터로부터 샷 추적을 결정하는 추가 처리 어레인지먼트(동일한 또는 별개의 컴퓨팅 장치에서 실행될 수 있음)와 통신한다. 대안적으로, 각각의 타격 베이(130)로부터의 이미지 데이터는 중앙 처리 어레인지먼트(505)로 직접 전송되고 분석된다. 샷 특성이 후술되는 방법(600)에 따라 결정될 때, 피드백은 샷이 시작된 것으로 결정되는 타격 베이(130)에서 중앙 처리 어레인지먼트(505)로부터 디스플레이(225)로 제공된다.
다른 거리 센서, 예를 들어, 거리 레이더(140-142)의 사양은 인-베이 카메라(205)의 사양에 영향을 미칠 수 있다. 예를 들어, 15m/s 초과의 속도로 발사된 볼이 다른 주행 거리 센서, 예를 들어, 레이더에 의해 검출될 것이라고 가정하면, 15m/s 또는 그 미만의 속도로 발사된 볼에 대한 데이터를 캡쳐하기 위해 카메라 특성이 선택되어야 한다(샷 누락을 방지하기 위해 약간의 겹침이 있을 수 있다).
레이더 장치(140-142)는 예를 들어 최대 500 밀리와트 등가 등방성 복사 전력(EIRP)의 전력으로 X-밴드 주파수(9-11GHz)에서 마이크로파를 방출하는 연속파 도플러 레이더일 수 있으며, 따라서 단거리 국제 라디에이터에 대한 FCC 및 CE 규정을 준수한다. 그러나 다른 관할권에서는 현지 규정에 따라 다른 전력 수준을 사용할 수 있다. 예시적인 실시예에서, 마이크로파는 예를 들어 10-125GHz 사이의 더 높은 주파수에서 방출된다. 더 낮은 물체 속도에서 더 정밀한 측정을 위해 20GHz 또는 그 초과의 주파수를 사용할 수 있다.
당업자라면 도플러 레이더 송신 주파수가 높을수록 동일한 관찰 시간 동안 속도 해상도가 높아진다는 것을 이해할 수 있을 것이다. 저속 샷을 추적하고 필드의 다른 대상, 즉 골프 클럽 및 골퍼로부터 볼을 분리하기 위해 고속 해상도가 필요할 수 있다. 0.25 m/s 미만의 예시적인 속도 해상도가 바람직하다. 고속 해상도는 짧은 관찰 시간(예: 0.100 초 또는 그 미만)에서도 유용하여 속도 점프를 정확하게 추적하여 볼의 비행, 튀기, 미끄러짐 및/또는 구르기 상태 사이의 전환을 식별할 수 있으며, 관찰 시간은 각각에 대한 기간이다.
도 6은 시스템(500)의 다수의 센서에 의해 캡쳐된 샷 데이터를 조화시키기 위한 방법(600)을 도시한다. 605에서, 위에서 설명된 바와 같이, 레이더(140-142) 중 하나 또는 그 초과로부터의 데이터에 기반하여 레이더-기반 샷 추적이 식별된다. 610에서, 레이더-기반 샷 추적이 시작된 타격 베이(130)가 식별된다. 발사 후 일정 시간까지 레이더가 샷의 시그니처를 픽업하지 못하더라도, 추적은 원래 위치로 제시간에 다시 투영될 수 있다.
단계 605-610과 실질적으로 동시에, 615에서, 샷은 전술한 방법(400)에 따라 타격 베이(130) 중 하나의 카메라(205)에 의해 검출되고 샷 특성이 결정된다. 샷이 시작된 타격 베이(130)는 샷을 검출한 카메라(205)의 아이덴티티(identity)에 기반하여 알려져 있다. 예를 들어, 카메라(205(5))가 샷을 검출하면, 샷이 시작된 타격 베이(130)는 타격 베이(130(5))인 것으로 알려져 있다. 검출, 특징 추출 등은 타격 베이(130)의 독립 컴퓨터에서 수행되거나 중앙 처리 어레인지먼트(505)에서 수행될 수 있다. 이미지 분석 단계가 타격 베이(130)에서 수행되면, 특성은 중앙 처리 어레인지먼트(505)로 전송된다. 이미지 데이터로부터 결정된 샷 특성은 타격 베이(130) 및 검출 시간과 관련된다. 특히, 샷 특성은 타격 베이(130)의 디스플레이(225)에 아직 표시되지 않는다.
620에서, 인-베이 영상 데이터로부터 결정된 샷 특성이 레이더 데이터에서 식별된 추적과 비교되어 샷 특성에 대응하는 샷이 레이더 시스템에 의해 추적되었는지 여부가 판단된다. 동일한 타격 베이 및 동일한 발사 시간(일부 미리 결정된 임계 값 이내)을 포함하는 일치가 발견되면, 625에서 이미지 데이터로부터 결정된 샷 특성이 폐기된다. 레이더 추적은 이미지 데이터보다 훨씬 더 포괄적인 샷 추적을 제공하며 가능한 경우 선호된다. 630에서, 레이더 시스템에 의한 샷 추적이 완료되면, 레이더 데이터로부터 결정된 샷 특성이 샷이 시작된 인-베이 디스플레이(225)로 전송된다. 일치가 발견되지 않으면, 635에서, 이미지 데이터에 의해 결정된 샷 특성이 인-베이 디스플레이(225)로 전송된다.
따라서, 전술한 방법(600)은 샷이 발생하는 타격 베이(130)에 이용 가능한 최상의 샷 추적 데이터를 제공한다. 샷의 시그니처가 레이더에 의해 픽업되지 않아 포괄적인 샷 추적을 사용할 수 없는 경우, 인-베이 카메라에서 제공하는 이미지 데이터에서 결정된 샷 특성이 골퍼에게 더 제한적이지만 여전히 가치가 있는 피드백의 형태를 제공할 수 있다.
대안적인 실시예에서, 카메라(205)가 각각의 타격 베이(130)에 배치되는 대신, 카메라(205)는 2개의 타격 베이(130) 사이의 다른 모든 파티션에 위치된다. 이러한 카메라(205)는 전술된 것과 실질적으로 유사한 방식으로 프레임을 캡쳐할 것이다. 그러나, 이 경우, 각각의 이미지를 반으로 분할하고 개별적으로 분석하여 인접한 베이의 샷을 구분할 수 있다. 실질적으로 발사 위치 위가 아닌 오히려 발사 위치에 대해 수평 각도로의 카메라의 배치는 제 1의 예시적인 실시예 보다 더 신뢰할 수 있는 수직 비행 경로 데이터를 제공할 수 있다. 그러나, 이러한 배치는 또한 제 1의 예시적인 실시예보다 덜 신뢰할 수 있는 수평 비행 경로 데이터를 제공할 수 있다. 또한, 본 실시예는 골퍼의 오른 손잡이 또는 왼손잡이에 따라, 골프 스윙 중에 골퍼 및 골프 클럽에 의해 가려지거나 가려질 수 있는 발사된 볼의 유리한 지점을 제공할 수 있다. 명백하게, 상기 개념은 2개 초과의 타격 베이(130)를 포함하도록 확장될 수 있다.
또 다른 실시예에서, 카메라(205)는 2개의 타격 베이(130) 사이의 모든 구획과 타격 베이의 각각의 열의 외측 단부에 위치된다. 즉, 카메라는 각 타격 베이의 양쪽에 배치된다. 이러한 예시적인 카메라 배치는 단일 타격 베이에 전용된 카메라보다 더 많은 정보를 제공할 수 있다. 예를 들어, 반대편의 유리한 지점에서 두 대의 카메라로 단일 샷에 대해 이동 경로 데이터를 생성하여 비행 경로의 스테레오 비전 유형 분석을 허용할 수 있다. 기존의 스테레오 분석을 위해서는 두 대의 카메라가 실질적으로 동시에 프레임을 촬영해야 한다.
그러나,이 실시예에서, 각 카메라는 속도 및 방향이 결정되는 이미지 평면에서 별도의 추적을 제공할 수 있다. 상이한 유리한 지점에서 두 개의 이미지 평면으로부터의 속도와 방향을 결합하여, 3차원 속도와 3차원 발사 방향이 결정될 수 있다. 또한, 다중 카메라 검출 방식은 보다 강력하고 정확한 샷 검출을 제공한다. 이러한 방식으로, 신뢰할 수 있는 수평 및 수직 비행 경로 정보가 생성될 수 있다. 또한 두 대의 카메라가 각각의 베이를 관찰하기 때문에, 이 시스템은 발사 장소에서 데이터를 사용할 수 없는 상황에서 어려움을 겪을 가능성이 적다. 두 대의 카메라 중 하나의 시야가 가려지는 경우, 나머지 카메라는 선명한 시야를 가질 수 있고 비행 경로 데이터를 생성하기 위해 이전에 논의된 기술을 구현하기에 충분한 이미지 데이터를 생성할 수 있다.
또 다른 실시예에 따르면, 시스템은 카메라 대신에 하나 또는 그 초과의 라이더 스캐너를 포함한다. 라이더 스캐너는 높은 각도 해상도로 발사 영역(120)의 3D 포인트 클라우드를 제공하고, 각도 해상도는 예를 들어 직경 42.1mm의 골프 볼의 발사를 감지하기에 적합하다. 스캔 속도는 20Hz와 같이 충분히 높아야 라이다 스캐너의 시야 내에 있는 동안 움직이는 볼의 최소 두 번의 스캔을 제공할 수 있다. 라이더 스캐너는 타격 베이의 2개의 종 방향 단부 중 하나, 즉 레인지의 한쪽에 또는 타격 베이의 양쪽 단부에 배치될 수 있다. 라이더는 타격 베이의 약간 앞에 있고 거리 표면을 가로 질러 향할 수 있다. 대안으로, 라이더는 타격 베이 앞에 더 있고 타격 베이를 들여다 볼 수 있다.
라이더로부터 수신된 포인트 클라우드는 배경을 제외하고 움직이는 3D 포인트만을 제공하도록 필터링된다. 필터링된 포인트 클라우드는 타격 베이 중 하나로부터 발사된 볼로부터 시작되었을 가능성이 있는 지점만을 나타내기 위해 지점을 타격 베이(130)의 위치와 비교함으로써 추가로 필터링된다. 나머지 3D 포인트는 이미지 검출 위치와 유사한 방식으로 분석되어 볼의 실질적인 선형 운동과 일치하는 지점을 찾으며, 발견된 지점은 발사 방향과 발사 속도를 생성하는 데 사용된다. 라이더는 예를 들어 Velodyne LiDAR® 일 수 있다.
본 개시 내용의 사상 또는 범위를 벗어나지 않고 본 개시 내용에서 다양한 변형이 이루어질 수 있다는 것은 당업자에게 명백할 것이다. 따라서, 본 개시 내용은 첨부된 청구 범위 및 그 균등물의 범위 내에 있는 경우 본 개시 내용의 수정 및 변형을 포함하는 것으로 의도된다.

Claims (22)

  1. 골프 샷(golf snhot) 특성을 결정하기 위한 방법으로서,
    이미저(imager)에 의해 캡쳐된(captured) 이미징 데이터(imaging data)에서, 골프 볼이 발사될 복수의 발사 영역의 제 1 발사 영역에서 발사된 골프 샷의 시그니처(signature)를 검출하는 단계로서, 상기 이미저의 시야가 상기 제 1 발사 영역 및 상기 제 1 발사 영역에 인접한 영역 중 하나를 포함하는, 단계;
    상기 이미징 데이터로부터, 상기 골프 샷에 대한 제 1 샷 특성을 결정하는 단계로서, 상기 제 1 샷 특성은 제 1 발사 장소(location) 및 제 1 발사 시간을 포함하는, 단계;
    상기 제 1 발사 장소 및 상기 제 1 발사 시간이 추가 센서 어렌인지먼트(arrangement)에 의해 캡쳐된 센서 데이터로부터 결정된 제 2 샷 특성에 대한 제 2 발사 장소 및 제 2 발사 시간에 대응하는지 여부를 결정하는 단계; 및
    상기 제 1 및 제 2 발사 장소와 상기 제 1 및 제 2 발사 시간 사이에 대응이 발견되지 않을 때, 상기 제 1 샷 특성을 상기 제 1 발사 영역의 디스플레이로 전송하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 및 제 2 발사 장소와 상기 제 1 및 제 2 발사 시간 사이에 대응이 발견될 때, 상기 제 2 발사 특성을 상기 제 1 발사 영역의 디스플레이에 전송하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 골프 샷의 시그니처를 검출하는 단계는 골프 볼 시그니처와 상관되는 이미지 특징을 식별하는 블롭 검출(blob detection)을 포함하는, 방법.
  4. 제 1 항에 있어서,
    골프 볼 시그니처가 검출된 복수의 인접한 이미지 프레임으로부터 모션(motion) 이미지를 계산하는 단계로서, 상기 모션 이미지는 상기 골프 시그니처에 대응하는 블러(blur)를 포함하는, 단계; 및
    상기 모션 이미지로부터의 상기 블러에 대응하는 특징을 추출하는 단계를 더 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 추출된 특징은 길이, 폭, 블러 인자, 수평 각도, 및 상기 블러의 추정된 발사 위치(position)를 포함하는, 방법.
  6. 제 5 항에 있어서,
    복수의 이미지에서 검출된 블롭이 모두 공간적 및 시간적 검사(check)에 기반하여 동일한 골프 샷에 대응하는지 여부를 결정하는 단계를 더 포함하는, 방법.
  7. 제 5 항에 있어서,
    정수 프로그래밍 최적화(integer programming optimization)에 기반하여 복수의 이미지에서 검출된 블롭이 모두 동일한 골프 샷에 대응하는지 여부를 결정하는 단계를 더 포함하는, 방법.
  8. 제 1 항에 있어서,
    상기 이미저를 제 1 발사 영역으로 교정(calibrating)하는 단계를 더 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 추가 센서 어레인지먼트는 레이더 어레이(radar array) 및 이미징 시스템 중 하나를 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 제 1 샷 특성은 상기 골프 샷의 초기 속도, 초기 방향, 및 추정된 이동 거리를 포함하는, 방법.
  11. 골프 샷 특성을 결정하기 위한 시스템으로서,
    이미징 데이터를 캡쳐하고, 골프 샷이 발사될 복수의 발사 영역 중 제 1 발사 영역과 제 1 발사 영역에 인접한 영역을 포함하는 시야를 갖는 이미저; 및
    상기 이미징 데이터에서, 상기 제 1 발사 영역으로부터 발사된 골프 샷의 시그니처를 검출하는 처리 어레인지먼트로서, 상기 처리 어레인지먼트는 상기 이미징 데이터로부터 상기 골프 샷에 대한 제 1 샷 특성을 결정하고, 상기 제 1 샷 특성은 제 1 발사 장소 및 제 1 발사 시간을 포함하고, 상기 처리 어레인지먼트는 상기 제 1 발사 장소 및 상기 제 1 발사 시간이 추가 센서 어레인지먼트에 의해 캡쳐된 센서 데이터로부터 결정된 제 2 센서 샷 특성에 대한 제 2 발사 장소 및 제 2 발사 시간에 대응하는지 여부를 결정하고, 상기 처리 어레인지먼트는 상기 제 1 및 제 2 발사 장소와 상기 제 1 및 제 2 발사 시간 사이에 대응이 발견되지 않을 때, 상기 제 1 샷 특성을 상기 제 1 발사 영역의 디스플레이로 전송하는, 처리 어레인지먼트를 포함하는, 시스템.
  12. 제 11 항에 있어서,
    상기 제 1 및 제 2 발사 장소와 상기 제 1 및 제 2 발사 시간 사이에 대응이 발견될 때, 상기 처리 어레인지먼트는 상기 제 2 샷 특성을 상기 제 1 발사 영역의 디스플레이로 전송하는, 시스템.
  13. 제 11 항에 있어서,
    골프 볼 시그니처와 상관되는 이미지 특징을 식별하기 위해 상기 처리 어레인지먼트는 골프 샷의 시그니처를 검출하고 블롭 검출을 이용하는, 시스템.
  14. 제 11 항에 있어서,
    상기 처리 어레인지먼트는, 골프 볼 시그니처가 검출된 복수의 인접한 이미지 프레임으로부터 상기 골프 시그니처에 대응하는 블러를 포함하는 모션 이미지를 계산하고 상기 모션 이미지로부터 상기 블러에 대응하는 특징을 추출하는, 시스템.
  15. 제 14 항에 있어서,
    상기 추출된 특징은 길이, 폭, 블러 인자, 수평 각도, 및 블러의 추정된 발사 위치를 포함하는, 시스템.
  16. 제 15 항에 있어서,
    상기 처리 어레인지먼트는 공간 및 시간 검사에 기반하여 복수의 이미지에서 검출 된 블롭이 동일한 골프 샷에 대응하는지 여부를 결정하는, 시스템.
  17. 제 15 항에 있어서,
    상기 처리 어레인지먼트는 정수 프로그래밍 최적화에 기반하여 복수의 이미지에서 검출된 블롭이 동일한 골프 샷에 대응하는지 여부를 결정하는, 시스템.
  18. 제 11 항에 있어서,
    상기 이미저는 상기 제 1 발사 영역으로 교정되는, 시스템.
  19. 제 11 항에 있어서,
    상기 추가 센서 어레인지먼트는 레이더 어레이 및 이미징 시스템 중 하나를 포함하는, 시스템.
  20. 제 11 항에 있어서,
    상기 제 1 샷 특성은 상기 골프 샷의 초기 속도, 초기 방향, 및 추정된 이동 거리를 포함하는, 시스템.
  21. 골프 연습장(driving range)에 있는 복수의 타격 베이(hitting bay)에 골프 샷 특성을 제공하기 위한 시스템으로서,
    상기 골프 연습장의 타격 베이로부터 발사된 복수의 골프 샷 각각의 샷 특성에 대응하는 데이터를 검출하는 1차(primary) 감지 어레인지먼트;
    이미징 데이터를 캡쳐하고, 상기 타격 베이 중 제 1 타격 베이와 상기 제 1 타격 베이에 인접한 영역 중 하나를 포함하는 시야를 갖는 이미저; 및
    상기 이미징 데이터에서, 상기 제 1 타격 베이에서 발사된 상기 골프 샷의 시그니처를 검출하는 처리 어레인지먼트로서, 상기 처리 어레인지먼트는 상기 이미징 데이터로부터 상기 골프 샷에 대한 제 1 샷 특성을 결정하고, 상기 제 1 샷 특성은 제 1 발사 장소 및 제 1 발사 시간을 포함하고, 상기 처리 어레인지먼트는 상기 제 1 발사 장소 및 상기 제 1 발사 시간이 상기 1차 감지 어레인지먼트에 의해 캡쳐된 센서 데이터로부터 결정된 제 2 샷 특성에 대한 제 2 발사 장소 및 제 2 발사 시간에 대응하는지를 결정하는, 처리 어레인지먼트를 포함하고,
    상기 제 1 및 제 2 발사 장소와 상기 제 1 및 제 2 발사 시간 사이에 대응이 발견되지 않을 때, 상기 프로세서는 상기 제 1 샷 특성을 상기 제 1 타격 베이의 디스플레이에 전송하는, 시스템.
  22. 제 21 항에 있어서,
    상기 1차 감지 어레인지먼트는 제 1 임계 수준 미만의 속도 및 제 2 임계 수준 미만의 비행 시간 중 하나를 갖는 골프 샷을 신뢰성있게 추적할 수 없는 레이더 디바이스(device)를 포함하고,
    상기 처리 어레인지먼트는 상기 제 1 임계 수준 미만의 속도 및 상기 제 2 임계 수준 미만의 비행 시간 중 하나를 갖는 상기 제 1 타격 베이로부터 발사된 샷에 대한 상기 이미징 데이터에 기반하여 상기 제 1 타격 베이 데이터를 제공하는, 시스템.
KR1020217012343A 2019-02-22 2020-02-19 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법 KR20210064333A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247007057A KR20240034261A (ko) 2019-02-22 2020-02-19 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962809083P 2019-02-22 2019-02-22
US62/809,083 2019-02-22
PCT/IB2020/051401 WO2020170172A1 (en) 2019-02-22 2020-02-19 System and method for driving range shot travel path characteristics

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247007057A Division KR20240034261A (ko) 2019-02-22 2020-02-19 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20210064333A true KR20210064333A (ko) 2021-06-02

Family

ID=69770965

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217012343A KR20210064333A (ko) 2019-02-22 2020-02-19 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법
KR1020247007057A KR20240034261A (ko) 2019-02-22 2020-02-19 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247007057A KR20240034261A (ko) 2019-02-22 2020-02-19 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US11452911B2 (ko)
EP (1) EP3850582A1 (ko)
JP (2) JP2022521056A (ko)
KR (2) KR20210064333A (ko)
CN (1) CN113168704A (ko)
WO (1) WO2020170172A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490972B1 (ko) * 2021-08-24 2023-01-20 이재복 라이다센서 및 인공지능을 이용한 실외 골프-시뮬레이션 운영 시스템
KR20230158957A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리
KR20230159325A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리
KR20230159259A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210040093A (ko) * 2018-07-25 2021-04-12 알파웨이브 골프 (피티와이) 리미티드 스킬 레벨 결정 및 관리 시스템과 방법
WO2022259363A1 (en) * 2021-06-08 2022-12-15 Nec Corporation Training data generation apparatus, training data generation method, and program
US20230140611A1 (en) * 2021-10-29 2023-05-04 Daniel D'Souza Methods, systems, apparatuses, and devices for facilitating simulating golf play on golf courses
US11779809B1 (en) * 2022-07-29 2023-10-10 Topgolf International, Inc. Method and system utilizing a golf shot API proxy

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6179720B1 (en) * 1997-05-21 2001-01-30 Accu-Sport International, Inc. Correlation method and apparatus for target-oriented sports activities
JP2001145718A (ja) * 1999-11-19 2001-05-29 Sumitomo Rubber Ind Ltd ボール弾道の計測装置
JP2006505292A (ja) 2002-02-07 2006-02-16 エイシーシーユー‐スポート・インターナショナル,インコーポレイテッド ゴルフボールの画像を処理するための方法、装置、およびコンピュータプログラム製品
JP2004135908A (ja) * 2002-10-18 2004-05-13 Bridgestone Sports Co Ltd ゴルフクラブの性能測定装置および測定方法
CN1981207B (zh) * 2004-07-02 2010-05-05 互动体育竞赛有限公司 确定发射弹丸实际方向和预定方向之间偏差的方法和装置
SE529157C2 (sv) 2005-07-01 2007-05-15 Daniel Forsgren Bildförbättring vid registrering av sporthändelser
US7321330B2 (en) * 2005-10-03 2008-01-22 Sri Sports Limited Ball measuring apparatus
JP4545672B2 (ja) 2005-10-03 2010-09-15 Sriスポーツ株式会社 ボール計測装置
CN100502463C (zh) * 2005-12-14 2009-06-17 浙江工业大学 一种交通流信息视频检测中的特征采集方法
US7540500B2 (en) * 2006-06-12 2009-06-02 Wintriss Engineering, Corporation Foldable launch monitor for golf
EP2185255A4 (en) 2007-09-21 2013-08-14 Playdata Llc SYSTEM AND PROCESS FOR LOCATION AND MOVEMENT
WO2009074189A1 (en) * 2007-12-12 2009-06-18 Rangetainment Gmbh A golf diagnosis apparatus and a method of performing golf diagnosis
KR102408358B1 (ko) * 2009-01-29 2022-06-14 트랙맨 에이/에스 레이더 및 촬상 요소를 포함하는 조립체
US8488958B2 (en) 2010-05-25 2013-07-16 Apple Inc. Scene adaptive auto exposure
US9339715B2 (en) * 2010-08-18 2016-05-17 Edge Technology Radar based tracking system for golf driving range
US9607652B2 (en) * 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
US9940508B2 (en) * 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
CN103988492B (zh) * 2011-12-21 2018-12-18 英特尔公司 用于视频馈给回放和分析的方法、设备、装置及系统
US9794525B2 (en) * 2014-03-25 2017-10-17 Ecole Polytechnique Federale De Lausanne (Epfl) Systems and methods for tracking interacting objects
WO2015144741A1 (en) * 2014-03-27 2015-10-01 Sony Corporation Camera with radar system
US9555284B2 (en) * 2014-09-02 2017-01-31 Origin, Llc Multiple sensor tracking system and method
EP3188810A4 (en) * 2014-09-02 2018-06-13 Origin, LLC Multiple sensor tracking system and method
US10634778B2 (en) * 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system
WO2016110757A1 (en) * 2015-01-06 2016-07-14 Emss Antennas (Pty) Ltd Golf ball tracking system
US10338209B2 (en) * 2015-04-28 2019-07-02 Edh Us Llc Systems to track a moving sports object
US9955126B2 (en) * 2015-08-19 2018-04-24 Rapsodo Pte. Ltd. Systems and methods of analyzing moving objects
US9871972B2 (en) 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
US10379214B2 (en) 2016-07-11 2019-08-13 Trackman A/S Device, system and method for tracking multiple projectiles
US10989791B2 (en) * 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data
EP3574339B1 (en) * 2017-01-30 2021-04-21 Topgolf Sweden AB System and method for three dimensional object tracking using combination of radar and image data
US10810903B2 (en) * 2017-04-05 2020-10-20 Flyingtee Tech, Llc Computerized method of detecting and depicting a travel path of a golf ball
US10751569B2 (en) * 2017-06-27 2020-08-25 Information Systems Laboratories, Inc. System and method for 3D optical tracking of multiple in-flight golf balls
US10754025B2 (en) * 2018-06-20 2020-08-25 Rapsodo Pte. Ltd. Radar and camera-based data fusion
US10937232B2 (en) * 2019-06-26 2021-03-02 Honeywell International Inc. Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490972B1 (ko) * 2021-08-24 2023-01-20 이재복 라이다센서 및 인공지능을 이용한 실외 골프-시뮬레이션 운영 시스템
KR20230158957A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리
KR20230159325A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리
KR20230159259A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리
KR20230159323A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리
KR20230159324A (ko) 2022-05-13 2023-11-21 엘지전자 주식회사 공기조화기 및 프레임어셈블리

Also Published As

Publication number Publication date
EP3850582A1 (en) 2021-07-21
US20220395725A1 (en) 2022-12-15
CN113168704A (zh) 2021-07-23
KR20240034261A (ko) 2024-03-13
WO2020170172A1 (en) 2020-08-27
US20200269089A1 (en) 2020-08-27
JP2023062022A (ja) 2023-05-02
US11986698B2 (en) 2024-05-21
US11452911B2 (en) 2022-09-27
JP2022521056A (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
US11986698B2 (en) System and method for driving range shot travel path characteristics
JP7254142B2 (ja) レーダデータ及び撮像装置データを使用して物体を追跡するための装置、システム、及び方法
US7428318B1 (en) Method for capturing, measuring and analyzing motion
US10143907B2 (en) Planar solutions to object-tracking problems
JP6838766B2 (ja) ゴルフボール追跡システム
KR101044887B1 (ko) 고속 씨씨디 카메라의 촬상 이미지를 이용한 골프공의 비행데이터 측정방법
CN108226562B (zh) 测量飞行物体的飞行数据的装置和方法及记录介质
US10922871B2 (en) Casting a ray projection from a perspective view
WO2021019446A1 (en) System and method for inter-sensor calibration
KR101850139B1 (ko) 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN110298864B (zh) 一种高尔夫推杆设备的视觉感测方法及装置
CN107537149B (zh) 确定用于拍摄球图像的关心区域的方法、系统及非暂时性计算机可读记录介质
KR102621864B1 (ko) 골프공 추적 방법 및 이를 위한 시스템
US10668350B2 (en) Launch monitor using three-dimensional imaging
US20230364468A1 (en) Deep learning method of determining golf swing and golf ball parameters from radar signal and image data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application