KR102571076B1 - 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법 - Google Patents

레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법 Download PDF

Info

Publication number
KR102571076B1
KR102571076B1 KR1020227013943A KR20227013943A KR102571076B1 KR 102571076 B1 KR102571076 B1 KR 102571076B1 KR 1020227013943 A KR1020227013943 A KR 1020227013943A KR 20227013943 A KR20227013943 A KR 20227013943A KR 102571076 B1 KR102571076 B1 KR 102571076B1
Authority
KR
South Korea
Prior art keywords
imager
radar
data
field
view
Prior art date
Application number
KR1020227013943A
Other languages
English (en)
Other versions
KR20220057653A (ko
Inventor
프레드릭 퉥센
프레드릭 ?w센
토마스 쇤더가드
Original Assignee
트랙맨 에이/에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트랙맨 에이/에스 filed Critical 트랙맨 에이/에스
Publication of KR20220057653A publication Critical patent/KR20220057653A/ko
Application granted granted Critical
Publication of KR102571076B1 publication Critical patent/KR102571076B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/70—Radar-tracking systems; Analogous systems for range tracking only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

레이더 디바이스와, 이미지화기와, 그리고 프로세서를 포함하는 시스템이 제공되며, 여기서 레이더 디바이스는 제 1 시계를 갖고, 이러한 디바이스는 레이더 데이터를 발생시키고, 레이더 데이터는 제 1 시계 내에서의 움직이는 물체의 디바이스로부터의 거리를 표시하는 범위에 대응하거나, 또는 물체와 디바이스 간의 거리가 시간 경과에 따라 변하는 비율을 표시하는 범위 변화율에 대응하고; 이미지화기는 중첩 시계에서 제 1 시계와 적어도 부분적으로 중첩하는 제 2 시계를 갖고, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 1차원에서 이미지화기에 대한 물체의 각위치를 측정한 것이고; 그리고 프로세서는 물체가 중첩 시계 내에 있을 때 적어도 2차원에서 물체의 궤적을 식별하기 위해 이미지화기 데이터와 레이더 데이터를 결합하고, 각위치는 이미지화기로부터의 데이터만을 사용하여 결정된다.

Description

레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법{DEVICE, SYSTEM, AND METHOD FOR TRACKING AN OBJECT USING RADAR DATA AND IMAGER DATA}
본 출원은 미국 특허 출원 일련 번호 제15/369,372호(출원일: 2016년 12월 5일)에 대한 우선권을 주장하며, 이러한 미국 특허문헌의 개시내용은 참조로 본 명세서에 통합된다.
추적 시스템(tracking system)들은 물체(object)들의 위치, 속도 및/또는 궤적(trajectory)을 결정하기 위해, 예를 들어, 움직이는 물체를 포함하는 타겟 영역(target area)의 이미지(image)들의 시퀀스(sequence)를 캡처(capturing)하는 이미지화기(imager)들을 사용해 왔다. 하지만, 일반적으로 2-차원 이미지화기들을 이용하는 이러한 시스템들은 특정 조건들 하에서 원하는 수준의 정확도를 제공하는데 사용될 수 없었다. 추가적으로, 물체들을 추적하기 위해 사용되는 레이더 추적 시스템들은 또한 특정 결함들(deficiencies)을 가지고 있다.
이전의 시스템들은 비행기들 및 미사일들과 같은 아이템(item)들을 추적하기 위해 펄스 레이더(pulse radar)를 이미지화기들과 결합함으로써 이러한 결함(defect)들을 해결하려고 시도해 왔다. 하지만, 이러한 시스템들은 일반적으로 지상 가까이에서 그리고 다른 물체들 가까이에서 짧은 거리를 빠르게 움직이는 물체들(예컨대, 스포츠용 공(sports ball)들과 같은 것)을 추적하는 데 적합하지 않다. 예를 들어, 펄스 레이더 시스템은 임의의 물체까지의 범위를 결정하는데, 이것은 높은 전력에서 신호들을 전송하고 해당 물체에 의해 반사되는 이러한 신호들의 일부가 되돌아오는데 요구되는 시간을 결정함으로써 이루어진다. 전송되는 신호 중 매우 작은 일부분만이 이러한 시스템들에 의해 추적되는 멀리 있는 타겟들로부터 되돌아 오기 때문에, 수신기들은 전송되는 신호들보다 극도로 더 작은 약한 신호들에 민감해야만 한다. 따라서, 이러한 시스템들의 수신기들은 펄스 레이더가 전송하고 있는 경우 셧다운(shut down)돼야만 하는데, 그렇지 않으면 이렇게 감도가 높은 수신기들은 고-전력 신호에 의해 포화(saturate)되거나 손상을 입을 것이다. 전송에서 수신으로 전환(switch-over)하는데 요구되는 시간은 펄스 레이더에 의해 검출가능한 최소 타겟 범위(일반적으로 대략 수백 미터)를 결정한다. 더욱이, 이러한 시스템들은 일반적으로 유사한 위치들에 있는 상이한 물체들(예를 들어, 정지된 물체 가까이를 지나가는 움직이는 물체, 혹은 상이한 경로 상에서 움직이는 물체)을 구분할 수 없다. 따라서, 이러한 시스템들은 예를 들어, 지상 가까이 있는 영역, 그리고 움직이거나 정지된 선수들, 나무들, 등과 같은 다른 물체들을 포함하는 영역을 통과하는 스포츠용 공과 같은 물체를 추적하는 것과 관련된 상황들에는 그다지 적합하지 않다.
본 개시내용의 실시예는 물체(object)의 움직임을 추적하기 위한 시스템에 관한 것이며, 이러한 시스템은, 제 1 시계(field of view)를 갖는 레이더 디바이스(radar device)와; 중첩 시계(overlap field of view)에서 제 1 시계와 적어도 부분적으로 중첩하는 제 2 시계를 갖는 이미지화기(imager)와; 그리고 프로세서(processor)를 포함하고, 여기서, 레이더 디바이스는 레이더 데이터를 발생시키고, 레이더 데이터는 레이더 디바이스로부터 제 1 시계 내에서의 움직이는 물체의 거리를 표시하는 범위(range), 그리고 움직이는 물체와 레이더 디바이스 간의 거리가 시간 경과에 따라 변하는 비율(rate)을 표시하는 범위 변화율(range rate) 중 하나에 대응하고, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 1차원에서 이미지화기에 대한 물체의 각위치(angular position)를 측정한 것이고, 프로세서는 물체가 중첩 시계 내에 있을 때 적어도 2차원에서 물체의 궤적(track)을 식별하기 위해 이미지화기 데이터와 레이더 데이터를 결합하고, 물체의 각위치는 이미지화기로부터의 데이터만을 사용하여 결정된다.
레이더 디바이스는 1차원 레이더이다. 프로세서는 이미지화기에 대한 레이더 디바이스의 위치를 표시하는 이격 벡터(separation vector)에 대응하는 데이터를 포함한다. 프로세서는 이미지화기로부터 물체로의 단위 벡터(unity vector)를 계산하고, 그리고 단위 벡터, 레이더 데이터, 및 이격 벡터에 근거하여, 프로세서는 3차원에서 물체의 위치를 계산한다. 프로세서는 제 2 시계 내의 기준 지점(reference point)들에 근거하여 필드 기반 좌표계(field based coordinate system)를 정의하고, 그리고 3차원에서의 물체의 위치를 필드 기반 좌표계로 변환(translate)하고 회전(rotate)시킨다. 시스템은 또한 메모리(memory)를 포함하고, 메모리는 물체가 발견될 위치를 예측하는 선험적 정보(a priori information)를 저장한다.
프로세서는 물체가 출현할 것으로 예상되는 관심 영역을 제 1 시계와 제 2 시계 중 하나의 시계의 감소된 영역으로서 정의하기 위해 선험적 정보를 사용한다. 선험적 정보는, 물체의 이전의 위치에 대한 정보, 및 물체의 이전의 속도에 대한 정보, 및 물체의 이전의 범위에 대한 정보 중 적어도 하나를 포함한다. 물체는 스포츠용 공이고, 선험적 정보는 공의 운용(play)이 일어날 가능성이 있는 위치에 관한 것이다. 물체는 스포츠용 공이고, 타겟 용적(target volume)은 경기장(field of play)을 포함하고, 기준 지점들은 경기장에서 운용될 게임(game)의 운용에 관한 규칙(rule)들에 대해 의미가 있는 위치들을 포함한다. 레이더 디바이스는 도플러 레이더(Doppler radar)이다. 프로세서는 범위의 초기 값, 그리고 레이더 데이터로부터 결정되는 시간 경과에 따른 적분된 범위 변화율에 근거하여 레이더 디바이스로부터의 범위를 계산한다. 초기 범위 값은 선험적 지식(a priori knowledge)에 근거한다.
본 실시예들은 또한, 물체의 움직임을 추적하기 위한 방법에 관한 것이며, 이러한 방법은, 제 1 시계가 물체의 움직임이 일어날 타겟 용적의 적어도 일부를 포함(cover)하도록 할 목표로 레이더 디바이스를 위치시키는 단계(여기서, 레이더 추적 디바이스는 레이더 데이터를 발생시키고, 레이더 데이터는 레이더 디바이스로부터 제 1 시계 내에서의 움직이는 물체의 거리를 표시하는 범위, 그리고 움직이는 물체와 레이더 디바이스 간의 거리가 시간 경과에 따라 변하는 비율을 표시하는 범위 변화율 중 하나에 대응함); 이미지화기의 제 2 시계가 타겟 용적의 원하는 부분 내에서 제 1 시계와 적어도 부분적으로 중첩하도록 할 목표로 이미지화기를 위치시키는 단계(여기서, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 2차원에서 이미지화기에 대한 물체의 각위치를 측정한 것임); 그리고 물체가 중첩 시계 내에 있을 때 적어도 2차원에서 물체의 궤적을 식별하기 위해 이미지화기 데이터와 레이더 데이터를 결합하는 단계를 포함하고, 물체의 각위치는 이미지화기로부터의 데이터만을 사용하여 결정된다.
본 실시예들은 또한, 물체의 움직임을 추적하기 위한 시스템에 관한 것이며, 이러한 시스템은, 제 1 시계를 갖는 레이더 디바이스와; 중첩 시계에서 제 1 시계와 적어도 부분적으로 중첩하는 제 2 시계를 갖는 이미지화기와; 메모리와; 그리고 프로세서를 포함하고, 레이더 디바이스는 레이더 데이터를 발생시키고, 레이더 데이터는 레이더 디바이스로부터 제 1 시계 내에서의 움직이는 물체의 거리에 대응하는 범위, 그리고 움직이는 물체와 레이더 디바이스 간의 거리가 시간 경과에 따라 변하는 비율을 표시하는 범위 변화율 중 하나를 표시하고, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 1차원에서 이미지화기에 대한 물체의 각위치를 측정한 것이고, 이미지화기와 레이더 디바이스 중 적어도 하나는 이미지화기와 레이더 디바이스 중 다른 하나에 대해 상대적으로 움직일 수 있고, 메모리는 이미지화기에 대한 레이더 디바이스의 위치를 표시하는 이격 벡터에 대응하는 데이터를 포함하고, 프로세서는 이미지화기로부터 물체로의 단위 벡터를 계산하고, 그리고 단위 벡터, 레이더 데이터, 및 이격 벡터에 근거하여, 프로세서는 적어도 2차원에서 물체의 위치를 계산하고, 프로세서는 적어도 2차원에서 물체의 궤적을 식별하기 위해 이미지화기로부터의 데이터에만 근거하여 물체의 각위치를 결정한다. 프로세서는 이미지화기에 대한 레이더 디바이스의 위치에서 물체의 추적 동안 일어나는 변화들을 반영하기 위해 이격 벡터를 조정한다.
본 개시내용들은 또한, 물체의 움직임을 추적하기 위한 시스템에 관한 것이며, 이러한 시스템은, 제 1 시계를 갖는 레이더 디바이스와; 그리고 중첩 시계에서 제 1 시계와 적어도 부분적으로 중첩하는 제 2 시계를 갖는 이미지화기를 포함하고; 그리고 이와 결합되는 프로세서를 포함하며, 여기서, 레이더 디바이스는 레이더 데이터를 발생시키고, 레이더 데이터는 레이더 디바이스로부터 제 1 시계 내에서의 움직이는 물체의 거리에 대응하는 범위, 그리고 레이더 디바이스에 대한 거리가 변하고 있는 비율에 대응하는 범위 변화율 중 하나를 표시하고, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 1차원에서 이미지화기에 대한 물체의 각위치를 측정한 것이고, 프로세서는 물체가 중첩 시계 내에 있을 때 적어도 2차원에서 물체의 궤적을 식별하기 위해 레이더 데이터와 이미지화기 데이터를 결합한다.
레이더 디바이스는 1차원 레이더이고, 여기서 레이더 데이터는 물체에 대한 범위 변화율을 포함한다. 이미지화기는 2차원 이미지화기이고, 이미지화기 데이터는 적어도 2차원에서 물체의 각위치를 측정한 것이고, 프로세서는 3차원에서 물체의 궤적을 식별한다. 이미지 추적 디바이스는 이미지화기 좌표계에서 수직 각도 및 수평 각도를 측정한다. 프로세서는 레이더 디바이스로부터 이미지화기까지의 거리(distance) 및 레이더 디바이스로부터 이미지화기로의 배향(orientation)을 표시하는 이격 벡터에 대응하는 데이터를 포함한다.
프로세서는 이미지화기로부터 물체로의 단위 벡터를 계산하고, 그리고 단위 벡터, 레이더 데이터, 및 이격 벡터에 근거하여, 프로세서는 3차원에서 물체의 위치를 계산한다. 프로세서는 중첩 시계 내의 기준 지점들에 근거하여 필드 기반 좌표계를 정의하고, 그리고 3차원에서의 물체의 위치를 필드 기반 좌표계로 변환하고 회전시킨다. 레이더 디바이스는 물체까지의 거리를 검출하고, 그리고 타겟에 대한 수평 각도와 수직 각도 중 하나를 검출한다.
시스템은 또한 메모리를 포함하고, 메모리는 물체가 발견될 위치를 예측하는 선험적 정보를 저장한다. 프로세서는 물체가 출현할 것으로 예상되는 관심 영역을 제 1 시계와 제 2 시계 중 하나의 시계의 감소된 영역으로서 정의하기 위해 선험적 정보를 사용한다. 선험적 정보는, 물체의 이전의 위치에 대한 정보, 및 물체의 이전의 속도에 대한 정보, 및 물체의 이전의 범위에 대한 정보 중 적어도 하나를 포함한다. 물체는 스포츠용 공이고, 선험적 정보는 공의 운용이 일어날 가능성이 있는 위치에 관한 것이다.
물체는 스포츠용 공이고, 타겟 용적은 경기장을 포함하고, 기준 지점들은 경기장에서 운용될 게임의 운용에 관한 규칙들에 대해 의미가 있는 위치들을 포함한다. 레이더 디바이스는 도플러 레이더이다. 프로세서는 레이더 디바이스로부터의 범위 변화율 및 범위에 대한 초기 값에 근거하여 거리를 결정한다. 초기 범위 값은 선험적 지식에 근거한다.
일 실시예에 따른 물체의 움직임을 추적하기 위한 방법은, 제 1 시계가 물체의 움직임이 일어날 타겟 용적의 적어도 일부를 포함하도록 할 목표로 레이더 디바이스를 위치시키는 단계(여기서, 레이더 추적 디바이스는 레이더로부터 제 1 시계 내에서의 움직이는 물체의 거리를 표시하는 레이더를 발생시킴); 그리고 제 2 시계가 타겟 용적의 원하는 부분 내에서 제 1 시계와 적어도 부분적으로 중첩하도록 할 목표로 이미지화기를 위치시키는 단계(여기서, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 2차원에서 이미지화기에 대한 물체의 각위치를 측정한 것임)를 포함하고; 그리고 이러한 단계들과 결합되어, 물체가 중첩 시계 내에 있을 때 3차원에서 물체의 궤적을 식별하기 위해 레이더 데이터와 이미지화기 데이터를 결합하는 단계를 포함한다.
도 1은 예시적 실시예에 따른 물체를 추적하기 위한 시스템의 상면도를 보여주고;
도 2는 또 하나의 다른 예시적 실시예에 따른 물체를 추적하기 위한 시스템의 사시도를 보여주고;
도 3은 도 1의 시스템을 상공에서 바라본 도면을 보여주고;
도 4는 도 1의 시스템의 측면도를 보여주고;
도 5는 도 1의 시스템의 제 1 실시예에 따른, 레이더 추적 디바이스, 이미지 추적 디바이스 및 데이터 프로세싱 시스템의 개략도를 보여주고;
도 6은 도 1의 시스템의 제 2 실시예에 따른, 레이더 추적 디바이스, 이미지 추적 디바이스 및 데이터 프로세싱 시스템의 개략도를 보여주고;
도 7은 도 1의 시스템을 사용하여 물체의 궤적을 결정하기 위한 방법의 흐름도를 보여주고;
도 8은 도 1의 시스템의 예시적 실시예에 따른 이미지화기 프레임을 보여주고;
도 9a는 도 1의 시스템에 의해 생성된 상면 추적도를 보여주고;
도 9b는 도 1의 시스템에 의해 생성된 측면 추적도를 보여주고;
도 10은 레이더 및 이미지화기로부터 타겟으로의 벡터들, 뿐만 아니라 이미지화기로부터 레이더로의 벡터를 예시하고;
도 11은 레이더 및 이미지화기와 관련된 3-차원 좌표계들을 예시하고;
도 12a 내지 도 12f는 도 1의 시스템에 의해 발생되는 데이터를 보여주고; 그리고
도 13은 도 1의 시스템에 의해 출력된 예시적인 이미지를 보여주는데, 여기서, 캡처된 프레임 상에는 물체 궤적이 중첩되어 있다.
다음의 설명 및 관련된 첨부 도면들을 참조하여 예시적인 실시예들이 더 이해될 수 있는데, 도면들에서 유사한 요소들에는 동일한 참조 번호들이 제공된다. 예시적인 실시예들은 하나 이상의 이미지화기들 및 하나 이상의 레이더 디바이스들로부터의 데이터를 결합함으로써 물체들을 추적하기 위한 디바이스, 시스템 및 방법에 관한 것이다. 비록 본 명세서에서 상세히 설명되는 예시적인 실시예들이 야구공들 및 골프 공들을 추적하는 것을 기술할지라도, 본 발명의 기술분야에서 숙련된 자들은 임의의 스포츠용 공들 혹은 심지어 스포츠와 관련 없는 물체들도 동일한 방식으로 본 시스템을 이용해 추적될 수 있음을 이해할 것이다. 동일한 방식으로, 본 시스템은 야구 배트, 골프 클럽, 혹은 (이미지로 검출가능함과 아울러 레이더 데이터로 신호를 발생시키는) 임의의 다른 아이템을 추적할 수 있다.
도 1 내지 도 4는 예시적 실시예들에 따른 물체(106)를 추적하기 위한 제 1 시스템(100)을 보여준다. 제 1 시스템(100)은 두 개의 추적 디바이스들을 포함하는데, 물체(106)가 통과할 타겟 영역 가까이 배치된 이미지 추적 디바이스 혹은 이미지화기(104) 및 레이더 추적 디바이스(102)를 포함한다. 도 1의 제 1 실시예에서, 시스템(100)은 예를 들어, 투수의 마운드(mound)(108)에 위치하는 발진 장소(launch site)로부터 홈 플레이트(home plate)(110)를 향하여 타겟 영역(예를 들어, 야구 경기장) 내에서 움직이는 야구공(106)을 추적하기 위한 시스템이다. 본 발명의 기술분야에서 숙련된 자들에 의해 이해되는 바와 같이, 발진 장소(108)는 레이더 추적 디바이스(102)와 이미지화기 추적 디바이스(104) 양쪽 모두의 시계(Field of View)(FoV) 내의 임의의 영역에 위치할 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 레이더 추적 디바이스(102)는 일반적으로 도플러 레이더일 것이다. 시스템(100)의 실시예에서, 레이더 디바이스(102)는 1차원 레이더이고, 하지만 본 발명의 기술분야에서 숙련된 자는 2차원 레이더 혹은 3차원 레이더도 사용될 수 있음을 이해할 것이다. 더욱이, 아래에서 더 상세히 논의되는 바와 같이, 시스템(100)의 이미지화기(104)는 2차원 이미지화기이다. 하지만, 3차원 이미지화기(104)가 또한 사용될 수 있다. 본 실시예에서, 단지 범위 및/또는 범위 변화율만을 측정하는 1차원 레이더 디바이스(102)와, 그리고 수직 각도 및 수평 각도를 측정하는 2차원 이미지화기(104)를 사용하는 것은 비용 효율적이고 정확한 3차원 위치 측정 시스템을 구성한다. 본 발명의 기술분야에서 숙련된 자들은 범위가 (예를 들어, 선험적 지식에 근거하여 결정되는) 초기 범위 값, 그리고 레이더 추적 디바이스(102)에 의해 측정되는 범위 변화율의 적분에 근거하여 결정될 수 있음을 이해할 것이다. 즉, 범위는 시간(To)에서의 초기 범위(R0)와 시간 경과에 따른 적분된 범위 변화율의 합으로서 결정되는바, 범위 R(t)는 공식 R(t) = R0 + ∫(dR/dT, To에서 t까지)에 근거하여 결정될 수 있다. 예를 들어, 야구에서, 레이더 추적 디바이스(102)로부터 공(106)이 투수의 마운드(108)로부터 방출(release)되는 평균 위치까지의 거리는 어느 정도의 정확도 내에서 알려져 있다. 추가적으로 이해되는 바와 같이, 이러한 초기 범위는 임의의 알려진 기법을 사용하여 결정될 수 있고, 이 경우 범위는 이러한 초기 범위로부터 앞서의 공식을 사용하여 업데이트되게 된다. 더욱이, 본 발명의 기술분야에서 숙련된 자들은, 특정 응용예들에 대해서, 레이더 디바이스(102)로부터의 범위/변화율(및 계산된 범위) 데이터와 단지 이미지화기(104)로부터의 단일 각도(예를 들어, 수평 각도)만을 결합함으로써 모든 필요한 정보를 획득하는 것이 가능할 수 있음을 이해할 것이다. 예를 들어, 평탄한 표면 상에서 굴러가는 공(예를 들어, 볼링 공)을 추적하기 위해서, 또는 슬로프(slope) 아래로 움직이는 스키를 타는 사람 혹은 그린(green) 상에서 굴러가는 퍼팅(putt)된 공과 같이 그 지형이 알려진 평탄하지 않은 표면 위를 움직이는 물체를 추적하기 위해서, 범위 데이터는 물체가 움직이고 있는 표면의 기하학적 구조에 관한 지식 및 이미지화기(104)로부터의 단일 각도와 결합될 수 있고, 이에 따라 물체의 경로가 추적되게 된다.
단일 이미지화기(104) 및 단일 레이더(102)를 포함하는 제 1 시스템(100)은 단지 예시적인 것임에 유의해야 한다. 다른 구성들에서는, 하나 이상의 이미지들을 캡처하는 하나 이상의 이미지화기들, 그리고/또는 레이더 정보를 획득하는 하나 이상의 레이더 디바이스들이 존재할 수 있다. 도 2에 제시된 예시적인 실시예에서, 시스템(100)은 단일 레이더(102) 및 두 개의 이미지화기들(104, 104')을 포함한다.
레이더 추적 디바이스(102)는 물체의 범위, 위치, 속도 및/또는 스핀(spin)을 검출하기 위해, 반사된 방사선(radiation)을 측정하도록 구성된 임의의 레이더일 수 있다. 레이더 추적 디바이스(102)는, 예를 들어, 대략 500 밀리 와트 EIRP(Equivalent Isotropic Radiated Power; 등가 등방 복사 전력)를 방출하는 X-대역(X-band)(10.5-10.6 GHz)에서의 마이크로파(microwave)들을 방출시키는 연속파 도플러 레이더(continuous wave Doppler radar)일 수 있고, 따라서 짧은 범위 의도적 방사기(short range intentional radiator)들에 대한 FCC 및 CE 규정들을 준수하는데 적합하다. 임의 타입의 연속파(Continuous Wave, CW) 도플러 레이더가 사용될 수 있는데, 여기에는 위상 및 주파수 변조된 CW 레이더, 복수 주파수 CW 레이더, 혹은 단일 주파수 CW 레이더가 포함된다. 물체들의 추적은 도플러 주파수 스펙트럼(Doppler frequency spectrum)들의 사용에 근거할 수 있다. 이해되는 바와 같이, 도플러 주파수 스펙트럼들은 연속파 도플러 레이더로부터의 데이터를 지칭한다. 본 명세서에서 설명되는 것들과 유사한 물체들을 추적할 수 있는 레이더의 임의의 다른 타입이 또한 사용될 수 있는데, 이들이 1차원적으로 추적하든, 또는 2차원적으로 추적하든, 또는 3차원적으로 추적하든 관계없이, 사용될 수 있다. 레이더 디바이스(102)는 FoV를 갖는다. 도 1에서 보여지는 바와 같이, 레이더(102)는 레이더(102)로부터 연장되어 타겟 영역을 에워싸는 FoV(112)를 갖는다. FoV(112)는 전체 타겟 영역을 포함할 수 있고, 뿐만 아니라 타겟 영역 주위의 연장된 캡처된 영역을 포함할 수 있으며, 또는 복수의 레이더들을 갖는 시스템들에서, 타겟 영역의 단지 일부분만을 포함할 수 있다.
이미지화기(104)는 타겟 영역의 이미지를 캡처하도록 구성된 임의의 디바이스일 수 있고, 이미지화기는 시각적 스펙트럼 혹은 비시각적 스펙트럼(예컨대, 적외선)에서 방사선을 수신하도록 구성될 수 있다. 예를 들어, 이미지화기는 스틸 카메라(still camera) 혹은 비디오 카메라(video camera)일 수 있다. 따라서, 타겟 영역의 단일 이미지가 캡처될 수 있고, 또는 일련의 이미지들이 일정 기간에 걸쳐 순차적으로 캡처될 수 있다. 이미지(들)는 이미지들의 상이한 타입들(예를 들어, 흑백, 컬러, 등)을 발생시키기 위해 다양한 기법들 중 임의의 기법을 사용하여 캡처될 수 있다. 이미지화기(104)는 또한, 타겟 영역 내의 요소들의 가변 줌(zoom) 혹은 확대(enlargement), 선택가능한 셔터 시간(shutter time), 시간 간격당 이미지들의 선택가능한 수(예를 들어, 초당 프레임들), 등과 같은 다양한 특징들을 갖도록 구성될 수 있다. 도 1에서 보여지는 바와 같이, 이미지화기(104)는 이미지화기(104)로부터 연장되어 타겟 영역을 에워싸는 FoV(114)를 갖는다. FoV(114)는 전체 타겟 영역을 포함할 수 있고, 뿐만 아니라 타겟 영역 주위의 연장된 캡처된 영역을 포함할 수 있으며, 또는 만약 일 실시예에서 복수의 이미지화기들이 포함된다면, 각각의 이미지화기는 타겟 영역의 단지 일부분만을 에워싸는 시계를 가질 수 있다.
레이더(102)는 적어도 1차원을 측정한 데이터를 발생시킨다. 예를 들어, 1차원 레이더는 타겟까지의 범위 및/또는 타겟에 대한 범위 변화율(이들은 본 명세서에서 집합적으로 혹은 개별적으로 "범위"로 지칭됨)을 표시하는 데이터를 발생시키고, 그리고 2차원 레이더는 범위 및/또는 범위 변화율, 뿐만 아니라 수직 각도 혹은 수평 각도를 표시하는 데이터를 발생시키고, 그리고 3차원 레이더는 범위 및/또는 범위 변화율, 수직 각도, 및 수평 각도를 표시하는 데이터를 발생시킨다. 이미지화기(104)는 이미지를 캡처하는데, 이러한 캡처에는 2차원 이미지를 캡처하는 것 혹은 3차원 이미지를 캡처하는 것이 포함된다. 예를 들어, 이미지화기(102)는 수직 각도 및 수평 각도의 측정을 가능하게 하는 2차원 이미지를 캡처할 수 있고, 또는 타겟의 3차원 위치의 식별을 가능하게 하는(즉, 범위, 뿐만 아니라 수평 각도 및 수직 각도를 측정한) 3차원 이미지를 캡처할 수 있다. 시스템(100)의 실시예는 1차원 레이더(102) 및 2차원 이미지화기(104)를 이용한다. 하지만, 다른 실시예들은 선택된 기간들에서 모든 3차원 정보(예를 들어, 범위, 수직 각도 및 수평 각도)가 캡처되도록 레이더(102)와 이미지화기(104)의 임의의 조합을 이용할 수 있다. 예를 들어, 3차원 레이더 및 3차원 이미지화기는 결과들을 검증하는데 사용될 수 있는 그리고/또는 결과들의 정확성에서의 신뢰도의 수준을 증가시키는데 사용될 수 있는 리던던트 데이터(redundant data)를 제공한다.
도 3 및 도 4의 도면들에서 예시되는 바와 같이, 타겟 영역은 야구공(106)이 투수의 마운드(mound)(108)로부터 홈 플레이트(home plate)(110)로의 궤적(316)을 따라 진행하는 공간일 수 있다. 보다 구체적으로, 도 3의 상공에서 바라본 도면은 레이더(102)로부터 공의 궤적(316)을 따르는 공의 위치까지의 범위 및 수평 각도를 보여주고, 반면 도 4의 측면도는 레이더(102)로부터 공의 궤적(316)을 따르는 공의 위치까지의 범위 및 수직 각도를 보여준다. 필드-기반 좌표계(field-based coordinate system)가 또한 도 3 및 도 4에서 식별되는데, 이러한 필드-기반 좌표계는 홈 플레이트의 정점(vertex)에 중심을 둔 필드 x-축, 필드 y-축 및 필드 z-축을 포함한다. 레이더(102) 및 이미지화기(104)가 야구 경기장 시설에서 홈 플레이트(110) 뒤 거리 D(본 실시예에서는, 대략 45m) 및 홈 플레이트(110) 위 거리 H(본 실시예에서는, 15m)에 위치하여 예시되어 있다. 만약 불 펜(bull pen) 혹은 배팅 케이지(batting cage)와 같은 연습용 시설에서 레이더(102) 및 이미지화기(104)는 홈 플레이트 뒤 2 내지 10 m 및 홈 플레이트 위 0 내지 3 m와 같이 훨씬 더 가깝게 위치한다. 레이더는 레이더 x-축, y-축 및 z-축을 정의하고, 이미지화기는 이미지화기 x-축, y-축 및 z-축을 정의한다. 도면들에서 보여지는 바와 같이, 레이더(102)는 거리 R(502)를 갖는 경로(318)를 따라 타겟으로 방사선을 전송하고 경로(318)를 따라 타겟으로부터 반사된 방사선을 수신한다. 유사하게, 거리 Rc(504)를 갖는 경로(319)가 이미지화기(104)로부터 야구공(106)까지 연장된다. 레이더 디바이스(102) 또는 이미지화기(104)로부터 필드 기반 좌표계의 정점으로의 벡터를 알고 있는 경우, 시스템(100)은 레이더 디바이스(102) 혹은 이미지화기(104)로부터의 좌표계들 중 어느 하나의 좌표계에서 정의된 위치들을 필드 기반 좌표계에서의 대응하는 위치들로 변환할 수 있고 회전시킬 수 있다. 이것은 시스템(100)으로 하여금 필드 상의 위치들에 대한 상대적인 결과들을 제공할 수 있게 한다(예를 들어, 볼(ball)들 및 스트라이크(strike)들, 페어(fair) 및 파울(foul) 등을 선언하는 것).
아래에서 더 상세히 설명되는 바와 같이, 레이더(102) 및 이미지화기(104)는 시간이 동기화되는 방식으로, 경로를 따르는 물체의 레이더 데이터 및 이미지들을 각각 캡처한다. 즉, 제 1 레이더 데이터 및 제 1 이미지는 물체가 경로를 따라 진행하고 있는 동안 제 1 시간에서의 타겟의 위치에 대응할 수 있다. 레이더(102) 및 이미지화기(104)는 모두 레이더 데이터 및 이미지들을 각각 발생시키기 위해 임의의 기간 동안 물체를 추적하는데, 이러한 레이더 데이터 및 이미지들은 경로가 FoV(112) 및 FoV(114) 내에 있을 때 (아래에서 설명되는 바와 같이) 시스템(100)에 의해 시간 동기화된다. 이에 따라, 레이더(102)의 FoV(112)와 이미지화기(104)의 FoV(114)는 도 1에서 보여지는 바와 같이 중첩 영역(116)에서 중첩돼야만 한다. 시간 동기화는 각각의 레이더 데이터 지점 및 모든 이미지화기 데이터 지점이 공통의 시간 기반을 갖도록 보장한다. 시간 동기화는 다수의 방식들로 달성될 수 있다. 한 가지 방법은 모든 이미지가 촬영될 때 하드웨어 트리거 신호가 레이더 데이터 내에 기록되게 하는 것이다. 또 하나의 다른 방법은 레이더 데이터와 이미지 데이터 양쪽 모두에서 식별될 수 있는 시간 이벤트(time event)를 사용하는 것인데, 예를 들어, 공이 방출될 때, 혹은 배트에 의해 타격될 때, 골프 클럽에 의해 충격을 받을 때 등을 사용하는 것이다. 두 번째 방법에서는, 레이더 데이터에 대한 임의의 추가적인 이미지 프레임들을 배치하기 위해 레이더 데이터의 샘플 레이트(sample rate) 및 이미지화기의 프레임 레이트(frame rate)의 기록 혹은 이전의 지식이 추가적으로 존재할 것이다.
도 3 및 도 4에서 보여지는 바와 같이, 시스템(100)의 레이더(102) 및 이미지화기(104)는 홈 플레이트(110) 및 투수의 마운드(108)를 포함하는 타겟 영역 뒤에서 타겟 영역을 향하도록 배치된다. 본 실시예에서 양쪽 디바이스들(102, 104)은 각각의 FoV(112, 114)가 홈 플레이트(110), 투수의 마운드(108), 및 주변 영역 중 일부 영역을 포함하도록 배치된다. 필드 위에 있음과 아울러 필드에 가까이 있는 이러한 위치는 움직이는 물체(즉, 야구공)의 모든 궤적 혹은 거의 모든 궤적 동안 추적 디바이스들(102, 104)이 그 움직이는 물체(즉, 야구공)의 명료한 조망을 갖도록 선택된다. 전형적인 야구장 필드에 대해서, 이것이 의미하는 바는 레이더(102) 및 이미지화기(104)가 홈 플레이트(110) 뒤에 배치됨과 아울러 선수들 위로 상승되어 있어 타자, 포수 및 심판에 의한 궤적의 가려짐(occlusion)이 최소화되도록 하는 것을 의미한다. 일부 실시예들에서, 추적 디바이스들(102, 104)의 최적의 위치는 홈 플레이트(110) 뒤 대략 30 내지 50 미터(m)(혹은 더 구체적으로는 45 m)일 것이고, 필드 위로 대략 10 내지 20 미터(m)(혹은 더 구체적으로는 15 m) 상승될 것이다. 예시적 실시예에서, 시스템(100)을 야구 경기장에 결합시키기 위해 장착부(mount)(108)가 사용될 수 있다. 장착부(108)는 그랜드스탠드(grandstand) 혹은 다른 구조에 고정될 수 있다. 또 하나의 다른 실시예에서, 원하는 장면을 향하도록(예를 들어, 투수의 마운드(108)를 향하도록 홈 플레이트(110) 뒤에) 레이더(102) 및 이미지화기(104)를 배치하기 위해 지면 상에 삼각대(tripod) 혹은 다른 스탠드(stand)가 놓여질 수 있다. 비록 제 1 시스템(100)에 대한 본 명세서에서의 예시적 실시예들이 추적 디바이스들(102, 104)의 고정된 위치설정을 제공하는 장착부(118)와 관련되어 있지만, 본 발명의 기술분야에서 숙련된 자들은 이러한 예시적 실시예들이 또한 움직일 수 있는 추적 장치들과 함께 사용되도록 수정될 수 있음을 이해할 것이다.
레이더 디바이스(102) 및 이미지화기(104)는 서로에 대해 그리고 타겟 영역에 대해 초기에 알려진 위치 및 배향으로 배치된다. 앞에서 설명된 바와 같이, 예시적 실시예에서, 추적 디바이스들(102, 104)은 타겟 영역(즉, 야구장 필드) 뒤에 배치됨과 아울러 타겟 영역(즉, 야구장 필드) 위로 상승되어 있다. 레이더 디바이스(102)와 이미지화기(104)는 도 1에서 보여지는 바와 같이 서로로부터 알려진 거리 t에 배치된다(아래에서 더 상세히 설명되는 바와 같이, 레이더(102)와 이미지화기(104) 간의 이격은 알려진 거리 t 및 배향의 벡터 t에 의해 정의됨). 예시적 실시예들에서, 추적 디바이스들(102, 104)은, 추적 디바이스들(102, 104)의 FoV들(112 및 114)이 중첩되고 디바이스들(102, 104) 간의 벡터 t가 알려지는 한, 하나의 추적 디바이스가 다른 추적 디바이스 위에 직접적으로 위치하도록 배치되거나, 혹은 다른 추적 디바이스의 측면 상에 직접적으로 위치하도록 배치되거나, 혹은 임의의 다른 적절한 상대적 위치설정으로 배치된다.
시스템(100)은 데이터 프로세싱 시스템(200)을 포함하는데, 이러한 데이터 프로세싱 시스템(200)은 본 발명의 기술분야에서 숙련된 자들에 의해 이해되는 바와 같이 유선 연결 혹은 무선 연결을 통해 레이더 디바이스(102) 및 이미지화기(104)에 결합되는 하나 이상의 컴퓨터들을 포함할 수 있다. 예시적인 실시예에서, 레이더 및 이미지 추적을 수행할 뿐만 아니라 레이더 디바이스(102)로부터 출력된 데이터를 이미지화기(104)로부터의 데이터와 병합하기 위해 단일 컴퓨터(201)가 사용된다. 하지만, 또 하나의 다른 예시적 실시예에서, 데이터 프로세싱 시스템(200)은, 도 6에서 보여지는 바와 같이, 별개의 컴퓨터들(202, 202')을 포함하고, 뿐만 아니라 중앙 컴퓨터(204)를 포함하는데, 여기서 별개의 컴퓨터들(202, 202') 각각은 레이더 디바이스(102) 및 이미지화기(104) 중 대응하는 하나와 관련되고, 중앙 컴퓨터(204)는 두 개의 컴퓨터들(202, 202')로부터의 데이터를 통합조정한다. 본 발명의 기술분야에서 숙련된 자는 임의 개수의 컴퓨터들이 임의의 원하는 방식으로 컴퓨터들 간에 분배된 다양한 태스크(task)들과 함께 사용될 수 있음을 이해할 것이다. 본 발명의 기술분야에서 숙련된 자들에 의해 이해되는 바와 같이, 데이터 프로세싱 시스템(200)은 본 명세서에서 설명되는 기능들을 제공하기 위해 필요한 하드웨어, 펌웨어, 및 소프트웨어를 포함한다. 예시적 실시예에서, 레이더 디바이스(102)와 이미지화기(104) 각각은 자신의 기록된 추적 데이터에 관한 자기 자신의 좌표계를 정의한다. 이 경우 데이터 프로세싱 시스템(200)은 범용 3-차원 좌표계를 정의하는데, 컴퓨터는 각각의 레이더 좌표계 및 이미지화기 좌표계로부터의 추적 데이터를 이러한 범용 3-차원 좌표계로 변환한다. 예를 들어, 이것은 수직 z 축, 그리고 수평 x 축 및 수평 y 축, 그리고 타겟 영역 내의 임의의 위치(예컨대, 홈 플레이트의 정점에 있는 위치)에서 정점을 갖는 좌표계일 수 있다.
레이더 디바이스(102) 및 이미지화기(104)로부터의 데이터는 이러한 두 개의 소스들로부터의 데이터의 결합에 근거하는 추적 정보의 정확도를 보장하기 위해 시간 동기화된다. 예를 들어, 투수에 의해 던져진 야구공과 관련된 이미지화기(104)에 의해 캡처된 프레임들에 레이더 디바이스(102)로부터의 범위 정보를 상관시킬 경우, 이러한 데이터 지점들 각각이 캡처된 시간들이 서로 적절하게 매칭될 때 야구공의 위치를 계산할 시에 정확도의 수준은 증가된다. 즉, 정확한 추적을 보장하기 위해, 레이더 디바이스(102) 및 이미지화기(104)로부터 병합된 데이터가 동일한 시간(또는, 가능한 한 거의 동일한 시간)에서의 공의 위치에 대응하는 것을 보장할 필요가 있다. 앞에서 논의된 바와 같이, 레이더(102)는 이미지화기의 프레임 레이트(즉, 초당 캡처된 프레임들의 수)보다 훨씬 더 짧은 시간 간격들에서 레이더 데이터를 발생시키는 CW 도플러 레이더일 수 있다. 따라서, 비록 데이터 지점들 간의 1:1 대응관계가 존재하지 않을지라도, 야구공의 궤적을 정확히 결정하기 위해 이미지화기(104)로부터의 프레임에 레이더 데이터를 매칭시키되 이들 간의 동기화가 가장 가깝게 동기화되도록 매칭시킬 필요가 있다. 이러한 짧은 기간 동안의 각각의 캡처된 이미지들 간의 시간 매칭을 증가시키기 위해, 레이더 디바이스(102)와 이미지화기(104)는 함께 유선배선(hardwire)될 수 있고, 이에 따라 예를 들어, 이미지화기(104)는 레이더 디바이스(102)에게 각각의 프레임에 대한 캡처의 타이밍(timing)을 표시하는 신호를 제공할 수 있어, 부착된 혹은 통합된 컴퓨터는 이미지들과 레이더 데이터 간의 시간 대응관계를 결정할 수 있게 된다. 대안적으로, 유사한 신호가 레이더 디바이스(102)에 의해 이미지화기(104)에게 제공될 수 있다. 예를 들어, 이미지화기(104)는 사진을 언제 촬영해야하는 지를 시그널링하는 신호 혹은 예컨대, 매 20 밀리초(ms)마다 사진을 촬영하도록 시그널링하는 신호를 레이더 디바이스(102)로부터 수신할 수 있다. 또 하나의 다른 예에서, 이미지화기(104)는 각각의 이미지 프레임이 어느 시간에 촬영되었는지를 시그널링하는 펄스를 레이더 디바이스(102)에게 전송할 수 있다. 이 경우 데이터 프로세싱 시스템(200) 상의 소프트웨어는 이미지화기의 이미지 데이터를 레이더 디바이스(102)로부터의 레이더 데이터에 매칭시킬 수 있다. 또 하나의 다른 예에서, 이미지화기(104)가 이미지를 촬영할 때마다, 이미지화기(104)로부터의 이미지들을 대응하는 레이더 데이터에 동기화시키기 위해 해당 프레임이 캡처된 시간을 표시하는 신호가 레이더 디바이스(102)로 전송될 수 있다(신호 지연 및 프로세싱 지연을 허용함).
도 7의 흐름도는 3차원을 나타내는 파라미터들의 정확도의 높은 확실성을 갖는 물체의 3-차원 궤적을 생성하기 위해 이미지화기(104)에 의해 캡처된 이미지들로부터의 데이터와 레이더 디바이스(102)에 의해 발생된 레이더 데이터를 병합하기 위한 컴퓨터(201)에 의해 구현되는 동작의 방법(300)을 보여준다. 방법(300)은 또한 도 1의 시스템(100)과 관련하여 투수의 마운드(108)로부터 홈 플레이트(110)를 향해 던져진 야구공(106)의 궤적을 결정하는 앞서-설명된 예와 관련되어 있다. 이러한 예에서, 야구공(106)은 투수의 마운드(108) 상에서의 투수의 손으로부터 발원하여 홈 플레이트(110)를 향하는 궤적을 따라 추적되는 물체이다.
단계(310)에서, 레이더 디바이스(102)는 레이더 데이터를 기록하고, 이미지화기(104)는 이미지 데이터를 기록하고, 이들은 컴퓨터(201)로 전송된다. 앞에서 설명된 바와 같이, 레이더(102)는 FoV(112) 내의 타겟 영역에서 움직이는 물체에 대응하는 레이더 데이터를 발생시킨다. 이미지화기(104)는 물체가 움직이고 있는 FoV(114) 내의 타겟 영역의 이미지들을 캡처할 수 있다. 예시적 실시예들에 따르면, 물체는 FoV(112)와 FoV(114)의 중첩 영역(116) 내의 타겟 영역에서 움직이고 있다고 가정될 수 있다.
단계(320)에서, 컴퓨터(201)는 타겟 물체가 레이더(102)에 의해 발생된 레이더 데이터 혹은 이미지화기(104)에 의해 캡처된 이미지들에서 캡처되었는지 여부를 검출한다. 물체 검출은 임의의 식별 메커니즘(identification mechanism)들을 사용하여 수행될 수 있다. 예를 들어, 컴퓨터(201)는 하나 이상의 이미지들 내에서 타겟 물체의 존재를 검출하기 위해 패턴 인식 알고리즘(pattern recognition algorithm)들을 이용할 수 있다. 또 하나의 다른 예의 경우, 추적 디바이스(102)는 레이더 데이터에서, 움직이는 물체를 검출할 수 있고, 뿐만 아니라 검색 영역을 제한할 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 시스템(100)은 타겟 물체에 대해 검색될 FoV(114)의 선택된 부분으로서 관심 영역(Region Of Interest, ROI)을 정의하기 위해 선험적 지식을 사용할 수 있다. 예를 들어, 야구공 추적을 위해서, 시스템(100)은 투수의 마운드(108) 및 일부 주변 영역을 포함하는 이미지의 부분으로서 ROI를 정의할 수 있는데, 왜냐하면 모든 투구가 이러한 영역으로부터 발원하기 때문이다. 이것은 컴퓨터연산 부담을 감소시키고, 그리고 이미지 데이터 내에서 타겟 물체의 식별을 가속화시킬 수 있다. 유사하게, 시스템(100)은 레이더 데이터 내에서 검색될 데이터의 ROI로서 타겟 영역을 마운드(108) ± 미리결정된 주변부(margin)까지의 거리로서 정의할 수 있다. 따라서, ROI 내에서 검출된 움직임은 던져진 야구공(106)으로서 더 빠르게 식별될 수 있다.
단계(330)에서, 컴퓨터(201)는 레이더 데이터와 이미지 데이터 중 하나 혹은 양쪽 모두에서 야구공(106)의 새로운 위치에 대응하는 후속 측정을 행한다. 이러한 새로운 데이터에 근거하여, 시스템(100)은, 단계(340)에서, 레이더에 대한 새로운 ROI(즉, 공의 후속 검출이 예상되는 새로운 범위)를 정의하고, 그리고 이미지화기에 대한 새로운 ROI(즉, 공이 위치할 것으로 예상되는 후속 이미지(프레임)의 부분)를 정의한다. 레이더로부터의 이전의 위치 그리고 범위 및/또는 범위 변화율을 사용하여, 시스템(100)은 레이더(102) 및 이미지화기(104) 각각에 대한 새로운 ROI들을 정의하기 위해 공(106)이 후속 레이더 판독시에 그리고 후속 프레임 내에서 어디에 있을 것인지를 예측한다. 그 다음에, 방법은 시스템(100)이 물체를 추적하는(즉, 레이더 디바이스(102) 및 이미지화기(104)의 ROI들 내에서 물체의 위치를 정하는) 단계들(350)로 진행한다. 레이더(102)에 대해, ROI는 또한 범위 및/또는 범위 변화율에서의 관심 영역을 포함한다. 흐름도에서 알 수 있는 바와 같이, 레이더 데이터에 근거하는 추적으로부터의 데이터는 이미지화기(104)에 대한 ROI의 결정에서 이용될 수 있고, 그리고 이미지화기 데이터에 근거하는 추적으로부터의 데이터는 레이더 디바이스(102)에 대한 ROI의 결정에서 이용될 수 있다. 앞서 언급된 바와 같이, 단계(340)에서, 야구공(106)의 위치에 대한 레이더 디바이스(102) 혹은 이미지화기(104)로부터의 정보는 ROI를 정의함으로써 검색될 각각의 FoV들(112, 114)의 부분을 한정하는데 사용될 수 있다. 첫 번째 예에서, 물체가 레이더 디바이스(102)에 의해 식별되었다면, 시스템(100)은 ROI를 전체 FoV(112)의 일부분으로서 정의할 수 있고, 뿐만 아니라 범위 및 범위 변화율을 한정할 수 있는바, 이것은 레이더 데이터에 대한 컴퓨터연산을 감소시키는 것으로 이어지는데, 왜냐하면 공(106)의 존재에 대해 전체 FoV(112) 및 범위/범위 변화율이 분석될 것이 요구되지 않기 때문이다. 즉, FoV(112)의 일부분만이 분석될 수 있고, 반면 FoV(112)의 나머지는 무시되며, 그리고 유사하게 범위 및/또는 범위 변화율의 일부분만이 분석되고, 반면 공의 궤적과 관련된 어떠한 관련 정보도 갖지 않을 가능성이 높은 나머지는 무시된다. 유사하게, 공(106)의 선험적 정보 또는 이전의 위치 및/또는 궤적에 근거하여, 시스템은 이미지화기(104)에 대한 ROI를 그 전체 FoV(114)의 일부분으로서 설정할 수 있고, 이것은 이미지화기 데이터에 대한 컴퓨터연산을 감소시키는 것으로 이어지는데, 왜냐하면 공(106)의 존재에 대해 전체 FoV(114)가 분석될 필요가 없기 때문이다. 즉, FoV(114)의 일부분만이 분석될 수 있고, 반면 공의 궤적과 관련된 어떠한 관련 정보도 갖지 않을 가능성이 높은 FoV(114)의 나머지는 무시된다. 단계(340)와 유사하게, 레이더(102)의 레이더 추적은 이제 이미지화기(104)에 대한 관심 영역을 확인하는데 사용될 수 있다. 더욱이, 만약 이미지화기(104)가 이전에 단계(340)에서 관심 영역을 정의했다면, 레이더 추적은 훨씬 더 작은 관심 영역을 식별할 수 있고, 이것은 결과적으로 이미지화기 데이터에 대한 컴퓨터연산을 더 감소시키게 된다. 이미지화기(104)로부터의 공(106)의 존재의 긍정적인 확인은 관심 영역을 설정할 때 레이더 데이터를 확인할 수 있다. 대안적으로, 공(106)의 존재를 확인하기 위한 이미지 데이터의 실패는 레이더 추적을 거절하는데 사용될 수 있다. 더욱이, 이미지화기(104)의 이미지 추적은 레이더(102)에 대한 관심 영역을 확인할 수 있다. 더욱이, 만약 레이더(102)가 이전에 단계(340)에서 관심 영역을 정의했다면, 이미지 추적은 훨씬 더 작은 관심 영역을 식별할 수 있고, 이것은 결과적으로 레이더(102)의 컴퓨터연산을 더 감소시키게 된다. 레이더(102)로부터의 공(106)의 존재의 긍정적인 확인은 관심 영역을 설정할 때 이미지 추적을 확인할 수 있다. 대안적으로, 만약 레이더 디바이스(102)가 이미지 데이터로부터 공(106)의 존재를 확인하는데 실패한다면, 이것은 이미지 추적을 거절하는데 사용될 수 있다. 본 발명의 기술분야에서 숙련된 자들에 의해 이해되는 바와 같이, 도발적인 조명 조건들, 이미지들 내의 아티팩트(artifact)들, 이와 유사한 잘못된 검출 상황들, 등으로 인해 잘못된 이미지 추적들이 일어날 수 있다.
이후, 단계(360)에서, 레이더 및 이미지화기로부터의 추적 데이터는 공(106)의 3-차원 위치를 계산하기 위해 병합되고(예를 들어, 필드 좌표들로 변환됨), 그리고 이러한 데이터는 다른 애플리케이션들에 대해 이용가능한 라이브 데이터 스트림(live data stream)으로서 제공될 수 있는데, 예컨대 방송 목적으로 라이브 비디오(live video) 혹은 2D/3D 컴퓨터 그래픽(computer graphic)들 상에 추적 결과들을 오버레이(overlaying)시키는 것과 같은 것이 행해질 수 있다. 단계(370)에서는, 시스템(100)이 이것이 추적의 끝을 나타내는지 여부를 결정한다. 만약 그렇다면, 방법은 단계(380)로 진행하고, 단계(380)에서 출력 데이터(예를 들어, 투구의 중단, 등을 계산한 출력 데이터)가 발생되고, 만약 그렇지 않다면, 방법(300)은 단계(330)로 되돌아 간다. 구체적으로, 야구공(106)은, 야구공(106)이 궤적을 따라 진행하고 있을 때인 최초 이미지로부터, 야구공(106)이 배트, 글러브, 혹은 지면과 같은 물체에 충돌할 때인 최종 이미지까지 추적된다. 야구공(106)은 또한, 야구공(106)이 레이더 혹은 이미지 데이터 내에서 식별된 최초 위치로부터, 야구공(106)이 멈췄거나 편향 임계치(deviation threshold)를 넘어(예를 들어, 속도 벡터의 방향이 변한 경우) 자신의 진로에서 편향됐던 최종 위치까지 추적된다. 이때, 만약 궤적이 임계값을 넘어 편향됐다면(예를 들어, 만약 타자가 공(106)을 쳤다면), 시스템(100)은 새로운 궤적을 따르기 시작할 수 있고, 방법(300)은 새로운 궤적이 끝날 때까지 새로운 궤적에 근거하여 새로운 ROI를 정의하는 것을 다시 시작할 것이다.
단계들(330 내지 370)은 새로운 레이더 측정들 혹은 새로운 이미지 프레임들이 발생되는 각각의 시간 간격에서 반복될 수 있다. 예컨대, 예시적 시스템에서, 컴퓨터(201)는 기록되는 각각의 새로운 프레임에 대해 매 20 ms마다(혹은 초당 50번) 단계(330)를 수행할 수 있고, 또는 새로운 레이더 측정이 획득될 때마다(이것은 전형적으로 1 내지 5 ms와 같이 훨씬 더 빈번하게 일어남) 단계(330)를 수행할 수 있다. 레이더 디바이스(102)에 의해 획득된 각각의 레이더 측정에 대해, 컴퓨터(201)는 원시 도플러 레이더 데이터(raw Doppler radar data)를 사용하여 공(106)까지의 범위를 계산할 수 있다.
도 9a 내지 도 9b는 이미지화기에 대한 레이더 추적에 의해 설정된 예시적인 관심 영역을 상공에서 바라본 도면 및 측면에서 바라본 도면을 보여준다. 도 9a는 도 1의 시스템의 상면 추적도를 보여주고, 반면 도 9b는 도 1의 시스템의 측면 추적도를 보여준다. 알 수 있는 바와 같이, 타겟 영역(122)은 투수의 마운드(108)로부터 홈 플레이트(110)까지 야구공(106)이 움직일 것으로 예상되는 공간일 수 있다. 예시적 실시예에서, 이미지화기(102)는 수평 축과 측면 축을 갖는데, 여기서 수평 축은 홈 플레이트(110)의 뒤쪽 끝지점으로부터 연장되어 투수의 마운드(108)를 이등분하는 축에 평행하게 정렬되는 축이고, 측면 축은 홈 플레이트(110)의 뒤쪽 끝지점을 통과하여 홈 플레이트(110)를 정의하는 플레이트에 직교하는 축에 평행하게 정렬되는 축이다. FoV(112)가 수평방향으로는 각도 +7.92도와 -7.92도 사이에서 연장되고, 수직방향으로는 +1.37도와 -33.37도 사이에서 연장되는 것으로 보여지고 있다. 선험적 정보에 근거하여, 야구공(106)은 투수의 마운드(108)와 홈 플레이트(110) 사이에 있을 것으로 예기되고, 따라서 이것은 공 추적 영역(124)에 대한 FoV(114)를 감소시킨다. 관심 영역을 식별하는 설명된 방법이 적용되는 경우, 레이더(102)로부터의 레이더 추적은 공 추적 영역(124)을 더 감소시키기 위해 사용될 수 있다. 즉, 레이더(102)는 야구공(106)이 어디에 위치하고 있는 지를 정의하는 야구공(106)에 대한 범위들을 표시할 수 있다. 따라서, 레이더 추적이 사용되고 있는 이러한 시간 프레임에 대해 캡처되고 상관된 이미지들은 공 추적 영역(124)을 예를 들어, 분석 목적들을 위해 관심 영역(126)으로 감소시킬 수 있다.
앞에서 설명된 바와 같이, 단계(360)에서, 레이더 추적과 이미지 추적은 3-차원 좌표계(예를 들어, 필드-기반 좌표계)에서 공(106)의 위치를 결정하기 위해 병합된다. 앞서 설명된 예시적 실시예에서, 레이더(102)는 범위들을 측정한 1-차원 레이더 데이터를 발생시킬 수 있고, 이미지화기(104)는 수직 각도 및 수평 각도를 측정한 2-차원 이미지를 캡처할 수 있다. 컴퓨터(201)는 물체의 궤적에 대한 3개의 파라미터들(예를 들어, 3차원 치수들)이 모두 알려지도록 정보를 병합할 수 있다. 도 4 및 도 10에서 보여지는 바와 같이, 컴퓨터(201)는 도 8에서 공(106)의 이미지에 대응하는 이미지 내에서의 픽셀 값(uPX,vPX)(106')에 근거하여 이미지화기(104)로부터 물체(106)를 향해 연장되는 단위 벡터 n c(506)를 계산함으로써 물체의 위치를 결정한다. 이미지화기 시스템, 광학기기들 등의 다양한 결함들을 고려하여 픽셀을 각도 측정들로 변환하는 다양한 잘 알려진 방법들이 존재한다. 아래에서는 렌즈 왜곡을 고려하지 않는 바람직한 방법이 설명된다. 픽셀 위치(uPX,vPX)가 먼저 컴퓨터(201)에 의해 [1]을 사용하여, 정규화된 픽셀(u,v)로 변환된다.
[1]
여기서 (uPX,vPX)(106')는 이미지 내의 픽셀 값이고, (ppu, ppv)는 이미지 내의 근원 지점(principal point)(전형적으로는 이미지의 중심에 매우 가까운 지점)이고, 그리고 f는 (이미지화기(104)에 대해 미리결정된) 초점 거리이다. 정규화된 픽셀(u,v)은 그 다음에 컴퓨터(201)에 의해 방정식 [2]를 사용하여, 단위 벡터 n c(506)로 변환된다.
[2]
설치시, 레이더(102)와 이미지화기(104) 간의 변위 벡터(displacement vector) t(500)(및 그 거리 t=｜t｜)가 결정된다. 따라서, 공(106)이 도 8에서 보여지는 이미지화기(104)로부터 픽셀 위치(uPX,vPX)(106')에서 이미지로 검출될 때, 시스템(100)은 단위 벡터 n c(506)를 계산하는데, 이러한 단위 벡터 n c(506)는, 레이더(102)로부터의 레이더 데이터로부터 결정된 범위 R(502)과 함께, 3-차원에서 공(106)의 위치를 결정한다. 구체적으로, 삼각 관계가 확립되는데, 삼각형의 제 1 변을 나타내는 벡터 t(500), (레이더(102)에 대한 야구공(106)의 측정된 범위인) 삼각형의 제 2 변으로서의 거리 R(502), 그리고 벡터 n c(506)와 벡터 t(500) 간의 관계에 근거하여 결정된 각도 φC(514)를 이용해, 시스템은 이미지화기로부터 공(106)까지의 거리 RC(504)를 다음과 같이 계산할 수 있다.
이전에 설명된 벡터 n C(506)는 이미지화기(104)로부터 공(106)을 향해 측정된 단위 벡터이고, 벡터 n(508)는 레이더(102)로부터 공(106)을 향해 측정된 단위 벡터이다. 방정식 [2]에서의 단위 벡터 n C(506)와 유사하게, 단위 벡터 n는 좌표들을 갖는다(n=(α,β,γ)). (φR로서 표시되는) 각도(510)가 벡터 n(508)와 벡터 t(500) 간의 각도로서 정의되고, 반면 (φT로서 표시되는) 각도(512)가 벡터 n(508)와 벡터 n C(506) 간의 각도로서 정의되며, (φC로서 표시되는) 각도(514)가 벡터 n C(506)와 벡터 t(500) 간의 각도로서 정의된다. 이 경우, φC(514)는 acos(dot(n C,t/|t|))와 동일하고, 여기서 dot()는 벡터 곱(vector product)을 표시한다. φC(514)를 결정한 이후, φT(512)가 asin((|t|/R)(sinφC))와 동일한 것으로서 결정될 수 있다. φT(512)를 결정한 이후, φR(510)이 라디안 단위의 π-(φT+φC)와 동일한 것으로서 결정될 수 있다. 거리 RC(504)가 R·(sin(φR)/sin(φC))와 동일한 것으로서 각도들에 근거하여 후속적으로 결정될 수 있다. 따라서, 야구공(106)의 결합된 3-차원 추적(이것은 레이더 위치(102)에 원점을 둔 위치 벡터 X에 의해 표시됨)은 X=R·n=RC·n C-t로서 결정될 수 있다. 대안적으로, 공(106)의 3-차원 위치가 원점을 이미지화기 위치(104)에 둔 벡터 X C=RC·n C에 의해 표현되어 결정될 수 있다. 앞에서, 계산 방법은 레이더(102)와 이미지화기(104) 간의 선험적으로 알려진 3-차원 변위 벡터 t를 이용해 설명되었다. FoV(112)와 FoV(114)가 중첩되는 한, 변위의 거리 t에 관한 제한들은 없으며 아울러 t의 배향에 관한 제약들도 없다. 만약 예를 들어, 거리 t가 거리 R(502) 및 거리 RC(504)에 대해 상대적으로 작다면, RC는 매우 작은 불확실성(uncertainty)만을 갖고 R과 동일하다고 가정될 수 있으며, 이에 따라 계산들이 간단하게 된다. 이것은 t가 널 벡터(null vector) 0와 동일하다고 가정하는 것에 대응하는데, 여기서 널 벡터 0는 이미지화기(104)가 레이더(102)의 원점에 배치되는 상황이다.
다시 유의해야 하는 것으로, 이미지화기(104)와 레이더 디바이스(102)는 시간 동기화되어 이미지들 및 레이더 데이터로부터 추출된 정보가 서로 상관될 수 있게 된다. 시간 동기화를 통해, 컴퓨터(201)는 야구공(106)의 3-차원 추적을 결정하기 위해 그리고 궁극적으로 궤적(316)을 결정하기 위해 파라미터들을 병합한다. 예를 들어, 컴퓨터(201)는 궤적 애플리케이션을 실행하도록 구성될 수 있다. 궤적 애플리케이션은 데이터 병합 애플리케이션으로부터 궤적(316)의 파라미터 정보를 수신할 수 있다. 궤적 애플리케이션은 이러한 파라미터 정보에 근거하여 궤적을 결정할 수 있다. 예를 들어, 궤적 애플리케이션은, 제 1 시간에 제 1 파라미터 정보가 주어지는 경우 타겟 영역(122) 내에서 물체(106)의 제1의 3-차원 위치를 결정할 수 있고, 그리고 후속하여 이후 제 2 시간에 제 2 파라미터 정보가 주어지는 경우 타겟 영역(122) 내에서 물체(106)의 제2의 3-차원 위치를 결정할 수 있다. 타겟 영역(122) 내에서의 이러한 제1의 3-차원 위치 및 제2의 3-차원 위치를 사용하여, 궤적 애플리케이션은 제1의 3-차원 위치와 제2의 3-차원 위치를 연결하는 궤적조각(tracklet)을 발생시킨다. 궤적 애플리케이션은 이후의 시간들에서 추가 궤적조각들을 결정하기 위해 이러한 동작들을 계속 수행할 수 있다. 그 다음에, 궤적조각들은 공(106)의 궤적을 결정하기 위해 시간순으로 연결될 수 있다.
본 발명의 기술분야에서 숙련된 자들은, 또 하나의 다른 예시적 실시예에서, 레이더(102)가 공(106)까지의 범위뿐만 아니라 수직 각도 및 수평 각도를 측정한 3-차원 정보를 캡처할 수 있음을 이해할 것이다. 이러한 경우에, n은 레이더 데이터로부터 직접적으로 결정될 수 있다. 이에 따라, 레이더 및 이미지화기로부터의 수직 및 수평 각도 데이터에는 더 정확한 결과들을 획득하기 위해 가중치가 부여될 수 있다. 전형적으로, 이미지화기(104)로부터 수신되는 수직 및 수평 각도 데이터가 더 정확할 것이고 더 큰 가중치를 부여받을 것이다. 하지만, 일부 경우들에서는(예를 들어, 배경과 공이 색조에 있어 유사한 경우, 또 하나의 다른 물체가 공을 부분적으로 막거나 혹은 이미지 내에서 가려짐이 있는 경우), 레이더 데이터가 더 정확할 수 있다. 또 하나의 다른 예시적 실시예에서, 이미지화기(104) 및 레이더 디바이스(102)는 모두, 범위들뿐만 아니라 수직 및 수평 각도들을 측정하는 3-차원 이미지들을 개별적으로 캡처할 수 있다. 이러한 경우에, 컴퓨터(201)는 수직 각도 측정들이 함께 병합되도록, 그리고 수평 각도 측정들이 함께 병합되도록, 그리고 범위들이 함께 병합되도록 정보를 병합할 수 있고, 이에 따라 세 개의 파라미터들이 모두 정확성 증진을 위해 리던던트 정보(redundant information)를 이용하도록 한다.
다시 유의해야 하는 것으로, 야구공의 사용은 단지 예시적인 것이다. 예시적 실시예들은 이미지들 및 레이더 데이터 양쪽 모두에서 식별될 수 있는 타겟 영역 내에서 임의의 물체 혹은 물체의 부분을 추적하기 위해 이용될 수 있다. 예를 들어, 물체는 임의의 다른 타입의 공, 골프 클럽 상의 클럽 헤드, 골프 샤프트, 야구 배트, 테니스 라켓 등일 수 있다.
시스템(100)이 구현될 수 있는 또 하나의 다른 예시적 실시예에서는, 퍼팅(putting)되는 골프 공의 궤적이 결정될 수 있다. 아래에서 설명되는 것은 골프 공의 궤적을 결정하는 것과 관련되고 앞서-설명된 특징들을 모두 포함하는데, 여기서 2-차원 이미지화기에 의해 캡처된 이미지들로부터 도출된 데이터와 1-차원 레이더로부터 도출된 데이터는 병합되고, 이미지들의 분석은 레이더 추적에 의해 정의되는 바와 같은 관심 영역으로 좁혀진다. 비록 아래의 예가 퍼팅되는 골프 공의 추적을 보여주지만, 정확히 동일한 방법이 임의 타입의 골프 샷(golf shot)들에 대해 사용될 수 있고, 또는 임의의 다른 움직이는 물체에 대해 사용될 수 있는데, 이들이 레이더 데이터와 이미지화기 데이터 모두에서 검출될 수 있는 한 그러하다.
도 12a 내지 도 12c는 앞서의 골프 실시예에 따른 시스템(100)으로부터 획득된 예시적 결과들을 보여준다. 도면들에서 알 수 있는 바와 같이, 도 12a는 예시적인 범위 결과들을 보여주고, 도 12b는 예시적인 수직 성분 결과들을 보여주고, 그리고 도 12c는 에시적인 수평 성분 결과들을 보여주는데, 각각의 그래프는 레이더 데이터, 이미지화기 데이터, 및 병합된 데이터를 제공한다. 구체적으로, 도 12a는 R(502)에 대응하는 레이더(102)로부터 결정된 범위 결과들(402), RC(504)에 대응하는 이미지화기(104)로부터 결정된 범위 결과들(404), 그리고 병합 데이터(406)로부터의 결과들을 보여주는데, 여기서 원점은 R(502)에 대응하는 레이더(102)이다. 병합된 데이터(406)는 레이더 데이터(402)를 이미지화기 데이터(404)와 병합한 결과이다. 본 발명의 기술분야에서 숙련된 자들은, 특정 조건들 하에서 이미지화기(104)가 범위에 관해 충분히 정확한 정보를 제공하지 않을 수 있음을 이해할 것이다. 따라서, 이미지화기 데이터(404)는 범위 결과들을 위한 병합된 데이터(406)에서 빠질 수 있고 혹은 더 적은 가중치를 부여받을 수 있다. 이에 따라, 도면에서 알 수 있는 바와 같이, 병합된 데이터(406)는 레이더 데이터(402)의 곡선을 더 가깝게 따를 수 있다. 도 12b는 β에 대응하는 레이더 데이터로부터 결정된 수직 성분 결과들(402')(단위 벡터 n(508)의 수직 좌표), βC에 대응하는 이미지 데이터로부터 결정된 수직 성분 결과들(404')(단위 벡터 n C(506)의 수직 좌표), 그리고 병합된 데이터로부터의 수직 성분 결과들(406')을 보여주며, 여기서 원점은 β에 대응하는 레이더(102)이다. 이러한 예에서, 본 발명의 기술분야에서 숙련된 자들은, 특정 조건들 하에서 레이더 디바이스(102)가 수직 성분 혹은 각도를 결정하기 위해 충분히 정확한 정보를 제공하지 않을 수 있음을 이해할 것이다. 따라서, 레이더 데이터(402')는 수직 성분 결과들을 위한 병합된 데이터(406')에서 더 적은 가중치를 부여받을 수 있다. 도 12c는 γ에 대응하는 레이더 데이터로부터 결정된 수평 성분 결과들(402")(단위 벡터 n(508)의 수평 좌표), γC에 대응하는 이미지 데이터로부터 결정된 수평 성분 결과들(404")(단위 벡터 n C(506)의 수평 좌표), 그리고 병합된 데이터로부터의 수평 성분 결과들(406")을 보여주며, 여기서 원점은 γ에 대응하는 레이더(102)이다. 수직 각도들에서와 유사하게, 수평 각도들에 있어서, 레이더(102)는, 특정 조건들 하에서, 수평 성분 혹은 각도를 결정하기 위해 허용할 수 있을 만큼 정확한 정보를 제공하지 않을 수 있다. 따라서, 레이더 데이터(402")는 수평 결과들을 위한 병합된 데이터(406")에서 더 적은 가중치를 부여받을 수 있다.
도 12d 내지 도 12f는 도 12a 내지 도 12c와 동일한 데이터를 보여주지만, 이제 데이터는, R,β,γ에서 보여지는 대신, 골프 공(106)의 출발 위치에 원점에 둔 데카르트 좌표들(x,y,z)에서 보여지고 있다. 구체적으로, 그래프들(도 12d 내지 도 12f)은 시간 경과에 따른 물체(106)의 위치를 보여주고, 여기서 좌표계는 공의 출발 위치(예를 들어, 퍼팅의 시작 위치)에서 제로(zero)다. 도 12d는 레이더 데이터(412), 이미지화기 데이터(414), 및 병합된 데이터(416)에 대응하는 물체(106)의 x-축 결과들을 제공하고, 여기서 x-축은 타겟 영역을 향하고 있으며, 도 12e는 레이더 데이터(412'), 이미지화기 데이터(414'), 및 병합된 데이터(416')에 대응하는 물체(106)의 y-축 결과들을 제공하고, 여기서 y-축은 연추선(plumb line)과 평행한 수직 축이고, 그리고 도 12f는 레이더 데이터(412"), 이미지화기 데이터(414"), 및 병합된 데이터(416")에 대응하는 물체(106)의 z-축 결과들을 보여주고, 여기서 z-축은 데카르트 오른손 좌표계(Cartesian right handed coordinate system)를 완성한다.
도 13은 골프 공(106)의 궤적의 예시적인 출력을 도시한다. 구체적으로, 도 13은 레이더 데이터(422)에 근거하는 공(106)의 제 1 궤적이 이미지 데이터(424)에 근거하는 제 2 궤적을 가진 이미지 내에서 오버레이된 것을 보여준다. 컴퓨터(201)는 궤적의 그래픽 표현이 보여지게 될 이미지 혹은 일련의 이미지들을 식별하기 위해 타이밍 정보(timing information)뿐만 아니라 도 12a 내지 도 12f에서 발견된 정보를 이용할 수 있다. 이전에 언급된 바와 같이, 이러한 예시적 출력 데이터는 컴퓨터(201)에 의해 발생될 수 있는데, 여기서 컴퓨터(201)는 본 발명의 기술분야에서 숙련된 자들에 의해 이해되는 바와 같이 이러한 데이터 발생 기능을 제공하기 위해 필요한 모든 하드웨어, 펌웨어, 및 소프트웨어를 포함할 수 있다.
본 개시내용의 실시예는 물체의 움직임을 추적하기 위한 시스템에 관한 것이며, 이러한 시스템은, 제 1 시계를 갖는 레이더 디바이스와; 중첩 시계에서 제 1 시계와 적어도 부분적으로 중첩하는 제 2 시계를 갖는 이미지화기와; 그리고 프로세서를 포함하고, 여기서, 레이더 디바이스는 레이더 데이터를 발생시키고, 레이더 데이터는 레이더 디바이스로부터 제 1 시계 내에서의 움직이는 물체의 거리에 대응하는 범위, 그리고 레이더 디바이스에 대한 거리가 변하는 비율에 대응하는 범위 변화율 중 하나를 표시하고, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 1차원에서 이미지화기에 대한 물체의 각위치를 측정한 것이고, 프로세서는 물체가 중첩 시계 내에 있을 때 적어도 2차원에서 물체의 궤적을 식별하기 위해 레이더 데이터와 이미지화기 데이터를 결합한다.
레이더 디바이스는 1차원 레이더이고, 여기서 레이더 데이터는 물체에 대한 범위 변화율을 포함한다. 이미지화기는 2-차원 이미지화기이고, 여기서 이미지화기 데이터는 적어도 2 차원에서 물체의 각위치를 측정한 것이고, 프로세서는 3차원에서 물체의 궤적을 식별한다. 이미지 추적 디바이스는 이미지화기 좌표계에서 수직 각도 및 수평 각도를 측정한다. 프로세서는 레이더 디바이스로부터 이미지화기까지의 거리 및 레이더 디바이스로부터 이미지화기로의 배향을 표시하는 이격 벡터에 대응하는 데이터를 포함한다. 프로세서는 이미지화기로부터 물체로의 단위 벡터를 계산하고, 그리고 단위 벡터, 레이더 데이터, 및 이격 벡터에 근거하여, 프로세서는 3차원에서 물체의 위치를 계산한다.
프로세서는 중첩 시계 내의 기준 지점들에 근거하여 필드 기반 좌표계를 정의하고, 그리고 3차원에서의 물체의 위치를 필드 기반 좌표계로 변환하고 회전시킨다. 레이더 디바이스는 물체까지의 거리, 그리고 타겟에 대한 수평 각도와 수직 각도 중 하나를 검출한다. 시스템은 또한 메모리를 포함하고, 메모리는 물체가 발견될 위치를 예측하는 선험적 정보를 저장한다. 프로세서는 물체가 출현할 것으로 예상되는 관심 영역을 제 1 시계와 제 2 시계 중 하나의 시계의 감소된 영역으로서 정의하기 위해 선험적 정보를 사용한다.
선험적 정보는, 물체의 이전의 위치에 대한 정보, 및 물체의 이전의 속도에 대한 정보, 및 물체의 이전의 범위에 대한 정보 중 적어도 하나를 포함한다. 물체는 스포츠용 공이고, 여기서 선험적 정보는 공의 운용이 일어날 가능성이 있는 위치에 관한 것이다. 물체는 스포츠용 공이고, 타겟 용적은 경기장을 포함하고, 기준 지점들은 경기장에서 운용될 게임의 운용에 관한 규칙들에 대해 의미가 있는 위치들을 포함한다. 레이더 디바이스는 도플러 레이더이다. 프로세서는 레이더 디바이스로부터의 범위 변화율 그리고 범위에 대한 초기 값에 근거하여 거리를 결정한다. 초기 범위 값은 선험적 지식에 근거한다.
추가적으로, 본 개시내용은, 물체의 움직임을 추적하기 위한 방법에 관한 것이며, 이러한 방법은, 제 1 시계가 물체의 움직임이 일어날 타겟 용적의 적어도 일부를 포함하도록 할 목표로 레이더 디바이스를 위치시키는 단계(여기서, 레이더 추적 디바이스는 레이더로부터 제 1 시계 내에서의 움직이는 물체의 거리를 표시하는 레이더를 발생시킴); 제 2 시계가 타겟 용적의 원하는 부분 내에서 제 1 시계와 적어도 부분적으로 중첩하도록 할 목표로 이미지화기를 위치시키는 단계(여기서, 이미지화기는 이미지화기 데이터를 발생시키고, 이미지화기 데이터는 물체가 제 2 시계 내에 있을 때 적어도 2차원에서 이미지화기에 대한 물체의 각위치를 측정한 것임); 그리고 물체가 중첩 시계 내에 있을 때 3차원에서 물체의 궤적을 식별하기 위해 레이더 데이터와 이미지화기 데이터를 결합하는 단계를 포함한다.
예시적 실시예들은 물체의 3-차원 궤적을 결정하기 위한 디바이스, 시스템 및 방법을 제공하고, 여기서 이미지화기에 의해 캡처된 이미지들로부터의 정보와 레이더에 의해 발생된 레이더 데이터로부터의 정보는 병합된다. 이러한 정보의 병합은 허용가능한 임계치보다 높은 확실성을 갖는 대응하는 정보를 제공하는 소스로부터 궤적의 각각의 차원이 결정되는 방식으로 이루어진다. 파라미터 결정을 확실히 하는데 리던던트 정보가 또한 이용될 수 있다. 시간 동기화에 근거하여 정보를 병합함으로써, 3-차원 궤적이 더 강인하고 정확하며 그리고 활용도 높은 방식으로 발생될 수 있다.
본 발명의 기술분야에서 숙련된 자들은, 비록 이전에 설명된 실시예들이 야구공의 투구를 상세히 설명하고 골프 공의 퍼팅을 좀더 간단하게 설명하여도, 앞에서-설명된 예시적 실시예는 다양한 궤적 타입들을 갖는 임의의 물체(즉, 자유 비행하는 물체, 통통 튀는 물체, 혹은 구르는 물체)의 움직임을 추적하도록 구현될 수 있음을 이해할 것이다. 예를 들어, 시스템(100)은 또한 서브(serve)를 포함하는 랠리(rally)의 임의의 부분에서 테니스공을 추적할 수 있다. 또 하나의 다른 예시적 실시예에서, 앞서 설명된 시스템(100)은 또한 축구공을 추적하는데 사용될 수 있는데, 특히 골문에서 더욱 높은 속도의 킥(kick)들을 추적하는데 사용될 수 있다. 또 하나의 다른 예시적 실시예에서, 앞서 설명된 시스템(100)은 볼링 레인을 미끄러지며 굴러가는 때의 볼링공을 추적하는데 사용될 수 있다. 본 발명의 기술분야에서 숙련된 자들은 또한, 시스템(100)이 구형 물체들의 움직임을 추적하는 것에만 한정되는 것이 아니라 임의 타입의 물체의 움직임을 추적할 수 있음을 이해할 것이다. 예를 들어, 시스템(100)은 공에 대해 스윙(swinging)이 이루어질 때의 야구 배트 혹은 골프 클럽의 움직임을 추적할 수 있다. 시스템(100)은 또한 공을 던지는 야구 선수의 손과 같은 운동선수의 일부분들을 추적하기 위해 사용될 수 있고, 또는 골프선수의 손의 궤적을 추적하기 위해 사용될 수 있다. 더욱이, 시스템(100)은 또한, 스키 슬로프(ski slope)를 내려가는 알파인 스키선수를 추적하기 위해 사용될 수 있고, 또는 활강(ramp)시와 비행 및 착지 동안 모두에서 스키 점프 선수를 추적하기 위해 사용될 수 있다.
본 발명의 기술분야에서 숙련된 자들은 앞에서-설명된 예시적 실시예들이 임의의 적절한 소프트웨어 혹은 하드웨어 구성 또는 이들의 조합으로 구현될 수 있음을 이해할 것이다. 예시적 실시예들을 구현하기 위한 예시적 하드웨어 플랫폼은, 예를 들어, 호환가능한 운영 체계를 갖는 인텔 x86 기반의 플랫폼, 윈도우 플랫폼, 맥 플랫폼 및 맥 OS(MAC OS), 그리고 iOS, 안드로이드 등과 같은 운영 체계를 갖는 모바일 디바이스를 포함할 수 있다. 다른 예에서, 앞에서-설명된 방법의 예시적 실시예들은, 프로세서 혹은 마이크로프로세서 상에서 실행될 수 있는, 비-일시적 컴퓨터 판독가능 저장 매체에 저장되는 일련의 코드를 포함하는 프로그램으로서 구현될 수 있다.
본 개시내용의 사상 및 범위로부터 벗어남이 없이 본 개시내용에서 다양한 수정들이 일어날 수 있음은 본 발명의 기술분야에서 숙련된 자들에게 명백할 것이다. 따라서, 본 개시내용은 본 개시내용의 수정들 및 변형들이, 첨부되는 청구항들 및 이들의 등가물의 범위 내에 있는 한, 이러한 수정들 및 변형들을 포괄하도록 의도되어 있다.

Claims (22)

  1. 객체의 이동을 추적하는 시스템에 있어서,
    제1 시야를 갖되, 상기 제1 시야 내에서 객체의 이동에 대응하는 레이더 데이터를 생성하는 레이더 장치;
    중첩 시야에서 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야를 갖되, 상기 객체가 상기 제2 시야를 통과할 때, 적어도 1차원에서 자신에 대한 상기 객체의 상대적인 각도 위치를 측정한 이미저 데이터를 생성하는 이미저; 및
    상기 객체가 상기 중첩 시야를 통과할 때, 상기 이미저에 상대적인 상기 레이더 장치의 알려진 위치에 기초하여 상기 이미저 데이터와 상기 레이더 데이터를 결합하여 상기 객체의 궤적을 적어도 2차원에서 식별하고, 상기 객체의 각도 위치는 상기 이미저로부터의 데이터만을 사용하여 결정되는 프로세서(processor)를 포함하는, 시스템.
  2. 제1항에 있어서, 상기 레이더 장치는 3차원 레이더인, 시스템.
  3. 제1항에 있어서, 상기 레이더 장치는 1차원 레이더인, 시스템.
  4. 제1항에 있어서, 상기 프로세서는 상기 이미저로부터 상기 객체까지 단위 벡터(vector)를 계산하고, 상기 단위 벡터, 상기 레이더 데이터 및 상기 이미저에 상대적인 상기 레이더 장치의 알려진 위치에 기초하여, 상기 객체의 위치를 3차원으로 계산하는, 시스템.
  5. 제1항에 있어서, 상기 프로세서는 상기 제2 시야 내의 기준점들에 기초하여 필드 기반 좌표계를 정의하고, 상기 객체의 3차원 내 위치를 상기 필드 기반 좌표계로 병진이동 및 회전시키는, 시스템.
  6. 제1항에 있어서, 상기 객체가 발견될 위치를 예측하는 사전 정보를 저장하는 메모리를 추가로 포함하는, 시스템.
  7. 제6항에 있어서, 상기 프로세서는 상기 사전 정보를 사용하여 상기 객체가 상기 제1 및 제2 시야 중 하나의 축소된 부분으로 나타날 것으로 예상되는 관심 영역을 정의하는, 시스템.
  8. 제7항에 있어서, 상기 사전 정보는 상기 객체의 사전 위치, 상기 객체의 사전 속도 및 상기 객체의 사전 범위에 관한 정보 중 적어도 하나를 포함하는, 시스템.
  9. 제6항에 있어서, 상기 객체는 스포츠 볼(sports ball)이고, 상기 사전 정보는 상기 볼이 플레이될 가능성이 있는 위치에 관한 것인, 시스템.
  10. 제5항에 있어서, 상기 객체는 스포츠 볼이고 상기 중첩 시야는 경기장의 적어도 일부를 포함하고, 상기 기준점들은 상기 경기장에서 플레이될 게임의 플레이 규칙에 중요한 위치를 포함하는, 시스템.
  11. 제1항에 있어서, 상기 레이더 장치는 도플러(Doppler) 레이더인, 시스템.
  12. 제1항에 있어서, 상기 프로세서는 범위의 초기 값 및 상기 레이더 데이터로부터 결정된 시간에 대한 적분 속도에 기초하여 상기 레이더 장치로부터의 범위를 계산하는, 시스템.
  13. 제12항에 있어서, 상기 범위의 초기 값은 사전 지식에 기초하는, 시스템.
  14. 제12항에 있어서, 상기 범위는 이동 객체와 상기 레이더 장치 사이의 거리의 시간에 대한 변화율을 나타내는 거리 변화율(range rate)에 대응하는 상기 레이더로부터의 데이터에 기초하여 결정되는, 시스템.
  15. 제1항에 있어서, 상기 프로세서는 상기 이미저 데이터와 상기 레이더 데이터를 결합하여, 상기 객체가 상기 중첩 시야를 통과할 때, 상기 객체의 궤적을 3차원으로 식별하되, 상기 이미저 데이터 및 상기 레이더 데이터 각각은, 그 자체로는, 상기 객체의 3차원 위치를 계산하기에 불충분한, 시스템.
  16. 객체의 이동을 추적하는 방법에 있어서,
    제1 시야가 객체가 통과할 표적 체적의 적어도 일부분을 커버하도록 조준된 레이더 장치를 위치시키고, 상기 레이더 장치는 상기 레이더 장치로부터 상기 제1 시야 내의 이동하는 객체의 거리를 나타내는 범위에 대응하는 레이더 데이터를 생성하는 단계;
    이미저의 제2 시야가, 중첩 시야에서, 상기 표적 체적의 원하는 부분 내에서 상기 제1 시야와 적어도 부분적으로 중첩되도록 조준된 상기 이미저를 위치시키고, 상기 이미저는, 상기 객체가 상기 제2 시야를 통과할 때, 적어도 2차원에서 상기 이미저에 상대적인 상기 객체의 각도 위치를 측정한 이미저 데이터를 생성하는 단계; 및
    상기 이미저에 상대적인 상기 레이더 장치의 알려진 위치에 기초하여 상기 이미저 데이터와 상기 레이더 데이터를 결합하여 상기 객체가 상기 중첩 시야를 통해 이동할 때 상기 객체의 궤적을 적어도 2차원에서 식별하고, 상기 객체의 각도 위치는 상기 이미저로부터의 데이터만을 사용하여 결정되는 단계를 포함하는, 방법.
  17. 객체의 이동을 추적하는 시스템에 있어서,
    제1 시야를 갖되, 상기 제1 시야 내에서 이동하는 객체의 거리에 대응하는 범위를 나타내는 레이더 데이터를 생성하는 레이더 장치;
    중첩 시야에서 상기 제1 시야와 적어도 부분적으로 중첩하는 제2 시야를 갖되, 상기 객체가 상기 제2 시야를 통과할 때 자신에 대한 상대적인 객체의 각도 위치를 적어도 1차원에서 측정한 이미저 데이터를 생성하고, 상기 이미저 및 상기 레이더 장치 중 적어도 하나는 상기 이미저 및 상기 레이더 장치 중 다른 하나에 대해 상대적으로 이동 가능한, 이미저;
    상기 이미저에 상대적인 상기 레이더 장치의 알려진 위치에 대응하는 데이터를 포함하는 메모리; 및
    상기 이미저로부터 상기 객체로의 단위 벡터를 계산하고, 상기 이미저, 상기 이미저에 상대적인 상기 레이더 장치의 알려진 위치, 상기 레이더 데이터 및 상기 단위 벡터에 기초하여, 적어도 2차원으로 상기 객체의 위치를 계산하고, 상기 이미저로부터의 데이터만을 기반으로 상기 객체의 각도 위치를 결정하여, 적어도 2차원으로 상기 객체의 궤적을 식별하는 프로세서를 포함하는, 시스템.
  18. 장치에 있어서,
    이동하는 객체의 2차원 이미지 데이터를 제공하되, 상기 이미지 데이터는 상기 객체의 정확한 3차원 추적에 충분한 각도 해상도를 제공하는이미저;
    상기 이동하는 객체의 이동에 대응하는 레이더 데이터를 제공하되, 상기 레이더 데이터는 상기 객체를 3차원적으로 추적하기에 충분하지 않은 각도 해상도를 제공하고, 상기 객체에 대한 적어도 속도 정보를 제공하는, 도플러 레이더; 및
    상기 레이더 데이터를 상기 이미지 데이터 및 상기 이미저에 상대적인 상기 레이더의 알려진 위치와 결합하여, 상기 객체가 공중을 비행할 때 상기 객체를 3차원적으로 추적하는 컴퓨터를 포함하는, 장치.
  19. 제18항에 있어서, 상기 컴퓨터는, 상기 이미저로부터 상기 객체로 포인팅하는 벡터를 나타내는 단위 벡터 n c 및 상기 레이더 데이터에 기초하여 검출된 상기 레이더로부터 상기 객체까지의 거리에 따라 상기 객체가 공중을 비행할 때 상기 객체의 3차원 데이터 포인트를 계산하도록 프로그래밍된 하드웨어 프로세서 및 메모리 장치를 포함하고, 여기서 이고, 상기 객체가 이미지에서 검출되는 픽셀은 (u,v)로 표시되는, 장치.
  20. 제19항에 있어서, (u,v)로 표시되는 상기 픽셀은, 상기 객체가 상기 이미지 데이터에서 실제로 검출되는 검출 픽셀 값(uPX,vPX)에 기초한 정규화된 픽셀이되, 상기 검출된 픽셀 값(uPX,vPX)은 수학식 에 따라 정규화된 픽셀(u,v)로 변환되고, 여기서 (ppu, ppv)은 이미지의 주점(principal point)이고 f는 상기 이미저의 초점 거리(focal distance)인, 장치.
  21. 제20항에 있어서, 상기 주점(ppu, ppv)은 상기 이미지의 중심에 있는, 장치.
  22. 제20항에 있어서, 상기 레이더로부터의 범위는 상기 속도 정보를 통합하여 결정되는, 장치.
KR1020227013943A 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법 KR102571076B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/369,372 2016-12-05
US15/369,372 US10989791B2 (en) 2016-12-05 2016-12-05 Device, system, and method for tracking an object using radar data and imager data
KR1020217025430A KR102392148B1 (ko) 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법
PCT/IB2017/057616 WO2018104844A1 (en) 2016-12-05 2017-12-04 Device, system, and method for tracking an object using radar data and imager data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025430A Division KR102392148B1 (ko) 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법

Publications (2)

Publication Number Publication Date
KR20220057653A KR20220057653A (ko) 2022-05-09
KR102571076B1 true KR102571076B1 (ko) 2023-08-25

Family

ID=60702909

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197019495A KR102290932B1 (ko) 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법
KR1020227013943A KR102571076B1 (ko) 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법
KR1020217025430A KR102392148B1 (ko) 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197019495A KR102290932B1 (ko) 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217025430A KR102392148B1 (ko) 2016-12-05 2017-12-04 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법

Country Status (6)

Country Link
US (3) US10989791B2 (ko)
EP (1) EP3548923A1 (ko)
JP (2) JP2020515810A (ko)
KR (3) KR102290932B1 (ko)
CN (1) CN109997054B (ko)
WO (1) WO2018104844A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6600271B2 (ja) * 2016-03-31 2019-10-30 株式会社デンソー 物体認識装置及び物体認識方法
US10902267B2 (en) * 2016-09-16 2021-01-26 Motorola Solutions, Inc. System and method for fixed camera and unmanned mobile device collaboration to improve identification certainty of an object
US10989791B2 (en) * 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data
WO2018138708A1 (en) 2017-01-30 2018-08-02 Topgolf Sweden Ab System and method for three dimensional object tracking using combination of radar and image data
CN108446023B (zh) * 2018-03-20 2021-02-02 京东方科技集团股份有限公司 虚拟现实反馈装置及其定位方法、反馈方法和定位系统
US10754025B2 (en) 2018-06-20 2020-08-25 Rapsodo Pte. Ltd. Radar and camera-based data fusion
US11311789B2 (en) 2018-11-08 2022-04-26 Full-Swing Golf, Inc. Launch monitor
EP3680689A1 (en) * 2019-01-11 2020-07-15 ADB Safegate Sweden AB Airport stand arrangement
US20200241122A1 (en) * 2019-01-28 2020-07-30 Metawave Corporation Radar system with three-dimensional beam scanning
KR20210064333A (ko) * 2019-02-22 2021-06-02 트랙맨 에이/에스 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법
KR20240024336A (ko) * 2019-07-11 2024-02-23 트랙맨 에이/에스 볼 마킹을 이용하여 스핀 측정을 결정하기 위한 시스템 및 방법
US20210033722A1 (en) * 2019-07-29 2021-02-04 Trackman A/S System and method for inter-sensor calibration
CN110940971B (zh) * 2019-11-06 2022-05-31 四川川大智胜软件股份有限公司 一种雷达目标点迹录取方法、装置及存储介质
CN112904331B (zh) * 2019-11-19 2024-05-07 杭州海康威视数字技术股份有限公司 移动轨迹的确定方法、装置、设备及存储介质
CN111402296B (zh) * 2020-03-12 2023-09-01 浙江大华技术股份有限公司 基于摄像机、雷达的目标跟踪方法及相关装置
CN111751789B (zh) * 2020-06-30 2023-07-11 北京无线电测量研究所 人造卫星经过雷达探测范围的预报方法、系统、介质及设备
US11619708B2 (en) 2020-07-28 2023-04-04 Trackman A/S System and method for inter-sensor calibration
CN111929672A (zh) * 2020-08-06 2020-11-13 浙江大华技术股份有限公司 移动轨迹的确定方法及装置、存储介质和电子装置
KR102625119B1 (ko) * 2020-08-14 2024-01-12 탑골프 스웨덴 에이비 가상 시간 동기화를 이용한 3차원 객체 추적 이전에 2차원 이미지 데이터의 움직임 기반 전처리
BR112023003484A2 (pt) * 2020-08-25 2023-04-11 Groundprobe Pty Ltd Sistema de monitoramento de falha de talude
US20220111253A1 (en) * 2020-10-08 2022-04-14 Drive Hockey Analytics Stick Patterns in a Sporting Event
CN112383677B (zh) * 2020-11-04 2023-04-28 三星电子（中国）研发中心 视频处理方法及装置
US11352079B1 (en) 2020-12-22 2022-06-07 Tc Global Holdings Llc Mobile golf simulation system
EP4291311A1 (en) * 2021-02-14 2023-12-20 Breakout Hitting LLC Training systems and methods
US20220288481A1 (en) 2021-03-05 2022-09-15 Trackman A/S System and method for player's identification
CN113082679A (zh) * 2021-04-08 2021-07-09 杨清平 一种适用于田径测距的相机标定方法
CN113359197B (zh) * 2021-06-03 2024-01-23 河北省地震局 一种适于浅层高精度的曲地表叠加成像方法
US20230168363A1 (en) * 2021-11-30 2023-06-01 Argo AI, LLC Method to detect radar installation error for pitch angle on autonomous vehicles
US20230372775A1 (en) * 2022-05-18 2023-11-23 Rapsodo Pte. Ltd. Feature estimation of a cricket game
US20230372776A1 (en) * 2022-05-18 2023-11-23 Rapsodo Pte. Ltd. Stump device for feature estimation of cricket games
KR102648582B1 (ko) * 2022-11-08 2024-03-18 주식회사 디테크 레이더 및 카메라에 기반하는 통합 모듈을 이용하여 모니터링하는 방법 및 그를 이용한 시스템
CN115762064A (zh) * 2022-11-14 2023-03-07 华能澜沧江水电股份有限公司 一种基于雷视融合的高边坡落石监测预警方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008504534A (ja) * 2004-07-02 2008-02-14 インタラクティブ・スポーツ・ゲームズ・アクティーゼルスカブ 発射された発射体の実際の方向と、所定の方向と、の間の偏差を、測定する方法及び装置

Family Cites Families (238)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3025520A (en) 1955-11-21 1962-03-13 Gen Dynamics Corp Positioning determining device
US3982713A (en) 1959-07-22 1976-09-28 The United States Of America As Represented By The Secretary Of The Army Ballistic missile defense system
DE1428724A1 (de) 1964-08-27 1969-03-06 Dornier System Gmbh Verfahren zum Erfassen von Treffern bzw. vorbeifliegenden Geschossen mittels elektromagnetischer Strahlung
US3856237A (en) 1964-10-06 1974-12-24 Fairchild Hiller Corp Guidance system
US3264643A (en) 1964-12-01 1966-08-02 Ford Motor Co Continuous wave radar system
US4264907A (en) 1968-04-17 1981-04-28 General Dynamics Corporation, Pomona Division Rolling dual mode missile
US3540054A (en) 1968-10-09 1970-11-10 Nasa Radar antenna system for acquisition and tracking
US3777665A (en) 1969-07-22 1973-12-11 Gen Electric Fuze actuating system
ZA72674B (en) 1971-02-17 1972-10-25 Thomson Csf System for aiming projectiles at close range
US4015258A (en) 1971-04-07 1977-03-29 Northrop Corporation Weapon aiming system
US3981010A (en) 1972-07-03 1976-09-14 Rmc Research Corporation Object locating system
US3798795A (en) 1972-07-03 1974-03-26 Rmc Res Corp Weapon aim evaluation system
US3798644A (en) 1972-08-07 1974-03-19 J Constant Vector velocity system
US3992708A (en) 1975-07-18 1976-11-16 The United States Of America As Represented By The Secretary Of The Navy Optical tracking analog flywheel
CH589303A5 (ko) 1975-09-22 1977-06-30 Siemens Ag Albis
US4050068A (en) 1976-03-15 1977-09-20 The United States Of America As Represented By The Secretary Of The Air Force Augmented tracking system
US4545576A (en) 1982-01-15 1985-10-08 Harris Thomas M Baseball-strike indicator and trajectory analyzer and method of using same
US4477814A (en) 1982-08-02 1984-10-16 The United States Of America As Represented By The Secretary Of The Air Force Dual mode radio frequency-infrared frequency system
US4638320A (en) 1982-11-05 1987-01-20 Hughes Aircraft Company Direction finding interferometer
NL8300178A (nl) 1983-01-18 1984-08-16 Hollandse Signaalapparaten Bv Pulsradarapparaat.
US4509052A (en) 1983-04-27 1985-04-02 Georgia Tech Research Institute RF Interferometer/Doppler target location system
GB2140238A (en) 1983-05-11 1984-11-21 Racal Communications Equip Direction finding
US4563005A (en) 1984-01-10 1986-01-07 Fortune 100, Inc. Apparatus for evaluating baseball pitching performance
JPS60249074A (ja) 1984-05-24 1985-12-09 Fujitsu Ltd 飛翔体航跡推定方式
EP0205794B1 (de) 1985-05-23 1990-08-29 Contraves Ag Rundsuchsystem zur Raum-/Luftraumüberwachung
US4713686A (en) 1985-07-02 1987-12-15 Bridgestone Corporation High speed instantaneous multi-image recorder
US4717916A (en) 1986-05-16 1988-01-05 Holodyne Ltd., 1986 High resolution imaging doppler interferometer
US5341142A (en) 1987-07-24 1994-08-23 Northrop Grumman Corporation Target acquisition and tracking system
US5018218A (en) 1988-08-29 1991-05-21 Raytheon Company Confirmed boundary pattern matching
NL8802289A (nl) 1988-09-16 1990-04-17 Hollandse Signaalapparaten Bv Rondzoeksensor.
EP0411073A1 (de) 1989-01-24 1991-02-06 Contraves Ag Verfahren und vorrichtung zur verbesserung der treffgenauigkeit
US5062641A (en) 1989-09-28 1991-11-05 Nannette Poillon Projectile trajectory determination system
US5056783A (en) 1989-10-18 1991-10-15 Batronics, Inc. Sports implement swing analyzer
US5150895A (en) 1990-11-06 1992-09-29 Richard Berger Method of and system for determining a position of ball relative to a playing field, and ball provided therefor
US5375832A (en) 1990-11-26 1994-12-27 Witler; James L. Golfing apparatus
US5486002A (en) 1990-11-26 1996-01-23 Plus4 Engineering, Inc. Golfing apparatus
US5092602A (en) 1990-11-26 1992-03-03 Witler James L Golfing apparatus
US5138322A (en) 1991-08-20 1992-08-11 Matrix Engineering, Inc. Method and apparatus for radar measurement of ball in play
EP0529489B1 (de) 1991-08-20 1996-10-30 Günter Löwe Verfahren und Vorrichtung zur Schussfehlervermessung beim Schiessen auf ein Luftziel mittels einer Feuerwaffe
JPH06126015A (ja) 1992-01-04 1994-05-10 Hiroshi Imanishi ゴルフ球位置検索システム
US5246232A (en) 1992-01-22 1993-09-21 Colorado Time Systems Method and apparatus for determining parameters of the motion of an object
US5241317A (en) 1992-05-29 1993-08-31 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for determining target elevation angle, altitude and range and the like in a monopulse radar system with reduced multipath errors
FR2692678B1 (fr) 1992-06-18 1994-09-02 Sofretec Système de visualisation à distance d'informations de sortie d'au moins un radar.
US5342051A (en) 1992-10-30 1994-08-30 Accu-Sport International, Inc. Apparatus and method for tracking the flight of a golf ball
US5319373A (en) 1992-11-13 1994-06-07 Maxwell Robert M Method and apparatus for determining ship position in a television image
US6241622B1 (en) 1998-09-18 2001-06-05 Acushnet Company Method and apparatus to determine golf ball trajectory and flight
US5575719A (en) 1994-02-24 1996-11-19 Acushnet Company Method and apparatus to determine object striking instrument movement conditions
JPH06213989A (ja) 1993-01-18 1994-08-05 Mitsubishi Electric Corp 方位測定装置及び時間間隔測定装置
US5413345A (en) 1993-02-19 1995-05-09 Nauck; George S. Golf shot tracking and analysis system
FR2706624B1 (fr) 1993-06-14 1995-09-29 Dassault Electronique Dispositif radar de surveillance au sol, notamment pour aéroport.
GB2283144B (en) 1993-10-12 1997-10-01 William Alexander Courtney Simulated projectile vision
US5504312A (en) 1993-12-07 1996-04-02 Sportsmedia Technology Corporation Scoring system
US5406290A (en) 1994-05-02 1995-04-11 Mcdonnell Douglas Corporation Hit verification technique
US5404144A (en) 1994-05-04 1995-04-04 The United States Of America As Represented By The Secretary Of The Navy Simultaneous determination of incoming microwave frequency and angle-of-arrival
GB2294403B (en) 1994-08-06 1998-10-14 Alan Leather Target golf
US5609534A (en) 1994-10-20 1997-03-11 The Distancecaddy Company, L.L.C. Informational/training video system
IL111435A (en) 1994-10-28 1997-09-30 Israel State Surveillance system including a radar device and electro-optical sensor stations
US5768151A (en) 1995-02-14 1998-06-16 Sports Simulation, Inc. System for determining the trajectory of an object in a sports simulator
JPH08266701A (ja) 1995-03-30 1996-10-15 Hino Motors Ltd 打球追跡表示装置
JP3227384B2 (ja) 1995-06-19 2001-11-12 住友ゴム工業株式会社 飛行球体の回転数測定装置
US5564698A (en) 1995-06-30 1996-10-15 Fox Sports Productions, Inc. Electromagnetic transmitting hockey puck
US5912700A (en) 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
US5868578A (en) 1995-09-21 1999-02-09 Baum; Charles S. Sports analysis and testing system
US6042492A (en) 1995-09-21 2000-03-28 Baum; Charles S. Sports analysis and testing system
US5631654A (en) 1996-02-05 1997-05-20 The Regents Of The University Of California Ballistic projectile trajectory determining system
US6093923A (en) 1996-09-11 2000-07-25 Golf Age Technologies, Inc. Golf driving range distancing apparatus and methods
US5999210A (en) 1996-05-30 1999-12-07 Proteus Corporation Military range scoring system
US5657027A (en) 1996-06-02 1997-08-12 Hughes Electronics Two dimensional interferometer array
US5700204A (en) 1996-06-17 1997-12-23 Teder; Rein S. Projectile motion parameter determination device using successive approximation and high measurement angle speed sensor
US5796474A (en) 1996-06-21 1998-08-18 Thermotrex Corporation Projectile tracking system
US6057915A (en) 1996-06-21 2000-05-02 Thermotrex Corporation Projectile tracking system
US5873040A (en) 1996-08-13 1999-02-16 International Business Machines Corporation Wireless 911 emergency location
US5917553A (en) 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US5846139A (en) 1996-11-13 1998-12-08 Carl J. Bair Golf simulator
JP3226812B2 (ja) 1996-12-12 2001-11-05 独立行政法人電子航法研究所 空港面監視装置
US6252632B1 (en) 1997-01-17 2001-06-26 Fox Sports Productions, Inc. System for enhancing a video presentation
US5862517A (en) 1997-01-17 1999-01-19 Fox Sports Productions, Inc. System for re-registering a sensor during a live event
US5953077A (en) 1997-01-17 1999-09-14 Fox Sports Productions, Inc. System for displaying an object that is not visible to a camera
US5966677A (en) 1997-02-28 1999-10-12 Fiekowsky; Peter J. High accuracy particle dimension measurement system
US6179720B1 (en) 1997-05-21 2001-01-30 Accu-Sport International, Inc. Correlation method and apparatus for target-oriented sports activities
US6450442B1 (en) 1997-09-30 2002-09-17 Raytheon Company Impulse radar guidance apparatus and method for use with guided projectiles
US5781505A (en) 1997-10-14 1998-07-14 The United States Of America As Represented By The Secretary Of The Navy System and method for locating a trajectory and a source of a projectile
SE511061C2 (sv) 1997-11-21 1999-07-26 Celsiustech Electronics Ab Förfarande för klassificering av upphöjda objekt
US6133946A (en) 1998-01-06 2000-10-17 Sportvision, Inc. System for determining the position of an object
DE19801617A1 (de) 1998-01-17 1999-07-22 Daimler Chrysler Ag Radarsignal-Verarbeitungsverfahren
US6304665B1 (en) 1998-04-03 2001-10-16 Sportvision, Inc. System for determining the end of a path for a moving object
US5952957A (en) 1998-05-01 1999-09-14 The United States Of America As Represented By The Secretary Of The Navy Wavelet transform of super-resolutions based on radar and infrared sensor fusion
US6229550B1 (en) 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
US6266100B1 (en) 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US6067039A (en) 1998-11-30 2000-05-23 Pacific Design Engineering (1996 ( Ltd. Systems and methods for determining the distance between two locations
US6547671B1 (en) 1999-01-28 2003-04-15 The Distancecaddy Company, Llc Launch and aim angle determination for an object
US6244971B1 (en) 1999-01-28 2001-06-12 The Distancecaddy Company, Llc Spin determination for a rotating object
JP2000230974A (ja) 1999-02-09 2000-08-22 Toyota Motor Corp レーダ装置
US6239747B1 (en) 1999-03-11 2001-05-29 Lucent Technologies Inc. Antenna system and method for direction finding
US6292130B1 (en) 1999-04-09 2001-09-18 Sportvision, Inc. System for determining the speed and/or timing of an object
US6466275B1 (en) 1999-04-16 2002-10-15 Sportvision, Inc. Enhancing a video of an event at a remote location using data acquired at the event
US6520864B1 (en) 1999-07-07 2003-02-18 Peter J. Wilk Method for tracking golf ball
DE19939935A1 (de) 1999-08-23 2001-03-01 Bodenseewerk Geraetetech Verfahren zur Bestimmung der Relativbewegung zwischen Flugkörper und Ziel
JP4388639B2 (ja) 1999-09-03 2009-12-24 リコーマイクロエレクトロニクス株式会社 略円運動体の線速度測定方法及びその装置
US6498409B1 (en) 1999-09-16 2002-12-24 Delphi Technologies, Inc. Tachometer apparatus and method for motor velocity measurement
US6371862B1 (en) 1999-10-15 2002-04-16 Kenneth Reda Game apparatus and method
US7075556B1 (en) 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US6965397B1 (en) 1999-11-22 2005-11-15 Sportvision, Inc. Measuring camera attitude
US6456232B1 (en) 1999-11-22 2002-09-24 Sportvision, Inc. System for determining information about a golf club and/or a golf ball
US6400306B1 (en) 1999-12-17 2002-06-04 Sicom Systems, Ltd Multi-channel moving target radar detection and imaging apparatus and method
US6909438B1 (en) 2000-02-04 2005-06-21 Sportvision, Inc. Video compositor
FR2805614B1 (fr) 2000-02-25 2003-08-22 Thomson Csf Procede de localisation de sources radioelectriques au moyen d'un radiogoniometre haute resolution deux voies
EP1158270A1 (en) 2000-05-24 2001-11-28 Seiko Epson Corporation Mesuring system for sports events
AU2001271393A1 (en) 2000-06-23 2002-01-08 Sportvision, Inc. Track model constraint for gps position
ATE486291T1 (de) 2000-06-23 2010-11-15 Sportvision Inc Auf gps basierendes verfolgungssystem
WO2002001157A1 (en) 2000-06-23 2002-01-03 Sportvision, Inc. Locating an object using gps with additional data
US6864886B1 (en) 2000-08-10 2005-03-08 Sportvision, Inc. Enhancing video using a virtual surface
US6621561B2 (en) 2000-09-22 2003-09-16 Virginia Tech Intellectual Properties Doppler rotational velocity sensor
US6774932B1 (en) 2000-09-26 2004-08-10 Ewing Golf Associates, Llc System for enhancing the televised broadcast of a golf game
US20020107078A1 (en) 2000-12-11 2002-08-08 Collins Robert J. Detecting movement characteristics of an object
US7221794B1 (en) 2000-12-18 2007-05-22 Sportsvision, Inc. Foreground detection
US6816185B2 (en) 2000-12-29 2004-11-09 Miki Harmath System and method for judging boundary lines
US6567536B2 (en) 2001-02-16 2003-05-20 Golftec Enterprises Llc Method and system for physical motion analysis
JP2001305528A (ja) 2001-03-15 2001-10-31 Matsushita Electric Ind Co Ltd 液晶表示素子およびその製造方法
JP4698048B2 (ja) 2001-03-19 2011-06-08 富士通テン株式会社 Ｆｍ−ｃｗレーダの路上静止物検知方法
GB0115433D0 (en) 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
US20030008731A1 (en) 2001-07-02 2003-01-09 David Anderson Automated method and system for golf club selection based on swing type
US6592465B2 (en) 2001-08-02 2003-07-15 Acushnet Company Method and apparatus for monitoring objects in flight
JP4096539B2 (ja) 2001-09-26 2008-06-04 三菱電機株式会社 複合追尾センサ装置
GB2380682A (en) 2001-10-08 2003-04-16 Edh Golf ball tracking device and method
US7341530B2 (en) 2002-01-09 2008-03-11 Sportvision, Inc. Virtual strike zone
JP3870233B2 (ja) 2002-03-29 2007-01-17 国立大学法人 香川大学 回転数検出装置、物体計測システムおよび回転数検出方法
US7324663B2 (en) 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
US7031873B2 (en) 2002-06-07 2006-04-18 Exxonmobil Research And Engineering Company Virtual RPM sensor
US7133801B2 (en) 2002-06-07 2006-11-07 Exxon Mobil Research And Engineering Company System and methodology for vibration analysis and condition monitoring
US6963301B2 (en) 2002-08-19 2005-11-08 G-Track Corporation System and method for near-field electromagnetic ranging
JP4287647B2 (ja) 2002-12-27 2009-07-01 株式会社Ｉｈｉ 環境状況把握装置
GB0223437D0 (en) 2002-10-03 2003-02-26 Alenia Marconi Systems Ltd Improvements in or relating to targeting systems
US6778148B1 (en) 2002-12-04 2004-08-17 The United States Of America As Represented By The Secretary Of The Navy Sensor array for enhanced directivity
US20040156035A1 (en) 2002-12-20 2004-08-12 Rogers Philip L. Doppler rotational velocity sensor
ES2812572T3 (es) 2003-04-10 2021-03-17 Leonardo Mw Ltd Interferómetros
US7183966B1 (en) 2003-04-23 2007-02-27 Lockheed Martin Corporation Dual mode target sensing apparatus
US6956523B2 (en) 2003-06-16 2005-10-18 Veridian Systems Method and apparatus for remotely deriving the velocity vector of an in-flight ballistic projectile
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US7046190B2 (en) 2003-07-25 2006-05-16 Raytheon Company Process for phase-derived range measurements
JP4280581B2 (ja) 2003-08-08 2009-06-17 キヤノン株式会社 インクジェット記録装置、インクジェット記録方法、画像データ生成方法、インクジェット記録システム、画像データ生成装置およびプログラム
WO2005081014A1 (en) 2004-02-18 2005-09-01 Norman Matheson Lindsay Methods and systems using prediction of outcome for launched objects
WO2005089276A2 (en) 2004-03-15 2005-09-29 Syracuse Research Corporation Man-portable counter mortar radar system
US20070293331A1 (en) 2004-05-26 2007-12-20 Fredrik Tuxen Method of and an Apparatus for Determining Information Relating to a Projectile, Such as a Golf Ball
US7132975B2 (en) 2004-05-28 2006-11-07 Time Domain Corporation Apparatus and method for detecting moving objects
US7333047B2 (en) 2004-05-28 2008-02-19 Time Domain Corporation System and method for spatially diverse radar signal processing
US7868914B2 (en) 2004-06-07 2011-01-11 Sportsmedia Technology Corporation Video event statistic tracking system
US20080139330A1 (en) * 2004-07-02 2008-06-12 Fredrik Tuxen Method and an Apparatus For Determining a Parameter of a Path of a Sports Ball on the Basis of a Launch Position Thereof
WO2010086414A2 (en) * 2009-01-29 2010-08-05 Interactive Sports Games A/S An assembly comprising a radar and an imaging element
JP4580720B2 (ja) 2004-09-09 2010-11-17 株式会社東芝 リモートセンシング装置
US6903676B1 (en) 2004-09-10 2005-06-07 The United States Of America As Represented By The Secretary Of The Navy Integrated radar, optical surveillance, and sighting system
US7213442B2 (en) 2004-10-18 2007-05-08 The Boeing Company Methods of arranging transducers and transducer arrays having reduced phase ambiguity for determining direction of arrival of received signals
US20080261711A1 (en) 2004-12-23 2008-10-23 Fredrik Tuxen Manners of Using a Sports Ball Parameter Determining Instrument
US9645235B2 (en) 2005-03-03 2017-05-09 Trackman A/S Determination of spin parameters of a sports ball
EP2218483B1 (en) 2005-03-03 2017-03-01 Trackman A/S Determination of spin parameters of a sports ball
US7680301B2 (en) 2005-06-30 2010-03-16 Sportvision, Inc. Measurements using a single image
SE529157C2 (sv) 2005-07-01 2007-05-15 Daniel Forsgren Bildförbättring vid registrering av sporthändelser
DE102005046085B4 (de) 2005-09-26 2007-08-16 Hgm Gmbh - Haag Golf Messtechnik Verfahren zur Messung von Treffmomentfaktoren eines Golfschlägers
US7321330B2 (en) 2005-10-03 2008-01-22 Sri Sports Limited Ball measuring apparatus
US7504982B2 (en) 2005-12-06 2009-03-17 Raytheon Company Anti-Missile system and method
JP4708179B2 (ja) 2005-12-14 2011-06-22 三菱電機株式会社 電波到来方向測定装置
US7497780B2 (en) 2006-06-12 2009-03-03 Wintriss Engineering Corp. Integrated golf ball launch monitor
JP4203512B2 (ja) * 2006-06-16 2009-01-07 本田技研工業株式会社 車両周辺監視装置
US20080021651A1 (en) 2006-07-18 2008-01-24 John Richard Seeley Performance Assessment and Information System Based on Sports Ball Motion
US8456526B2 (en) 2006-08-25 2013-06-04 Sportvision, Inc. Video effect using movement within an image
JP4875541B2 (ja) 2006-08-28 2012-02-15 株式会社日本自動車部品総合研究所 方位検出方法、物体検出装置、プログラム
US20080068463A1 (en) 2006-09-15 2008-03-20 Fabien Claveau system and method for graphically enhancing the visibility of an object/person in broadcasting
EP2069802B1 (en) 2006-09-27 2011-01-19 LINDSAY, Norman Matheson Methods and systems for identifying the launch positions of descending golf balls
US8016653B2 (en) 2007-02-01 2011-09-13 Sportvision, Inc. Three dimensional virtual rendering of a live event
US8335345B2 (en) 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
JP5135595B2 (ja) 2007-03-29 2013-02-06 日本電気株式会社 方位測定装置
US8558883B2 (en) 2007-07-27 2013-10-15 Sportvision, Inc. Providing graphics in images depicting aerodynamic flows and forces
EP2227299B1 (en) 2007-09-07 2012-07-18 Edh Us Llc Methods and processes for detecting a mark on a playing surface and for tracking an object
US8154633B2 (en) 2007-11-16 2012-04-10 Sportvision, Inc. Line removal and object detection in an image
US8073190B2 (en) 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US9041722B2 (en) 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
US8049750B2 (en) 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US8466913B2 (en) 2007-11-16 2013-06-18 Sportvision, Inc. User interface for accessing virtual viewpoint animations
JP4828553B2 (ja) 2008-01-29 2011-11-30 富士通テン株式会社 レーダ装置、及び物標の角度検出方法
US8149156B1 (en) 2008-05-20 2012-04-03 Mustang Technology Group, L.P. System and method for estimating location of projectile source or shooter location
US8231506B2 (en) 2008-12-05 2012-07-31 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
CN102365560B (zh) 2009-01-27 2014-06-18 Xyz互动技术公司 用于单个和/或多个设备的测距、定向和/或定位的方法和装置
GB0901906D0 (en) * 2009-02-05 2009-03-11 Trw Ltd Collision warning apparatus
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
JP5480252B2 (ja) 2009-04-28 2014-04-23 パナソニック株式会社 アレー信号処理装置
US8461965B2 (en) 2010-01-13 2013-06-11 The Boeing Company Portable radio frequency identification (RFID) reader
DE112010005193B4 (de) 2010-01-28 2022-07-14 Toyota Jidosha Kabushiki Kaisha Hindernis-Erfassungsvorrichtung
US9500743B2 (en) 2010-01-30 2016-11-22 Dion J. Reid Golf ball locator
US8884741B2 (en) 2010-02-24 2014-11-11 Sportvision, Inc. Tracking system
US20110250939A1 (en) 2010-04-09 2011-10-13 Hobler Marc L Network-connected golf game improvement, entertainment and monetization system and method
US8400346B2 (en) 2010-06-25 2013-03-19 Glass Wind, Llc Method and apparatus for locating a golf ball with doppler radar
US9339715B2 (en) 2010-08-18 2016-05-17 Edge Technology Radar based tracking system for golf driving range
CN102087354A (zh) * 2010-12-15 2011-06-08 哈尔滨工程大学 无源雷达分组ls-clean微弱目标检测方法
US8659663B2 (en) 2010-12-22 2014-02-25 Sportvision, Inc. Video tracking of baseball players to determine the start and end of a half-inning
US9007463B2 (en) 2010-12-22 2015-04-14 Sportsvision, Inc. Video tracking of baseball players which identifies merged participants based on participant roles
US8977585B2 (en) 2011-03-09 2015-03-10 Sportsvision, Inc. Simulation system
JP5972259B2 (ja) * 2011-03-24 2016-08-17 古河電気工業株式会社 レーダ装置
US9215383B2 (en) 2011-08-05 2015-12-15 Sportsvision, Inc. System for enhancing video from a mobile camera
EP2742485A1 (en) * 2011-08-12 2014-06-18 Edh Holdings (South Africa) (Pty) Ltd. Ball trajectory and bounce position detection
EP2605036B1 (en) 2011-12-16 2019-10-23 Trackman A/S A method and a sensor for determining a direction-of-arrival of impingent radiation
US20130271323A1 (en) 2012-04-17 2013-10-17 Electronics And Telecommunications Research Institute Apparatus and method for finding the direction of signal source
US9746353B2 (en) 2012-06-20 2017-08-29 Kirt Alan Winter Intelligent sensor system
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
US10048365B2 (en) 2012-09-21 2018-08-14 The Yokohama Rubber Co., Ltd. Mobile body measurement device and measurement method
EP2904420A4 (en) * 2012-10-05 2016-05-25 Transrobotics Inc SYSTEMS AND METHODS FOR HIGH RESOLUTION DISTANCE DETECTION AND APPLICATIONS
KR101405193B1 (ko) * 2012-10-26 2014-06-27 현대자동차 주식회사 차로 인식 방법 및 시스템
WO2014078392A1 (en) * 2012-11-14 2014-05-22 PUBLICIDAD, Virtual Field goal indicator for video presentation
US20140191896A1 (en) 2013-01-10 2014-07-10 Edh Us Llc Ball spin rate measurement
US8948457B2 (en) * 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
US10379213B2 (en) 2013-11-13 2019-08-13 The Yokohama Rubber Co., Ltd. Moving body rotation speed measurement device
EP3077844A1 (en) 2013-12-03 2016-10-12 Edh Us Llc Antenna with boresight optical system
WO2015084928A1 (en) 2013-12-03 2015-06-11 Edh Us Llc Golf ball spin axis measurement
EP3077939A1 (en) 2013-12-03 2016-10-12 Edh Us Llc Systems and methods to track a golf ball to and on a putting green
WO2015125022A2 (en) 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
US9557405B2 (en) 2014-08-12 2017-01-31 Bae Systems Information And Electronic Systems Integration Inc. Tracking projectile trajectory with multiple sensors
US9555284B2 (en) 2014-09-02 2017-01-31 Origin, Llc Multiple sensor tracking system and method
WO2016036351A1 (en) 2014-09-02 2016-03-10 Origin, Llc Multiple sensor tracking system and method
JP6548376B2 (ja) * 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US10634778B2 (en) * 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system
US20160162160A1 (en) 2014-12-08 2016-06-09 Sportsmedia Technology Corporation Methods and systems for analyzing and presenting event information
AU2015376084B2 (en) 2015-01-06 2021-01-28 Alphawave Golf (Pty) Ltd Golf ball tracking system
US9563808B2 (en) * 2015-01-14 2017-02-07 GM Global Technology Operations LLC Target grouping techniques for object fusion
CN104569964B (zh) * 2015-01-30 2017-05-31 中国科学院电子学研究所 用于超宽带穿墙雷达的运动目标二维检测与跟踪的方法
JP6593588B2 (ja) 2015-02-16 2019-10-23 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
WO2016145115A1 (en) 2015-03-09 2016-09-15 Sportsmedia Technology Corporation Determining and synchronizing live event information
US20160292865A1 (en) 2015-04-02 2016-10-06 Sportvision, Inc. Automated framing and selective discard of parts of high resolution videos of large event space
US9784829B2 (en) * 2015-04-06 2017-10-10 GM Global Technology Operations LLC Wheel detection and its application in object tracking and sensor registration
US10019806B2 (en) 2015-04-15 2018-07-10 Sportsmedia Technology Corporation Determining x,y,z,t biomechanics of moving actor with multiple cameras
WO2016176487A1 (en) * 2015-04-28 2016-11-03 Henri Johnson Systems to track a moving sports object
CN105477845A (zh) * 2015-06-17 2016-04-13 电子科技大学 羽毛球运动轨迹预测方法及系统
US10086231B2 (en) 2016-03-08 2018-10-02 Sportsmedia Technology Corporation Systems and methods for integrated automated sports data collection and analytics platform
WO2017156054A1 (en) 2016-03-09 2017-09-14 Sportsmedia Technology Corporation Systems and methods for providing secure data for wagering for live sporting events
US9846805B2 (en) 2016-03-16 2017-12-19 Sportsmedia Technology Corporation Tracking of handheld sporting implements using computer vision
CN105974386B (zh) * 2016-05-05 2018-03-20 乐山师范学院 一种多基地雷达多目标成像定位方法
US10076698B2 (en) 2016-05-17 2018-09-18 Sportsmedia Technology Corporation Automated or assisted umpiring of baseball game using computer vision
US10989791B2 (en) * 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data
US10389019B2 (en) 2016-12-17 2019-08-20 Point Road Solutions, Llc Methods and systems for wet radome attenuation mitigation in phased-array antennae applications and networked use of such applications
WO2018138708A1 (en) 2017-01-30 2018-08-02 Topgolf Sweden Ab System and method for three dimensional object tracking using combination of radar and image data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008504534A (ja) * 2004-07-02 2008-02-14 インタラクティブ・スポーツ・ゲームズ・アクティーゼルスカブ 発射された発射体の実際の方向と、所定の方向と、の間の偏差を、測定する方法及び装置

Also Published As

Publication number Publication date
US20180156914A1 (en) 2018-06-07
US10989791B2 (en) 2021-04-27
KR20210104912A (ko) 2021-08-25
JP7254142B2 (ja) 2023-04-07
US20210223378A1 (en) 2021-07-22
KR20190085152A (ko) 2019-07-17
KR20220057653A (ko) 2022-05-09
KR102290932B1 (ko) 2021-08-20
CN109997054A (zh) 2019-07-09
JP2020515810A (ja) 2020-05-28
EP3548923A1 (en) 2019-10-09
US11828867B2 (en) 2023-11-28
CN109997054B (zh) 2024-01-23
JP2022017330A (ja) 2022-01-25
US20240045021A1 (en) 2024-02-08
WO2018104844A1 (en) 2018-06-14
KR102392148B1 (ko) 2022-04-28

Similar Documents

Publication Publication Date Title
KR102571076B1 (ko) 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법
US10471328B2 (en) Systems and methods for coordinating radar data and image data to track a flight of a projectile
KR102205639B1 (ko) 골프 공 추적 시스템
KR20190129971A (ko) 스포츠 공 타격 요소의 충격 특성을 결정하는 시스템 및 방법
KR20240034261A (ko) 골프 연습장 샷 이동 경로 특성을 위한 시스템 및 방법
US20220284628A1 (en) System and method for robotic camera calibration
US20230364468A1 (en) Deep learning method of determining golf swing and golf ball parameters from radar signal and image data
US20230070986A1 (en) Deep learning method of determining golf club parameters from both radar signal and image data

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant