KR102570340B1 - 영상과 레이더에 기반한 볼 궤적 산출방법 - Google Patents

영상과 레이더에 기반한 볼 궤적 산출방법 Download PDF

Info

Publication number
KR102570340B1
KR102570340B1 KR1020210130599A KR20210130599A KR102570340B1 KR 102570340 B1 KR102570340 B1 KR 102570340B1 KR 1020210130599 A KR1020210130599 A KR 1020210130599A KR 20210130599 A KR20210130599 A KR 20210130599A KR 102570340 B1 KR102570340 B1 KR 102570340B1
Authority
KR
South Korea
Prior art keywords
ball
trajectory
radar
image
calculating
Prior art date
Application number
KR1020210130599A
Other languages
English (en)
Other versions
KR20230047580A (ko
Inventor
박민기
안용범
Original Assignee
주식회사 골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 골프존 filed Critical 주식회사 골프존
Priority to KR1020210130599A priority Critical patent/KR102570340B1/ko
Priority to PCT/KR2022/014075 priority patent/WO2023054969A1/ko
Priority to TW111136345A priority patent/TWI830407B/zh
Publication of KR20230047580A publication Critical patent/KR20230047580A/ko
Application granted granted Critical
Publication of KR102570340B1 publication Critical patent/KR102570340B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/04—Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for small-room or indoor sporting games
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034—Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Abstract

본 발명은 플레이어의 골프샷에 의해 타격된 볼이 이동하는 궤적을 산출함에 있어서 하나의 센싱장치 내에 구비되거나 서로 개별적으로 구비된 카메라와 레이더 센서를 이용하여, 카메라에 의해 취득된 영상의 분석을 통해 산출되는 볼 궤적 정보와 레이더 센서에 의해 수집되는 레이더 센싱 데이터의 분석을 통해 산출되는 볼 궤적 정보를 매칭시켜 볼이 이동하는 전체 궤적을 산출할 수 있는 영상과 레이더에 기반한 볼 궤적 산출방법을 제공하기 위한 것이다.

Description

영상과 레이더에 기반한 볼 궤적 산출방법{CALCULATING METHOD OF BALL TRAJECTORY BASED ON IMAGE AND RADAR}
본 발명은 골프 플레이어가 골프클럽으로 볼을 타격함에 따라 이동하는 볼에 대한 카메라의 취득 영상과 레이더 센서의 센싱 데이터를 이용하여 볼의 궤적을 산출하는 방법에 관한 발명이다.
볼을 이용하는 스포츠 경기, 특히 골프의 경우 골퍼에 의해 타격되어 운동하는 볼의 물리적 특성을 정확하게 센싱하여 그 센싱된 값을 이용하여 타구 분석을 한다던 지 이를 영상으로 구현하여 소위 스크린 골프와 같은 시뮬레이션 골프 분야에 적용하는 시도는 항상 이루어져 왔었다.
골프에 의해 타격되어 이동하는 볼을 감지하여 볼의 운동 특성 정보를 산출하는 대표적인 장치로서 영상분석에 의한 카메라 센싱장치와 레이더 신호에 의한 레이더 센싱장치가 있다.
영상분석에 의한 센싱장치는 골퍼가 타격함에 따라 이동하는 볼에 대해 카메라가 취득하는 영상들을 각각 분석하여 볼의 위치 정보를 산출하고 그 산출된 위치 정보를 이용하여 이동하는 볼의 궤적 정보를 생성하는 장치로서, 카메라의 화각 내에서는 볼의 위치를 상당히 정확하게 감지할 수 있는 장점이 있으나, 카메라의 성능과 주변 밝기 등의 환경적인 영향과 영상처리 성능으로 인하여 카메라의 화각을 벗어나는 경우와 볼이 카메라로부터 멀어지는 경우에는 볼을 전혀 감지할 수 없는 문제점이 있다.
또한, 카메라 센싱 방식은 타격되어 이동하는 볼의 전체 비행 구간을 센싱할 수 없기 때문에 볼이 비행하면서 Fade나 Draw와 같이 볼이 중간 이후부터 휘어지는 구질도 전혀 감지할 수 없으므로 그에 대한 궤적을 산출할 수 없는 문제점이 있다.
레이더 센싱장치는 이동하는 볼을 향하여 레이더 신호를 송신하고 볼로부터 반사되는 신호를 수신하여 그 수신된 신호의 분석을 통해 볼의 운동에 관한 여러 가지 특성에 관한 정보를 산출할 수 있는 장치로서, 레이더의 센싱 범위가 넓어서 장치와 볼 사이의 거리가 어느 정도 멀어도 볼을 감지할 수 있고 영상분석을 통해서는 감지하기 어려운 볼의 스핀(spin)과 같은 정보를 상당한 정확도로 센싱할 수 있는 장점이 있으나, 레이더 신호에 대한 주변 간섭의 영향을 쉽게 받아 노이즈가 포함될 수 있어서 볼의 궤적 같은 정보는 정확하게 산출할 수 없는 문제점이 있다.
특히, 볼이 타격된 위치부터 소정 거리의 초기 구간에서는 사람과 골프클럽에 의한 간섭 영향으로 레이더 신호에 노이즈가 심하게 생기고 신호의 왜곡이 심하게 발생하기 때문에 볼이 이동하는 궤적을 산출하는 것이 상당히 어려운 문제점이 있다.
플레이어가 골프클럽으로 볼을 타격함에 따라 이동하는 볼의 궤적을 산출하기 위하여 카메라 센싱 방식과 레이더 센싱을 혼용하여 서로의 단점들을 보완하기 위한 시도가 이루어지고 있으나, 카메라 센싱 방식의 경우 2차원 영상을 취득하기 때문에 궤적에 관한 데이터 역시 2D데이터인 반면, 레이더 센싱 방식의 경우 공간 상에서의 볼의 위치 정보를 산출하기 때문에 기본적으로 3차원 공간 상에서의 3D데이터이기 때문에 2D 데이터와 3D 데이터를 함께 이용하는 점에 한계가 있으며, 또한 카메라와 레이더를 하나의 장치로 구현하든 각각 개별적으로 이용하든 센싱 위치가 다르기 때문에 양자의 데이터 처리 결과를 융합하는 것이 매우 어렵다는 문제점이 있다.
[선행특허문헌]
한국등록특허공보 제10-1848864호
한국공개특허공보 제2019-0085152호
일본등록특허공보 제4773176호
한국등록특허공보 제10-1845503호
본 발명은 플레이어의 골프샷에 의해 타격된 볼이 이동하는 궤적을 산출함에 있어서 하나의 센싱장치 내에 구비되거나 서로 개별적으로 구비된 카메라와 레이더 센서를 이용하여, 카메라에 의해 취득된 영상의 분석을 통해 산출되는 볼 궤적 정보와 레이더 센서에 의해 수집되는 레이더 센싱 데이터의 분석을 통해 산출되는 볼 궤적 정보를 매칭시켜 볼이 이동하는 전체 궤적을 산출할 수 있는 영상과 레이더에 기반한 볼 궤적 산출방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출방법은, 카메라에 의해 이동하는 볼에 대한 영상을 취득하여 분석함으로써 상기 볼의 이동궤적인 영상처리궤적을 산출하는 단계; 레이더 센서에 의해 송신된 레이더 신호가 상기 이동하는 볼로부터 반사되어 수신된 신호로부터 산출된 볼 이동에 관한 레이더 센싱 데이터를 수집하고 분석함으로써 복수의 레이더 볼 궤적 후보를 각각 생성하는 단계; 상기 영상처리궤적과 상기 복수의 레이더 볼 궤적 후보 각각의 매칭율들을 산출하는 단계; 및 상기 매칭율들 중 가장 높은 매칭율에 따른 레이더 볼 궤적 후보와 상기 영상처리궤적의 정합에 의해 볼 궤적을 산출하는 단계를 포함한다.
또한 바람직하게는, 상기 영상처리궤적을 산출하는 단계는, 상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 상기 볼에 해당하는 볼 객체의 검출이 가능할 때까지의 궤적을 상기 영상처리궤적으로서 산출하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 정합에 의해 볼 궤적을 산출하는 단계는, 상기 가장 높은 매칭율에 따른 레이더 볼 궤적 후보 상에서 상기 영상처리궤적이 끝나는 위치로부터의 궤적을 추출하여 상기 영상처리궤적에 연결시키는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 영상처리궤적을 산출하는 단계는, 상기 볼의 타격시점을 기준으로 상기 카메라에 의해 취득되는 영상을 수집하는 단계와, 상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 상기 볼에 해당하는 볼 객체를 검출하며, 상기 영상으로부터 볼 객체를 검출할 수 없을 때까지 검출된 볼 객체들을 연결하는 선을 상기 영상처리궤적으로서 산출하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 카메라는 상기 볼이 진행하는 방향을 바라보는 시야각으로 2차원 영상을 취득하는 단일 카메라이며, 상기 영상처리궤적을 산출하는 단계는, 상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 볼 객체의 검출이 가능할 때까지 검출된 볼 객체들의 위치를 연결하여 상기 카메라의 화각에 따른 2차원 영상 상에 나타냄으로써 상기 영상처리궤적을 산출하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 복수의 레이더 볼 궤적 후보를 각각 산출하는 단계는, 상기 수집되는 레이더 센싱 데이터를 이용하여 볼 위치 좌표 정보를 산출하는 단계와, 상기 볼 위치 좌표 정보를 이용하여 레이더에 기반한 볼 궤적인 기본 볼 궤적을 산출하는 단계와, 상기 기본 볼 궤적에 대한 시야각과 스케일을 변경하면서 상기 복수의 레이더 볼 궤적 후보를 각각 생성하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 매칭율들을 산출하는 단계는, 상기 영상처리궤적과 상기 복수의 레이더 볼 궤적 후보 각각을 비교하여 궤적의 유사성을 수치화하는 단계를 포함하며, 상기 볼 궤적을 산출하는 단계는, 상기 궤적의 유사성의 수치가 가장 높은 레이더 볼 궤적 후보를 상기 가장 높은 매칭율에 따른 레이더 볼 궤적 후보로 결정하는 단계와, 상기 결정된 레이더 볼 궤적 후보로부터 상기 영상처리궤적의 마지막 위치에 대응되는 위치부터의 궤적을 상기 영상처리궤적에 연결하여 상기 볼 궤적을 산출하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 복수의 레이더 볼 궤적 후보를 각각 산출하는 단계는, 상기 수집되는 레이더 센싱 데이터에 기반하여 기본 볼 궤적을 산출하는 단계와, 상기 기본 볼 궤적에 대해 상기 시야각과 스케일을 변경하면서 상기 복수의 레이더 볼 궤적 후보 각각을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 각각 생성하는 단계를 포함하며, 상기 매칭율들을 산출하는 단계는, 2차원 영상인 상기 영상처리궤적과 상기 2차원 뷰 형태의 복수의 레이더 볼 궤적 후보 각각을 비교하여 궤적의 유사성을 수치화하는 단계를 포함하며, 상기 볼 궤적을 산출하는 단계는, 상기 궤적의 유사성의 수치가 가장 높은 레이더 볼 궤적 후보의 2차원 뷰 상의 궤적을 상기 영상처리궤적에 연결하여 상기 볼 궤적을 산출하는 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출방법은, 카메라에 의해 이동하는 볼에 대한 영상을 취득하여 분석함으로써 상기 볼의 이동궤적인 영상처리궤적을 산출하여 상기 카메라의 시야각에 따른 2차원 영상으로 생성하는 단계; 레이더 센서에 의해 송신된 레이더 신호가 상기 이동하는 볼로부터 반사되어 수신된 신호로부터 산출된 볼 이동에 관한 레이더 센싱 데이터를 수집하고 분석함으로써 레이더 기반 볼 궤적을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 생성하는 단계; 상기 카메라의 시야각에 따른 2차원 영상 상의 영상처리궤적에 상기 2차원 뷰 형태의 레이더 기반 볼 궤적이 매칭되도록 상기 2차원 뷰 형태의 레이더 기반 볼 궤적의 시야각과 스케일을 조정하는 단계; 및 상기 영상처리궤적과 상기 레이더 기반 볼 궤적을 매칭시킴에 따라 볼 궤적을 산출하는 단계를 포함한다.
또한 바람직하게는, 상기 영상처리궤적을 산출하여 상기 카메라의 시야각에 따른 2차원 영상으로 생성하는 단계는, 상기 볼의 타격시점을 기준으로 상기 카메라에 의해 취득되는 영상을 수집하는 단계와, 상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 상기 볼에 해당하는 볼 객체를 검출하며, 상기 영상으로부터 볼 객체를 검출할 수 없을 때까지 검출된 볼 객체들을 연결하는 선을 상기 2차원 영상 상에 상기 영상처리궤적으로서 생성하는 단계를 포함하며, 상기 레이더 기반 볼 궤적을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 생성하는 단계는, 상기 수집되는 레이더 센싱 데이터를 이용하여 3차원 공간 상에서의 볼 위치 좌표 정보를 산출하는 단계와, 상기 볼 위치 좌표 정보를 이용하여 3차원 공간 상에서의 레이더 기반 볼 궤적을 산출하는 단계와, 상기 3차원 공간 상에서의 레이더 기반 볼 궤적을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 상에 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상과 레이더에 기반한 볼 궤적 산출방법은, 플레이어의 골프샷에 의해 타격된 볼이 이동하는 궤적을 산출함에 있어서 하나의 센싱장치 내에 구비되거나 서로 개별적으로 구비된 카메라와 레이더 센서를 이용하여, 카메라에 의해 취득된 영상의 분석을 통해 산출되는 볼 궤적 정보와 레이더 센서에 의해 수집되는 레이더 센싱 데이터의 분석을 통해 산출되는 볼 궤적 정보를 매칭시켜 볼이 이동하는 전체 궤적을 산출할 수 있는 효과가 있다.
도 1은 골프장에서 플레이어가 골프샷을 함에 따라 볼이 이동하는 것을 플레이어의 후방에 설치된 카메라 장치와 레이더 센서가 센싱하는 상태를 나타낸 도면이다.
도 2는 도 1에 도시된 바와 같은 상태에서 카메라에 의해 소정의 촬영속도로 취득되는 영상들의 예와 이를 이용하여 생성한 영상처리궤적의 예를 나타낸 도면이다.
도 3 및 도 4는 레이더 센서가 레이더 신호의 분석을 통해 이동하는 볼의 위치 좌표 정보를 산출하는 것에 관하여 설명하기 위한 도면들이다.
도 5는 본 발명의 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출방법에 관하여 나타낸 플로우차트이다.
도 6은 도 5의 플로우차트에 따라 영상처리궤적과 복수의 레이더 볼 궤적 후보들을 생성하고 매칭하는 것에 대해 설명하기 위한 도면이다.
도 7은 도 5에 도시된 복수의 레이더 볼 궤적 후보들 중 영상처리궤적과의 매칭율이 가장 높은 레이더 볼 궤적 후보와 영상처리궤적의 결합에 의해 최종 볼 궤적을 산출한 것에 대해 나타낸 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출방법에 관하여 나타낸 플로우차트이다.
본 발명에 따른 영상과 레이더에 기반한 볼 궤적 산출방법에 관한 구체적인 내용을 도면을 참조하여 상세하게 설명한다.
본 발명의 일 실시예에 따른 볼 궤적 산출방법은 골프장과 같은 야외에서 플레이어가 골프클럽으로 볼을 타격하였을 때 그 타격된 볼이 이동하는 전체 구간에서의 볼 궤적을 카메라 센싱장치와 레이더 센싱장치를 이용하여 센싱한 결과를 이용하여 산출하는 방법에 관한 것이다.
도 1은 골프장에서 플레이어(10)가 골프샷을 함에 따라 볼(20)이 이동하는 것을 플레이어(10)의 후방에 설치된 카메라 장치(100)와 레이더 센서(200)가 센싱하는 상태를 나타낸 도면이다.
본 발명의 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출방법은, 도 1에 도시된 바와 같이 볼(20)이 진행하는 전방을 바라보는 시야각으로 센싱을 하는 카메라 장치(100)와 레이더 센서(200)가 각각 별개로 설치되는 경우는 물론, 하나의 센싱장치 하우징 내에 카메라와 레이더 센서가 함께 구비되어 각각 영상 분석과 레이더 분석을 수행하도록 구성되는 경우도 포함할 수 있다.
또한, 카메라는 그 시야각으로 2차원 영상을 취득하는 단일 카메라인 경우도 가능하지만 론치모니터(Launch Monitor)와 같이 두 개의 카메라가 스테레오 방식으로 구성되된 카메라 장치인 경우도 가능하다. 스테레오 방식의 카메라 장치는 각각의 카메라가 취득하는 2차원 영상 상의 데이터를 이용하여 볼에 대한 3차원 위치 좌표를 산출하는 것이 가능하다.
단일 카메라 방식이든 스테레오 방식의 카메라 장치이든, 카메라 장치로부터 볼이 멀어지면 영상으로부터 볼을 검출할 수 없으므로, 카메라 장치는 볼의 처음 출발 위치로부터 영상으로부터 볼을 검출할 수 있는 거리 구간까지만 이동하는 볼을 감지할 수 있고 그 구간까지의 볼 이동 궤적을 산출할 수 있다.
본 발명은 볼이 처음 출발할 때부터 카메라 취득 영상으로부터 볼을 검출할 수 있는 구간까지는 카메라에 의해 취득되는 영상 분석을 통해 산출되는 볼의 궤적을 이용하고, 그 이후부터의 볼의 궤적은 레이더 센싱장치에 의해 센싱되는 레이더 센싱 데이터를 이용하여 산출하여, 영상에 의한 궤적과 레이더에 의한 궤적을 매칭시켜 전체 볼 궤적을 산출하는 것을 기본적인 특징으로 한다.
본 발명의 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출방법은, 카메라 장치 및 레이더 센서와 연결되어 카메라 장치의 영상 분석 결과와 레이더 센서의 레이더 분석 결과를 이용하여 볼 궤적을 산출하는 별도의 클라이언트 장치에 의해 수행될 수 있고, 카메라와 레이더가 함께 구비된 하나의 센싱장치 내의 정보산출을 위한 구성요소에 의해 수행될 수도 있다.
상기한 바와 같이 본 발명은 별도로 구비되는 클라이언트 장치나, 카메라와 레이더 센서를 구비하는 하나의 센싱장치 내의 구성요소에 의해 수행될 수 있는 등 본 발명에 따른 볼 궤적 산출방법을 수행하는 주체는 다양한 형태의 하드웨어적인 구성이나 소프트웨어적인 구성에 의해 구현이 가능한 바, 이하에서는 본 발명에 따른 볼 궤적 산출방법을 수행하는 주체를 "궤적산출장치"로 명명하여 설명하도록 한다.
도 1에서는 본 발명의 일 실시예에 따른 볼 궤적 산출방법을 산출하는 장치로서 카메라 장치(100) 및 레이더 센서(200)와 연결된(유선 또는 무선으로 통신 가능하게 연결된) 궤적산출장치(300)에 대해 도시하고 있다. 그러나 본 발명은 이에 한정되지 않고 앞서 설명한 바와 같이 궤적산출장치의 형태를 다양하게 구현할 수 있다.
예컨대 상기한 궤적산출장치는 별도의 단말기(카메라와 레이더 센서를 각각 유/무선으로 연결하여 카메라와 레이더 센서로부터 전달받은 데이터를 이용하여 궤적 산출을 위한 연산을 수행하는 단말기)로서 구현될 수도 있고, 카메라와 레이더 센서와 연결되어 연산을 수행할 수 있도록 궤적 산출을 위한 어플리케이션을 구동시키는 스마트폰에 구현할 수도 있다.
도 2는 도 1에 도시된 바와 같은 상태에서 카메라에 의해 소정의 촬영속도로 취득되는 영상들의 예를 나타내고 있다.
도 2의 (a)는 카메라가 그 시야각으로 취득한 n번째 프레임의 영상(100a)이고, 도 2의 (b)는 n+m 번째 프레임의 영상(200b)인데, 100a 영상과 100b 영상 사이에는 다수 프레임의 영상들이 존재한다.
카메라 장치에 구비된 영상처리부나 볼 궤적을 산출하는 궤적산출장치는 각 프레임의 영상마다 영상 내에서 볼에 해당하는 객체를 검출하여 영상 내에서의 볼 객체의 위치를 특정할 수 있다.
도 2의 (a)에 도시된 바와 같이, 카메라 장치는 영상(100a) 내에서 볼에 해당하는 객체, 즉 볼 객체(BO)를 찾아서 검출할 수 있고, 그 검출된 볼 객체(BO)의 위치(2차원 영상 상에서의 위치)를 저장할 수 있다.
도 2의 (a)는 볼 객체가 처음 출발위치(PO)로부터 소정 거리 이동한 상태를 나타내고 있는데, 2차원 영상으로는 알 수 없지만 실제로는 볼이 전방으로 비행하고 있기 때문에 실제 볼은 카메라 장치로부터 점점 멀어지고, 카메라는 영상을 취득함에 따라 영상 상에서 볼 객체의 크기가 점점 작아지게 된다.
그와 같이 볼 객체의 크기가 점점 작아지다가, 도 2의 (b)에 도시된 바와 같이 n+m 번째 프레임의 영상에서는 검출된 객체(Ob)가 볼 객체인지 여부를 판단하기 어려울 정도로 그 크기가 매우 작아지게 되어 결국은 영상으로부터는 볼 객체를 검출할 수 없게 된다.
궤적산출장치는 카메라에 의해 취득되는 영상 각각에서 볼 객체를 검출한 결과를 이용하여(볼 객체를 검출할 수 없을 때까지 영상에서 검출한 볼 객체의 검출 결과를 이용하여), 도 2의 (c)에 도시된 바와 같이 각각의 볼 객체의 위치(P0, P1, P2 ... Pf)를 연결한 궤적, 즉 영상처리궤적(TRI)을 산출할 수 있다.
영상을 취득하는 카메라는 단일 카메라이므로, 카메라 취득 영상(100a, 100b 등)은 모두 카메라의 시야각에 따른 2차원 영상이며, 따라서 도 2의 (c)에 도시된 바와 같은 영상처리궤적(TRI)은 2차원 영상(110) 상의 볼 객체의 위치들을 연결한 선에 의해 만들어질 수 있다.
상기한 바와 같은 영상처리궤적(TRI)은 카메라 취득 영상에서 볼 객체를 검출할 수 있을 때까지의 궤적이므로, 실제 볼이 카메라로부터 멀어져서 카메라 취득 영상에서 더 이상 볼 객체를 검출할 수 없게 되는 때부터의 볼 이동 궤적은 도출할 수 없으므로, 볼 객체를 검출할 수 없게 되었을 때부터의 구간에 대한 볼 이동 궤적은 레이더 센서에 의해 수집되는 레이더 센싱 데이터를 이용하여 구할 수 있다.
도 3 및 도 4에서는 레이더 센서가 레이더 신호의 분석을 통해 이동하는 볼의 위치 좌표 정보를 산출하는 것에 관하여 나타내고 있다.
레이더 센서는는 기본적으로 레이더(Radar)의 도플러 효과(Doppler Effect)를 이용하여, 예컨대 골프클럽에 의해 타격된 볼의 운동특성에 관한 각종 정보들을 산출하는 장치로서, 도 3에 도시된 바와 같이 신호 송신부(210), 신호 수신부(220), 신호 분석부(230) 및 정보 산출부(240)를 포함하여 구성될 수 있다.
레이더 센서는 사용자가 타격할 볼의 위치에서 소정 거리 후방의 지면 또는 지면 부근에 설치될 수 있으며, 그 설치 위치에서 타격에 의해 운동하게 될 볼의 운동방향을 향하여 특정 주파수의 레이더 신호를 송신하고 볼에서 반사된 반사파를 수신하여 분석하면서 타격되어 운동하는 볼을 추적하도록 구성될 수 있다.
상기 신호 송신부(210)는 특정 레이더(Radar) 신호를 조준된 방향으로 송신하도록 구성되며 도면상으로 도시하지는 않았지만 레이더 신호를 송신하는 송신 안테나를 포함하도록 구성될 수 있다.
상기 신호 수신부(220)는, 상기 신호 송신부(110)가 송신한 레이더 신호가 상기 볼로부터 반사되어 되돌아오는 반사파 신호를 수신하도록 구성된다. 도플러 효과에 의해 상기 신호 송신부(110)가 송신하여 상기 볼에서 반사되는 반사파 신호는 상기 신호 송신부(210)가 송신한 신호의 주파수가 변경되어 도플러 편이(Doppler shift)가 발생하게 된다. 즉, 상기 신호 수신부(120)는 도플러 편이(Doppler shift)가 발생한 신호를 수신하게 된다.
상기 신호 수신부(220)는 상기 반사파 신호를 수신하는 수신 안테나를 복수개 구비하도록 구성됨으로써 복수개의 수신 안테나 각각의 수신 신호의 위상차를 이용하여 운동하는 볼의 위치, 속도, 탄도 및 방향각 등의 정보를 산출할 수 있다.
도 4의 (a)는 상기한 신호 수신부(220) 구성의 일 예를 간략하게 도시하고 있는데, 도시된 바와 같이 신호 수신부(220)가 RA1, RA2 및 RA3를 포함하는 3개 이상의 수신 안테나를 적절하게 배치하여 구비하면 볼(B)로부터 수신되는 반사파 신호를 각각의 수신 안테나(RA1, RA2 및 RA3)가 수신할 수 있으며, 각각의 수신 안테나 사이의 신호의 위상차를 이용하여 운동하는 볼(B)의 탄도(높이각) 및 방향각을 각각 산출할 수 있다.
예컨대, 도 4의 (a)에 도시된 신호 수신부(220)에서의 각 수신 안테나의 배치에 따라, RA1 및 RA2가 각각 수신한 신호의 위상차를 이용하여 운동하는 볼(B)의 탄도를 산출할 수 있고, RA1 및 RA3가 각각 수신한 신호의 위상차를 이용하여 운동하는 볼(B)의 방향각을 산출할 수 있다.
또한, 상기 신호 수신부(220)가 반사파 신호를 수신함에 따라 볼(B)과 신호 수신부(220) 사이의 거리도 쉽게 산출할 수 있으므로, 신호 수신부(220)가 볼(B)로부터 반사되는 반사파 신호를 수신하면 볼(B)까지의 거리와 볼(B)의 탄도 각도, 그리고 볼(B)의 방향 각도 정보를 알 수 있으며, 상기한 정보들을 이용하면 볼(B)의 위치 좌표 정보를 산출할 수 있다. 볼(B)의 위치 좌표 정보를 산출하면 이를 이용하여 볼의 속도도 산출할 수 있다.
이와 같이, 상기 신호 분석부(230)는 볼이 이동하는 소정 시간간격마다 볼에 의해 반사된 레이더 신호를 분석하여 위상 정보를 산출할 수 있으며, 소정 시간 간격으로 상기 운동하는 볼의 위치 좌표 정보를 산출하도록 구성될 수 있다.
즉, 상기 신호분석부(230)는 상기한 바와 같이 수신된 레이더의 반사파 신호를 분석하여 볼의 이동에 관한 레이더 센싱 데이터를 산출할 수 있으며, 상기 레이더 센싱 데이터는 소정 시간간격으로 산출되는 볼의 위상 정보일 수도 있고, 그 위상 정보를 바탕으로 산출되는 볼의 위치 좌표 정보일 수도 있다.
상기 정보 산출부(240)는 신호 분석부(230)에 의해 산출된 볼의 위치 좌표 정보를 이용하여 볼의 이동 궤적(이를 영상 분석에 의해 산출되는 영상처리궤적과 구분하기 위하여 '레이더 기반 볼 궤적'이라 한다)을 산출할 수 있다.
레이더 신호가 볼에 의해 반사되어 신호수신부에 수신되는 신호는 사용자와 클럽의 간섭과, 볼 표면의 굴곡 등에 의한 레이더 신호의 왜곡 및 위상 흔들림이 발생할 수 있는데, 정보 산출부(240)는 그와 같은 신호의 왜곡이나 위상 흔들림을 보상하고 레이더 센싱 데이터에 대한 통계적 분석을 통해 볼의 이동 궤적을 산출할 수 있다.
그러나 레이더 신호에 대한 신호의 왜곡과 위상 흔들림 등은 특히 볼이 출발한 후 소정 거리 구간에 해당하는 초기 운동 구간에서 심하게 발생하기 때문에, 초기 운동 구간에서는 레이더 센싱 데이터를 이용하여 산출되는 볼 이동 궤적이 실제 볼의 이동 궤적과 다를 수 있기 때문에, 볼의 초기 운동 구간에서는 영상 분석에 의해 산출되는 궤적이 더 정확할 수 있다.
본 발명에서 레이더 센싱 데이터를 이용하여 레이더 기반 볼 궤적을 산출하는 방법은 여러 가지 방법에 의할 수 있다.
예컨대, 레이더 센싱 데이터 각각의 신뢰도를 분석하고 그 신뢰도에 따라 각 데이터마다 가중치를 부여하여 그 가중치를 반영하여 RANSAC 알고리즘과 같은 통계적 분석에 의해 볼 궤적을 산출할 수도 있고, 레이더 센싱 데이터에 따른 볼 위치 좌표의 구간 중 신뢰도가 높은 데이터를 바탕으로 부분 궤적을 구하고 그 부분 궤적에 기초하여 물리엔진에 의해 레이더 센싱 데이터를 피팅하여 레이더 기반 볼 궤적을 산출할 수도 있다.
본 발명에서는 레이더 센싱 데이터를 이용한 레이더 기반 볼 궤적을 구체적으로 어떻게 산출하는지 그 방법 자체에 특징이 있는 것은 아니며, 어떤 방법이든 여하한 방법에 의해 산출된 레이더 기반 볼 궤적을 영상처리궤적과 결합하여 볼이 이동하는 전체 궤적을 산출한다는 점에 특징이 있다.
이하에서는 본 발명의 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출 방법에 관한 구체적인 프로세스에 대해 설명한다.
도 5는 본 발명의 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출 방법의 프로세스를 설명하기 위한 플로우차트이다.
사용자의 타격 위치를 기준으로 소정 거리에 카메라 장치와 레이더 센서를 놓고(또는 카메라와 레이더 센서가 하나 장치로 구현된 센싱장치를 소정 거리에 놓고), 타격할 볼을 위치시키면 카메라 장치가 볼을 감지하여 볼 레디(카메라 장치 및 레이더 센서가 볼을 센싱할 준비가 되었음을 의미함)가 될 수 있다(S100).
볼에 대한 타격이 이루어지면서(S110), 카메라에 의한 영상 취득이 이루어지고(S121), 레이더 센서의 신호분석부는 신호수신부가 수신하는 신호를 분석하여 볼의 이동에 대한 레이더 센싱 데이터를 수집할 수 있다(S131).
카메라 장치는 취득되는 각 영상에서 실제 볼이 찍힌 부분에 해당하는 객체, 즉 볼 객체를 검출한다(S122).
볼 객체의 검출은, 예컨대 볼, 즉 골프공의 형상, 객체의 둥근 정도 등의 볼 객체 요건을 미리 설정해 놓고 영상에서 해당 요건을 충족시키는 객체를 볼 객체로서 검출할 수도 있고, 볼에 해당하는 템플릿을 미리 저장해 놓고 영상에서 검출되는 객체와 템플릿을 비교하여 유사도를 판단함으로써 볼 객체를 검출할 수도 있다.
그런데, 볼이 이동하는 전체 구간에 대한 모든 영상에서 볼 객체를 검출할 수 있는 것은 아니며, 카메라와 볼 사이의 거리가 소정 거리 이상 멀어지게 되면, 카메라의 위치는 고정되어 있으므로, 카메라에 의해 취득되는 영상에서 볼에 해당하는 부분의 크기가 너무 작아져서 더 이상 볼 객체를 검출할 수 없게 된다.
카메라 취득 영상으로부터 볼 객체의 검출이 실패할 경우(S123), 즉 더 이상 영상으로부터 볼 객체를 검출할 수 없게 되는 경우, 카메라 장치 또는 궤적산출장치는 볼 객체 검출을 할 수 없을 때까지 각 프레임의 영상으로부터 검출된 볼 객체들을 이용하여 영상처리궤적을 산출하며 이를 카메라 영상 상에 표시할 수 있다(S124).
예컨대, 도 2의 (c)에 도시된 바와 같이 카메라 취득 영상들 각각으로부터 검출한 볼 객체의 위치(P0, P1, P2 ... Pf)를 연결하여 영상처리궤적(TRI)을 산출하고 이를 2차원 영상(110) 상에 나타낼 수 있다.
한편, 레이더 센서는 수집되는 레이더 센싱 데이터를 이용하여, 도 4의 (b)에 도시된 바와 같이 볼 위치 좌표 정보를 산출할 수 있다(S132). 그리고 볼 위치 좌표 정보를 이용하여 레이더에 기반한 볼 궤적을 산출할 수 있다(S133). 여기서 S133 단계에서 산출되는 레이더에 기반한 볼 궤적을 '기본 볼 궤적'이라 하기로 한다.
상기한 바와 같이 레이더 센서에 의해 수집되는 레이더 센싱 데이터를 이용하여 산출한 볼 위치 좌표는 3차원 좌표 정보이므로, 상기 기본 볼 궤적은 3차원 좌표 정보를 이용하여 산출된 3차원 공간 상에서의 궤적일 수 있다.
레이더 센서 또는 궤적산출장치는 상기한 바와 같은 기본 볼 궤적으로부터 복수의 레이더 볼 궤적 후보를 각각 생성할 수 있다(S134). 복수의 레이더 볼 궤적 후보 각각은 동일한 기본 볼 궤적을 시야각 및/또는 스케일을 서로 달리하면서 생성한 궤적일 수 있다.
예컨대, 상기 기본 볼 궤적을 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 생성하되 그 2차원 뷰의 시야각과 스케일을 변경하면서 서로 다른 시야각 및/또는 스케일을 갖는 복수의 2차원 뷰 형태의 레이더 볼 궤적 후보를 생성할 수 있다.
본 발명에 따른 방법을 수행하는 궤적산출장치는, 상기한 바와 같은 영상처리궤적과 복수의 레이더 볼 궤적 후보 각각의 매칭율을 산출하고(S140), 매칭율이 가장 높은 영상처리궤적 - 레이더 볼 궤적 후보 조합을 선정하여(S150), 상기 영상처리궤적과 상기 매칭율이 가장 높은 레이더 볼 궤적 후보를 정합하여 최종 볼 궤적을 산출할 수 있다(S160).
상기한 S134 단계 내지 S160 단계를 통한 영상처리궤적과 레이더 볼 궤적 후보의 매칭율 산출과 이에 따른 매칭을 통해 최종 볼 궤적을 산출하는 것에 대해서는 도 6 및 도 7을 참조하여 좀 더 구체적으로 설명한다.
도 6의 (a)는 카메라 취득 영상의 분석을 통해 산출된 영상처리궤적(TRI)을 카메라의 시야각에 따른 2차원 영상(110) 상에 나타낸 것이며, 도 6의 (b) 내지 (f) 각각은 레이더 센싱 데이터를 이용하여 산출한 기본 볼 궤적으로부터 생성된 레이더 볼 궤적 후보를 나타낸 것이다.
상기한 영상처리궤적(TRI)은 2차원 영상(110) 상의 정보이므로 2D 데이터인 반면, 레이더 센싱 데이터를 이용하여 산출한 기본 볼 궤적은 3차원 공간 상의 정보로서 3D 데이터이므로, 2D 데이터와 3D 데이터를 직접적으로 결합하는 것은 어렵기 때문에, 3D 데이터인 레이더 기반의 기본 볼 궤적을 2D 데이터로 변환하여 레이더 볼 궤적 후보를 생성하는 것이 바람직하며, 영상처리궤적과 레이더 볼 궤적 후보의 매칭을 위해 레이더 볼 궤적 후보를 2차원 영상(110)과 같은 형태인 2차원 뷰(251, 252 등)의 형태로 생성하는 것이 바람직하다.
도 6의 (b) 내지 (f)에 도시된 바와 같이, 레이더 볼 궤적 후보들은 기본 볼 궤적을 2차원 뷰 형태로 나타낸 것으로서, 각각의 레이더 볼 궤적 후보(251, 252, 253, 254, 255 등)는 미리 설정된 범위 내에서 시야각과 스케일을 조정하면서 서로 다른 시야각 및/또는 스케일에 따라 생성되며, 생성되는 개수 역시 미리 설정될 수 있다.
레이더 볼 궤적 후보의 개수가 많을수록 정확한 볼 궤적을 도출해 낼 수 있지만, 영상처리궤적과의 매칭율을 산출하는데 시간이 좀 더 소요될 수 있으므로, 어느 정도의 정확성을 확보하면서도 시간 소요를 크게 하지 않을 수 있는 적절한 개수를 정하여 레이더 볼 궤적 후보를 생성할 수 있다.
2차원 뷰 형태로 생성된 각각의 레이더 볼 궤적 후보는 동일한 기본 볼 궤적으로부터 생성된 것이지만 2차원 뷰의 시야각 및/또는 스케일을 달리하여 생성된 것으로서, 각각의 2차원 뷰 내의 궤적은 동일한 기본 볼 궤적으로부터 생성되었지만 2차원 뷰의 형태로서는 서로 다른 형태로 나타날 수 있다.
도 6의 (b)는 2차원 뷰(251) 형태의 제1 레이더 볼 궤적 후보(TRr1), 도 6의 (c)는 2차원 뷰(252) 형태의 제2 레이더 볼 궤적 후보(TRr2), 도 6의 (d)는 2차원 뷰(253) 형태의 제3 레이더 볼 궤적 후보(TRr3), 도 6의 (e)는 2차원 뷰(254) 형태의 제4 레이더 볼 궤적 후보(TRr4), 도 6의 (f)는 2차원 뷰(255) 형태의 제5 레이더 볼 궤적 후보(TRr5)라 하기로 하며, 레이더 볼 궤적 후보는 도 6의 (b) ~ (f) 외에도 더 많은 개수로 생성될 수 있다.
이하에서는 레이더 볼 궤적 후보가 도 6의 (b) ~ (f)의 5개인 경우로 설명하기로 한다.
상기한 바와 같이 영상처리궤적(TRI)과 복수의 레이더 볼 궤적 후보(TRr1 ~ TRr5)가 마련되면, 궤적산출장치는 영상처리궤적(TRI)과 복수의 레이더 볼 궤적 후보(TRr1 ~ TRr5) 각각의 매칭율을 산출하여 가장 매칭율이 높은 영상처리궤적 - 레이더 볼 궤적 후보 조합을 결정한다.
즉, 2차원 영상(110)과 2차원 뷰(251 ~ 255)는 동일한 형태로서 서로 비교하는 것이 용이하며, 2차원 영상인 영상처리궤적(TRI)과 2차원 뷰 형태의 레이더 볼 궤적 후보(TRr1 ~ TRr5) 각각을 비교하여 궤적의 유사성을 수치화할 수 있고, 궤적 유사성의 수치가 가장 높은 영상처리궤적 - 레이더 볼 궤적 후보 조합을 매칭율이 가장 높은 조합으로서 결정할 수 있다.
영상처리궤적과 레이더 볼 궤적 후보 간의 궤적의 유사성은 궤적의 형태적, 기하적 특징에 있어서 서로 얼마나 유사한지를 수치화하여 나타낼 수 있으며, 이때 궤적의 형태적 특징 외에도 궤적 상의 구질을 판단할 수 있는 경우에는 구질까지 판단하여 영상처리궤적과 레이더 볼 궤적 후보의 구질에 있어서의 유사성도 함께 고려할 수 있다.
도 6에 도시된 예에서, 영상처리궤적(TRI)과 제1 레이더 볼 궤적 후보(TRr1)의 매칭율을 계산하고, 그 다음 영상처리궤적(TRI)과 제2 레이더 볼 궤적 후보(TRr2)의 매칭율을 계산하며, 그 다음 영상처리궤적(TRI)과 제3 레이더 볼 궤적 후보(TRr3)의 매칭율을 계산하고, 그 다음 영상처리궤적(TRI)과 제4 레이더 볼 궤적 후보(TRr4)의 매칭율을 계산하는 방식으로 각각의 레이더 볼 궤적과 영상처리궤적을 일대일로 비교하여 궤적의 유사성을 분석하여 매칭율이 가장 높은, 즉 유사성이 가장 높은 조합을 찾을 수 있다.
도 6에서 영상처리궤적(TRI)과 도 6의 (e)에 도시된 제4 레이더 볼 궤적 후보(TRr4)의 매칭율이 가장 높다고 할 경우, 도 7에 도시된 바와 같이 궤적산출장치는 도 7의 (a)와 같은 영상처리궤적(TRI)과 도 7의 (b)와 같은 제4 레이더 볼 궤적 후보(TRr4)를 정합함으로써 도 7의 (c)와 같은 최종적인 볼 궤적(fTR)을 산출할 수 있다.
즉, 궤적의 유사성의 수치가 가장 높은 영상처리궤적(TRI) - 레이더 볼 궤적 후보(TRr4) 조합을 결정하고, 영상처리궤적(TRI)에 레이더 볼 궤적 후보(TRr4)를 연결하여 최종적인 볼 궤적을 산출할 수 있다.
영상처리궤적(TRI)에 레이더 볼 궤적 후보(TRr4)를 연결하는 것은, 레이더 볼 궤적 후보(TRr4)에서 영상처리궤적(TRI)의 마지막 위치부터의 궤적 부분(TRr)을 영상처리궤적(TRI)의 마지막 위치에 연결하여 도 7의 (c)에 도시된 바와 같은 2차원 영상(330) 상의 최종 볼 궤적(fTR)을 산출할 수 있다.
한편, 도 8에 도시된 플로우차트를 참조하여 본 발명의 다른 일 실시예에 따른 영상과 레이더에 기반한 볼 궤적 산출방법에 관하여 설명한다.
도 8에 도시된 실시예에 따른 볼 궤적 산출방법은 앞서 설명한 도 5에 도시된 실시예에 따른 볼 궤적 산출방법과 비교할 때, 영상처리궤적과 레이더 기반 볼 궤적을 결합하여 볼이 이동하는 전체 궤적을 산출한다는 점에서는 공통되나, 영상처리궤적에 레이더 기반 볼 궤적을 매칭시켜 최종 볼 궤적을 산출하는 과정에서 차이가 있다.
먼저, 사용자의 타격 위치를 기준으로 소정 거리에 카메라 장치와 레이더 센서를 놓고(또는 카메라와 레이더 센서가 하나 장치로 구현된 센싱장치를 소정 거리에 놓고), 타격할 볼을 위치시키면 카메라 장치가 볼을 감지하여 볼 레디(카메라 장치 및 레이더 센서가 볼을 센싱할 준비가 되었음을 의미함)가 될 수 있다(S200).
볼에 대한 타격이 이루어지면서(S210), 카메라에 의한 영상 취득이 이루어지고(S221), 레이더 센서의 신호분석부는 신호수신부가 수신하는 신호를 분석하여 볼의 이동에 대한 레이더 센싱 데이터를 수집할 수 있다(S231).
카메라 장치는 취득되는 각 영상에서 실제 볼이 찍힌 부분에 해당하는 객체, 즉 볼 객체를 검출하고(S222), 카메라 취득 영상으로부터 볼 객체의 검출이 실패할 경우(S223), 즉 더 이상 영상으로부터 볼 객체를 검출할 수 없게 되는 경우, 카메라 장치 또는 궤적산출장치는 볼 객체 검출을 할 수 없을 때까지 각 프레임의 영상으로부터 검출된 볼 객체들을 이용하여 영상처리궤적을 산출하며 이를 카메라 영상 상에 표시할 수 있다(S224).
상기한 S221 내지 S224 단계의 프로세스는 앞서 설명한 도 5의 S121 내지 S124 단계의 프로세스와 실질적으로 동일하며, 도 2의 (c)에 도시된 바와 같이 카메라 취득 영상들 각각으로부터 검출한 볼 객체의 위치(P0, P1, P2 ... Pf)를 연결하여 영상처리궤적(TRI)을 산출하고 이를 2차원 영상(110) 상에 나타낼 수 있다.
한편, 레이더 센서는 수집되는 레이더 센싱 데이터를 이용하여 3차원 공간 상에서의 볼 위치 좌표 정보를 산출할 수 있다(S232).
그리고 상기 3차원 공간 상의 볼 위치 좌표 정보를 이용하여 레이더 기반 볼 궤적을 산출할 수 있다(S233).
궤적산출장치는 상기 3차원 공간 상에서의 레이더 기반 볼 궤적을 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 생성한다(S234). 예컨대 도 6의 (b) ~ (f) 중 어느 한 가지 형태의 2차원 뷰 형태로 생성할 수 있다.
궤적산출장치는, 상기 카메라의 시야각에 따른 2차원 영상 상의 영상처리궤적에 상기한 2차원 뷰 형태의 레이더 기반 볼 궤적이 매칭되도록 상기 2차원 뷰 형태의 레이더 기반 볼 궤적의 시야각 및/또는 스케일을 조정한다(S240). 이와 같은 조정은 매칭이 완료될 때까지 계속해서 수행할 수 있다.
이와 같이 2차원 뷰 형태의 레이더 기반 볼 궤적의 시야각 및/또는 스케일을 조정하면서 영상처리궤적과 레이더 기반 볼 궤적의 매칭이 완료되면(S250), 궤적산출장치는 영상처리궤적과 레이더 기반 볼 궤적의 매칭에 따라 최종 볼 궤적을 산출한다(S260).
예컨대, 상기한 2차원 뷰 형태의 레이더 기반 볼 궤적에 대해 영상처리궤적의 마지막 위치부터의 궤적 부분을 추출하여 상기 영상처리궤적의 마지막 위치에 연결시킴으로써 최종 볼 궤적을 산출할 수 있다.
이상 설명한 바와 같이, 본 발명에 따른 영상과 레이더에 기반한 볼 궤적 산출방법은, 플레이어의 골프샷에 의해 타격된 볼이 이동하는 궤적을 산출함에 있어서 하나의 센싱장치 내에 구비되거나 서로 개별적으로 구비된 카메라와 레이더 센서를 이용하여, 카메라에 의해 취득된 영상의 분석을 통해 산출되는 볼 궤적 정보와 레이더 센서에 의해 수집되는 레이더 센싱 데이터의 분석을 통해 산출되는 볼 궤적 정보를 매칭시켜 볼이 이동하는 전체 궤적을 산출할 수 있으므로, 카메라의 영상 분석을 통해 생성되는 일부 구간의 궤적을 레이더 센서를 이용하여 전체 구간까지 연장시켜 궤적을 생성할 수 있는 특징이 있다.
100: 카메라 장치, 110: 2차원 영상
200: 레이더 센서, 210: 신호송신부
220: 신호수신부, 230: 신호분석부
240: 정보산출부, 300: 궤적산출장치

Claims (10)

  1. 영상과 레이더에 기반한 볼 궤적 산출방법으로서,
    카메라에 의해 이동하는 볼에 대한 영상을 취득하여 분석함으로써 상기 볼의 이동궤적인 영상처리궤적을 산출하는 단계;
    레이더 센서에 의해 송신된 레이더 신호가 상기 이동하는 볼로부터 반사되어 수신된 신호로부터 산출된 볼 이동에 관한 레이더 센싱 데이터를 수집하고 분석함으로써 복수의 레이더 볼 궤적 후보를 각각 생성하는 단계;
    상기 영상처리궤적과 상기 복수의 레이더 볼 궤적 후보 각각의 매칭율들을 산출하는 단계; 및
    상기 매칭율들 중 가장 높은 매칭율에 따른 레이더 볼 궤적 후보와 상기 영상처리궤적의 정합에 의해 볼 궤적을 산출하는 단계;
    를 포함하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  2. 제1항에 있어서, 상기 영상처리궤적을 산출하는 단계는,
    상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 상기 볼에 해당하는 볼 객체의 검출이 가능할 때까지의 궤적을 상기 영상처리궤적으로서 산출하는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  3. 제1항에 있어서, 상기 정합에 의해 볼 궤적을 산출하는 단계는,
    상기 가장 높은 매칭율에 따른 레이더 볼 궤적 후보 상에서 상기 영상처리궤적이 끝나는 위치로부터의 궤적을 추출하여 상기 영상처리궤적에 연결시키는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  4. 제1항에 있어서, 상기 영상처리궤적을 산출하는 단계는,
    상기 볼의 타격시점을 기준으로 상기 카메라에 의해 취득되는 영상을 수집하는 단계와,
    상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 상기 볼에 해당하는 볼 객체를 검출하며, 상기 영상으로부터 볼 객체를 검출할 수 없을 때까지 검출된 볼 객체들을 연결하는 선을 상기 영상처리궤적으로서 산출하는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  5. 제1항에 있어서,
    상기 카메라는 상기 볼이 진행하는 방향을 바라보는 시야각으로 2차원 영상을 취득하는 단일 카메라이며,
    상기 영상처리궤적을 산출하는 단계는,
    상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 볼 객체의 검출이 가능할 때까지 검출된 볼 객체들의 위치를 연결하여 상기 카메라의 화각에 따른 2차원 영상 상에 나타냄으로써 상기 영상처리궤적을 산출하는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  6. 제1항에 있어서, 상기 복수의 레이더 볼 궤적 후보를 각각 산출하는 단계는,
    상기 수집되는 레이더 센싱 데이터를 이용하여 볼 위치 좌표 정보를 산출하는 단계와,
    상기 볼 위치 좌표 정보를 이용하여 레이더에 기반한 볼 궤적인 기본 볼 궤적을 산출하는 단계와,
    상기 기본 볼 궤적에 대한 시야각과 스케일을 변경하면서 상기 복수의 레이더 볼 궤적 후보를 각각 생성하는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  7. 제6항에 있어서,
    상기 매칭율들을 산출하는 단계는,
    상기 영상처리궤적과 상기 복수의 레이더 볼 궤적 후보 각각을 비교하여 궤적의 유사성을 수치화하는 단계를 포함하며,
    상기 볼 궤적을 산출하는 단계는,
    상기 궤적의 유사성의 수치가 가장 높은 레이더 볼 궤적 후보를 상기 가장 높은 매칭율에 따른 레이더 볼 궤적 후보로 결정하는 단계와,
    상기 결정된 레이더 볼 궤적 후보로부터 상기 영상처리궤적의 마지막 위치에 대응되는 위치부터의 궤적을 상기 영상처리궤적에 연결하여 상기 볼 궤적을 산출하는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  8. 제1항에 있어서,
    상기 복수의 레이더 볼 궤적 후보를 각각 산출하는 단계는,
    상기 수집되는 레이더 센싱 데이터에 기반하여 기본 볼 궤적을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 생성하는 단계와,
    상기 기본 볼 궤적에 대한 시야각과 스케일을 변경하면서 상기 복수의 레이더 볼 궤적 후보 각각을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 각각 생성하는 단계를 포함하며,
    상기 매칭율들을 산출하는 단계는,
    2차원 영상인 상기 영상처리궤적과 상기 2차원 뷰 형태의 복수의 레이더 볼 궤적 후보 각각을 비교하여 궤적의 유사성을 수치화하는 단계를 포함하며,
    상기 볼 궤적을 산출하는 단계는,
    상기 궤적의 유사성의 수치가 가장 높은 레이더 볼 궤적 후보의 2차원 뷰 상의 궤적을 상기 영상처리궤적에 연결하여 상기 볼 궤적을 산출하는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  9. 영상과 레이더에 기반한 볼 궤적 산출방법으로서,
    카메라에 의해 이동하는 볼에 대한 영상을 취득하여 분석함으로써 상기 볼의 이동궤적인 영상처리궤적을 산출하여 상기 카메라의 시야각에 따른 2차원 영상으로 생성하는 단계;
    레이더 센서에 의해 송신된 레이더 신호가 상기 이동하는 볼로부터 반사되어 수신된 신호로부터 산출된 볼 이동에 관한 레이더 센싱 데이터를 수집하고 분석함으로써 레이더 기반 볼 궤적을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 생성하는 단계;
    상기 카메라의 시야각에 따른 2차원 영상 상의 영상처리궤적에 상기 2차원 뷰 형태의 레이더 기반 볼 궤적이 매칭되도록 상기 2차원 뷰 형태의 레이더 기반 볼 궤적의 시야각과 스케일을 조정하는 단계; 및
    상기 영상처리궤적과 상기 레이더 기반 볼 궤적을 매칭시킴에 따라 볼 궤적을 산출하는 단계;
    를 포함하는 영상과 레이더에 기반한 볼 궤적 산출방법.
  10. 제9항에 있어서, 상기 영상처리궤적을 산출하여 상기 카메라의 시야각에 따른 2차원 영상으로 생성하는 단계는,
    상기 볼의 타격시점을 기준으로 상기 카메라에 의해 취득되는 영상을 수집하는 단계와,
    상기 볼의 타격 위치부터 상기 취득되는 영상으로부터 상기 볼에 해당하는 볼 객체를 검출하며, 상기 영상으로부터 볼 객체를 검출할 수 없을 때까지 검출된 볼 객체들을 연결하는 선을 상기 2차원 영상 상에 상기 영상처리궤적으로서 생성하는 단계를 포함하며,
    상기 레이더 기반 볼 궤적을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 형태로 생성하는 단계는,
    상기 수집되는 레이더 센싱 데이터를 이용하여 3차원 공간 상에서의 볼 위치 좌표 정보를 산출하는 단계와,
    상기 볼 위치 좌표 정보를 이용하여 3차원 공간 상에서의 레이더 기반 볼 궤적을 산출하는 단계와,
    상기 3차원 공간 상에서의 레이더 기반 볼 궤적을 상기 카메라의 2차원 영상의 시야각에 대응하는 2차원 뷰 상에 생성하는 단계를 포함하는 것을 특징으로 하는 영상과 레이더에 기반한 볼 궤적 산출방법.
KR1020210130599A 2021-10-01 2021-10-01 영상과 레이더에 기반한 볼 궤적 산출방법 KR102570340B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210130599A KR102570340B1 (ko) 2021-10-01 2021-10-01 영상과 레이더에 기반한 볼 궤적 산출방법
PCT/KR2022/014075 WO2023054969A1 (ko) 2021-10-01 2022-09-21 영상과 레이더에 기반한 볼 궤적 산출방법
TW111136345A TWI830407B (zh) 2021-10-01 2022-09-26 基於影像和雷達的球軌跡計算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210130599A KR102570340B1 (ko) 2021-10-01 2021-10-01 영상과 레이더에 기반한 볼 궤적 산출방법

Publications (2)

Publication Number Publication Date
KR20230047580A KR20230047580A (ko) 2023-04-10
KR102570340B1 true KR102570340B1 (ko) 2023-08-25

Family

ID=85783087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210130599A KR102570340B1 (ko) 2021-10-01 2021-10-01 영상과 레이더에 기반한 볼 궤적 산출방법

Country Status (3)

Country Link
KR (1) KR102570340B1 (ko)
TW (1) TWI830407B (ko)
WO (1) WO2023054969A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151814B1 (ko) 2018-12-12 2020-09-03 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102267575B1 (ko) * 2009-01-29 2021-06-22 트랙맨 에이/에스 레이더 및 촬상 요소를 포함하는 조립체
IES86097B2 (en) * 2010-11-22 2012-12-05 Brian Francis Mooney Determining and analysing movement and spin characteristics in a golf shot
WO2015084937A1 (en) * 2013-12-03 2015-06-11 Edh Us Llc Systems and methods to track a golf ball to and on a putting green
KR102353481B1 (ko) * 2014-09-02 2022-01-19 플라잉티 테크, 엘엘씨 다중 센서 트랙킹 시스템 및 방법
CN105944364B (zh) * 2016-05-03 2017-12-29 北京高携科技发展有限公司 一种高尔夫球定位方法及装置
KR102189962B1 (ko) * 2019-04-09 2020-12-14 재단법인대구경북과학기술원 퍼터 궤적 추적 장치, 퍼터 궤적 추적 방법, 이를 이용한 퍼팅 연습 장치 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151814B1 (ko) 2018-12-12 2020-09-03 충북대학교 산학협력단 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치

Also Published As

Publication number Publication date
KR20230047580A (ko) 2023-04-10
WO2023054969A1 (ko) 2023-04-06
TWI830407B (zh) 2024-01-21
TW202330067A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
US11697046B2 (en) System and method for three dimensional object tracking using combination of radar and image data
US20230201692A1 (en) System and Method for Determining Impact Characteristics of Sports Ball Striking Element
US20070105637A1 (en) Golf ball performance evaluation system
US20140185867A1 (en) Analysis system and analysis method
JP7336586B2 (ja) センサ間キャリブレーションのためのシステム及び方法
JP2021507426A (ja) ゴルフボール追跡システム
CN113168704A (zh) 用于练习场击球运行路径特征的系统和方法
KR20230154420A (ko) 플레이어의 식별을 위한 시스템 및 방법
CN115003392A (zh) 飞行中被跟踪的物体的轨迹外推和起点确定
US20230040575A1 (en) System and method for evaluating sport ball data
KR102570340B1 (ko) 영상과 레이더에 기반한 볼 궤적 산출방법
US20220035000A1 (en) System and method for inter-sensor calibration
CN113260424B (zh) 利用雷达感测数据的高尔夫球杆的挥杆轨迹计算方法和利用该方法的雷达感测装置以及记录所述方法的计算装置可读记录介质
KR102119738B1 (ko) 레이더 센싱장치, 이의 센싱방법, 레이더 센싱데이터를 이용한 골프클럽의 스윙궤적 산출방법 및 상기 방법을 기록한 컴퓨팅장치에 의해 판독 가능한 기록매체
KR20190113724A (ko) 관성 측정 유닛 센서의 위치 보정 장치 및 그 보정 방법
KR20200092907A (ko) 레이더 센싱데이터를 이용한 골프클럽의 스윙궤적 산출방법 및 이를 이용한 레이더 센싱장치와, 상기 방법을 기록한 컴퓨팅장치에 의해 판독 가능한 기록매체
KR20130000799A (ko) 골프공 추적 장치 및 방법
KR20230042773A (ko) 타격된 볼에 대한 레이더 센싱 데이터를 이용한 볼 궤적 산출방법 및 이를 이용한 레이더 센싱장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant