KR20220135390A - 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치 - Google Patents

타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치 Download PDF

Info

Publication number
KR20220135390A
KR20220135390A KR1020210040978A KR20210040978A KR20220135390A KR 20220135390 A KR20220135390 A KR 20220135390A KR 1020210040978 A KR1020210040978 A KR 1020210040978A KR 20210040978 A KR20210040978 A KR 20210040978A KR 20220135390 A KR20220135390 A KR 20220135390A
Authority
KR
South Korea
Prior art keywords
image
markers
spin
ball
marker
Prior art date
Application number
KR1020210040978A
Other languages
English (en)
Other versions
KR102603088B1 (ko
Inventor
장수호
심민경
Original Assignee
주식회사 골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US18/550,823 priority Critical patent/US20240172017A1/en
Application filed by 주식회사 골프존 filed Critical 주식회사 골프존
Priority to KR1020210040978A priority patent/KR102603088B1/ko
Priority to TW111109157A priority patent/TWI799184B/zh
Priority to US18/282,258 priority patent/US20240157218A1/en
Priority to JP2023556738A priority patent/JP2024513328A/ja
Priority to PCT/KR2022/004180 priority patent/WO2022211377A1/ko
Priority to CN202280017461.2A priority patent/CN116887892A/zh
Publication of KR20220135390A publication Critical patent/KR20220135390A/ko
Application granted granted Critical
Publication of KR102603088B1 publication Critical patent/KR102603088B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3658Means associated with the ball for indicating or measuring, e.g. speed, direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/30Speed
    • A63B2220/34Angular speed
    • A63B2220/35Spin
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Golf Clubs (AREA)

Abstract

본 발명의 일 실시예에 따른 타격되어 이동하는 골프공에 대한 스핀 산출 방법은, 복수의 마커가 표시된 골프공이 타격되어 이동하는 것에 대해 연속된 이미지인 제1 이미지와 제2 이미지를 각각 취득하는 단계; 상기 제1 이미지의 골프공 부분에 해당하는 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하는 단계; 상기 제2 이미지의 골프공 부분에 해당하는 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 특정하는 단계; 및 상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 스핀축과 스핀량을 산출하는 단계를 포함한다.

Description

타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치{DEVICE AND METHOD FOR CALCULATING SPIN OF GOLF BALL MOVED BY HITTING}
본 발명은 사용자가 골프클럽으로 골프공을 타격함에 따라 이동하는 골프공이 빠르게 회전하는 스핀 정보를 골프공에 대해 촬영된 영상에서 골프공의 표면에 표시된 마커의 분석을 통해 산출할 수 있는, 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치에 관한 발명이다.
볼을 이용하는 스포츠 경기, 특히 골프의 경우 골퍼에 의해 타격되어 운동하는 볼의 물리적 특성을 정확하게 센싱하여 그 센싱된 값을 이용하여 타구 분석을 한다던지 이를 영상으로 구현하여 소위 스크린 골프와 같은 시뮬레이션 골프 분야에 적용하는 시도는 항상 이루어져 왔었다.
특히 타격에 의해 날아가는 볼의 스핀(Spin)은 3차원 공간상의 축을 중심으로 매우 고속으로 회전하기 때문에 이를 측정하는 것은 상당히 어렵고 또한 정확한 측정을 위해서는 상당히 고가의 장비가 필요한데, 대표적으로 레이더 센서(Radar Sensor)를 이용하는 방식이 있다.
그러나 이러한 고가의 센싱장치는, 사용자가 골프 스윙에 의해 타격한 볼을 센싱하여 볼의 궤적을 산출하고 그로부터 가상의 골프코스에서의 골프 시뮬레이션이 이루어지도록 하는 소위 스크린 골프나 골프 연습장에서의 타구 분석 등에 범용으로 이용되는 센싱장치로서는 적합하지 않으며, 비교적 값싸고 저능성의 시스템에서도 빠르고 정확하게 볼의 스핀을 센싱할 수 있도록 하는 기술의 개발이 필요한 실정이다.
상기한 바와 같은 레이더 센서 외에 골프공의 스핀을 센싱하기 위한 장치로서 카메라를 이용한 센싱시스템이 이용되고 있다.
상기한 카메라 센싱시스템은 골프공이 타격되어 이동할 때 카메라가 그에 대한 영상을 촬영하고 그 촬영된 영상에서 골프공에 해당하는 부분을 분석함으로써 피사체인 골프공의 스핀을 산출할 수 있도록 한다.
골프공은 타격되어 이동할 때의 스핀이 상당한 고속회전이기 때문에 상기한 바와 같은 카메라 센싱시스템을 이용하여 골프공의 스핀을 산출하는 경우 촬영속도가 높은 초고속 카메라를 이용하는 것이 바람직하다.
카메라 센싱시스템을 이용하여 골프공의 스핀을 센싱하는 방식은 크게 두 가지로 구분할 수 있는데, 골프공에 특정 형상을 갖는 표시를 인위적으로 해놓고 카메라가 촬영한 골프공 영상에서 그 특정 형상의 표시를 추출하여 그것이 어떻게 움직였는지를 분석하여 스핀을 산출하는 방식과, 골프공에 인위적인 표시를 하지 않고 골프공 자체에 본래부터 표시되어 있던 로고나 골프공의 딤플 등을 촬영된 골프공 영상을 통해 분석하고 이를 토대로 스핀을 산출하는 방식이 있다.
후자의 경우 골프공에 표시된 불특정의 표시 등을 분석하여야 하기 때문에 높은 해상도의 초고속 카메라가 요구되는 등 고사양의 카메라 시스템이 필요하며 센싱을 할 때마다 영상을 통해 불특정의 표시를 찾아서 유사도를 판단하여야 하기 때문에 스핀 산출 결과의 정확성이 일정하지 않은 문제점이 있다.
위 전자에 해당하는 종래의 기술로서 대한민국등록특허 제10-1386793호, 대한민국등록특허 제10-1182393호, 일본등록특허 제3235987호, 미국등록특허 제7324663호 등이 공개되어 있다.
상기한 바와 같은 종래의 기술은 골프공에 표시된 특정 마커의 형상적 특징에 기반하여 연속하는 두 볼 이미지 사이에서 특정 마커의 형상적인 유사도를 통해 마커를 서로 매칭하고 그 매칭된 결과를 이용하여 스핀을 계산하기 때문에 어느 정도 정확한 스핀 산출이 가능한 장점이 있다.
그러나, 상기한 바와 같은 골프공에 표시된 특정 마커의 형상적 특징에 기반하여 스핀을 산출하는 경우, 빠른 스핀 속도에도 촬영된 영상 상에서 특정 마커를 확보하여야 하기 때문에 영상 취득의 속도가 상당히 빠른 고가의 카메라 장치를 이용하여야 한다는 점과, 취득된 영상에 대한 이미지 처리를 통해 특정 마커를 추출하고 두 개의 볼 이미지 각각의 특정 마커에 대한 형상적 유사도를 판단하는 등 연산량이 상당하기 때문에 연산속도가 느리다는 점 등의 문제점이 있다.
본 발명은 골프공에 복수의 마커를 표시하고 카메라에 의해 설정된 영역에 대한 촬영영상을 빠르게 취득하여 그 취득된 볼 이미지에서 상기 복수의 마커들 사이의 상대적인 관계를 이용하여 연속하는 두 볼 이미지 사이에서 정확하게 마커들을 매칭하여 스핀 산출을 함으로써 스핀 산출을 위한 연산 속도를 증가시킬 수 있고 정확한 스핀 산출이 가능하도록 하는, 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 타격되어 이동하는 골프공에 대한 스핀 산출 방법은, 복수의 마커가 표시된 골프공이 타격되어 이동하는 것에 대해 연속된 이미지인 제1 이미지와 제2 이미지를 각각 취득하는 단계; 상기 제1 이미지의 골프공 부분에 해당하는 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하는 단계; 상기 제2 이미지의 골프공 부분에 해당하는 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 특정하는 단계; 및 상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 스핀축과 스핀량을 산출하는 단계를 포함한다.
또한 바람직하게는, 상기 대응하는 마커의 조합을 특정하는 단계는, 상기 제1 볼이미지 상의 상기 기준마커에 대한 상기 복수의 주변마커 각각의 상대적인 관계에 관한 정보와 매칭되는 상대적 관계를 갖는 제2 볼이미지 상의 마커의 조합을 특정하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 대응하는 마커의 조합을 특정하는 단계는, 상기 제1 볼이미지 상의 상기 기준마커에 대한 상기 복수의 주변마커 각각의 기울기에 대한 상대각도 정보인 특징정보를 산출하는 단계와, 상기 제2 볼이미지 상에서 임의의 기준마커와 이에 대한 복수의 주변마커의 조합마다 각 조합에서의 기울기에 대한 상대각도 정보를 산출하는 단계와, 상기 제1 볼이미지 상의 마커에 대한 특징정보와 제2 볼이미지 상의 마커에 대한 상대각도 정보를 매칭시켜 매칭된 제2 볼이미지 상의 마커의 조합을 특정하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 스핀축과 스핀량을 산출하는 단계는, 상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 하나의 구체에 나타내는 단계와, 상기 대응되는 마커의 쌍의 각 중심점을 연결하는 선과 상기 구체의 중심점으로부터 도출되는 둘 이상의 평면이 만나는 선을 상기 스핀축으로서 산출하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 스핀축과 스핀량을 산출하는 단계는, 상기 대응되는 마커의 쌍의 각 중심점으로부터 상기 스핀축에 수직인 방향으로의 벡터를 각각 산출하는 단계와, 상기 스핀축에 수직인 기준면에 상기 산출된 벡터를 각각 사영하는 단계와, 상기 기준면에 사용된 벡터를 이용하여 상기 스핀축을 중심으로 하는 상기 스핀량을 산출하는 단계를 포함하는 것을 특징으로 한다.
또한 바람직하게는, 상기 이동하는 골프공에 대한 연속하는 두 이미지 사이에서 카메라의 시선 고정에 따라 이미지 내 위치별 시선 회전량을 산출하며, 상기 스핀축과 스핀량을 산출하는 단계를 통해 산출된 스핀량으로부터 상기 산출된 시선 회전량을 감산하는 보정을 하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 타격되어 이동하는 골프공에 대한 스핀 산출장치는, 타격되어 이동하는 골프공의 운동 정보를 산출하는 센싱장치의 카메라 시스템과 별개로 구비되어 복수의 마커가 표시된 골프공이 타격에 의해 이동하는 것에 대한 연속된 이미지인 제1 이미지와 제2 이미지를 각각 취득하는 싱글카메라; 상기 제1 이미지의 골프공 부분에 해당하는 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하며, 상기 제2 이미지의 골프공 부분에 해당하는 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 특정하는 마커 매칭 처리부; 및 상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 스핀축과 스핀량을 산출하는 스핀산출부를 포함한다.
한편, 본 발명의 다른 일 실시예에 따른 타격되어 이동하는 골프공에 대한 스핀 산출장치는, 타격되어 이동하는 골프공의 운동 정보를 산출하는 센싱장치의 카메라로부터 복수의 마커가 표시된 골프공이 타격에 의해 이동하는 것에 대한 연속된 이미지인 제1 이미지와 제2 이미지를 각각 전달받아, 상기 제1 이미지의 골프공 부분에 해당하는 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하며, 상기 제2 이미지의 골프공 부분에 해당하는 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 특정하는 마커 매칭 처리부; 및 상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 스핀축과 스핀량을 산출하는 스핀산출부를 포함한다.
또한 바람직하게는, 상기 마커 매칭 처리부는, 상기 센싱장치로부터 상기 골프공이 놓인 좌표 정보를 전달받아 이에 기초하여 상기 싱글카메라가 취득할 영상의 영역을 관심영역으로서 설정하며, 상기 설정된 관심영역의 영상을 상기 제1 이미지 및 제2 이미지로서 취득하도록 구성되는 것을 특징으로 한다.
또한 바람직하게는, 상기 마커 매칭 처리부는, 상기 제1 볼이미지 상의 상기 기준마커에 대한 상기 복수의 주변마커 각각의 기울기에 대한 상대각도 정보인 특징정보를 산출하고, 상기 제2 볼이미지 상에서 임의의 기준마커와 이에 대한 복수의 주변마커의 조합마다 각 조합에서의 기울기에 대한 상대각도 정보를 산출하며, 상기 제1 볼이미지 상의 마커에 대한 특징정보와 제2 볼이미지 상의 마커에 대한 상대각도 정보를 매칭시켜 매칭된 제2 볼이미지 상의 마커의 조합을 특정하도록 구성되는 것을 특징으로 한다.
또한 바람직하게는, 상기 스핀산출부는, 상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 하나의 구체에 나타내고 상기 대응되는 마커의 쌍의 각 중심점을 연결하는 선과 상기 구체의 중심점으로부터 도출되는 둘 이상의 평면이 만나는 선을 상기 스핀축으로서 산출하며, 상기 대응되는 마커의 쌍의 각 중심점으로부터 상기 스핀축에 수직인 방향으로의 벡터를 각각 산출하고, 상기 스핀축에 수직인 기준면에 상기 산출된 벡터를 각각 사영하여, 상기 기준면에 사용된 벡터를 이용하여 상기 스핀축을 중심으로 하는 상기 스핀량을 산출하도록 구성되는 것을 특징으로 한다.
본 발명에 따른 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치는, 골프공에 복수의 마커를 표시하고 카메라에 의해 설정된 영역에 대한 촬영영상을 빠르게 취득하여 그 취득된 볼 이미지에서 상기 복수의 마커들 사이의 상대적인 관계를 이용하여 연속하는 두 볼 이미지 사이에서 정확하게 마커들을 매칭하여 스핀 산출을 함으로써 스핀 산출을 위한 연산 속도를 증가시킬 수 있고 정확한 스핀 산출이 가능하도록 하는 효과가 있다.
도 1의 (a)는 본 발명의 일 실시예에 따른 스핀 산출 장치의 구성을, 도 1의 (b)는 본 발명의 다른 일 실시예에 따른 스핀 산출 장치의 구성을 각각 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스핀 산출 방법에 관하여 나타낸 플로우차트이다.
도 3은 본 발명의 일 실시예에 따른 스핀 산출 장치 및 스핀 산출 방법에 이용되는 골프공으로서 그 표면에 복수의 마커가 표시된 골프공에 대한 볼이미지의 일 예와 그 볼이미지에서 마커를 찾아 그 중심점 좌표를 특정하는 것에 관하여 나타낸 도면이다.
도 4는 도 3의 (b)에 나타낸 바와 같이 볼이미지 상의 마커를 특정하고 각각의 마커의 기울기 정보를 산출한 결과를 나타낸 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 스핀 산출 장치 및 스핀 산출 방법에 따라 제1 볼이미지 상의 마커들과 제2 볼이미지 상의 마커들을 매칭하는 과정에 관하여 설명하기 위한 도면들이다.
도 7은 도 6 등에서 설명한 바와 같이 제1 볼이미지와 제2 볼이미지 사이의 마커의 매칭에 따라 각 매칭되는 마커의 중심점을 하나의 구체에 나타낸 것을 도시한 도면이다.
도 8은 도 7에 도시된 구체에서 각 마커의 중심점을 이용하여 스핀축을 산출하는 방법의 일 예에 관하여 나타낸 도면이다.
도 9는 도 8에 도시된 구체에서의 스핀축과 각 마커의 중심점을 이용하여 스핀을 산출하는 방법의 일 예에 관하여 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 스핀 산출 장치에 있어서 카메라의 시선 고정에 따라 제1 볼이미지로부터 제2 볼이미지로의 무회전 이동시에 회전량이 발생하는 것을 설명하기 위한 도면이다.
본 발명에 따른 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치에 관한 구체적인 내용을 도면을 참조하여 설명하도록 한다.
본 발명은 기본적으로 사용자가 골프 클럽으로 골프공을 타격하는 것을 소정의 카메라로 촬영하고 그 촬영된 이미지를 분석함으로써 타격된 볼의 스핀을 산출하도록 한 것으로서, 본 발명에 따른 스핀 산출 장치는 골프공의 움직임을 센싱하는 센싱장치의 카메라를 이용함으로써 센싱장치의 일 기능으로서 구현될 수도 있고, 상기한 센싱장치와 별개로 스핀 산출을 위한 싱글카메라를 구비하고 이를 통해 취득된 이미지를 이용하여 스핀을 산출하는 장치로서 구현될 수도 있다.
위 전자에 관한 일 예는 도 1의 (a)에서 도시하고 있고, 위 후자에 관한 일 예는 도 1의 (b)에서 도시하고 있다.
먼저, 본 발명에 관하여 도 1의 (a)에 도시된 실시예를 설명하면, 본 발명의 일 실시예에 따른 스핀 산출 장치는 센싱장치(SD)의 카메라를 이용하여 스핀을 산출하는 장치로서, 마커 매칭 처리부(510)와 스핀 산출부(520)를 포함하여 구성될 수 있다.
여기서, 센싱장치(SD)는 사용자(P)가 골프클럽으로 골프공을 타격함에 따라 이동하는 골프공에 대해 촬영을 하고 그 촬영된 이미지를 분석함으로써 공간 상에서 이동하는 골프공의 3차원 좌표 정보와, 그 3차원 좌표 정보를 기반으로 골프공의 초기 속도, 방향각, 높이각 등의 운동 특성에 관한 정보를 산출하는 장치일 수 있다.
상기 센싱장치(SD)는 사용자의 골프 스윙에 따른 볼의 타구 분석이나 가상 현실 기반의 시뮬레이션을 이용한 가상 골프 등 다양한 분야에 적용될 수 있다.
상기 센싱장치(SD)는 카메라(110, 120) 및 센싱처리부(200)를 포함하여 구성될 수 있다.
상기 센싱장치(SD)의 카메라는 이동하는 골프공을 바라보는 화각으로 연속하여 이미지를 취득하도록 구성되는데, 이동하는 골프공에 대한 3차원 공간 상에서의 위치 정보를 산출하기 위해서는 상기 카메라가 서로 다른 시야각으로 동일한 대상에 대해 각각 이미지를 취득하는 복수개의 카메라, 예컨대 도 1의 (a) 및 (b)에 도시된 바와 같이 제1 카메라(110)와 제2 카메라(120)가 서로 동기화되어 스테레오 방식으로 구성됨이 바람직하다.
상기한 바와 같이 센싱장치의 카메라를 복수개의 카메라(110, 120)가 서로 동기화된 스테레오 방식으로 구성함으로써, 동일한 객체(골프공)에 대해 제1 카메라(110)를 통해 취득한 이미지와 제2 카메라(120)를 통해 취득한 이미지 각각에서 추출한 해당 골프공의 2차원 정보를 3차원 정보로 변환할 수 있다.
상기 센싱장치(SD)의 센싱처리부(200)는, 도 1의 (a) 및 (b)에 도시된 바와 같이 복수의 카메라(110, 120) 각각으로부터 이미지를 수집하여 소정의 이미지 처리를 수행하여 해당 골프공을 추출하는 이미지 처리부(210)와, 이미지로부터 추출된 골프공의 2차원 위치 정보로부터 3차원 위치 정보 등을 산출하는 정보산출부(220)를 포함하도록 구성될 수 있다.
상기 센싱처리부(200)는 상기 각 카메라(110, 120)를 통해 수집되는 이미지 각각으로부터 운동하는 골프공을 추출하고 해당 골프공의 위치 정보를 산출하여 클라이언트(300)로 그 산출된 정보를 전송하여, 상기 클라이언트(300)가 상기 전송받은 골프공의 위치 정보를 이용하여 새로운 정보를 산출하거나 분석 정보를 산출하는 등의 클라이언트(300) 고유의 기능을 수행할 수 있도록 한다.
예컨대, 클라이언트(300)를 스크린 골프 시스템에 이용되는 시뮬레이터로서 구현하는 경우, 센싱처리부(200)로부터 골프공과 골프클럽의 위치 정보를 전송받아 이를 이용하여 가상의 골프코스 상에서 가상의 골프공이 비행하는 궤적의 시뮬레이션 영상을 구현할 수 있다.
또한, 상기 클라이언트(300)를 골프스윙 분석장치로서 구현하는 경우, 센싱처리부(200)로부터 골프공과 골프클럽의 위치 정보를 전송받아 이를 이용하여 사용자의 골프스윙에 대한 분석 정보, 스윙의 문제점 진단 및 이를 해결하기 위한 레슨정보 등을 제공하도록 구현할 수 있다.
상기 이미지 처리부(210)는 상기 카메라(110, 120)에 의해 연속하여 취득되는 이미지 각각에 대한 기준 이미지의 차연산 이미지를 추출하기 위해 이미지 처리를 수행하도록 구성되며, 상기 정보산출부(220)는 상기 이미지 처리부에 의해 추출된 상기 차연산 이미지 각각으로부터 운동하는 골프공의 위치 정보를 산출하도록 구성될 수 있다.
취득된 이미지로부터 운동하는 골프공을 추출하는 방법으로서 상기한 바와 같은 차연산 이미지를 이용하는 방법 외에도 골프공에 대한 템플릿 이미지를 미리 준비해 놓고 각각의 취득된 이미지 상에서 상기 골프공에 대한 템플릿 이미지와의 유사도를 통해 골프공에 해당하는 부분을 추출하는 방법이 이용될 수도 있다.
도 1의 (a)에 도시된 바와 같은 본 발명의 일 실시예에 따른 스핀 산출 장치는 상기 센싱장치(SD)의 복수의 카메라 중 하나의 카메라로부터 볼 이미지를 전송받아 마커 매칭 처리부(510)와 스핀 산출부(520)에 의해 이동하는 골프공의 스핀이 산출되어 클라이언트(300)로 전달되는 구성이다.
반면, 도 1의 (b)에 도시된 본 발명의 또 다른 일 실시예에 따른 스핀 산출 장치는 센싱장치(SD)와는 별개로 골프공에 대한 스핀 산출을 위한 싱글카메라(600)를 구비하며, 상기 싱글카메라(600)가 촬영된 볼 이미지를 이용하여 스핀을 산출하는 마커 매칭 처리부(510)와 스핀 산출부(520)를 포함하여 구성될 수 있다.
상기한 도 1의 (a)에 도시된 실시예에서 센싱장치(SD)의 복수의 카메라(110, 120) 중 하나의 카메라 또는 도 1의 (b)에 도시된 실시예에서의 싱글카메라(600)는, 복수의 마커가 표시된 골프공이 타격되어 이동하는 것에 대해 연속된 이미지인 제1 이미지와 제2 이미지를 각각 취득하도록 구성될 수 있다.
예컨대, 상기한 카메라 또는 싱글카메라의 n번째 프레임의 이미지를 제1 이미지, n+1번째 프레임의 이미지를 제2 이미지라고 할 수 있다.
상기 제1 이미지에 포함된 골프공에 해당하는 부분을 추출하여 제1 볼이미지로, 상기 제2 이미지에 포함된 골프공에 해당하는 부분을 추출하여 제2 볼이미지로 하여, 마커 매칭 처리부(510)와 스핀 산출부(520)는 상기 제1 볼이미지 및 제2 볼이미지를 각각 분석함으로써 스핀을 산출할 수 있다.
마커 매칭 처리부(510)는 각각의 볼이미지 상에서 복수의 마커를 찾아서 특정하고, 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하며, 상기 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 찾아서 특정하는 역할을 수행할 수 있다.
스핀 산출부(520)는 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 기하학적 계산에 의해 스핀축과 스핀량을 산출할 수 있다.
상기한 마커 매칭 처리부와 스핀 산출부의 구체적인 작용에 대해서는 후술하도록 한다.
한편, 도 2에 도시된 플로우차트를 참조하여 본 발명의 일 실시예에 따른 타격되어 이동하는 골프공에 대한 스핀 산출 방법에 관하여 설명한다.
먼저, 센싱장치의 카메라 또는 싱글카메라에 의해, 복수의 마커가 표시된 골프공에 대한 제1 이미지 및 이에 연속한 제2 이미지를 포함하는 연속된 이미지가 취득된다(S110).
상기한 바와 같이 취득된 이미지들을 이용하여 마커 매칭 처리부는 스핀 산출을 위하여 골프공에 표시된 복수의 마커들을 이미지로부터 추출하고 이를 분석하여 제1 이미지 상의 골프공과 제2 이미지 상의 골프공의 마커들에 대해 서로 대응하는 마커의 조합을 특정하며, 이는 도 2의 플로우차트 상에서 S120 내지 S160 단계를 통해 수행될 수 있다.
상기 S110 단계에서 제1 이미지와 제2 이미지를 취득한 후, 상기 제1 이미지 상에서 골프공에 해당하는 부분이 제1 볼이미지로서 추출되고, 상기 제2 이미지 상에서 골프공에 해당하는 부분이 제2 볼이미지로서 추출된다(S120).
마커 매칭 처리부는 상기 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 복수의 주변마커를 정의하고(S130), 상기 제1 볼이미지 상의 기준마커에 대한 복수의 주변마커 각각의 상대적인 관계에 관한 정보를 산출할 수 있다.
상기한 기준마커에 대한 복수의 주변마커 각각의 상대적인 관계는 골프공에 표시된 복수의 마커들의 형상이나 위상 등에 따라 어떤 상대적인 관계인지 정의할 수 있는데, 예컨대 골프공에 표시된 복수의 마커들이 각각 서로 다른 위상을 갖는 경우, 즉 서로 다른 기울기로 기울어져 있는 경우, 상기 기준마커에 대한 복수의 주변마커 각각의 상대적인 관계는 기준마커에 대한 복수의 주변마커 각각의 기울기에 대한 상대각도 정보로서 산출될 수 있다.
즉, 마커 매칭 처리부는 상기 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 복수의 주변마커를 정의하고(S130), 상기 제1 볼이미지 상의 기준마커에 대한 복수의 주변마커 각각의 기울기에 대한 상대각도 정보인 '특징정보'를 산출할 수 있다(S140).
마커 매칭 처리부는 제2 볼이미지 상에서 임의의 기준마커와 이에 대한 복수의 주변마커의 조합마다 각 조합에서의 기울기에 대한 상대각도 정보를 산출하고(S150), 제1 볼이미지 상의 마커에 대한 특징정보와 제2 볼이미지 상의 마커에 대한 상대각도 정보를 매칭시켜 매칭된 제2 볼이미지 상의 마커의 조합을 특정할 수 있다(S160).
상기한 바와 같은 마커의 매칭과 관련한 구체적인 예는 도 3 내지 도 6에서 나타내고 있다.
도 3은 본 발명의 일 실시예에 따른 스핀 산출 장치 및 스핀 산출 방법에 이용되는 골프공으로서 그 표면에 복수의 마커가 표시된 골프공에 대한 볼이미지의 일 예와 그 볼이미지에서 마커를 찾아 그 중심점 좌표를 특정하는 것에 관하여 나타낸 도면이다.
도 4는 도 3의 (b)에 나타낸 바와 같이 볼이미지 상의 마커를 특정하고 각각의 마커의 기울기 정보를 산출한 결과를 나타낸 도면이다.
도 5 및 도 6은 제1 볼이미지 상의 마커들과 제2 볼이미지 상의 마커들을 매칭하는 과정에 관하여 설명하기 위한 도면들이다.
먼저, 도 3을 참조하면, 도 3의 (a)는 복수의 마커가 표시된 골프공에 대해 촬영한 이미지의 볼이미지를 나타낸 것이고, 도 3의 (b)는 (a)에 나타낸 볼이미지 상의 각 마커에 대해 마커영역을 통해 각 마커를 특정하고 각 마커의 중심점 좌표를 산출한 결과를 나타낸 것이며, 도 3의 (c) 및 (d)는 (b)에 나타낸 각 마커와 마커영역을 확대하여 나타낸 것이다.
도 3의 (a)에 도시된 바와 같이, 본 발명에 이용되는 골프공은 표면에 복수의 마커들이 표시되어 있고 볼이미지(BI) 상에서 복수의 마커(mk)를 확인할 수 있다.
골프공에 표시되는 복수의 마커는, 도 3의 (a)에 도시된 바와 같이 동일한 형상을 가진 복수의 마커일 수도 있고 서로 다른 형상을 가진 복수의 마커일 수도 있다.
어떤 경우이든 복수의 마커들은 하나의 기준마커를 기준으로 그 주변의 다른 마커들과의 관계에서 상대적인 정보를 산출할 수 있는 경우인 것이 바람직하다.
예컨대, 도 3의 (a)에 도시된 바와 같이, 동일한 형상을 가진 복수의 마커들(mk)이 각각 서로 다른 위상, 즉 기울기를 갖도록 표시된 경우 하나의 기준마커를 기준으로 다른 마커들 각각의 기울기에 대한 상대각도 정보를 산출할 수 있고 이것이 마커 매칭을 위한 특징정보가 될 수 있다.
도 3의 (a)에 도시된 바와 같은 볼이미지(BI)에서 마커 매칭 처리부는 도 3의 (b)에 도시된 바와 같이 각각의 마커(mk)를 특정하고 각각의 마커(mk)에 대한 마커영역(R), 즉 각 마커(mk)를 포함하는 영역을 특정할 수 있으며, 각각의 마커영역(R)에 의해 각 마커(mk)의 중심점(C)을 특정할 수 있다.
도 3의 (c)에 도시된 바와 같이, 기울어진 마커(mk1)를 포함하도록 마커영역(R1)을 생성하고 그 마커영역(R1)의 중심점(C1)을 마커의 중심점으로 하여 그 중심점 좌표(cx1, cy1)를 산출할 수 있다.
도 3의 (d)의 경우, 마커(mk2)가 수평하게 나타나 있는데, 마커영역(R2)을 마커(mk2)에 밀착되도록 설정하기 보다는 마커영역(R2)이 소정의 크기를 갖도록 하여 마커(mk2)와 어느 정도의 배경을 포함하도록 설정하는 것이 바람직하다.
도 3의 (d)의 경우에도 마커영역(R2)이 특정되면 그 중심점(C2)을 마커(mk2)의 중심점으로 하여 좌표(cx2, cy2)를 산출할 수 있다.
또한, 특정되는 각각의 마커의 중심점 좌표뿐만 아니라 각각의 마커의 기울기 정보도 산출할 수 있다.
각각의 마커의 기울기 각도는 마커영역내의 픽셀들이 이루는 방향 gradient의 주성분을 추출하고 그것을 마커의 각도로 정의할 수 있다. 픽셀 gradient의 주성분을 추출하는 방법은 특이값분해(SVD)를 이용할 수 있다.
상기한 바와 같이 볼이미지에서 특정되는 복수의 마커 각각의 기울기 각도를 산출한 결과의 예를 도 4에서 나타내고 있다.
이와 같이 볼이미지 상에 나타난 각각의 마커의 기울기 각도 정보를 산출하는 것은 제1 볼이미지와 제2 볼이미지에 모두 적용된다.
한편, 도 5를 참조하면, 도면번호 610은 제1 볼이미지를, 도면번호 620은 제2 볼이미지를 나타내며, 제1 볼이미지에서 나타낸 골프공이 회전하면서 이동하여 제2 볼이미지에서 나타낸 골프공이 되는데, 이때 제1 볼이미지(610) 상의 마커(710)와 제2 볼이미지(620) 상의 마커(720)를 서로 동일한 마커끼리 매칭하는 것이 필요하다.
상기한 바와 같은 마커의 매칭에 대해 종래에는 복수의 마커 각각을 서로 다른 형상을 갖는 도형으로 설정하고 제1 볼이미지와 제2 볼이미지 상의 동일한 마커끼리 도형의 형상의 유사도로서 매칭시키는 방법이 이용되었다.
그러나, 그와 같이 마커의 형상의 유사도로서 동일한 마커끼리 매칭시키기 위해서는, 볼 이미지를 취득하기 위한 카메라의 해상도가 상당히 높아야 하는 문제점이 있었고, 해상도가 높아도 이미지 상에 나타난 마커의 형상이 온전히 나타나지 않는 경우가 많기 때문에 형상의 유사도를 통해 마커를 매칭시키는 것은 정확성도 떨어지고 한계가 있었다.
본 발명에서는 도형의 형상으로 마커를 매칭시키지 않고, 앞서 설명한 복수의 마커 각각의 기울기와 같은 정보를 이용하여 마커를 매칭시키기 때문에 마커의 매칭 처리를 위한 연산의 속도를 상당히 빠르게 할 수 있으며, 그러면서도 상당히 정확하게 마커의 매칭이 가능한 장점이 있다.
마커의 도형 형상을 매칭시킬 경우 2차원 데이터를 처리하여야 하므로 연산 속도가 상당히 느린 반면, 본 발명에 따라 마커의 기울기 정보를 이용하여 매칭을 시킬 경우에는 기울기 정보가 하나의 값으로 산출되기 때문에 그와 같은 기울기 값을 이용하여 매칭을 시킨다는 점에서 연산속도를 상당히 빠르게 할 수 있는 것이다.
이에 대해 도 6을 참조하여 좀 더 구체적으로 설명하면, 제1 볼이미지(610) 상에 표시된 복수의 마커들 중 하나를 기준마커로 정의하고, 그 기준마커 주변의 마커들을 주변마커로서 정의할 수 있다.
예컨대, 도 6에 도시된 바와 같이 제1 볼이미지(610)의 중심점에 가장 가까운 마커(711)를 '기준마커'로 정의하고, 그 기준마커(711)를 기준으로 한 주변의 마커들에 대해 시계방향으로 제1 주변마커(712), 제2 주변마커(713), 제3 주변마커(714), 제4 주변마커(715) 등으로 정의할 수 있다.
이와 같이 제1 볼이미지(610) 상의 마커들에 대해 정의된 기준마커(711)과 주변마커(712 ~ 715)에 매칭되는 제2 볼이미지(620) 상의 기준마커-주변마커의 조합을 찾는다.
이를 위하여, 제1 볼이미지(610) 상의 기준마커(711)과 주변마커(712 ~ 715)에 대해 각각의 기울기 각도 정보를 이용하여 아래와 같이 상대각도 정보를 산출할 수 있고, 이를 '특징정보'라 하도록 한다.
<특징정보>
기준마커 제1 주변마커 제2 주변마커 제3 주변마커 제4 주변마커
기울기 각도 47˚ 137˚ 92˚
상대각도 45˚ 135˚ 90˚
즉, 제2 볼이미지 상의 복수의 마커들에 대해 상기한 특징정보에 따른 상대각도 정보를 갖는 기준마커-주변마커의 조합을 찾음으로써 마커의 매칭이 이루어질 수 있다.
제2 볼이미지(620)는 제1 볼이미지(610)로부터 회전된 상태이므로 제1 볼이미지(610) 상의 기준마커-주변마커의 조합을 곧바로 특정할 수는 없고, 제2 볼이미지(620) 상의 모든 마커가 기준마커가 될 수 있으므로, 제2 볼이미지(620) 상에서 임의의 기준마커를 정하고 이를 기준으로 주변마커를 정하는 방식으로 모든 경우에 대해 기준마커-주변마커에 대한 상대각도 정보를 각각 산출한다.
예컨대, 도 6에 도시된 바와 같이, S1의 경우 제2 볼이미지(621) 상에서 723번 마커를 기준마커로 정하고 나머지 주변마커를 각각 정의하여 상대각도 정보를 산출할 수 있고, S2의 경우 제2 볼이미지(622) 상에서 721번 마커를 기준마커로 정하고 나머지 주변마커를 각각 정의하여 상대각도 정보를 산출할 수 있으며, S3의 경우 제2 볼이미지(623) 상에서 722번 마커를 기준마커로 정하고 나머지 주변마커를 각각 정의하여 상대각도 정보를 산출할 수 있는데, 이와 같은 방식으로 모든 마커 각각을 기준마커로 할 경우의 기준마커-주변마커 조합에 대해 각각의 상대각도 정보를 산출할 수 있다.
도 6에서 S1의 경우의 제2 볼이미지(621) 상의 기준마커(723) 및 주변마커들의 조합의 경우의 상대각도와, S2의 경우의 제2 볼이미지(622) 상의 기준마커(721) 및 주변마커들의 조합의 경우의 상대각도 정보를 아래와 같이 나타낼 수 있다.
<S1의 경우>
기준마커 제1 주변마커 제2 주변마커 제3 주변마커 제4 주변마커
기울기 각도 49˚ 94˚ 139˚
상대각도 45˚ 135˚ 135˚ 90˚
<S2의 경우>
기준마커 제1 주변마커 제2 주변마커 제3 주변마커 제4 주변마커
기울기 각도 49˚ 139˚ 94˚
상대각도 45˚ 135˚ 90˚
위 특징정보와 위 S1의 경우의 상대각도 정보를 비교하면, 서로 일치하지 않는 것을 알 수 있으므로, 위 S1의 경우는 제외된다.
위 특징정보와 위 S2의 경우의 상대각도 정보를 비교하면, 서로 일치하는 것을 알 수 있다. 따라서 제1 볼이미지 상의 특징정보와 매칭되는 제2 볼이미지 상의 마커 조합은 S2의 경우임을 알 수 있다.
즉, 도 6에서 S2의 경우에 있어서 제1 볼이미지(610)로부터 제2 볼이미지(622)로의 변화가 스핀에 의한 변화임을 특정할 수 있고, 이때의 제1 볼이미지(610) 상의 기준마커-주변마커의 조합이 제2 볼이미지(622) 상의 기준마커-주변마커의 조합과 매칭될 수 있다.
상기한 도 3 내지 도 6에 도시된 바와 같은 과정이 도 2에 도시된 플로우차트의 S120 내지 S160의 프로세스를 통해 진행될 수 있다.
한편, 도 2에 도시된 바와 같이, 앞서 설명한 마커의 매칭이 완료된 후, 스핀 산출부는 위 매칭된 결과를 이용하여 스핀축과 스핀량을 계산할 수 있다.
스핀축과 스핀량의 계산을 위해, 먼저 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 하나의 구체에 나타내는 것이 바람직하다(S210).
그리고, 대응되는 마커의 쌍의 각 중심점을 연결하는 선과 구체의 중심점으로부터 도출되는 둘 이상의 평면이 만나는 선을 스핀축으로서 산출할 수 있다(S220).
상기한 바와 같이 스핀축을 산출한 후, 대응되는 마커의 쌍의 각 중심점으로부터 스핀축에 수직인 방향으로의 벡터를 각각 산출하고(S230), 스핀축에 수직인 기준면에 상기한 바와 같이 산출된 벡터를 각각 사영(projection)한다(S240).
상기한 바와 같이 기준면에 사영된 벡터를 이용하여 스핀축을 중심으로 하는 스핀량을 산출한다(S250).
상기한 바와 같이 스핀축과 스핀량을 산출함으로써 제1 볼이미지로부터 제2 볼이미지로의 스핀 정보를 산출할 수 있다.
그런데, 제1 볼이미지로부터 제2 볼이미지로의 스핀에 의한 변화는 실제 골프공의 스핀에만 의한 것이 아니다. 왜냐하면 제1 볼이미지와 제2 볼이미지를 각각 촬영하는 카메라의 시선은 고정되어 있고, 제1 볼이미지를 촬영할 때의 골프공의 위치에서 제2 볼이미지를 촬영할 때의 골프공의 위치로 이동이 되었기 때문에, 제1 볼이미지로부터 제2 볼이미지로의 무회전 이동에 따라 회전하는 회전량이 발생한다.
이와 같이 제1 볼이미지로부터 제2 볼이미지로의 무회전 이동에 따른 회전량은 카메라의 시선이 고정되어 있기 때문에 발생하는 것이므로, 카메라의 시선 고정에 따른, 이미지 내 위치별 시선 회전량을 계산하여 상기한 바와 같이 스핀량이 산출된 후, 그 산출된 스핀량에서 상기 계산된 시선 회전량을 감산하는 보정을 함으로써 정확한 스핀량이 산출될 수 있다(S260).
상기한 바와 같은 스핀의 산출에 관한 구체적인 예는 도 7 내지 도 10에서 나타내고 있다.
도 7은 도 6 등에서 설명한 바와 같이 제1 볼이미지와 제2 볼이미지 사이의 마커의 매칭에 따라 각 매칭되는 마커의 중심점을 하나의 구체에 나타낸 것을 도시한 도면이며, 도 8은 도 7에 도시된 구체에서 각 마커의 중심점을 이용하여 스핀축을 산출하는 방법의 일 예에 관하여 나타낸 도면이다.
도 9는 도 8에 도시된 구체에서의 스핀축과 각 마커의 중심점을 이용하여 스핀을 산출하는 방법의 일 예에 관하여 나타낸 도면이며, 도 10은 카메라의 시선 고정에 따라 제1 볼이미지로부터 제2 볼이미지로의 무회전 이동시에 회전량이 발생하는 것을 설명하기 위한 도면이다.
먼저 도 7을 참조하면, 도 7의 (a)에 도시된 바와 같이, 제1 볼이미지(610)의 마커(712, 714)와 제2 볼이미지(620)의 마커(722, 724)가 각각 매칭되며, 각각의 매칭되는 마커의 중심점(Ca1 - Cb1, Ca2 - Cb2)을 도 7의 (b)에 도시된 바와 같이 하나의 구체(Ob)에 나타낼 수 있다.
도 7의 (b)를 보면, 구체(Ob)가 Ca1 → Cb1으로, Ca2 → Cb2로 회전한다는 것을 알 수 있다. 여기서 구체(Ob)는 볼 이미지의 윤곽에 기초하여 가상으로 상정된 구체일 수 있다.
여기서, Ca1 → Cb1으로의 회전에 따른 스핀축 및 스핀량과, Ca2 → Cb2로의 회전에 따른 스핀축 및 스핀량이 서로 일치하지 않을 수 있다.
이와 같이 서로 일치하지 않는 것은 마커에 대한 픽셀 분석 등의 과정에서 마커를 나타내는 픽셀들이 일부 유실될 수 있는 등 영상 분석의 과정에서 발생하는 오차에 기인하기 때문일 수 있다.
도 7에서는 각 마커의 중심점의 쌍이 두 쌍 표시된 예에 대해 나타내었으나 이에 한정되지 않고 마커의 개수 등에 따라 세 쌍, 네 쌍 등 더 많은 마커 중심점의 쌍이 나타날 수 있음은 물론이다.
도 7의 (b)에 도시된 바와 같이 구체(Ob)에 매칭되는 각 마커의 중심점의 쌍이 표시된 상태에서 각 중심점을 이용하여 스핀축을 산출할 수 있는데, 이에 대해서는 도 8에서 나타내고 있다.
도 8의 (a) 내지 (c)에서 구체(Ob)의 중심점은 Co이며, Ca1과 Cb1, 그리고 Ca2와 Cb2는 서로 매칭된 마커의 중심점의 쌍이다.
도 8의 (a)에 도시된 바와 같이 마커의 중심점 Ca1과 Cb1을 연결하는 직선 L1과 수직을 이루면서 구체(Ob)의 중심점(Co)을 통과하는 평면 PL1을 상정하고, 도 8의 (b)에 도시된 바와 같이 마커의 중심점 Ca2와 Cb2를 연결하는 직선 L2와 수직을 이루면서 구체(Ob)의 중심점(Co)을 통과하는 평면 PL2를 상정한다.
그리고, 상기 평면 PL1과 PL2의 교선을 구하면 이를 스핀축(SA)으로서 산출할 수 있다.
상기한 바와 같은 방식으로 세 쌍 이상의 마커 중심점의 조합에 대해 두 쌍씩 전체 조합에 대해 각각 스핀축을 산출하고 다수의 스핀축 산출 결과를 이용하여, 예컨대 평균값에 의한 스핀축 산출을 할 수도 있다.
한편, 상기한 바와 같이 스핀축이 산출되면, 대응되는 마커의 쌍의 각 중심점으로부터 상기 스핀축에 수직인 방향으로의 벡터를 각각 산출하고, 상기 스핀축에 수직인 기준면에 상기 산출된 벡터를 각각 사영하여, 상기 기준면에 사영된 벡터를 이용하여 상기 스핀축을 중심으로 하는 스핀량을 산출할 수 있다.
도 9에 도시된 바와 같이, 스핀축(SA)에 수직인 기준면(PO)을 정의하고, 구체(Ob)에 표시된 매칭된 마커의 쌍의 각 중심점으로부터 스핀축(SA)에 각각 수직인 방향으로 벡터를 산출하여, 그 산출된 벡터를 기준면(PO)에 각각 정사영을 할 수 있다.
도 9에 도시된 바와 같이 기준면(PO)에 사영된 스핀축(SA)의 중심점은 Cp 점이며, Ca1 점에서 스핀축(SA)에 수직인 벡터는 기준면(PO) 상의 Pa1 점에서 Cp 점으로의 벡터(v1)로 사영되고, Cb1 점에서 스핀축(SA)에 수직인 벡터는 기준면(PO) 상의 Pb1 점에서 Cp 점으로의 벡터(v2)로 사영되며, Ca2 점에서 스핀축(SA)에 수직인 벡터는 기준면(PO)상의 Pa2 점에서 Cp 점으로의 벡터(v3)로 사영되고, Cb2 점에서 스핀축(SA)에 수직인 벡터는 기준면(PO) 상의 Pb2 점에서 Cp 점으로의 벡터(v4)로 사영될 수 있다.
이에 따라 기준면(PO)에 사영된 v1 및 v2 벡터를 이용하여 스핀축(Cp)을 중심으로 스핀량 Q1을 산출할 수 있고, v3 및 v4 벡터를 이용하여 스핀축(Cp)을 중심으로 스핀량 Q2를 산출할 수 있다.
스핀량 Q1의 값은 기준면(PO) 상에서의 중심점 Cp를 중심으로 v1벡터와 v2벡터가 이루는 각도와 원의 둘레를 이용하여 구하거나, Pa1-Pb1-Cp를 연결하는 삼각형에서 중심각을 이용하여 Pa1-Pb1의 호의 길이로서 구할 수 있다. 스핀량 Q2의 값도 마찬가지로 기준면(PO) 상에서의 중심점 Cp를 중심으로 v3벡터와 v4벡터가 이루는 각도와 원의 둘레를 이용하여 구하거나, Pa2-Pb2-Cp를 연결하는 삼각형에서 중심각을 이용하여 Pa2-Pb2의 호의 길이로서 구할 수 있다.
이와 같이 복수의 스핀량 값 Q1, Q2에 대해서는 평균값을 최종적인 스핀량으로서 구할 수 있고, 만약 스핀량 값의 개수가 더 많이 산출되면 이들 각각의 스핀량 값의 통계적 분석, 예컨대 평균과 분산, 표준편차 등을 이용하여 통계적으로 정확한 스핀량의 값을 산출할 수 있다.
그런데, 앞서 설명한 바와 같이, 제1 볼이미지로부터 제2 볼이미지로의 스핀량은 카메라의 시선 고정에 따라 발생하는 제1 볼이미지로부터 제2 볼이미지로의 무회전 이동에 따른 회전량, 즉 이미지 내의 위치에 따라 달라지는 시선 회전량이 포함되어 있으므로 그 시선 회전량을 앞서 산출한 스핀량에서 감산해줄 필요가 있다.
제1 볼이미지로부터 제2 볼이미지로의 무회전 이동에 따라 회전량(시선 회전량)이 발생하는 것은 도 10을 통해 확인할 수 있다.
도 10의 (a)에 도시된 바와 같이 지그(ZG)의 일측에 골프공이 고정된 상태에서 도 10의 (b)에 도시된 바와 같이 지그(ZG)의 타측으로 고정된 상태의 골프공을 그대로 직선 이동시킬 때, 각각의 경우에 대해 볼이미지를 취득하면 도 10의 (a)에 도시된 제1 볼이미지(B1)에서 도 10의 (b)에 도시된 제2 볼이미지(B2)로 이동시 무회전 이동임에도 불구하고 회전량이 발생하였음을 확인할 수 있다. 즉 이미지 내에서 위치별로 시선 회전량이 발생한다는 사실을 알 수 있다.
따라서, 제1 볼이미지(B1)에서 제2 볼이미지(B2)로의 무회전 이동시에 발생하는 회전량(시선 회전량)을 측정하여 미리 설정해 놓고, 앞서 도 7 내지 도 9에서 설명한 바와 같은 방식으로 산출된 스핀량에서 상기한 미리 설정된 시선 회전량을 감산하는 보정을 함으로써 최종적으로 정확한 스핀량을 산출할 수 있다.
이와 같은 시선 회전량은 미리 측정해 놓고 이를 카메라 캘리브레이션 과정에서 이를 고려하도록 미리 설정해 놓을 수도 있고, 사용자가 골프샷을 할 때마다 상기한 바와 같은 시선 회전량을 산출하여 이를 이용하여 스핀량을 보정하도록 할 수도 있다.
이상 설명한 바와 같이, 본 발명은 골프공에 복수의 마커를 표시하고 카메라에 의해 설정된 영역에 대한 촬영영상을 빠르게 취득하여 그 취득된 볼 이미지에서 상기 복수의 마커들 사이의 상대적인 관계를 이용하여 연속하는 두 볼 이미지 사이에서 정확하게 마커들을 매칭하여 스핀 산출을 함으로써 종래의 기술보다 더 빠르면서도 정확한 스핀 산출이 가능하다는 특장점이 있다.
110, 120: 카메라, 200: 센싱처리부
210: 이미지 처리부, 220: 정보산출부
300: 클라이언트, 510: 마커 매칭 처리부
520: 스핀 산출부, 600: 싱글카메라

Claims (11)

  1. 복수의 마커가 표시된 골프공이 타격되어 이동하는 것에 대해 연속된 이미지인 제1 이미지와 제2 이미지를 각각 취득하는 단계;
    상기 제1 이미지의 골프공 부분에 해당하는 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하는 단계;
    상기 제2 이미지의 골프공 부분에 해당하는 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 특정하는 단계; 및
    상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 스핀축과 스핀량을 산출하는 단계;
    를 포함하는 타격되어 이동하는 골프공에 대한 스핀 산출 방법.
  2. 제1항에 있어서, 상기 대응하는 마커의 조합을 특정하는 단계는,
    상기 제1 볼이미지 상의 상기 기준마커에 대한 상기 복수의 주변마커 각각의 상대적인 관계에 관한 정보와 매칭되는 상대적 관계를 갖는 제2 볼이미지 상의 마커의 조합을 특정하는 단계를 포함하는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출 방법.
  3. 제1항에 있어서, 상기 대응하는 마커의 조합을 특정하는 단계는,
    상기 제1 볼이미지 상의 상기 기준마커에 대한 상기 복수의 주변마커 각각의 기울기에 대한 상대각도 정보인 특징정보를 산출하는 단계와,
    상기 제2 볼이미지 상에서 임의의 기준마커와 이에 대한 복수의 주변마커의 조합마다 각 조합에서의 기울기에 대한 상대각도 정보를 산출하는 단계와,
    상기 제1 볼이미지 상의 마커에 대한 특징정보와 제2 볼이미지 상의 마커에 대한 상대각도 정보를 매칭시켜 매칭된 제2 볼이미지 상의 마커의 조합을 특정하는 단계를 포함하는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출 방법.
  4. 제1항에 있어서, 상기 스핀축과 스핀량을 산출하는 단계는,
    상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 하나의 구체에 나타내는 단계와,
    상기 대응되는 마커의 쌍의 각 중심점을 연결하는 선과 상기 구체의 중심점으로부터 도출되는 둘 이상의 평면이 만나는 선을 상기 스핀축으로서 산출하는 단계를 포함하는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출 방법.
  5. 제4항에 있어서, 상기 스핀축과 스핀량을 산출하는 단계는,
    상기 대응되는 마커의 쌍의 각 중심점으로부터 상기 스핀축에 수직인 방향으로의 벡터를 각각 산출하는 단계와,
    상기 스핀축에 수직인 기준면에 상기 산출된 벡터를 각각 사영하는 단계와,
    상기 기준면에 사용된 벡터를 이용하여 상기 스핀축을 중심으로 하는 상기 스핀량을 산출하는 단계를 포함하는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출 방법.
  6. 제1항에 있어서,
    상기 이동하는 골프공에 대한 연속하는 두 이미지 사이에서 카메라의 시선 고정에 따라 이미지 내 위치별 시선 회전량을 산출하며,
    상기 스핀축과 스핀량을 산출하는 단계를 통해 산출된 스핀량으로부터 상기 산출된 시선 회전량을 감산하는 보정을 하는 단계를 더 포함하는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출 방법.
  7. 타격되어 이동하는 골프공의 운동 정보를 산출하는 센싱장치의 카메라 시스템과 별개로 구비되어 복수의 마커가 표시된 골프공이 타격에 의해 이동하는 것에 대한 연속된 이미지인 제1 이미지와 제2 이미지를 각각 취득하는 싱글카메라;
    상기 제1 이미지의 골프공 부분에 해당하는 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하며, 상기 제2 이미지의 골프공 부분에 해당하는 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 특정하는 마커 매칭 처리부; 및
    상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 기하학적 계산에 의해 스핀축과 스핀량을 산출하는 스핀산출부;
    를 포함하는 타격되어 이동하는 골프공에 대한 스핀 산출장치.
  8. 타격되어 이동하는 골프공의 운동 정보를 산출하는 센싱장치의 카메라로부터 복수의 마커가 표시된 골프공이 타격에 의해 이동하는 것에 대한 연속된 이미지인 제1 이미지와 제2 이미지를 각각 전달받아, 상기 제1 이미지의 골프공 부분에 해당하는 제1 볼이미지 상의 복수의 마커에 대해 기준마커와 상기 기준마커 주변의 복수의 주변마커에 관한 정보를 산출하며, 상기 제2 이미지의 골프공 부분에 해당하는 제2 볼이미지에서 상기 제1 볼이미지의 기준마커 및 복수의 주변마커에 대응하는 마커의 조합을 특정하는 마커 매칭 처리부; 및
    상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 이용하여 기하학적 계산에 의해 스핀축과 스핀량을 산출하는 스핀산출부;
    를 포함하는 타격되어 이동하는 골프공에 대한 스핀 산출장치.
  9. 제7항에 있어서, 상기 마커 매칭 처리부는,
    상기 센싱장치로부터 상기 골프공이 놓인 좌표 정보를 전달받아 이에 기초하여 상기 싱글카메라가 취득할 영상의 영역을 관심영역으로서 설정하며, 상기 설정된 관심영역의 영상을 상기 제1 이미지 및 제2 이미지로서 취득하도록 구성되는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출장치.
  10. 제7항 또는 제8항에 있어서, 상기 마커 매칭 처리부는,
    상기 제1 볼이미지 상의 상기 기준마커에 대한 상기 복수의 주변마커 각각의 기울기에 대한 상대각도 정보인 특징정보를 산출하고, 상기 제2 볼이미지 상에서 임의의 기준마커와 이에 대한 복수의 주변마커의 조합마다 각 조합에서의 기울기에 대한 상대각도 정보를 산출하며, 상기 제1 볼이미지 상의 마커에 대한 특징정보와 제2 볼이미지 상의 마커에 대한 상대각도 정보를 매칭시켜 매칭된 제2 볼이미지 상의 마커의 조합을 특정하도록 구성되는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출장치.
  11. 제7항 또는 제8항에 있어서, 상기 스핀산출부는,
    상기 제1 볼이미지와 제2 볼이미지 상의 대응되는 마커의 쌍의 각 중심점을 하나의 구체에 나타내고 상기 대응되는 마커의 쌍의 각 중심점을 연결하는 선과 상기 구체의 중심점으로부터 도출되는 둘 이상의 평면이 만나는 선을 상기 스핀축으로서 산출하며,
    상기 대응되는 마커의 쌍의 각 중심점으로부터 상기 스핀축에 수직인 방향으로의 벡터를 각각 산출하고, 상기 스핀축에 수직인 기준면에 상기 산출된 벡터를 각각 사영하여, 상기 기준면에 사용된 벡터를 이용하여 상기 스핀축을 중심으로 하는 상기 스핀량을 산출하도록 구성되는 것을 특징으로 하는 타격되어 이동하는 골프공에 대한 스핀 산출장치.
KR1020210040978A 2021-03-16 2021-03-30 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치 KR102603088B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US18/550,823 US20240172017A1 (en) 2021-03-16 2021-03-16 Methods and apparatuses for a rlf processing procedure and a phr procedure in a deactivated sn case
KR1020210040978A KR102603088B1 (ko) 2021-03-30 2021-03-30 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치
TW111109157A TWI799184B (zh) 2021-03-30 2022-03-14 被擊打而移動的高爾夫球的旋轉計算方法及利用其的旋轉計算裝置
US18/282,258 US20240157218A1 (en) 2021-03-30 2022-03-25 Spin calculation method for golf ball moving by being hit and spin calculation apparatus using same
JP2023556738A JP2024513328A (ja) 2021-03-30 2022-03-25 打撃されて移動するゴルフボールのスピン算出方法及びこれを用いたスピン算出装置
PCT/KR2022/004180 WO2022211377A1 (ko) 2021-03-30 2022-03-25 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치
CN202280017461.2A CN116887892A (zh) 2021-03-30 2022-03-25 被击打而移动的高尔夫球的旋转计算方法及利用其的旋转计算装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210040978A KR102603088B1 (ko) 2021-03-30 2021-03-30 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치

Publications (2)

Publication Number Publication Date
KR20220135390A true KR20220135390A (ko) 2022-10-07
KR102603088B1 KR102603088B1 (ko) 2023-11-16

Family

ID=83456529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040978A KR102603088B1 (ko) 2021-03-16 2021-03-30 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치

Country Status (6)

Country Link
US (1) US20240157218A1 (ko)
JP (1) JP2024513328A (ko)
KR (1) KR102603088B1 (ko)
CN (1) CN116887892A (ko)
TW (1) TWI799184B (ko)
WO (1) WO2022211377A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304830A (ja) * 2000-04-19 2001-10-31 Sumitomo Rubber Ind Ltd 球体の回転運動計測方法及び計測装置
KR20100102583A (ko) * 2007-09-21 2010-09-24 플레이데이타, 엘엘씨 개체 위치 및 움직임 검출 시스템 및 그 방법
KR102101512B1 (ko) * 2018-10-25 2020-04-16 주식회사 뷰웍스 회전체의 회전량 산정 장치 및 서버
KR20200123098A (ko) * 2018-03-13 2020-10-28 트랙맨 에이/에스 스포츠 공의 스핀축을 결정하기 위한 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101078986B1 (ko) * 2011-03-31 2011-11-01 (주) 골프존 가상 골프 시뮬레이션 장치 및 방법
KR101551685B1 (ko) * 2014-10-28 2015-09-21 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 센싱방법
KR101723432B1 (ko) * 2015-06-12 2017-04-18 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 센싱방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304830A (ja) * 2000-04-19 2001-10-31 Sumitomo Rubber Ind Ltd 球体の回転運動計測方法及び計測装置
KR20100102583A (ko) * 2007-09-21 2010-09-24 플레이데이타, 엘엘씨 개체 위치 및 움직임 검출 시스템 및 그 방법
KR20200123098A (ko) * 2018-03-13 2020-10-28 트랙맨 에이/에스 스포츠 공의 스핀축을 결정하기 위한 시스템 및 방법
KR102101512B1 (ko) * 2018-10-25 2020-04-16 주식회사 뷰웍스 회전체의 회전량 산정 장치 및 서버

Also Published As

Publication number Publication date
TW202237238A (zh) 2022-10-01
JP2024513328A (ja) 2024-03-25
US20240157218A1 (en) 2024-05-16
CN116887892A (zh) 2023-10-13
KR102603088B1 (ko) 2023-11-16
TWI799184B (zh) 2023-04-11
WO2022211377A1 (ko) 2022-10-06

Similar Documents

Publication Publication Date Title
CN107646125B (zh) 移动球体的感测装置及感测方法
JP3535476B2 (ja) 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法
TWI554980B (zh) 供感測移動球體的裝置及其方法
Takahashi et al. Human pose as calibration pattern; 3D human pose estimation with multiple unsynchronized and uncalibrated cameras
US20220233939A1 (en) Device for calculating flight information of ball, method of calculating flight information of ball, and computing-device-readable recording medium having the method recorded therein
WO2013051277A1 (ja) ゴルフクラブの変形の計測システム、計測方法及び計測装置
CN105288982A (zh) 高尔夫球的运动状态测定装置
JP4109075B2 (ja) 球体の回転特性と飛行特性の測定方法及び球体の回転特性と飛行特性の測定装置
Elliott et al. Markerless tracking of tennis racket motion using a camera
JP4109076B2 (ja) 曲面体の回転量と回転軸方向の測定方法、及び、曲面体の回転量と回転軸方向の測定装置
JP4205004B2 (ja) キャリブレーション方法
CN112543668B (zh) 使用计算机视觉测量3d属性的系统和方法
KR102603088B1 (ko) 타격되어 이동하는 골프공에 대한 스핀 산출 방법 및 이를 이용한 스핀 산출 장치
KR101461144B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
KR20220133143A (ko) 카메라를 이용한 평면 이동 구체의 운동 센싱장치 및 방법과, 퍼팅매트를 이동하는 골프공의 운동 센싱장치 및 방법
KR101767954B1 (ko) 골프 스윙 촬영 위치 검출 방법, 골프 스윙 표시 방법, 이를 수행하는 골프 스윙 분석 시스템 및 모바일 시스템
KR101551685B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
JP7328377B2 (ja) ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラム
Lee et al. An efficient method for robust height and position estimation of moving objects
JP2024063521A (ja) スピン計測システム
JP2022104413A (ja) ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラム
JP2018011682A (ja) 姿勢測定システム、姿勢測定方法、および姿勢測定プログラム
Isogawa et al. Human Pose as Calibration Pattern; 3D Human Pose Estimation with Multiple Unsynchronized and Uncalibrated Cameras
JPH05118818A (ja) 三次元運動解析装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant