KR102369494B1 - 골프 플레이 트레이싱 방법, 디바이스 및 서버 - Google Patents

골프 플레이 트레이싱 방법, 디바이스 및 서버 Download PDF

Info

Publication number
KR102369494B1
KR102369494B1 KR1020200071273A KR20200071273A KR102369494B1 KR 102369494 B1 KR102369494 B1 KR 102369494B1 KR 1020200071273 A KR1020200071273 A KR 1020200071273A KR 20200071273 A KR20200071273 A KR 20200071273A KR 102369494 B1 KR102369494 B1 KR 102369494B1
Authority
KR
South Korea
Prior art keywords
golf
shot
image
tracing device
pattern
Prior art date
Application number
KR1020200071273A
Other languages
English (en)
Other versions
KR20210154345A (ko
Inventor
변대열
Original Assignee
(주)포트러시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)포트러시 filed Critical (주)포트러시
Priority to KR1020200071273A priority Critical patent/KR102369494B1/ko
Publication of KR20210154345A publication Critical patent/KR20210154345A/ko
Application granted granted Critical
Publication of KR102369494B1 publication Critical patent/KR102369494B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3605Golf club selection aids informing player of his average or expected shot distance for each club
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3608Attachments on the body, e.g. for measuring, aligning, restraining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625Emitting sound, noise or music
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0691Maps, e.g. yardage maps or electronic maps
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/10Positions
    • A63B2220/12Absolute positions, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/808Microphones
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/83Special sensors, transducers or devices therefor characterised by the position of the sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은, IMU 센서를 통해 움직임을 센싱하는 단계, IMU 센서로부터의 센싱 데이터로부터 행동 패턴을 인식하는 단계 및 인식된 행동 패턴에 따라 카메라 센서를 구동하여 이미지를 촬영하는 단계를 포함하는, 골프 플레이 트레이싱 방법, 디바이스 및 서버에 관한 것이다.

Description

골프 플레이 트레이싱 방법, 디바이스 및 서버{METHOD, DEVICE AND SERVER FOR TRACING GOLF PLAY}
본 발명은 골프 플레이 트레이싱 방법, 디바이스 및 서버에 관한 것으로서, 구체적으로는 저전력으로 골프 필드에서의 플레이를 자동으로 추적하고 추적된 플레이에 대한 각종 정보를 골퍼에게 제공할 수 있는 골프 플레이 트레이싱 방법, 디바이스 및 서버에 관한 것이다.
골프는 다수의 홀이 갖춰진 골프장에서 정지된 공을 골프채로 쳐 홀에 넣는 경기로서 홀에 들어가기까지 걸린 타수가 적은 골퍼가 이기는 경기이다. 3인 또는 4인이 1개조로 구성되어 골프 라운드(라운딩)를 진행하고 1개조(또는 모든 조) 내의 구성원들의 총타수의 많고 적음으로 그 승패가 결정된다.
골프는 운동의 목적 외에도 친목을 다지기 위한 목적으로도 활용된다. 4시간 이상의 시간 동안 18홀(또는 9홀 또는 36홀)을 라운딩하는 골퍼는 골프를 플레이하는 동안 조원 간에 각종 유대관계를 가질 수 있다.
골퍼는 정기적 또는 비정기적으로 동일한 골프장이나 다른 골프장에 방문하여 해당 골프장에서 플레이한다. 골퍼는 골프장에서 총타수를 줄이기 위해 다양한 골프 연습을 하고 플레이할 골프장의 지형 등을 숙지한다.
또한, 골프장 내에서 골프를 효과적으로 치기 위해서는 다양한 주변 도움이 필요하다. 예를 들어, 현재 위치에서 목적 홀(컵)까지의 남은 거리를 직접 알아보거나 캐디를 통해 알아보고 그에 상응하는 골프 클럽을 선택해야 한다.
4시간 이상 여러 지인과 동행하며 이루어지는 골프 라운딩은 하나의 추억 거리가 된다. 골퍼는 여러 지인과 어떻게 골프 플레이를 한 지랑 여러 지인과 어떻게 즐거운 시간을 가졌는지를 알 수 있는 방안이 필요하다. 일부 골퍼는 라운딩 시작전이나 종료후 라운딩을 기념하기 위해 기념사진 등을 찍을 수 있으나 라운딩 내에서 자동화된 영상을 제공할 수 있으면 바람직할 것이다. 나아가 골프장 내에서 자신의 플레이를 복기할 수 있다면 매우 바람직할 것이다.
이와 같이, 골프장에서 골퍼의 샷과 행적을 추적하고 이를 제공할 수 있는 골프 플레이 트레이싱 방법, 디바이스 및 서버가 필요하다.
공개특허 10-2018-0104366, 2018년09월21일
본 발명은, 상술한 문제점을 해결하기 위해서 안출한 것으로서, 인공지능 기술을 이용하면서도 저전력으로 골퍼의 플레이와 이동을 추적 가능한 골프 플레이 트레이싱 방법, 디바이스 및 서버를 제공하는 데 그 목적이 있다.
또한, 본 발명은 골프 라운딩 중 IMU 센서에서 인식되는 행동 패턴에 따라 인공지능 알고리즘을 자동 구동하여 저전력으로 골프 샷을 높은 정확도로 인식하고 홀별 플레이 히스토리를 자동 구성 가능한 골프 플레이 트레이싱 방법, 디바이스 및 서버를 제공하는 데 그 목적이 있다.
또한, 본 발명은 골프 라운딩 중 모자나 선글라스에 부착되는 소형의 저전력 디바이스의 IMU 센서로부터 인식되는 행동 패턴에 따라 골프 플레이를 기념하기 위한 비디오 로그를 저전력으로 구성 가능한 골프 플레이 트레이싱 방법, 디바이스 및 서버를 제공하는 데 그 목적이 있다.
또한, 본 발명은 골퍼의 행동 패턴을 IMU 센서를 통해 인식하고 지정된 행동 패턴의 인식시에만 전력 소비가 많은 인공지능 알고리즘을 구동하여 전력 소비량을 줄이고 경량화 가능하며 디바이스의 라이프 타임을 늘릴 수 있는 골프 플레이 트레이싱 방법, 디바이스 및 서버를 제공하는 데 그 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따른 골프 플레이 트레이싱 디바이스는, 모자 또는 선글라스에 고정되고, 트레이싱 디바이스의 움직임을 센싱하는 IMU 센서, 외부 이미지를 촬영하는 카메라 센서 및 범용 프로세서와 AI 엔진을 포함하는 제어부로서, 범용 프로세서는 AI 엔진의 구동을 제어하고 IMU 센서로부터 수신되는 센싱 데이터로부터 행동 패턴을 인식하고 인식된 행동 패턴에 따라 카메라 센서를 구동하여 이미지 촬영을 제어하는, 제어부를 포함한다.
상기한 트레이싱 디바이스에 있어서, 트레이싱 디바이스의 위치를 센싱하는 GPS 센서 및 데이터를 저장하는 메모리를 더 포함하고, 범용 프로세서는 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 골프샷 전의 준비 패턴에 대응하는 경우 AI 엔진을 구동하고, 범용 프로세서에 의해 구동되는 AI 엔진은 카메라 센서로부터 수신되는 이미지에서 골프공을 인식하고 골프공 인식 결과를 출력하고, 범용 프로세서는 골프공 인식 결과에 따라 GPS 센서로부터의 위치 정보, 카메라 센서에서 촬영되는 이미지 및 샷 시각을 포함하는 후보 샷 정보를 메모리에 저장한다.
상기한 트레이싱 디바이스에 있어서, 범용 프로세서는 골프공 인식에 후속하여 IMU 센서로부터의 복수의 센싱 데이터를 통해 샷 패턴을 인식하고 샷 패턴의 인식에 후속하여 카메라 센서를 제어하여 이미지를 촬영하여 후보 샷 정보에 저장하고 AI 엔진의 구동을 중단하며, 범용 프로세서는 최신 후보 샷 정보와 직전 후보 샷 정보의 위치 정보 차이가 지정된 거리 이상인 경우 최신 후보 샷 정보 직전의 후보 샷 정보를 샷 이벤트 정보로 메모리에 저장한다.
상기한 트레이싱 디바이스에 있어서, 범용 프로세서는 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 뷰잉 패턴인 경우 카메라 센서를 구동하여 촬영되는 이미지를 메모리에 저장하고, 뷰잉 패턴 판단에 따라 메모리에 저장되는 하나 이상의 이미지는 다른 트레이싱 디바이스의 이미지와 함께 비디오 로그 구성에 이용되고, 뷰잉 패턴은 지정된 시간 동안에 IMU 센서로부터의 3축 가속도 센싱 데이터가 지정된 제1 임계 데이터 이하이고 3축 각속도 센싱 데이터가 지정된 제2 임계 데이터 이하인 경우의 행동 패턴이다.
상기한 트레이싱 디바이스에 있어서, 음성신호를 수신하는 마이크 및 스피커를 포함하는 출력부를 더 포함하고, 범용 프로세서는 마이크로부터의 음성 데이터의 수신에 따라 AI 엔진을 구동하고 AI 엔진으로 골프장 정보, 현재 위치 정보 및 음성 데이터를 제공하고 AI 엔진으로부터 수신되는 응답 데이터를 출력부로 출력한다.
상기한 트레이싱 디바이스에 있어서, 범용 프로세서에 의해 구동되는 AI 엔진은 카메라 센서로부터 수신되는 이미지에서 클럽 번호를 인식하고, 범용 프로세서는 샷 패턴의 인식에 후속하여 구성되는 후보 샷 정보에 인식된 클럽 번호를 더 저장하고, AI 엔진은 음성 데이터로부터의 클럽 선택 요청에 따라 범용 프로세서에 의해 더 제공되는 사용자 골프 특성 정보에 따라 선택되는 클럽 번호를 포함하는 응답 데이터를 출력한다.
또한, 본 발명의 일 양상에 따른 골프 플레이 트레이싱 방법은 트레이싱 디바이스가 IMU 센서를 통해 움직임을 센싱하는 단계, 트레이싱 디바이스가 IMU 센서로부터의 센싱 데이터로부터 행동 패턴을 인식하는 단계 및 트레이싱 디바이스가 인식된 행동 패턴에 따라 카메라 센서를 구동하여 이미지를 촬영하는 단계를 포함하고, 트레이싱 디바이스는 모자 또는 선글라스에 고정되는 디바이스이다.
상기한 트레이싱 방법에 있어서, 인식된 행동 패턴에 따라 이미지를 촬영하는 단계는, 트레이싱 디바이스가 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 복수의 준비 패턴 중 하나의 준비 패턴에 대응하는 경우 트레이싱 디바이스의 AI 엔진을 구동하는 단계, 트레이싱 디바이스가 AI 엔진을 통해 카메라 센서로부터 수신되는 이미지에서 골프공을 인식하고 골프공 인식 결과를 생성하는 단계, 골프공 인식 결과에 따라 트레이싱 디바이스가 IMU 센서로부터의 복수의 센싱 데이터를 통해 샷 패턴을 인식하는 단계 및 샷 패턴의 인식에 후속하여 트레이싱 디바이스가 카메라 센서를 제어하여 이미지를 촬영하는 단계를 포함한다.
상기한 트레이싱 방법에 있어서, 인식된 행동 패턴에 따라 이미지를 촬영하는 단계 이후에, 트레이싱 디바이스가 골프공 인식 결과에 따라 GPS 센서로부터의 위치 정보, 카메라 센서에서 촬영되는 이미지 및 샷 시각을 포함하는 후보 샷 정보를 저장하는 단계 및 트레이싱 디바이스가 저장되는 최신 후보 샷 정보와 직전 후보 샷 정보의 위치 정보 차이가 지정된 거리 이상인 경우 최신 후보 샷 정보 직전의 후보 샷 정보를 샷 이벤트 정보로 저장하는 단계를 더 포함한다.
상기한 트레이싱 방법에 있어서, 인식된 행동 패턴에 따라 이미지를 촬영하는 단계는, 범용 프로세서가 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 뷰잉 패턴인 경우 카메라 센서를 제어하여 이미지를 촬영하는 단계를 더 포함하고, 골프 플레이 트레이싱 방법은 트레이싱 디바이스가 카메라 센서를 통해 촬영된 이미지를 저장하는 단계를 더 포함하며, 뷰잉 패턴 인식에 따라 저장되는 복수의 촬영 이미지는 비디오 로그 구성에 이용되고, 뷰잉 패턴은 지정된 시간 동안에 IMU 센서로부터의 3축 가속도 센싱 데이터가 지정된 제1 임계 데이터 이하이고 3축 각속도 센싱 데이터가 지정된 제2 임계 데이터 이하인 경우의 행동 패턴이다.
또한, 본 발명의 일 양상에 따른 골프 플레이 트레이싱 서버는, IMU 센서로부터 행동 패턴을 인식하고 인식된 행동 패턴에 따라 카메라 센서를 구동하여 이미지를 촬영하는 트레이싱 디바이스에 저장된 골프장의 홀에서의 샷을 특정 가능한 복수의 샷 이벤트 정보를 수신하는 통신 유닛, 사용자 DB를 저장하는 저장 유닛 및 사용자 DB의 사용자 아이템에 수신된 복수의 샷 이벤트 정보를 이용하여 구성되는 골프 이력 정보 및 골프 특성 정보를 저장하는 제어 유닛을 포함하고, 제어 유닛은 통신 유닛을 통해 사용자 단말로부터 골프 이력 조회 요청의 수신에 따라 골프장 지도에 복수의 샷 이벤트 정보가 맵핑된 골프 이력 정보를 사용자 단말로 전송하고, 골프 이력 정보는 골프장 지도에 표시 가능한 홀별 복수의 샷 위치 정보와 복수의 샷 위치에서 촬영된 이미지를 포함하여 이미지로 표시 가능하다.
상기와 같은 본 발명에 따른 골프 플레이 트레이싱 방법, 디바이스 및 서버는 인공지능 기술을 이용하면서도 저전력으로 골퍼의 플레이와 이동을 추적 가능한 효과가 있다.
또한, 상기와 같은 본 발명에 따른 골프 플레이 트레이싱 방법, 디바이스 및 서버는 골프 라운딩 중 IMU 센서에서 인식되는 행동 패턴에 따라 인공지능 알고리즘을 자동 구동하여 저전력으로 골프 샷을 높은 정확도로 인식하고 홀별 플레이 히스토리를 자동 구성 가능한 효과가 있다.
또한, 상기와 같은 본 발명에 따른 골프 플레이 트레이싱 방법, 디바이스 및 서버는 골프 라운딩 중 모자나 선글라스에 부착되는 소형의 저전력 디바이스의 IMU 센서로부터 인식되는 행동 패턴에 따라 골프 플레이를 기념하기 위한 비디오 로그를 저전력으로 구성 가능한 효과가 있다.
또한, 상기와 같은 본 발명에 따른 골프 플레이 트레이싱 방법, 디바이스 및 서버는 골퍼의 행동 패턴을 IMU 센서를 통해 인식하고 지정된 행동 패턴의 인식시에만 전력 소비가 많은 인공지능 알고리즘을 구동하여 전력 소비량을 줄이고 경량화 가능하며 디바이스의 라이프타임을 늘릴 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 골프 플레이를 트레이싱하기 위한 예시적인 시스템 구성도를 도시한 도면이다.
도 2는 골프 플레이 추적을 위한 트레이싱 디바이스의 예시적인 구성 블록도를 도시한 도면이다.
도 3은 트레이싱 디바이스(100)를 통해 골프 플레이를 트레이싱하고 골프 플레이와 관련되는 데이터를 저장하는 제어 흐름을 도시한 도면이다.
도 4는 골프장의 특정 홀 코스에서 트레이싱 디바이스를 통해 골퍼와 인터페이스하고 골프 플레이를 트레이싱하는 일 사용예를 나타내는 도면이다.
도 5는 트레이싱 서버의 예시적인 블록도를 나타내는 도면이다.
도 6은 비디오 로그 생성 장치(400)의 예시적인 블록도를 도시한 도면이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 골프 플레이를 트레이싱하기 위한 예시적인 시스템 구성도를 도시한 도면이다.
도 1에 따르면 골프 플레이를 트레이싱하기 위해 구성되는 시스템은 하나 이상의 사용자 단말(200), 하나 이상의 트레이싱 디바이스(100) 및 트레이싱 서버(300)를 포함하고, 사용자 단말(200)과 트레이싱 서버(300)는 인터넷을 통해 서로 연결될 수 있다.
도 1을 통해 트레이싱 시스템의 구성 블록을 간단히 살펴보면, 트레이싱 디바이스(100)는 골퍼가 휴대하고 골퍼의 플레이를 트레이싱(추적)할 수 있는 디바이스이다. 트레이싱 디바이스(100)는 고정 클립 등을 포함하여 골퍼의 모자나 선글라스에 고정될 수 있도록 구성된다.
트레이싱 디바이스(100)는 인공지능(Artificial Intelligence :: AI) 엔진을 구비하여 AI 엔진(195)을 통해 골퍼의 샷을 추적하고 구비된 카메라를 이용하여 각종 이미지나 영상을 기록할 수 있도록 구성된다. 트레이싱 디바이스(100)는 관성(IMU) 센서에 의해서 파악되는 행동 패턴의 유형에 따라 오프된 AI 엔진(195)을 구동하거나 오프된 카메라를 구동하여 전력 소비를 최대한 줄일 수 있도록 구성된다. 그에 따라, 트레이싱 디바이스(100)는 라이프타임을 늘릴 수 있고 경량화시킬 수 있다. 특히, AI 엔진(195)의 구동을 최소화하여 인공지능 알고리즘의 수행에 요구되는 컴퓨팅 파워 공급을 최소화할 수 있다.
트레이싱 디바이스(100)에 대해서는 도 2 내지 도 4에서 상세히 살펴보도록 한다.
사용자 단말(200)은 골퍼가 이용하는 단말이다. 사용자 단말(200)은 거치형 단말이거나 휴대형 단말일 수 있다. 사용자 단말(200)은 예를 들어, 스마트폰, 휴대폰, 태블릿 PC, 노트북, 개인용 컴퓨터 등일 수 있다.
사용자 단말(200)은 트레이싱 디바이스(100)와 연결 가능한 외부 인터페이스를 가진다. 예를 들어, 사용자 단말(200)은 SD 카드 리더기, USB 단자, 컴포트 등을 구비하여 트레이싱 디바이스(100)의 각종 정보나 데이터에 액세스 가능하다. 사용자 단말(200)은 입력 인터페이스를 가지고 인터넷을 통해 트레이싱 서버(300)에 로그인할 수 있다.
사용자 단말(200)은 사용자 ID와 패스워드 등의 인증 수단을 이용하여 트레이싱 서버(300)에 로그인하고 트레이싱 디바이스(100)에 저장되어 있는 정보나 데이터를 트레이싱 서버(300)에 업로딩할 수 있고 트레이싱 서버(300)로부터 골프 이력 정보 등을 수신하여 구비된 디스플레이에 출력할 수 있다.
사용자 단말(200)은 골퍼가 개인이 휴대하는 단말이거나 골프장의 프런트 등에 설치되어 있는 컴퓨터일 수 있다. 개인용 컴퓨터나 노트북 등으로서 골프장 프런트에 설치되는 사용자 단말(200)은 비디오 로그의 생성에 이용되는 비디오 로그 생성 장치(400)로 동작할 수 있다. 비디오 로그 생성 장치(400)에 대해서는 도 6을 통해 좀 더 살펴보도록 한다.
트레이싱 서버(300)는 골퍼의 골프 플레이를 추적할 수 있도록 구성되는 서버이다. 트레이싱 서버(300)는 사용자 DB를 포함하여 사용자별 특정 골프장에서 이루어진 홀별 골프 플레이, 사용자의 골프 특성 정보 등을 관리하고 추출할 수 있도록 구성된다.
트레이싱 서버(300)에 대해서는 도 5를 통해 좀 더 상세히 살펴보도록 한다.
도 2는 골프 플레이 추적을 위한 트레이싱 디바이스(100)의 예시적인 구성 블록도를 도시한 도면이다.
도 2에 따르면, 트레이싱 디바이스(100)는 입력부(110), 외부 인터페이스부(120), GPS 센서(130), IMU 센서(140), 메모리(150), 카메라 센서(160), 출력부(170), 마이크(180) 및 제어부(190)를 포함한다. 설계 변형에 따라 트레이싱 디바이스(100)는 도 2의 일부 구성 블록이 생략되거나 도 2에 도시되지 않은 다른 블록이 트레이싱 디바이스(100)에 더 포함될 수 있다.
본 발명에 따른 트레이싱 디바이스(100)는 소형 및 경량화되어 모자나 선글라스 등에 고정되도록 바람직하게 구성된다. 트레이싱 디바이스(100)는 클립, 자석, 집게, 홀더 등의 알려진 고정 수단을 포함하여 모자의 좌측 모서리나 우측 모서리, 선글라스의 좌측이나 우측테에 고정되어 골퍼와 함께 이동하고 골퍼의 시야에 따른 방향으로 지향할 수 있도록 구성된다. 트레이싱 디바이스(100)는 골퍼가 소유 가능한 디바이스이거나 골프장(의 프런트) 등에서 임대되는 디바이스일 수 있다.
트레이싱 디바이스(100)는 내부 구성을 통해 착용한 골퍼의 샷을 감지하고 이를 기록하며 골프장에서 골프 플레이를 기념하기 위한 이미지를 촬영할 수 있도록 구성된다.
트레이싱 디바이스(100)는 IMU(Inertial Measurement Unit) 센서(140)와 인공지능(AI) 엔진(195)을 구비하여 저전력을 소비하는 IMU 센서(140)를 통해 골퍼의 행동 분석을 통해 AI 엔진(195)을 구동하여 골프샷을 감지하고 이를 기록으로 저장할 수 있도록 구성된다. IMU 센서(140)와 연동하여 AI 엔진(195)의 구동을 최소화하여 트레이싱 디바이스(100)의 전력 소비를 최소화하고 그로 인해 라이프타임을 늘리고 무게를 경량화하여 모자나 선글라스 등에 부착 가능하도록 구성된다.
도 2를 통해, 트레이싱 디바이스(100)를 살펴보면, 입력부(110)는 사용자(골퍼) 입력을 수신한다. 입력부(110)는 버튼(터치 버튼, 푸쉬 버튼) 등을 포함하여 사용자 입력을 수신할 수 있다. 예를 들어, 입력부(110)는 전원 온/오프 입력 등을 수신하고 입력 신호를 제어부(190)로 전송할 수 있다.
외부 인터페이스부(120)는 트레이싱 디바이스(100) 외부의 단말이나 카드 등과 인터페이스한다. 외부 인터페이스부(120)는 USB 통신 모듈, 블루투스 통신 모듈 및/또는 SD 카드 리더기 등을 포함하여 외부의 사용자 단말(200)이나 트레이싱 디바이스(100)에 착탈 가능한 SD 카드와 각종 데이터를 송수신할 수 있다.
GPS 센서(130)는 트레이싱 디바이스(100)의 위치를 센싱한다. GPS 센서(130)는 GPS 위성으로부터의 GPS 신호를 센싱하여 센싱된 GPS 데이터를 제어부(190)로 전달하거나 하나 이상의 GPS 위성으로부터 GPS 신호로부터 결정되는 위치 데이터(예를 들어, 위도 경도의 위치 데이터)를 제어부(190)를 센싱 데이터로 전달할 수 있다.
IMU 센서(140)는 모자나 선글라스 등에 고정된 트레이싱 디바이스(100)의 움직임을 센싱한다. IMU 센서(140)는 트레이싱 디바이스(100)를 통해 골퍼의 움직임(골퍼의 이동 속도, 지향 방향, 가속도 등)을 센싱할 수 있도록 구성되는 데 IMU 센서(140)는 예를 들어, 적어도 3축의 가속도계 센서, 적어도 3축의 각속도계 센서 및 지자계 센서를 포함하여 구성된다.
IMU 센서(140)를 통해, 트레이싱 디바이스(100)(의 제어부(190))는 골퍼의 진행방향, 횡방향 및 높이방향의 가속도와 피치, 요, 롤의 각속도 측정이 가능하고 이로부터 골퍼의 속도와 자세, 지향 방향 등을 결정할 수 있다.
메모리(150)는 비휘발성 메모리를 포함하여 각종 데이터와 프로그램을 저장한다. 메모리(150)는 제어부(190)에서 수행되는 제어 프로그램, AI 프로그램 등을 저장할 수 있다. 또한, 메모리(150)는 골퍼의 골프 특성 정보나 하나 이상의 골프장 정보 등을 더 저장한다.
골프 특성 정보는 트레이싱 디바이스(100)를 사용하는 골퍼의 골프 플레이 특성을 포함하고 예를 들어, 골프채 클럽 번호별 골퍼의 평균 샷거리를 포함할 수 있다. 골프장 정보는 골프장 내의 홀별 위치 영역 정보, 홀별 파타수, 난이도 등에 대한 정보를 포함할 수 있다. 골프 특성 정보와 골프장 정보는 사용자 단말(200)이나 프런트 등의 컴퓨터 등을 통해 트레이싱 디바이스(100)에 현장에서 또는 미리 다운로드될 수 있다.
메모리(150)에는 골프장에서의 라운딩에 따라 구성되는 샷 정보와 트레이싱 디바이스(100)의 움직임에 따라 촬영되는 이미지(의 동영상)를 동적으로 구성하여 더 저장할 수 있다. 설계 예에 따라 메모리(150)는 휘발성 메모리를 더 포함할 수 있다.
카메라 센서(160)는 트레이싱 디바이스(100) 외부의 이미지를 촬영한다. 카메라 센서(160)는 모자나 선글라스를 통해 골퍼의 전방 이미지를 촬영할 수 있도록 바람직하게 구성된다. 카메라 센서(160)는 CCD, CMOS 센서 등을 포함하여 구비된 렌즈에서 노출되는 외부 이미지를 촬영할 수 있도록 구성된다. 카메라 센서(160)는 제어부(190)의 제어에 따라 이미지(영상)를 촬영하거나 촬영 대기할 수 있다. 카메라 센서(160)는 고화질의 이미지를 촬영할 필요는 없고 예를 들어, 초당 30 프레임의 100만 화소 내외의 이미지를 촬영할 수 있는 센서로 구성될 수 있다.
출력부(170)는 트레이싱 디바이스(100)에서 생성되는 신호를 출력한다. 출력부(170)는 LED나 스피커 등을 포함하여 제어부(190)의 제어에 따른 LED를 온/오프하거나 스피커를 통해 내부에서 생성되는 음성신호를 진동신호로 출력할 수 있다.
마이크(180)는 음성신호를 수신한다. 마이크(180)는 진동센서 등을 포함하여 트레이싱 디바이스(100)를 부착한 골퍼의 음성신호를 전기신호로 변환하여 제어부(190)로 출력할 수 있다.
제어부(190)는 트레이싱 디바이스(100)를 제어한다. 제어부(190)는 메모리(150)에 저장되어 있는 제어 프로그램 및/또는 AI 프로그램 등의 수행을 통해 트레이싱 디바이스(100)를 제어할 수 있다.
본 발명에 따른 제어부(190)는 범용 프로세서(191)(General Processor)와 AI 엔진(195)을 포함하여 구성된다. 범용 프로세서(191)는 예를 들어 RISC 프로세서일 수 있고 AI 엔진(195)은 TPU(Tensor Processing Unit)일 수 있다.
제어 프로그램을 수행하는 범용 프로세서(191)는 AI 엔진(195)의 구동 및 구동 종료를 제어할 수 있고 각종 센서(IMU 센서(140), GPS 센서(130) 등)를 통한 센싱 데이터나 입력부(110)나 마이크(180)를 통한 사용자 입력에 따라 제어 프로그램을 통해 다른 블록을 제어할 수 있도록 구성된다.
예를 들어, 범용 프로세서(191)는 IMU 센서(140)로부터 수신되는 센싱 데이터로부터 트레이싱 디바이스(100)를 착용한 골퍼의 행동 패턴을 인식하고 인식된 행동 패턴에 따라 카메라 센서(160)를 구동하여 이미지 촬영을 제어할 수 있다.
AI 엔진(195)은 범용 프로세서(191)에 의한 제어로 구동될 수 있고 CNN( Convolutional Neural Network) 또는 RNN(Recursive Neural Network) 등의 AI 프로그램을 수행할 수 있다. AI 엔진(195)은 입력되는 일련의 이미지(동영상)에서 골프공을 인식하거나 골프채의 클럽 번호를 인식할 수 있다. 또는 AI 엔진(195)은 마이크(180)를 통해 입력되는 음성 신호에 대한 응답을 생성하여 출력할 수 있다.
본 발명에 따른 AI 엔진(195)은 범용 프로세서(191)에 의해 구동 제어되고 범용 프로세서(191)는 AI 엔진(195)의 구동이 필요한 이벤트를 인식하여 이벤트 발생시에만 AI 엔진(195)을 구동할 수 있도록 구성된다.
범용 프로세서(191)와 AI 엔진(195)을 포함하는 제어부(190)는 단일 칩셋으로 구성될 수 있다. 단일 칩셋 내에는 트레이싱 디바이스(100)의 다른 블록들이 더 포함될 수도 있다. 제어부(190)에서 이루어지는 각종 제어 흐름은 도 3 및 도 4를 통해서 좀 더 상세히 살펴보도록 한다.
트레이싱 디바이스(100)는 그 외 배터리를 더 포함할 수 있다. 배터리는 트레이싱 디바이스(100)의 블록들에 전원을 공급할 수 있도록 구성된다. 설계 예에 따라, 배터리로부터 출력되고 임의의 블록으로 제공되는 전원은 제어부(190)(의 범용 프로세서(191))에 의한 제어로 해당 블록(예를 들어, 카메라 센서(160), AI 엔진(195) 등)으로 공급되거나 차단될 수 있다.
도 3은 트레이싱 디바이스(100)를 통해 골프 플레이를 트레이싱하고 골프 플레이와 관련되는 데이터를 저장하는 제어 흐름을 도시한 도면이다. 도 3의 제어 흐름은 트레이싱 디바이스(100)에 의해 수행된다. 도 3의 제어 흐름을 통해, 트레이싱 디바이스(100)는 골퍼의 음성에 반응하여 골프장 내 홀( 코스)별 상태에 따라 응답할 수 있고 골프장 내의 골퍼의 샷 히스토리와 장면을 내부에 기록하고 골퍼에게 제공할 수 있다.
먼저, 골퍼나 골프 관리자 등은 트레이싱 디바이스(100)를 셋팅하고 구동시킨다(S101). 골퍼나 골프 관리자는 트레이싱 디바이스(100)의 메모리(150)에 골퍼 개인별 골프 특성 정보 및/또는 골프 라운딩이 이루어질 골프장 정보를 셋팅한다.
또한, 골퍼나 골프 관리자 등은 트레이싱 디바이스(100)의 입력부(110)의 전원 버튼(또는 플레이 버튼)을 눌러 트레이싱 디바이스(100)를 구동시킬 수 있다. 구동에 따라 제어 프로그램을 수행하는 범용 프로세서(191)는 AI 엔진(195)과 카메라 센서(160)를 오프시키고 센서 데이터를 수신할 GPS 센서(130) 및 IMU 센서(140)를 온시킬 수 있다.
트레이싱 디바이스(100)가 구동 시작함에 따라, 트레이싱 디바이스(100)는 주기적으로 센서 데이터를 수신하고 수신된 데이터로부터 각종 정보를 구성(S103)한다.
예를 들어, 제어부(190)(의 범용 프로세서(191))는 GPS 센서(130)를 통해 GPS 데이터를 주기적으로 수신하고 GPS 데이터로부터 트레이싱 디바이스(100)의 현재 위치 정보를 구성할 수 있다. 제어부(190)(의 범용 프로세서(191))는 셋팅된 골프장 정보로부터 현재 위치 정보에 대응하는 홀 (코스 )정보 및 홀(컵)에서의 상대적인 현재 위치를 결정할 수 있다.
또한, 제어부(190)(의 범용 프로세서(191))는 IMU 센서(140)를 통해 주기적으로 수신되는 센싱 데이터에 따라 트레이싱 디바이스(100)의 움직임을 센싱한다. 제어부(190)(의 범용 프로세서(191))는 IMU 센서(140)로부터 일련의 센싱 데이터로부터 골퍼의 움직임 정보를 구성할 수 있다.
움직임 정보는 예를 들어, 이동중, 정지, 전방 주시, 하향 주시, 회전 등 복수의 센싱 데이터로부터 결정되는 단일 움직임 특성을 나타낼 수 있다. 다수의(일련의 연속되는) 움직임 정보는 행동 패턴을 구성할 수 있다. 움직임 정보는 IMU 센서(140)를 통해 구성 가능한 각종 데이터(예를 들어, 이동 방향, 이동 속도, 지향 방향, 회전 속도 등)를 더 포함할 수 있다. 이러한 움직임 정보는 제어부(190)(의 범용 프로세서(191))에 의해 구성 가능하다.
여기서, 센서 데이터의 수신 과정(과 나아가 정보 구성 과정)은 반복적으로 수행되고 다른 단계의 수행 동안에도 이루어져 현재 위치 정보나 현재의 움직임 정보가 갱신, 변경되고 일련의 현재 위치 정보 및 움직임 정보는 메모리(150)에 임시 저장될 수 있다.
센서 데이터의 수신 및 구성 과정에 이어, 트레이싱 디바이스(100)는 골퍼로부터의 입력을 수신할 수 있고 예를 들어, 음성신호를 수신(S105)할 수 있다.
마이크(180)로부터의 음성 데이터를 수신한 제어부(190)(의 범용 프로세서(191))는 음성 데이터에 대응한 응답 데이터를 구성하여 출력부(170)의 스피커로 출력(S107)할 수 있다.
예를 들어, 범용 프로세서(191)는 일련의 음성 데이터의 수신에 따라 AI 엔진(195)을 구동하고 일련의 음성 데이터들과 현재 위치 정보 및 골프장 정보와 나아가 골프 특성 정보를 AI 엔진(195)으로 제공하고 AI 엔진(195)으로부터 수신되는 응답 데이터를 출력부(170)의 스피커로 출력할 수 있다.
일련의 음성 데이터는 예를 들어, 현재 위치에서 홀까지의 거리에 대한 질의 일 수 있고 AI 엔진(195)은 현재 위치 정보로부터 홀까지의 거리를 골프장 정보를 통해 결정하고 남은 거리를 나타내는 음성 응답을 출력부(170)를 통해 출력할 수 있다.
또는, 일련의 음성 데이터는 현재 위치에서 이용이 바람직한 골프채 클럽 선택 요청일 수 있고 AI 엔진(195)은 현재 위치 정보로부터 홀까지의 거리를 골프장 정보를 통해 결정하고 골퍼의 골프 특성 정보의 클럽 번호별 평균 샷거리를 이용하여 현재의 골프샷에 이용될 골프채의 클럽 번호를 선택하여 클럽 선택 요청에 대한 음성 응답으로서 선택된 클럽 번호를 포함하는 음성 응답을 출력부(170)를 통해 출력할 수 있다.
응답 데이터의 출력 이후에, 트레이싱 디바이스(100)는 계속 센서 데이터를 수신 및 정보를 구성(S103 이하 참조)하고 골퍼의 입력이나 움직임에 따라 설정되는 기능을 후속 수행할 수 있다.
트레이싱 디바이스(100)는 IMU 센서(140)로부터 수신되는 일련의 센서 데이터로부터 지정된 행동 패턴을 인식(S109)한다. 골퍼에 의한 음성신호 입력이 없는 경우 제어부(190)(의 범용 프로세서(191))는 일련의 움직임 정보로부터 행동 패턴을 인식한다. 행동 패턴은 하나 이상의 일련의 움직임 정보로부터 인식될 수 있고 예를 들어, 이동, 정지, 하측 방향 지향 등의 연속적인 움직임 정보들로 특정 행동 패턴이 인식될 수 있다.
트레이싱 디바이스(100)는 인식된 행동 패턴에 따라 (오프된) 카메라 센서(160)를 구동하여 이미지를 촬영(S111 내지 S129 참조)할 수 있다.
구체적으로, 트레이싱 디바이스(100)는 IMU 센서(140)로부터의 일련의 센싱 데이터들로부터 결정되는 행동 패턴이 골퍼가 샷을 하기 전 준비 패턴에 대응하는 지를 결정(S111)한다. 트레이싱 디바이스(100)에 미리 설정되거나 저장되어 있는 복수의 준비 패턴 각각은 정의된 일련의 움직임 정보로 표현될 수 있고 골퍼가 골프샷을 하기 전에 미리 가지는 준비 행동 과정을 나타낼 수 있다. 준비 패턴은 예를 들어, 골프채 들고, 이동하고, 다리를 벌려 준비 자세를 취하고 하측 전방을 주시하는 행동 패턴일 수 있다.
준비 패턴은 골퍼별로 서로 다를 수 있어, 트레이싱 디바이스(100)의 범용 프로세서(191)는 여러 준비 패턴들을 내부에 가지고 결정된 행동 패턴이 골프샷 전의 여러 준비 패턴 중 하나의 준비 패턴에 대응하는 경우 골프샷 전의 준비 패턴이 발생한 것으로 결정할 수 있다.
결정된 행동 패턴이 준비 패턴인 경우, 트레이싱 디바이스(100)는 AI 엔진(195)을 구동(S113)한다. 예를 들어, 범용 프로세서(191)는 AI 엔진(195)을 구동하기 위한 신호를 AI 엔진(195)으로 나아가 배터리로 출력할 수 있다. 범용 프로세서(191)는 카메라 센서(160)도 구동한다.
AI 엔진(195)의 구동에 따라 트레이싱 디바이스(100)는 카메라 센서(160)로부터 수신되는 일련의 이미지에서 골프공을 인식하고 골프공 인식 결과를 생성(S115)한다. 범용 프로세서(191)에 의해 구동되는 AI 엔진(195)은 카메라 센서(160)로부터 수신되는 이미지에서 지정된 시간 동안, 또는 범용 프로세서(191)에 의해 다른 지정된 행동 패턴이나 움직임 정보의 인식 이전에, 골프공을 인식하고 골프공 인식 여부를 나타내는 결과를 생성하여 범용 프로세서(191)나 메모리(150)로 출력할 수 있다.
골프공의 인식과 함께, AI 엔진(195)은 카메라 센서(160)로부터 수신되는 이미지에서 클럽 번호(예를 들어, 7번 등)를 인식할 수 있다. 골프공의 인식에 이용되는 AI 프로그램과 클럽 번호 인식에 이용되는 AI 프로그램은 동일하거나 상이할 수 있다. 예를 들어, 골프공 인식에 이용되는 AI 프로그램은 CNN AI 프로그램이고 클럽번호 인식에 이용되는 AI 프로그램은 RNN AI 프로그램일 수 있다. 골퍼는 준비 패턴 이후에 골프 클럽 번호를 시각적으로 확인할 수 있고 이 때 AI 엔진(195)은 클럽 번호를 인식 가능하다.
골프공의 인식 결과에 따른 골프공의 인식 이후에, 트레이싱 디바이스(100)는 IMU 센서(140)로부터의 일련의 센싱 데이터들에서 샷 패턴을 인식(S117)한다. 골프공이 인식된 경우에, 트레이싱 디바이스(100)가 이후 과정(S117 내지 S121)을 수행할 수 있다.
트레이싱 디바이스(100)의 범용 프로세서(191)는 AI 엔진(195)에 의한 골프공 인식에 후속하여 AI 엔진(195)의 구동을 중단하고 IMU 센서(140)로부터의 일련의 센싱 데이터를 통해 골프샷 패턴을 인식한다. 샷 패턴도 다른 행동패턴과 유사하게 일련의 움직임 정보로 정의될 수 있고 샷 패턴은 골퍼의 이동없이 특정 방향으로 회전 움직임으로 정의될 수 있다.
샷 패턴의 인식에 후속하여, 트레이싱 디바이스(100)는 카메라 센서(160)를 제어하여 이미지를 촬영(S119)한다. 예를 들어, 제어부(190)의 범용 프로세서(191)는 샷 패턴 인식 직후에 카메라 센서(160)를 구동하여 카메라 센서(160)를 통해 이미지 촬영을 제어하고 촬영된 이미지를 메모리(150)에 저장할 수 있다.
이미지 촬영이 이루어짐에 따라, 트레이싱 디바이스(100)는 특정 골프장의 현재 위치에서 샷이 이루어진 것임을 특정할 수 있는 후보 샷 정보를 생성하여 메모리(150)에 저장(S121)한다. 범용 프로세서(191)에 의해 생성되고 메모리(150)에 저장되는 후보 샷 정보는 적어도 GPS 센서(130)에 의해 결정되는 현재 위치 정보, 샷 패턴 인식 후 촬영된 이미지 및 골프샷이 이루어진 시각을 포함하고 AI 엔진(195)에 의해 더 인식되고 골프샷에 이용된 클럽 번호를 더 포함할 수 있다. 범용 프로세서(191)는 AI 엔진(195)을 통해 인식된 클럽 번호를 후보 샷 정보에 더 저장 가능하다.
설계 예에 따라, 샷 패턴의 인식(S117)과 후속하는 이미지 촬영(S119)은 생략될 수 있다. 이에 따라 골프공의 인식(S115) 만으로도 후보 샷 정보가 생성되어 저장 가능하다.
트레이싱 디바이스(100)(의 범용 프로세서(191))는 현재 저장된 최신 후보 샷 정보와 직전(바로 이전)에 저장된 후보 샷 정보를 비교하고 두 후보 샷 정보의 위치 정보 사이의 차이(거리)가 지정된 거리(예를 들어, 5 m 등, 일반적으로 골프샷이 이루어진 경우의 최소 골프공 이동 거리 미만으로 설정되는 거리) 미만인 경우 직전에 저장된 후보 샷 정보를 삭제한다.
이에 따라, 트레이싱 디바이스(100)의 특성상 비록 골프공의 비행을 디지털적으로(자동으로) 확인 불가능한 경우라도 위치 변화와 샷 인식을 통해 간단히 발생한 골프샷을 트레이싱 가능하도록 구성된다.
두 후보 샷 정보의 위치 정보 사이의 차이가 지정된 거리 이상인 경우, 트레이싱 디바이스(100)는 직전의 후보 샷 정보를 샷 이벤트 정보로 구성하여 메모리(150)에 저장(S123)한다.
범용 프로세서(191)는 직전의 후보 샷 정보의 위치 정보, 샷후 촬영 이미지, 샷 시각 및 샷거리(최신 후보 샷 정보와 직전 후보 샷 정보의 위치 정보 사이의 거리)를 포함하고 나아가 샷에 이용된 골프 클럽 번호를 더 포함하여 샷 이벤트 정보로 구성하고 메모리(150)에 저장할 수 있다.
이후, 트레이싱 디바이스(100)는 후속하는 행동 패턴이나 음성 질의 등을 처리(S103 이하 참조)할 수 있다.
인식된 행동 패턴이 골프샷 직전에 이루어지는 준비 패턴이 아닌 경우 트레이싱 디바이스(100)는 인식된 행동 패턴이 뷰잉 패턴인지를 결정(S125)한다.
제어부(190)의 범용 프로세서(191)는 일련의 움직임 정보로 구성되는 행동 패턴이 뷰잉 패턴인 지를 결정하는 데, 뷰잉 패턴은 지정된 일정 시간(예를 들어, 10 초 등) 이상 트레이싱 디바이스(100)를 착용한 골퍼의 움직임이 적고 특정 방향(전방)을 향해 바라보고 있는 상태의 행동 패턴일 수 있다.
뷰잉 패턴은 IMU 센서(140)로부터의 3축 가속도 센싱 데이터가 지정된 임계 데이터 이하이고 3축의 각속도 센싱 데이터 또한 지정된 임계 데이터 이하인(여기서, 3축 각속도의 임계 데이터와 3축 가속도의 임계 데이터는 동일하거나 서로 상이할 수 있음) 경우의 행동 패턴일 수 있다. 또는 뷰잉 패턴은 IMU 센서(140)로부터 결정되는 속도가 지정된 임계 속도 이하이고 3축의 각속도가 지정된 임계 각속도 이하인 행동 패턴일 수 있다. 적어도 뷰잉 패턴은 골퍼의 움직임이 없고 골퍼가 하측(아래측)을 바라보지 않고 골프 필드를 향해 바라보고 있는 상태를 나타내는 행동 패턴일 수 있다.
뷰잉 패턴인 아닌 경우, 트레이싱 디바이스(100)는 다른 행동 패턴 매칭을 시도하거나 후속하는 행동 패턴이나 음성 질의 등을 처리(S103 이하)할 수 있다.
트레이싱 디바이스(100)(의 범용 프로세서(191))는 결정된 행동 패턴이 뷰잉 패턴인 경우 카메라 센서(160)를 제어하여 이미지를 촬영(S127)하고 촬영된 이미지 또는 일련의 연속적인 이미지들의 동영상을 촬영 지점의 현재 위치 정보, 촬영 시각과 함께 메모리(150)에 저장(S129)한다.
단계 S129를 통해 뷰잉 패턴 인식에 따라 메모리(150)에 저장되는 이미지들은 골프 라운딩을 기념하기 위한 비디오 로그(Video Log : Vlog) 구성에 이용된다. 뷰잉 패턴에 따라 촬영된 이미지는 골퍼의 움직임이 없고 전방을 향한 상태에서 촬영되어 촬영되는 이미지는 흔들림이 적고 골프장의 풍경 등을 담을 수 있다. 비디오 로그는 같이 골프 라운딩을 즐긴 골퍼들의 여러 트레이싱 디바이스(100)의 메모리(150)에 저장되어 있는 이미지들의 조합으로 구성될 수 있다.
저장 과정에서 트레이싱 디바이스(100)(의 범용 프로세서(191))는 촬영된 이미지를 필터링할 수 있다. 예를 들어, 범용 프로세서(191)는 AI 엔진(195)을 구동하고 촬영된 이미지를 AI 엔진(195)으로 제공하여 촬영된 이미지에서 물체 인식 결과를 AI 엔진(195)으로부터 수신하고 물체가 인식되는 경우, 촬영된 이미지를 메모리(150)에 저장하고 물체가 인식되지 않은 이미지는 제거할 수 있다. 인식 가능한 물체는 예를 들어, 골퍼(사람), 나무, 들판, 호수, 바다, 산 등 일 수 있다.
이미지의 저장 이후에, 트레이싱 디바이스(100)는 후속하는 행동 패턴이나 음성 질의 등을 처리(S103 이하)할 수 있다.
도 3의 제어 흐름을 통해, 트레이싱 디바이스(100)는 저전력의 IMU 센서(140)를 통한 특정 행동 패턴에 따라 전력 소비가 높은 AI 엔진(195)을 최소한 구동하여 높은 정확도를 가지면서 골프 라운딩의 이력을 알 수 있는 샷 이벤트나 영상(정지영상, 동영상)을 촬영하고 기록할 수 있다.
도 4는 골프장의 특정 홀 코스에서 트레이싱 디바이스(100)를 통해 골퍼와 인터페이스하고 골프 플레이를 트레이싱하는 일 사용예를 나타내는 도면이다.
모자나 선글라스 등에 트레이싱 디바이스(100)를 착용한 골퍼는 특정 N번(N은 1에서 18 사이의 숫자임) 홀 코스의 티잉구역에서 티업(도 4의 ⓐ 참조)을 통해 N번 홀에서의 골프 플레이를 시작할 수 있다.
골퍼는 티업 하기전 골퍼가 주로 하는 사전 준비 행동을 한다. 준비 행동은 골퍼별로 상이할 수 있으나 골프 클럽을 내리고 준비 자세(예를 들어, 양발을 어깨너비 이상 벌리고 아래를 바라보는 자세 등) 취하는 행동 등일 수 있다.
트레이싱 디바이스(100)(의 범용 프로세서(191))는 골퍼의 준비 행동에 따른 행동 패턴을 인식하고 내부 메모리(150)에 저장되어 있는 여러 준비 패턴 중 하나의 준비 패턴과의 일치 여부에 따라 일치하는 경우 AI 엔진(195)을 구동하고 샷 패턴 인식에 따라 후보 샷 정보를 메모리(150)에 저장한다.
트레이싱 디바이스(100)(의 범용 프로세서(191))는 티잉구역에서 여러 번의 준비 행동에 따라 여러 개의 후보 샷 정보를 생성할 수 있다. 트레이싱 디바이스(100)(의 범용 프로세서(191))는 티잉구역에서의 여러 후보 샷 정보(지정된 거리 미만의 후보 샷 정보) 중 가장 최신(마지막)의 후보 샷 정보만을 메모리(150)에 남기고 나머지 이전의 후보 샷 정보는 삭제할 수 있다.
한편, 다른 조원의 골퍼가 티업을 하는 경우, 특정 조원의 골퍼는 다른 조원의 티업 모습을 바라보거나 홀 코스를 바라볼 수 있다. 특정 조원의 골퍼의 트레이싱 디바이스(100)는 뷰잉 패턴을 인식하고 이미지를 촬영하여 저장할 수 있다.
모든 조원의 티업이 끝난 후 조원들은 다음 샷장소로 이동한다. 이동 과정에서 트레이싱 디바이스(100)는 일정 수준 이상의 움직임 인식에 따라 뷰잉 패턴을 인식하지 못할 수 있고 그에 따른 사진 촬영도 이루어지지 않을 수 있다.
다음 샷장소(도 4의 ⓑ)에서 골퍼는 음성을 통해 남은 거리를 질의하거나 추천 클럽을 트레이싱 디바이스(100)에 질의할 수 있다. 트레이싱 디바이스(100)는 트레이싱 디바이스(100)가 위치하는 현재 위치로부터 홀까지의 거리를 골프장 정보(홀별 위치 영역 정보)를 이용하여 산출하고 음성으로 출력하거나 골퍼의 골프 특성 정보를 이용하여 골프 클럽을 음성으로 추천할 수 있다.
장소 ⓑ에서, 골퍼는 두 번째 샷을 위한 준비 행동을 할 수 있고 트레이싱 디바이스(100)는 준비 패턴의 인식에 따라 후보 샷 정보를 생성할 수 있다. 트레이싱 디바이스(100)는 장소 ⓑ에서 첫 번째 후보 샷 정보가 생성됨에 따라, 티잉구역의 최종 후보 샷 정보와 거리 차이를 인식하고 티잉구역의 최종 후보 샷 정보에 기초한 샷 이벤트 정보를 생성하여 메모리(150)에 저장한다.
샷 이벤트 정보는 위치 정보, 이미지, 샷 시각, 샷거리(티잉구역의 최종 후보 샷 정보의 위치 정보와 장소 ⓑ의 첫 번째 후보 샷 정보의 위치 정보 사이의 거리)를 포함하고 골프 클럽 번호를 더 포함할 수 있다.
장소 ⓑ에서도, 골퍼는 여러 개의 후보 샷 정보를 생성할 수 있고 정보 간의 거리에 따라 최종 후보 샷 정보를 제외한 나머지 정보는 삭제될 수 있다. 한편, 골퍼는 필드 등의 풍경을 바라볼 수 있다. 트레이싱 디바이스(100)는 골퍼의 행동 패턴이 뷰잉 패턴인 경우 사진(이미지)을 촬영하여 메모리(150)에 저장할 수 있다.
장소 ⓒ 및 ⓓ에서도 장소 ⓑ에서와 동일하거나 유사한 기능을 트레이싱 디바이스(100)가 수행한다. 홀이 있는 장소 ⓔ에서 트레이싱 디바이스(100)는 카메라 센서(160)를 통해 홀컵을 인식하거나 트레이싱 디바이스(100)의 현재 위치가 홀컵과 임계 거리 이내인 경우에 장소 ⓔ에서 생성된 최종 후보 샷 정보를 샷 이벤트 정보로 메모리(150)에 저장할 수 있다.
트레이싱 디바이스(100)는 IMU 센서(140)를 이용하여 골프장의 1홀부터 9홀(또는 18홀 또는 36홀)까지의 샷 이벤트를 기록하고 사진 촬영이 적합한 환경에서 사진이나 동영상을 기록할 수 있다. 본 발명에서의 이미지 촬영은 사진(정지영상) 촬영 또는 동영상 촬영을 나타낸다.
골프장에서 골프 플레이가 종료 된 후, 골프장의 프런트 등에 설치되는 사용자 단말(200)은 하나 이상의 트레이싱 디바이스(100)(조원들의 트레이싱 디바이스(100)들)에서 뷰잉 패턴 인식에 따라 촬영된 이미지(사진 또는 동영상)들을 추출하고 추출된 이미지를 조합하여 비디오 로그(Vlog)를 구성하여 골퍼들 각각의 사용자 단말(200)(스마트폰 등)로 전달될 수 있다.
도 5는 트레이싱 서버(300)의 예시적인 블록도를 나타내는 도면이다.
도 5에 따르면 트레이싱 서버(300)는 통신 유닛(310), 저장 유닛(330), 연결 유닛(350) 및 제어 유닛(370)을 포함한다. 도 5의 블록도는 기능 블록도로서 트레이싱 서버(300)는 각각의 기능을 수행하기 위한 다양한 물리적 구성을 가질 수 있다. 트레이싱 서버(300)는 다수의 물리적 서버로 분할 구성되거나 클라우드 서버 등으로 구성되거나 할당된 기능에 따라 분리 구성될 수 있다.
도 5를 통해 각 기능 블록을 살펴보면, 통신 유닛(310)은 인터넷을 통해 데이터를 송수신한다. 통신 유닛(310)은 무선랜, 유선랜, 광랜 등에 연결되기 위한 통신 칩셋을 포함하여 각종 데이터를 송수신할 수 있다.
예를 들어, 통신 유닛(310)은 IMU 센서(140)로부터 행동 패턴을 인식하고 인식된 행동 패턴에 따라 카메라 센서(160)를 구동하여 이미지를 촬영하는 트레이싱 디바이스(100)에 저장되어 있는 복수의 샷 이벤트 정보를 수신할 수 있다. 통신 유닛(310)은 트레이싱 디바이스(100)가 연결된 사용자 단말(200)을 통해 복수의 샷 이벤트 정보를 수신할 수 있다.
또한, 통신 유닛(310)은 사용자 단말(200)을 통해 각종 요청을 수신하고 수신된 요청에 대한 응답을 사용자 단말(200)로 전송할 수 있다.
저장 유닛(330)은 각종 데이터를 저장한다. 저장 유닛(330)은 하드디스크 등의 대용량 저장 매체를 포함하여 골퍼의 사용 이력과 골퍼의 특성을 알 수 있는 사용자 DB 등을 저장한다.
사용자 DB는 복수의 사용자 아이템을 포함하여 구성된다. 사용자 아이템은 특정 골퍼의 골프 플레이 이력과 골퍼의 골프 플레이 특성 등의 정보를 저장하도록 구성된다. 사용자 아이템은 사용자 ID와 패스워드를 포함하고 하나 이상의 골프 이력 정보와 골프 특성 정보를 포함하여 구성된다.
골프 이력 정보는 사용자(골퍼)의 특정 골프장에서의 라운딩을 특정하고 라운딩에서의 샷 히스토리(내역)를 알 수 있도록 구성된 정보이다. 골프 이력 정보는 골프장 ID, 이용 일시를 포함하고 각각의 홀에 맵핑된 하나 이상의(복수의) 샷 이벤트 정보를 포함한다. 골프 이력 정보에 저장되는 샷 이벤트 정보는 통신 유닛(310)을 통해 수신되는 샷 이벤트 정보와 반드시 동일할 필요는 없고 설계 예에 따라 일부는(예를 들어, 샷거리) 생략 저장될 수도 있다. 골프 이력 정보는 뷰잉 패턴의 인식에 따라 저장된 위치 정보 및 촬영 이미지를 더 포함하여 구성될 수 있다.
골프 특성 정보는 골퍼의 골프 플레이 특성을 저장하는 데, 예를 들어, 골프채 클럽 번호별 골퍼의 평균 샷거리를 포함할 수 있다. 골프 특성 정보는 사용자 단말(200)을 통해 트레이싱 디바이스(100)에 다운로드 될 수 있다.
저장 유닛(330)은 골프장 ID에 맵핑된 골프장 지도를 더 포함할 수 있다. 골프장 지도는 해당 골프장의 홀 코스 지도들을 하나 이상 포함하여 구성될 수 있다.
연결 유닛(350)은 트레이싱 서버(300)내의 블록 사이의 각종 데이터를 송수신한다. 연결 유닛(350)은 병렬 버스, 시리얼 버스, 이더넷, 와이파이 등을 하나 이상 포함하여 각종 데이터를 송수신할 수 있다.
제어 유닛(370)은 트레이싱 서버(300)를 제어한다. 제어 유닛(370)은 저장 유닛(330)에 더 저장되어 있는 하나 이상의 프로그램을 통해 트레이싱 서버(300)를 제어할 수 있다. 제어 유닛(370)은 CPU, MPU, 중앙 처리 장치, 마이컴 등을 하나 이상 포함하여 프로그램의 명령어 코드를 수행할 수 있다.
제어 유닛(370)에서 이루어지는 몇몇 제어를 살펴보면, 제어 유닛(370)은 골퍼(사용자) 로그인을 통해 사용자 단말(200)의 액세스를 허용하고 사용자 DB에서 로그인(사용자 ID 및 패스워드)에 대응하는 사용자 아이템을 검색한다.
제어 유닛(370)은 통신 유닛(310)을 통해 골프 이력 정보 업로딩 요청을 수신하고 업로딩 요청에 포함되거나 후속하는 홀별 복수의 샷 이벤트 정보(사용자 단말(200)을 통해 트레이싱 디바이스(100)에 저장되어 있는 정보)를 수신한다. 제어 유닛(370)은 사용자 아이템에 신규의 골프 이력 정보를 생성하고 골프장 ID(샷 이벤트 정보의 위치 정보로부터 자동 설정되거나 사용자 입력에 따라 설정 가능함)와 이용 일시를 설정하고 홀별 샷 이벤트 정보들을 수신된 샷 이벤트 정보로부터 구성한다.
제어 유닛(370)은 수신되는 샷 이벤트 정보로부터 사용자 아이템의 골프 특성 정보를 갱신한다. 제어 유닛(370)은 수신되는 샷 이벤트 정보들의 골프 클럽 번호와 샷거리를 이용하여 골프 특성 정보의 클럽 번호별 평균 샷거리를 갱신할 수 있다. 여기서, 수신되는 특정 샷거리는 평균 샷거리 계산에 이용되지 않을 수 있다. 예를 들어, 특정 클럽의 특정 샷거리와 해당 특정 클럽의 기존 평균 샷거리와의 비율(오차율)이 임계 비율 이하나 이상 차이(예를 들어, 50% 미만, 50% 이상)가 있는 경우 특정 샷거리는 평균 샷거리의 산출에 이용되지 않을 수 있다. 이와 같이, 제어 유닛(370)은 골퍼의 실제 측정된 샷거리를 이용하여 사용자별 특화된 클럽별 평균 거리를 산출하고 사용자 단말(200)이나 트레이싱 디바이스(100)를 통해 골퍼에게 안내할 수 있다.
제어 유닛(370)은 생성된 골프 이력 정보 및 갱신된 골프 특성 정보를 저장 유닛(330)의 사용자 아이템에 저장할 수 있다. 제어 유닛(370)은 샷 이벤트 정보들과 함께 뷰잉 패턴의 인식에 따라 구성되는 촬영 이미지 및 대응하는 위치 정보를 사용자 단말(200)로부터 수신하여 골프 이력 정보에 더 저장할 수 있다.
웹 서버나 앱 서버로 동작하는 트레이싱 서버(300)의 제어 유닛(370)은 액세스한 사용자 단말(200)로부터 수신되는 요청(request)에 따라 각종 응답을 통신 유닛(310)을 통해 출력할 수 있다.
예를 들어, 제어 유닛(370)은 사용자 단말(200)로부터 골프 이력 조회 요청을 수신할 수 있다. 골프 이력 조회 요청은 사용자 단말(200)에 의해 선택되고 골프장 ID와 라운딩 일시로 특정되거나 사용자 단말(200)에 표시되는 이미 골프 플레이가 이루어진 라운딩 이벤트 표시 중 하나의 선택으로 특정될 수 있다. 또는 골프 이력 조회 요청은 골프장 ID와 홀번호로 특정될 수 도 있다.
골프 이력 조회 요청의 수신에 따라, 제어 유닛(370)은 로그인한 사용자의 사용자 아이템에서 조회 요청이 이루어진 골프 이력 정보를 검색하고 골프장 지도에 골프 이력 정보를 맵핑하여 사용자 단말(200)로 전송한다.
사용자 단말(200)로 전송되고 골프장 지도에 맵핑되는 골프 이력 정보는 골프장 지도에 표시 가능한 홀별 복수의 샷 위치 정보와 샷 위치에서 촬영된 이미지를 포함하여 사용자 단말(200)의 디스플레이에 이미지로 표시 가능하도록 구성된다. 또는 골프장 지도에 맵핑되는 골프 이력 정보는 골퍼에 의해 선택된 홀 코스의 지도에 복수의 샷 위치 정보 및 촬영된 이미지를 포함하여 사용자 단말(200)로 전송되어 디스플레이 이미지로 표시 가능하다.
골프 이력 정보의 수신에 따라, 사용자 단말(200)은 골프장 지도(홀 코스)에 샷 위치를 아이콘 등의 이미지로 표시(도 4 참조)하고 샷 위치 근처에 이미지 아이콘을 표시할 수 있다. 사용자 단말(200)의 골퍼는 이미지 아이콘의 선택시에 해당 위치에서의 샷 후 모습을 나타내는 촬영 이미지를 팝업창으로 표시할 수 있다. 팝업창으로 표시되는 촬영 이미지는 사용자 단말(200) 또는 트레이싱 서버(300)에 의해 삽입되는 골프공의 이동동선의 표시를 가질 수 있다. 사용자 단말(200) 또는 트레이싱 서버(300)는 해당 위치에서의 샷거리와 다음(후속) 샷의 위치와의 상대적인 방향에 따라 현재 샷의 이미지에 골프공의 이동동선을 삽입할 수 있다.
이와 같은 과거 골프 이력을 사용자 단말(200)로 전송함으로써, 골퍼는 과거 특정 골프장에서의 골프 플레이나 특정 홀 코스에서의 골프 플레이를 확인 가능하다.
그 외, 제어 유닛(370)은 사용자 단말(200)로부터의 비디오 로그(Vlog) 생성 요청에 따라 하나 이상의 골프 이력 정보에 저장되어 있는 뷰잉 패턴의 인식에 따른 이미지를 이용하여 지정된 시간 길이(예를 들어, 1분, 3분 등)를 가지는 비디오 로그를 생성하여 사용자 단말(200)로 통신 유닛(310)을 통해 전달 가능하다.
도 6은 비디오 로그 생성 장치(400)의 예시적인 블록도를 도시한 도면이다.
비디오 로그 생성 장치(400)는 골프장 프런트에 설치되는 개인용 컴퓨터, 노트북 등이거나 골퍼가 이용하는 개인용 컴퓨터, 노트북, 스마트폰 등일 수 있다. 비디오 로그 생성 장치(400)는 바람직하게는 골프장 프런트에 설치되는 컴퓨터나 노트북일 수 있다.
트레이싱 디바이스(100)에 저장된 이미지나 동영상으로부터 비디오 로그를 생성 가능한 비디오 로그 생성 장치(400)는 외부 인터페이스(410), 입력 인터페이스(420), 저장매체(430), 디스플레이(440), 출력 인터페이스(450) 및 프로세서(460)를 포함한다.
비디오 로그 생성 장치(400)를 블록도를 통해 살펴보면, 외부 인터페이스(410)는 트레이싱 디바이스(100)와 인터페이싱 가능하다. 외부 인터페이스(410)는 USB 단자, USB 호스트 칩셋 등을 포함하여 트레이싱 디바이스(100)에 연결되어 트레이싱 디바이스(100)와 각종 데이터를 송수신할 수 있다.
입력 인터페이스(420)는 사용자 입력을 수신한다. 입력 인터페이스(420)는 키보드, 마우스, 마이크 등을 포함하여 비디오 로그 생성 장치(400)를 이용하는 사용자 입력을 수신한다.
저장매체(430)는 휘발성 메모리 및/또는 하드디스크 등을 포함하여 각종 데이터와 프로그램을 저장한다. 저장매체(430)는 트레이싱 디바이스(100)로부터 수신되거나 추출되는 각종 이미지나 동영상을 저장하고 비디오 로그를 생성하기 위한 비디오 로그 프로그램을 저장할 수 있다.
디스플레이(440)는 영상 신호를 출력한다. 디스플레이(440)는 LED 디스플레이-모듈 및/또는 LCD 디스플레이-모듈 등을 포함하여 프로세서(460)로부터 수신되는 영상 데이터를 영상 신호로 출력한다.
출력 인터페이스(450)는 스피커, LED 등을 포함하여 사용자가 인식 가능한 신호를 출력한다. 출력 인터페이스(450)는 예를 들어, 음성 신호를 스피커를 통해 출력할 수 있다.
프로세서(460)는 비디오 로그 생성 장치(400)를 제어한다. 프로세서(460)는 프로그램의 명령어를 수행할 수 있는 실행 유닛을 하나 이상 포함하여 저장매체(430)의 비디오 로그 프로그램을 수행하여 비디오 로그를 생성하고 생성된 비디오 로그를 디스플레이(440)와 출력 인터페이스(450)를 통해 출력할 수 있다. 프로세서(460)는 생성된 비디오 로그를 외부 인터페이스(410) 등을 통해 트레이싱 디바이스(100)나 USB 메모리에 저장할 수 있다. 여기서, 비디오 로그 프로그램은 인공지능을 이용하는 프로그램일 수 있다. 프로세서는 CPU, MPU, 중앙 처리 장치, 마이컴 등을 나타내거나 등으로 지칭될 수 있다.
비디오 로그 프로그램을 수행하는 프로세서(460)는 외부 인터페이스(410)를 통해 트레이싱 디바이스(100)에 연결되고 트레이싱 디바이스(100)의 메모리(150)에 저장되어 있는 하나 이상의 이미지 및/또는 동영상을 저장매체(430)에 저장할 수 있다. 프로세서(460)는 하나 이상의(다수의) 트레이싱 디바이스(100)의 메모리(150)에 저장되어 있는 하나 이상의 이미지 및/또는 동영상을 저장매체(430)에 저장할 수 있다.
또한, 프로세서(460)는 입력 인터페이스(420)를 통한 사용자 입력에 따라 생성될 비디오 로그의 플레이 시간(예를 들어, 1분, 3분 등) 등을 설정할 수 있다.
프로세서(460)는 저장매체(430)에 저장되어 있는 하나 이상의 트레이싱 디바이스(100)의 이미지 및/또는 동영상을 비디오 로그 프로그램의 인공지능 알고리즘에 따라 합성하여 자동으로 비디오 로그를 생성하고 생성된 비디오 로그를 저장매체(430)에 저장하고 외부 인터페이스(410)를 통해 외부의 메모리에 다운로드할 수 있다.
외부 인터페이스(410)를 통해 비디오 로그 생성 장치(400)와 연결되는 트레이싱 디바이스(100)는 골프 라운딩시에 IMU 센서(140)에 의한 뷰잉 패턴의 인식에 따라 촬영되는 이미지나 동영상(일련의 연속적인 이미지들)을 메모리(150)에 저장하고, 프로세서(460)는 여러 트레이싱 디바이스(100)에서 뷰잉 패턴의 인식에 따라 촬영된 이미지나 동영상을 이용하여 비디오 로그를 구성한다.
비디오 로그의 구성시에, 프로세서(460)는 여러 트레이싱 디바이스(100)에 저장된 이미지나 동영상을 골프 홀 코스별로 분류(이미지나 동영상에 맵핑되어 있는 위치 정보를 이용하여 분류)하고 분류된 홀 코스별의 이미지나 동영상을 인공지능 알고리즘에 따라 선별하여 설정된 플레이 시간 내의 비디오 로그를 생성할 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100 : 트레이싱 디바이스
110 : 입력부 120 : 외부 인터페이스부
130 : GPS 센서 140 : IMU 센서
150 : 메모리 160 : 카메라 센서
170 : 출력부 180 : 마이크
190 : 제어부
191 : 범용 프로세서 195 : AI 엔진
200 : 사용자 단말
300 : 트레이싱 서버
310 : 통신 유닛 330 : 저장 유닛
350 : 연결 유닛 370 : 제어 유닛
400 : 비디오 로그 생성 장치
410 : 외부 인터페이스 420 : 입력 인터페이스
430 : 저장매체 440 : 디스플레이
450 : 출력 인터페이스 460 : 프로세서

Claims (12)

  1. 모자 또는 선글라스에 고정되는 골프 플레이 트레이싱 디바이스로서,
    상기 트레이싱 디바이스의 움직임을 센싱하는 IMU 센서;
    상기 트레이싱 디바이스의 위치를 센싱하는 GPS 센서;
    데이터를 저장하는 메모리;
    외부 이미지를 촬영하는 카메라 센서; 및
    범용 프로세서와 AI 엔진을 포함하는 제어부로서, 상기 범용 프로세서는 상기 AI 엔진의 구동을 제어하고 상기 IMU 센서로부터 수신되는 센싱 데이터로부터 행동 패턴을 인식하고 인식된 행동 패턴에 따라 상기 카메라 센서를 구동하여 이미지 촬영을 제어하는, 제어부;를 포함하고,
    상기 범용 프로세서는 상기 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 골프샷 전의 준비 패턴에 대응하는 경우 상기 AI 엔진을 구동하고,
    상기 범용 프로세서에 의해 구동되는 상기 AI 엔진은 상기 카메라 센서로부터 수신되는 이미지에서 골프공을 인식하고 골프공 인식 결과를 출력하며,
    상기 범용 프로세서는 상기 골프공 인식 결과에 따른 골프공 인식에 후속하여 상기 IMU 센서로부터의 복수의 센싱 데이터를 통해 샷 패턴을 인식하고 샷 패턴의 인식에 후속하여 상기 카메라 센서를 제어하여 촬영되는 이미지, 상기 GPS 센서로부터의 위치 정보 및 샷 시각을 포함하는 후보 샷 정보를 상기 메모리에 저장하고,
    상기 범용 프로세서는 최신 후보 샷 정보와 직전 후보 샷 정보의 위치 정보 차이가 지정된 거리 이상인 경우 최신 후보 샷 정보 직전의 후보 샷 정보를 샷 이벤트 정보로 메모리에 저장하는,
    트레이싱 디바이스.
  2. 삭제
  3. 삭제
  4. 모자 또는 선글라스에 고정되는 골프 플레이 트레이싱 디바이스로서,
    상기 트레이싱 디바이스의 움직임을 센싱하는 IMU 센서;
    상기 트레이싱 디바이스의 위치를 센싱하는 GPS 센서;
    데이터를 저장하는 메모리;
    외부 이미지를 촬영하는 카메라 센서; 및
    범용 프로세서와 AI 엔진을 포함하는 제어부로서, 상기 범용 프로세서는 상기 AI 엔진의 구동을 제어하고 상기 IMU 센서로부터 수신되는 센싱 데이터로부터 행동 패턴을 인식하고 인식된 행동 패턴에 따라 상기 카메라 센서를 구동하여 이미지 촬영을 제어하는, 제어부;를 포함하고,
    상기 범용 프로세서는 상기 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 골프샷 전의 준비 패턴에 대응하는 경우 상기 AI 엔진을 구동하고 상기 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 뷰잉 패턴인 경우 상기 카메라 센서를 구동하여 촬영되는 이미지를 상기 메모리에 저장하고,
    상기 범용 프로세서에 의해 구동되는 상기 AI 엔진은 상기 카메라 센서로부터 수신되는 이미지에서 골프공을 인식하고 골프공 인식 결과를 출력하고,
    상기 범용 프로세서는 상기 골프공 인식 결과에 따라 상기 GPS 센서로부터의 위치 정보, 상기 카메라 센서에서 촬영되는 이미지 및 샷 시각을 포함하는 후보 샷 정보를 상기 메모리에 저장하며,
    뷰잉 패턴 판단에 따라 상기 메모리에 저장되는 하나 이상의 이미지는 다른 트레이싱 디바이스의 이미지와 함께 비디오 로그 구성에 이용되고,
    상기 뷰잉 패턴은 지정된 시간 동안에 상기 IMU 센서로부터의 3축 가속도 센싱 데이터가 지정된 제1 임계 데이터 이하이고 3축 각속도 센싱 데이터가 지정된 제2 임계 데이터 이하인 경우의 행동 패턴인,
    트레이싱 디바이스.
  5. 제1항에 있어서,
    음성신호를 수신하는 마이크; 및
    스피커를 포함하는 출력부;를 더 포함하고,
    상기 범용 프로세서는 상기 마이크로부터의 음성 데이터의 수신에 따라 상기 AI 엔진을 구동하고 상기 AI 엔진으로 골프장 정보, 현재 위치 정보 및 음성 데이터를 제공하고 상기 AI 엔진으로부터 수신되는 응답 데이터를 상기 출력부로 출력하는,
    트레이싱 디바이스.
  6. 제5항에 있어서,
    상기 범용 프로세서에 의해 구동되는 상기 AI 엔진은 상기 카메라 센서로부터 수신되는 이미지에서 클럽 번호를 인식하고,
    상기 범용 프로세서는 샷 패턴의 인식에 후속하여 구성되는 상기 후보 샷 정보에 인식된 클럽 번호를 더 저장하고,
    상기 AI 엔진은 상기 음성 데이터로부터의 클럽 선택 요청에 따라 상기 범용 프로세서에 의해 더 제공되는 사용자 골프 특성 정보에 따라 선택되는 클럽 번호를 포함하는 응답 데이터를 출력하는,
    트레이싱 디바이스.
  7. 골프 플레이 트레이싱 방법으로서,
    트레이싱 디바이스가 IMU 센서를 통해 움직임을 센싱하는 단계;
    상기 트레이싱 디바이스가 상기 IMU 센서로부터의 센싱 데이터로부터 행동 패턴을 인식하는 단계;
    상기 트레이싱 디바이스가 인식된 행동 패턴에 따라 카메라 센서를 구동하여 이미지를 촬영하고 촬영된 이미지에서 골프공을 인식하는 단계;
    상기 트레이싱 디바이스가 상기 골프공의 인식에 따라 GPS 센서로부터의 위치 정보, 상기 카메라 센서에서 촬영되는 이미지 및 샷 시각을 포함하는 후보 샷 정보를 저장하는 단계; 및
    상기 트레이싱 디바이스가 저장되는 최신 후보 샷 정보와 직전 후보 샷 정보의 위치 정보 차이가 지정된 거리 이상인 경우 최신 후보 샷 정보 직전의 후보 샷 정보를 샷 이벤트 정보로 저장하는 단계;를 포함하고,
    상기 인식된 행동 패턴에 따라 이미지를 촬영하고 골프공을 인식하는 단계는,
    상기 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 복수의 준비 패턴 중 하나의 준비 패턴에 대응하는 경우 상기 트레이싱 디바이스의 AI 엔진을 구동하는 단계;
    상기 AI 엔진을 통해 상기 카메라 센서로부터 수신되는 이미지에서 골프공을 인식하고 골프공 인식 결과를 생성하는 단계;
    상기 골프공 인식 결과에 따라 상기 IMU 센서로부터의 복수의 센싱 데이터를 통해 샷 패턴을 인식하는 단계; 및
    상기 샷 패턴의 인식에 후속하여 상기 카메라 센서를 제어하여 이미지를 촬영하는 단계;를 포함하고,
    상기 트레이싱 디바이스는 모자 또는 선글라스에 고정되는 디바이스인,
    골프 플레이 트레이싱 방법.
  8. 삭제
  9. 삭제
  10. 골프 플레이 트레이싱 방법으로서,
    트레이싱 디바이스가 IMU 센서를 통해 움직임을 센싱하는 단계;
    상기 트레이싱 디바이스가 상기 IMU 센서로부터의 센싱 데이터로부터 행동 패턴을 인식하는 단계;
    상기 트레이싱 디바이스가 인식된 행동 패턴에 따라 카메라 센서를 구동하여 이미지를 촬영하는 단계; 및
    상기 트레이싱 디바이스가 상기 카메라 센서를 통해 촬영된 이미지를 저장하는 단계;를 포함하고,
    상기 인식된 행동 패턴에 따라 이미지를 촬영하는 단계는,
    상기 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 복수의 준비 패턴 중 하나의 준비 패턴에 대응하는 경우 상기 트레이싱 디바이스의 AI 엔진을 구동하고 상기 IMU 센서로부터의 복수의 센싱 데이터로부터 결정되는 행동 패턴이 뷰잉 패턴인 경우 상기 카메라 센서를 제어하여 이미지를 촬영하는 단계;
    상기 행동 패턴이 상기 준비 패턴에 대응하는 경우, 상기 AI 엔진을 통해 상기 카메라 센서로부터 수신되는 이미지에서 골프공을 인식하고 골프공 인식 결과를 생성하는 단계;
    상기 골프공 인식 결과에 따라 상기 IMU 센서로부터의 복수의 센싱 데이터를 통해 샷 패턴을 인식하고 상기 샷 패턴의 인식에 후속하여 상기 카메라 센서를 제어하여 이미지를 촬영하는 단계;를 포함하고,
    상기 트레이싱 디바이스는 모자 또는 선글라스에 고정되는 디바이스이고,
    뷰잉 패턴 인식에 따라 저장되는 복수의 촬영 이미지는 비디오 로그 구성에 이용되고,
    상기 뷰잉 패턴은 지정된 시간 동안에 상기 IMU 센서로부터의 3축 가속도 센싱 데이터가 지정된 제1 임계 데이터 이하이고 3축 각속도 센싱 데이터가 지정된 제2 임계 데이터 이하인 경우의 행동 패턴인,
    골프 플레이 트레이싱 방법.
  11. 삭제
  12. 제4항에 따른 하나 이상의 트레이싱 디바이스에 연결되어 상기 트레이싱 디바이스로부터 데이터 수신이 가능한 외부 인터페이스;
    상기 외부 인터페이스를 통해 수신되는 트레이싱 디바이스의 이미지 또는 동영상과 비디오 로그 프로그램을 저장하는 저장매체; 및
    상기 비디오 로그 프로그램을 수행하는 프로세서로서, 상기 트레이싱 디바이스의 메모리에 저장되어 있는 이미지 또는 동영상을 상기 저장매체에 저장하고 설정된 플레이 시간에 따라 상기 이미지 또는 동영상으로부터 비디오 로그를 생성하는 프로세서;를 포함하고,
    상기 트레이싱 디바이스의 메모리에 저장되어 있는 이미지 또는 동영상은 골프 라운딩시에 IMU 센서에 의한 뷰잉 패턴의 인식에 따라 촬영되는 이미지나 동영상인,
    비디오 로그 생성 장치.
KR1020200071273A 2020-06-12 2020-06-12 골프 플레이 트레이싱 방법, 디바이스 및 서버 KR102369494B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200071273A KR102369494B1 (ko) 2020-06-12 2020-06-12 골프 플레이 트레이싱 방법, 디바이스 및 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200071273A KR102369494B1 (ko) 2020-06-12 2020-06-12 골프 플레이 트레이싱 방법, 디바이스 및 서버

Publications (2)

Publication Number Publication Date
KR20210154345A KR20210154345A (ko) 2021-12-21
KR102369494B1 true KR102369494B1 (ko) 2022-03-04

Family

ID=79165383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071273A KR102369494B1 (ko) 2020-06-12 2020-06-12 골프 플레이 트레이싱 방법, 디바이스 및 서버

Country Status (1)

Country Link
KR (1) KR102369494B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240027956A (ko) 2022-08-24 2024-03-05 변대열 골프 라운딩 히스토리 제공 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015016289A (ja) * 2013-06-13 2015-01-29 ソニー株式会社 情報処理装置、記憶媒体および情報処理方法
US20200014848A1 (en) * 2014-11-03 2020-01-09 Robert John Gove Autonomous media capturing

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101952402B1 (ko) 2017-03-13 2019-03-08 전유신 모바일 골프 진행 관리 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015016289A (ja) * 2013-06-13 2015-01-29 ソニー株式会社 情報処理装置、記憶媒体および情報処理方法
US20200014848A1 (en) * 2014-11-03 2020-01-09 Robert John Gove Autonomous media capturing

Also Published As

Publication number Publication date
KR20210154345A (ko) 2021-12-21

Similar Documents

Publication Publication Date Title
JP6814196B2 (ja) 統合されたセンサおよびビデオモーション解析方法
US20240058691A1 (en) Method and system for using sensors of a control device for control of a game
US9975031B2 (en) Public safety and commercial delivery management system integrating activity and event performance data collection
CN105224070B (zh) 体育活动平视显示器系统和方法
US9814935B2 (en) Fitting system for sporting equipment
US20190321728A1 (en) Game device, control method, and non-transitory computer-readable medium
CN106464848B (zh) 运动事件辨识和视频同步系统及方法
US20140278218A1 (en) Capturing and Analyzing Boardsport Maneuver Data
US20120116714A1 (en) Digital Data Processing Systems and Methods for Skateboarding and Other Social Sporting Activities
JP6980525B2 (ja) ビデオおよびモーション事象統合システム
US20130063432A1 (en) Virtual reality system for viewing current and previously stored or calculated motion data
US20170312574A1 (en) Information processing device, information processing method, and program
JP2019535090A (ja) 仮想現実アトラクション制御方法及びシステム
US20210280082A1 (en) Providing Workout Recap
CN109364471A (zh) 一种vr系统
WO2012018914A2 (en) Digital data processing systems and methods for skateboarding and other social sporting activities
KR102369494B1 (ko) 골프 플레이 트레이싱 방법, 디바이스 및 서버
TW202146084A (zh) 高爾夫球桿揮桿動作追蹤與分析的可攜式裝置、方法與系統
KR102548032B1 (ko) Ai 골프 카트 및 이를 포함하는 골프 시스템
JP2020099592A (ja) 端末装置、撮像システムおよびコンピュータプログラム
KR20240027956A (ko) 골프 라운딩 히스토리 제공 방법 및 시스템
US20230310988A1 (en) Computer-readable non-transitory storage medium having game program stored therein, game system, game apparatus, and game processing method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right