KR20150116318A - System and Method for analyzing golf swing motion using Depth Information - Google Patents

System and Method for analyzing golf swing motion using Depth Information Download PDF

Info

Publication number
KR20150116318A
KR20150116318A KR1020140041428A KR20140041428A KR20150116318A KR 20150116318 A KR20150116318 A KR 20150116318A KR 1020140041428 A KR1020140041428 A KR 1020140041428A KR 20140041428 A KR20140041428 A KR 20140041428A KR 20150116318 A KR20150116318 A KR 20150116318A
Authority
KR
South Korea
Prior art keywords
swing
golf
image
depth
club
Prior art date
Application number
KR1020140041428A
Other languages
Korean (ko)
Other versions
KR101705836B1 (en
Inventor
권순각
강진우
이동석
장재우
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020140041428A priority Critical patent/KR101705836B1/en
Publication of KR20150116318A publication Critical patent/KR20150116318A/en
Application granted granted Critical
Publication of KR101705836B1 publication Critical patent/KR101705836B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3623—Training appliances or apparatus for special sports for golf for driving
    • A63B69/3632—Clubs or attachments on clubs, e.g. for measuring, aligning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis

Abstract

The present invention relates to a system and method for analyzing a golf swing using depth information, which recognize a golf club, and a hand and a foot of a human using the depth information, and track a movement of a golf club head when doing the golf swing for precise swing analysis. The system comprises: a depth image capturing module for gaining a depth image for a touch sensor area where the golf swing is carried out; a background storage portion for storing a background image in order to determine an object; a depth image analysis processing portion for detecting the object, and extracting a pointer from the detected object; an object trajectory storage portion for tracking and storing a trajectory of the object; an object trajectory analyzing portion for analyzing the stored object, and determining a swing operation; an image storage portion for storing a swing image; and an image playing portion for playing the stored image.

Description

깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법{System and Method for analyzing golf swing motion using Depth Information}FIELD OF THE INVENTION [0001] The present invention relates to a golf swing analysis system using depth information,

본 발명은 골프 스윙 분석에 관한 것으로, 구체적으로 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하고, 골프 스윙을 할 때 골프 클럽 헤드의 움직임을 추적하여 정밀한 스윙 분석이 이루어지도록 한 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법에 관한 것이다.The present invention relates to a golf swing analysis, and more particularly, to a golf swing analysis method and apparatus for recognizing a golfer's hand and foot using depth information, And more particularly, to a golf swing analysis system and method using information.

골프는 전 세계에서 가장 빠르게 성장하고 있는 스포츠 중 하나로써 이와 관련된 산업, 예를 들어 실내 골프 연습장, 스크린 골프 연습장, 골프 게임 등의 수요 또한 증가하고 있다.Golf is one of the fastest growing sports in the world, and the demand for related industries such as indoor golf driving range, screen golf driving range and golf game is also increasing.

골프 스포츠 및 콘텐츠 인프라로 대표되는 관련 산업의 발전에도 불구하고, 골프는 실력 향상이 어려운 스포츠 중 하나이다.Despite the development of related industries represented by golf sports and content infrastructures, golf is one of the most difficult sports to improve.

이는 농구, 축구와 같이 신장이나 몸무게 등의 개인 신체적인 차이 때문이 아닌 시선의 고정, 무게중심 이동, 스윙 궤적 등으로 구성되는 골프 스윙의 복잡한 메커니즘이 그 원인이다.This is due to the complex mechanism of the golf swing, which consists of fixation of the gaze, movement of the center of gravity, swing trajectory, etc., not due to individual physical differences in height or weight, such as basketball and soccer.

골프 플레이어들은 자신의 스윙 메커니즘의 개선을 위해 스스로 반복적 연습을 하거나, 전문적인 코치를 통해 교정을 받는다.Golf players are themselves repeatedly practiced to improve their swing mechanisms, or they are corrected by a professional coach.

하지만, 스스로의 연습을 통해서는 개선점을 파악하기 힘들다. 또한, 코치의 교정을 통한 방법 역시, 실제 스윙에서의 느낌이나 메커니즘과 연결하기 어렵고, 교정 후에 적절한 스윙 메커니즘의 상태를 유지하지 못하여 다시 원래 상태로 돌아가게 되는 경우가 발생할 수 있다.However, it is difficult to grasp the improvements through their own practice. In addition, the method of calibrating the coach may also be difficult to connect with the feel or mechanism of the actual swing, fail to maintain the proper swing mechanism state after calibration, and then return to the original state.

이를 극복하기 위해 스윙에 대한 자동적 분석과 수치화, 시각화된 정보를 통해 적절한 피드백을 사용자에게 제공하는 시스템의 필요성이 대두되고 있다.In order to overcome this problem, there is a need for a system that provides users with appropriate feedback through automatic analysis, numerical analysis, and visualized information about the swing.

자동 골프 스윙 분석 시스템의 실현을 위해 연속적으로 입력되는 사용자의 스윙에서 특정 신체 부위의 움직임을 추적하는 다양한 방법론이 제안되고 있다.A variety of methodologies have been proposed to track the movement of a particular body part in a user's swing that is continuously input for the realization of an automatic golf swing analysis system.

최근에 진행되고 있는 신체 부위 추적을 위한 연구는 크게 마커(Marker)의 유무에 따라 마커 기반 방법과 마커리스(Marker-less) 기반의 방법으로 나눠진다.Recently, the research for body part tracking is largely divided into a marker-based method and a markerless-based method depending on the presence or absence of a marker.

마커 기반 방법은 추적하고자 하는 사용자의 신체 부위에 마커를 붙이고 스윙 시에 마커의 움직임을 감지하여 분석하는 방법이다.The marker-based method is a method of attaching a marker to a body part of a user to be tracked and detecting and analyzing the movement of the marker during the swing.

반면, 마커리스 기반 방법은 단일 또는 다수의 카메라를 설치하고 입력받는 영상 분석을 통해 신체 부위를 추적하는 방법이다.On the other hand, the markerless based method is a method of tracking a body part by installing a single camera or a plurality of cameras and analyzing the input image.

종래 기술의 마커 기반의 골프 스윙 분석을 통한 신체 부위 추적 방법은 사용자의 신체에 부착된 마커를 추적하여 3차원 공간상에서의 신체 부위의 움직임을 감지할 수 있으나, 마커 추적을 위해 고가의 장비 설치를 필요로 하고, 마커의 부착으로 인해 스윙 시 이질감을 줄 수 있다.The conventional body tracking method using the marker-based golf swing analysis can track the movement of the body part in the three-dimensional space by tracking the marker attached to the user's body. However, And it is possible to give a sense of heterogeneity in the swing due to the attachment of the marker.

최근에는 이러한 마커 기반 시스템의 단점을 극복하기 위해, 마커를 부착하지 않고 단일 또는 다수의 카메라를 통해 사용자의 스윙을 입력받아 이를 분석하여 신체 부위를 추적하는 마커리스 기반 방법이 주목받고 있다.In order to overcome the disadvantages of such a marker based system, a markerless based method for tracking a body part by inputting a swing of a user through a single or a plurality of cameras without attaching a marker and analyzing the swing has attracted attention.

사용되는 카메라의 종류에 따라 영상 데이터를 이용하는 시스템과 깊이 데이터를 이용하는 시스템으로 구분된다.Depending on the type of camera used, it is classified into a system that uses image data and a system that uses depth data.

그러나 이와 같은 종래 기술의 영상 데이터를 이용하는 시스템과 깊이 데이터를 이용하는 시스템의 경우도 정밀한 스윙 분석이 어려워 상용화가 어렵다.However, even in the system using the above-described conventional image data and the system using the depth data, it is difficult to perform accurate swing analysis and commercialization is difficult.

한국등록특허번호 10-1227569호Korea Patent No. 10-1227569 한국등록특허번호 10-1256046호Korea Patent No. 10-1256046

본 발명은 이와 같은 종래 기술의 골프 스윙 분석 시스템의 문제를 해결하기 위한 것으로, 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하고, 골프 스윙을 할 때 골프 클럽 헤드의 움직임을 추적하여 정밀한 스윙 분석이 이루어지도록 한 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention solves the problem of the golf swing analysis system of the prior art. The present invention uses a depth information to recognize a golf club, a hand and foot of a person, tracks the movement of a golf club head when a golf swing is performed And an object of the present invention is to provide a golf swing analysis system and method using depth information that enables precise swing analysis.

본 발명은 스윙할 때의 과정을 깊이 영상과 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이할 수 있도록 하여 사용자가 스윙 자세 교정에 활용할 수 있도록 한 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법을 제공하는데 그 목적이 있다.The present invention provides a golf swing analysis system and method using depth information that allows a user to replay a swing scene by recording a moving image with a depth image and a color image during a swing process, It has its purpose.

본 발명은 객체 추적 단계에서 파악된 헤드의 위치와 손목 위치, 무릎 등의 부위를 따로 표시하여 재생 시 표시된 영역에 대해 알아보기 쉽게 나타냄으로써 자신의 스윙에 대하여 효과적으로 찾아낼 수 있도록 한 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법을 제공하는데 그 목적이 있다.In the present invention, the position of the head, the position of the wrist, and the knee are separately displayed in the object tracking step, so that the displayed area can be easily understood. Thus, the depth information can be effectively used for finding the swing And a golf swing analysis system and method.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템은 골프 스윙이 이루어지는 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;객체를 판단하기 위한 배경 영상을 저장하는 배경 저장부;객체를 검출하고 검출된 객체로부터 포인터를 추출하는 깊이 영상 분석 처리부;객체의 궤적을 추적하여 저장하는 객체 궤적 저장부;저장된 객체를 분석하여 스윙 동작을 판단하는 객체 궤적 분석부;스윙 영상을 저장하는 영상 저장부; 및 저장된 영상을 재생하는 영상 재생부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a golf swing analysis system using depth information, comprising: a depth image capturing module for obtaining a depth image of a touch sensor area in which a golf swing is performed; An object trajectory analyzing unit for analyzing a stored object to determine a swing motion, a swing image analyzing unit for analyzing a swing motion of the object, An image storage unit for storing the image data; And an image reproducing unit for reproducing the stored image.

여기서, 상기 깊이 영상 분석 처리부는, 상기 깊이 영상 촬영 모듈을 통하여 구해진 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하여 추적을 위한 포인터를 추출하는 것을 특징으로 한다.Here, the depth image analysis processing unit recognizes a golf club, a hand and a foot of a person using the depth information obtained through the depth image photographing module, and extracts a pointer for tracking.

그리고 상기 배경 저장부는, 골프 스윙이 이루어지는 터치 센서 영역에 어떠한 물체도 놓이지 않은 상태에서의 배경 깊이 값을 얻어서 저장하고, 배경 깊이 값을 저장하기 위해 여러 개의 깊이 영상을 읽어서 그 중에서 최빈값 또는 중간값 등의 값을 선택하여 배경 영상으로 저장하는 것을 특징으로 한다.The background storage unit obtains and stores a background depth value in a state in which no object is placed on the touch sensor area where the golf swing is performed, reads a plurality of depth images to store background depth values, And stores the background image as a background image.

그리고 상기 깊이 영상 분석 처리부는, 골프 스윙을 하는 사람의 보편적인 특징과 클럽의 모양의 특징을 인식하여 사람의 손, 발 등의 사람의 특정부분과 클럽 헤드 각각의 객체들을 추출하고, 골프 클럽의 특징과 사람의 특징을 미리 입력하여 그 입력된 값과 객체들을 비교하여 각각의 객체를 인식하는 것을 특징으로 한다.The depth image analysis processing unit recognizes the universal characteristics of the golfer and the characteristics of the shape of the club to extract objects of a specific part of the person such as a person's hand or foot and each of the club heads, A characteristic and a characteristic of a person are inputted in advance, and the input values and objects are compared with each other to recognize each object.

그리고 상기 객체 궤적 저장부 및 객체 궤적 분석부는, 클럽의 객체가 존재하지 않는다면 추적을 하지 않고 클럽의 객체가 인식될 때까지 대기하고, 사람이 골프 스윙을 하기 위해 골프채를 들기 시작하면 골프 헤드의 높이가 커져 수직 위치가 기준선을 넘어서면 골프 헤드와 손목의 위치를 추적하기 시작하는 것을 특징으로 한다.The object locus storing unit and the object locus analyzing unit waits until the object of the club is recognized without tracking if the object of the club does not exist and when the person starts lifting the golf club to perform the golf swing, And when the vertical position exceeds the reference line, the position of the golf head and the wrist is started to be tracked.

그리고 상기 객체 궤적 저장부 및 객체 궤적 분석부는, 골프 스윙이 이루어지는 터치 센서 영역에서 사람이 스윙을 하여 헤드의 위치가 변동되면 헤드의 움직임을 계속 추적하여 포인터를 저장하고, 골프 헤드가 스윙을 시작하고 최고점에 도달하게 된다면 추적을 중단하고 분석을 시작하는 것을 특징으로 한다.The object locus storage unit and the object locus analyzing unit continuously swings the position of the head when the person swings in the touch sensor area where the golf swing is performed to keep track of the movement of the head to store the pointer, If the peak is reached, the tracking is stopped and analysis is started.

다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 방법은 깊이 카메라 모듈에서 촬영 영상의 배경 깊이 값을 얻어서 저장하고, 깊이 카메라 모듈이 객체를 인식하기 시작하는 단계;골프 스윙을 하는 사람의 특징과 클럽의 모양의 특징을 인식하여 사람의 손, 발 등의 사람의 특정부분과 클럽 헤드 각각의 객체들을 추출하는 단계;클럽의 객체가 존재하는지를 판단하여, 클럽의 객체가 인식될 때까지 대기하는 단계;클럽의 객체가 존재하면 골프 헤드의 높이를 검출하여 수직 위치가 기준선을 넘은 것으로 판단되면 골프 헤드와 손목의 위치를 추적하기 시작하는 단계;골프 헤드의 움직임을 계속 추적하여 포인터를 저장하고, 골프 헤드가 스윙을 시작하고 최고점에 도달하게 된다면 추적을 중단하고 분석을 시작하는 단계;골프 스윙 궤적과 손목의 위치를 미리 저장해둔 이상적인 스윙의 시간별 위치 값과 비교하여 스윙 동작을 분석하여 사용자에게 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a golf swing analysis method using depth information, comprising: obtaining and storing a background depth value of a shot image in a depth camera module and starting a depth camera module to recognize an object; Recognizing a characteristic of a person and a shape of a club to extract objects of a specific part of a person and a specific part of a person such as a person's hand or foot, determining whether an object of the club is present, Detecting a height of the golf head when the object of the club is detected and starting to track the position of the golf head and the wrist when it is determined that the vertical position has exceeded the reference line; Stopping the tracking and starting analysis if the golf head starts swinging and reaches a peak; Analyze the swing operation as compared with the time position of the ideal swing haedun previously stored in the location of the swing trajectories and wrist by displaying to a user; characterized in that it comprises a.

여기서, 스윙할 때의 과정을 깊이 영상과 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이하고, 객체 추적 단계에서 파악된 헤드의 위치와 손목 위치, 무릎 부위를 따로 표시하여 재생 시 표시하는 것을 특징으로 한다.Here, the swing process is performed by recording a moving picture with a depth image and a color image, replaying a swing scene, displaying the position of the head, the wrist position and the knee region identified in the object tracking step, do.

이와 같은 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법은 다음과 같은 효과를 갖는다.The golf swing analysis system and method using depth information according to the present invention have the following effects.

첫째, 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하고, 골프 스윙을 할 때 골프 클럽 헤드의 움직임을 추적하여 정밀한 스윙 분석이 이루어지도록 한다.First, the depth information is used to recognize the golf club and human hands and feet, and track the movement of the golf club head when performing a golf swing so that accurate swing analysis can be performed.

둘째, 스윙할 때의 과정을 깊이 영상과 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이할 수 있도록 하여 사용자가 스윙 자세 교정에 유용하게 활용할 수 있다.Secondly, it is possible to replay the swing scene by recording the video with the depth image and the color image during the swing process, so that the user can utilize it to correct the swing posture.

셋째, 객체 추적 단계에서 파악된 헤드의 위치와 손목 위치, 무릎 등의 부위를 따로 표시하여 재생 시 표시된 영역에 대해 알아보기 쉽게 나타냄으로써 자신의 스윙에 대하여 효과적으로 찾아낼 수 있다.
Third, the position of the head, the position of the wrist, and the knee are separately displayed in the object tracking step, so that the displayed area can be easily understood, thereby effectively detecting the swing.

도 1은 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템의 구성도
도 2는 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 방법을 나타낸 플로우 차트
도 3은 클럽의 객체 인식 과정을 나타낸 플로우 차트
도 4는 골프 헤드의 손목의 위치를 추적하기 위한 기준 높이 설정 구성도
도 5는 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템을 이용한 분석 화면 구성도1 is a block diagram of a golf swing analysis system using depth information according to the present invention.
2 is a flowchart illustrating a golf swing analysis method using depth information according to the present invention.
FIG. 3 is a flowchart showing an object recognition process of a club
4 is a diagram showing a reference height setting structure for tracking the position of the wrist of the golf head
5 is a diagram of an analysis screen configuration using a golf swing analysis system using depth information according to the present invention

이하, 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a golf swing analysis system and method using depth information according to the present invention will be described in detail.

본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.The features and advantages of the golf swing analysis system and method using depth information according to the present invention will be apparent from the following detailed description of each embodiment.

도 1은 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템의 구성도이고, 도 2는 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 방법을 나타낸 플로우 차트이다.FIG. 1 is a configuration diagram of a golf swing analysis system using depth information according to the present invention, and FIG. 2 is a flowchart illustrating a golf swing analysis method using depth information according to the present invention.

본 발명은 타석판에서 타점위치와 사람의 전면이 전부 촬영할 수 있는 장소에 깊이 촬영 모듈을 설치하고, 구해진 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하고, 골프 스윙을 할 때 골프 클럽 헤드의 움직임을 추적하여 이를 토대로 올바른 스윙의 여부와 스윙에서의 잘못된 점을 알아내는 것이다.A depth shooting module is installed in a place where the positions of the rattling point and the front of the person can all be photographed on the plate, and the depth information is used to recognize the golf club, the hands and feet of the person, It tracks the movement of the club head and builds on it to find out whether there is a correct swing and what is wrong with the swing.

본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템은 도 1에서와 같이, 골프 스윙이 이루어지는 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(10)과, 객체를 판단하기 위한 배경 영상을 저장하는 배경 저장부(11)와, 객체를 검출하고 검출된 객체로부터 포인터를 추출하는 깊이 영상 분석 처리부(12)와, 객체의 궤적을 추적하여 저장하는 객체 궤적 저장부(13)와, 저장된 객체를 분석하여 올바른 스윙인지 판단하는 객체 궤적 분석부(14)와, 스윙 영상을 저장하는 영상 저장부(15)와, 저장된 영상을 재생하는 영상 재생부(16)를 포함하는 것이다.As shown in FIG. 1, the golf swing analysis system using depth information according to the present invention includes a depth image capturing module 10 for obtaining a depth image of a touch sensor area where a golf swing is performed, a background image A depth image analysis processing unit 12 for detecting an object and extracting a pointer from the detected object, an object locus storage unit 13 for tracking and storing the locus of the object, An object trajectory analyzing unit 14 for analyzing and determining whether the swing is a correct swing, an image storing unit 15 for storing a swing image, and an image reproducing unit 16 for reproducing a stored image.

이와 같은 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템에서의 골프 스윙 분석은 다음과 같이 이루어진다.The golf swing analysis in the golf swing analysis system using depth information according to the present invention is as follows.

도 2에서와 같이, 깊이 카메라 모듈에서 촬영 영상의 배경 깊이 값을 얻어서 저장하고(S201), 사용자가 클럽을 들고 들어가서 타석 위치에 도달을 하면 깊이 카메라 모듈이 객체를 인식한다.(S202)2, the depth camera module obtains and stores the background depth value of the photographed image (S201). When the user enters the club and reaches the batting position, the depth camera module recognizes the object (S202)

골프 스윙을 하는 사람의 보편적인 특징과 클럽의 모양의 특징을 인식하여 사람의 손, 발 등의 사람의 특정부분과 클럽 헤드 각각의 객체들을 추출한다.(S203)(S203). [0041] In step S203, the golf club swing person recognizes the universal characteristics of the golfer and the characteristics of the shape of the club,

이어, 클럽의 객체가 존재하는지를 판단하여(S204), 클럽의 객체가 인식될 때까지 대기한다.(S205)Then, it is determined whether an object exists in the club (S204), and the process waits until the object of the club is recognized (S205)

그리고 클럽의 객체가 존재하면 골프 헤드의 높이를 검출하여 수직 위치가 기준선을 넘은 것으로 판단되면 골프 헤드와 손목의 위치를 추적하기 시작한다.(S206)If the object of the club is detected, the height of the golf head is detected. If it is determined that the vertical position exceeds the reference line, the position of the golf head and the wrist is started to be tracked (S206)

이어, 골프 헤드의 움직임을 계속 추적하여 포인터를 저장하고(S207), 골프 헤드가 스윙을 시작하고 최고점에 도달하게 된다면 추적을 중단하고 분석을 시작한다.(S208)If the golf head starts to swing and reaches the peak, the tracking is stopped and the analysis is started (S208).

그리고 골프 스윙 궤적과 손목의 위치를 미리 저장해둔 이상적인 스윙의 시간별 위치 값과 비교하여(S209), 유사한 값이 나오면 정확한 스윙으로 판정하고, 일정 부분 이상 차이가 난다면 스윙을 분석하여 사용자에게 디스플레이한다.(S210)Then, the golf swing trajectory and the position of the wrist are compared with the time position values of the ideal swing (S209). If a similar value is found, a correct swing is determined. If the difference is more than a predetermined value, the swing is analyzed and displayed to the user (S210)

이와 같은 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법을 이용한 골프 스윙 분석 과정을 구체적으로 설명하면 다음과 같다.The golf swing analysis process using the golf swing analysis system and method using depth information according to the present invention will be described in detail as follows.

타석판에서 타점위치와 사람의 전면이 전부 촬영할 수 있는 장소에 깊이 촬영 모듈을 설치하고, 구해진 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하고, 골프 스윙을 할 때 골프 클럽 헤드의 움직임을 추적하여 이를 토대로 올바른 스윙의 여부와 스윙에서의 잘못된 점을 알아내기 위하여, 사람, 골프채, 타석판에서 타점 위치가 모두 촬영될 수 있는 곳에 깊이 카메라를 설치한다.A depth photographing module is installed in a place where the position of the RB and the front of the person can be photographed on the plate, and the depth information of the golf club and the human hand are recognized using the obtained depth information. In order to determine the correct swing and the wrong point on the swing based on the motion tracking, install a depth camera where the position of the spot on the person, the golf club, and the batter plate can be all photographed.

이때 타석판에는 어떠한 물체도 놓지 않는다.At this time, no objects are placed on the plate.

그리고 깊이 카메라에서 촬영 영상의 배경 깊이 값을 얻어서 저장한다.Then, the depth camera obtains and stores the background depth value of the photographed image.

이때 정확한 배경 값을 저장하기 위해 여러 개의 깊이 영상을 읽어서 그 중에서 최빈값 또는 중간값 등의 값을 취하여 배경 영상으로 할 수 있다.At this time, in order to store an accurate background value, it is possible to read several depth images and to take a value such as a mode value or an intermediate value as a background image.

그리고 사람이 클럽을 들고 들어가서 타석 위치에 도달을 하게 된다면 카메라가 객체를 인식하기 시작할 것이다.And if a person goes in with the club and reaches the plate position, the camera will start to recognize the object.

이어, 도 3에서와 같이, 사람의 보편적인 특징과 클럽의 모양의 특징을 인식하여 사람의 손, 발 등의 사람의 특정부분과 클럽 헤드 각각의 객체들을 추출한다. 이를 위해 골프 클럽의 특징과 사람의 특징을 미리 입력하여 그 입력된 값과 객체들을 비교하여 각각의 객체를 인식할 수 있다.Then, as shown in FIG. 3, the universal character of the person and the feature of the shape of the club are recognized, and the objects of the individual parts of the person and the individual parts of the club head are extracted. For this purpose, it is possible to input a characteristic of a golf club and a characteristic of a person, and to recognize each object by comparing input values and objects.

만약 클럽의 객체가 존재하지 않는다면 추적을 하지 않고 클럽의 객체가 인식될 때까지 대기한다.If there is no object in the club, wait until the object in the club is recognized without tracking.

도 4에서와 같이, 사람이 골프 스윙을 하기 위해 골프채를 들기 시작하면 골프 헤드의 높이가 커질 것이다.As shown in FIG. 4, when a person starts lifting a golf club to perform a golf swing, the height of the golf head will increase.

이때 수직 위치가 기준선을 넘어서면 골프 헤드와 손목의 위치를 추적하기 시작한다. At this time, when the vertical position exceeds the reference line, the position of the golf head and the wrist starts to be tracked.

그리고 사람이 스윙을 하면 헤드의 위치가 변동될 것이다. 이때 헤드의 움직임을 계속 추적하여 포인터를 저장한다.And when a person swings, the position of the head will change. At this time, the movement of the head is continuously tracked and the pointer is stored.

그 후 골프 헤드가 스윙을 시작하고 최고 점에 도달하게 된다면 추적을 중단하고 분석을 시작한다.Then, when the golf head starts swinging and reaches the peak, stop tracking and start the analysis.

골프 스윙 궤적과 손목의 위치를 미리 저장해둔 이상적인 스윙의 시간별 위치 값과 비교한다. 만약 유사한 값이 나온다면 그 스윙은 정확한 스윙이다. 하지만 값이 일정 부분 이상 차이가 난다면 스윙에서 어떠한 잘못을 저질렀는지 분석하여 사용자에게 보여준다.Compare the position of the golf swing trajectory and the position of the wrist with the time position value of the ideal swing that was stored in advance. If a similar value is found, the swing is an accurate swing. However, if the value differs by more than a certain amount, Swing analyzes what is wrong and shows it to the user.

예를 들어 다운 스윙을 시작하여 헤드가 제일 낮은 위치에 도달하였을 때까지의 헤드의 깊이 값이 저장된 값의 깊이 값보다 작다면 스윙을 할 때 정확한 스윙에 비해 골프 클럽을 몸쪽으로 당겨서 스윙했다는 뜻이다.For example, if you start a downswing and reach the lowest position, if the depth of the head is less than the depth value of the stored value, then you swing the golf club against the correct swing .

그리고 도 5에서와 같이, 스윙할 때의 과정을 깊이 영상과 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이할 수 있다.As shown in FIG. 5, a swing scene can be replayed by recording a moving image using a depth image and a color image.

이때 객체 추적 단계에서 파악된 헤드의 위치와 손목 위치, 무릎 등의 부위를 따로 표시하여 재생 시 표시된 영역에 대해 알아보기 쉽게 나타냄으로써 자신의 스윙에 대하여 문제점을 찾아낼 수 있다.In this case, the position of the head, the position of the wrist, and the knee are separately displayed in the object tracking step, so that it is easy to understand the displayed area during reproduction, thereby finding a problem with the own swing.

이와 같은 본 발명에 따른 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법은 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하고, 골프 스윙을 할 때 골프 클럽 헤드의 움직임을 추적하여 정밀한 스윙 분석이 이루어지도록 한 것이다.The golf swing analysis system and method using the depth information according to the present invention recognize the golf club and the hands and feet of the golfer using the depth information and track the movement of the golf club head during the golf swing, .

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents are intended to be embraced therein It should be interpreted.

10. 깊이 영상 촬영 모듈 11. 배경 저장부
12. 깊이 영상 분석 처리부 13. 객체 궤적 저장부
14. 객체 궤적 분석부 15. 영상 저장부
16. 영상 재생부10. Depth imaging module 11. Background storage unit
12. Depth image analysis processing unit 13. Object trajectory storage unit
14. Object trajectory analysis unit 15. Image storage unit
16. Video playback unit

Claims (8)

골프 스윙이 이루어지는 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈;
객체를 판단하기 위한 배경 영상을 저장하는 배경 저장부;
객체를 검출하고 검출된 객체로부터 포인터를 추출하는 깊이 영상 분석 처리부;
객체의 궤적을 추적하여 저장하는 객체 궤적 저장부;
저장된 객체를 분석하여 스윙 동작을 판단하는 객체 궤적 분석부;
스윙 영상을 저장하는 영상 저장부; 및 저장된 영상을 재생하는 영상 재생부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 시스템.A depth image photographing module for obtaining a depth image of a touch sensor area where a golf swing is performed;
A background storage unit for storing a background image for determining an object;
A depth image analysis processing unit for detecting an object and extracting a pointer from the detected object;
An object trajectory storage unit for tracing and storing the trajectory of the object;
An object trajectory analysis unit for analyzing a stored object to determine a swing motion;
An image storage unit for storing a swing image; And an image playback unit for playing back the stored image. 제 1 항에 있어서, 상기 깊이 영상 분석 처리부는,
상기 깊이 영상 촬영 모듈을 통하여 구해진 깊이 정보를 이용하여 골프 클럽과 사람의 손, 발을 인식하여 추적을 위한 포인터를 추출하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 시스템.The depth image analyzing apparatus according to claim 1,
And a pointer for tracking is extracted by recognizing the golf club, the hand and foot of the person using the depth information obtained through the depth image photographing module. 제 1 항에 있어서, 상기 배경 저장부는,
골프 스윙이 이루어지는 터치 센서 영역에 어떠한 물체도 놓이지 않은 상태에서의 배경 깊이 값을 얻어서 저장하고,
배경 깊이 값을 저장하기 위해 여러 개의 깊이 영상을 읽어서 그 중에서 최빈값 또는 중간값 등의 값을 선택하여 배경 영상으로 저장하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 시스템.The apparatus according to claim 1,
Obtains and stores a background depth value in a state in which no object is placed in the touch sensor area where the golf swing is performed,
Wherein a plurality of depth images are read in order to store a background depth value, and a value such as a mode value or an intermediate value is selected from the plurality of depth images and stored as a background image. 제 1 항에 있어서, 상기 깊이 영상 분석 처리부는,
골프 스윙을 하는 사람의 보편적인 특징과 클럽의 모양의 특징을 인식하여 사람의 손, 발 등의 사람의 특정부분과 클럽 헤드 각각의 객체들을 추출하고,
골프 클럽의 특징과 사람의 특징을 미리 입력하여 그 입력된 값과 객체들을 비교하여 각각의 객체를 인식하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 시스템.The depth image analyzing apparatus according to claim 1,
Recognizing the universal characteristics of a golfer's swinging person and the characteristics of the shape of a club, it is possible to extract objects of a clubhead from a specific part of a person's hand or foot,
Wherein the golf swing analyzing system is configured to input a characteristic of a golf club and a characteristic of a person, and to compare the input value and objects to recognize each object. 제 1 항에 있어서, 상기 객체 궤적 저장부 및 객체 궤적 분석부는,
클럽의 객체가 존재하지 않는다면 추적을 하지 않고 클럽의 객체가 인식될 때까지 대기하고,
사람이 골프 스윙을 하기 위해 골프채를 들기 시작하면 골프 헤드의 높이가 커져 수직 위치가 기준선을 넘어서면 골프 헤드와 손목의 위치를 추적하기 시작하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 시스템.2. The apparatus of claim 1, wherein the object locus storage unit and the object locus analyzing unit,
If the object of the club does not exist, wait until the object of the club is recognized without tracking,
Wherein when the golfer starts to lift the golf club to perform a golf swing, the height of the golf club head is increased so that the position of the golf club head and the wrist is started to be tracked when the vertical position exceeds the reference line. 제 1 항에 있어서, 상기 객체 궤적 저장부 및 객체 궤적 분석부는,
골프 스윙이 이루어지는 터치 센서 영역에서 사람이 스윙을 하여 헤드의 위치가 변동되면 헤드의 움직임을 계속 추적하여 포인터를 저장하고,
골프 헤드가 스윙을 시작하고 최고점에 도달하게 된다면 추적을 중단하고 분석을 시작하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 시스템.2. The apparatus of claim 1, wherein the object locus storage unit and the object locus analyzing unit,
When a person swings in a touch sensor area where a golf swing is performed and the position of the head is changed, the movement of the head is continuously tracked to store the pointer,
And when the golf head starts to swing and reaches a peak, tracking is stopped and analysis is started. 깊이 카메라 모듈에서 촬영 영상의 배경 깊이 값을 얻어서 저장하고, 깊이 카메라 모듈이 객체를 인식하기 시작하는 단계;
골프 스윙을 하는 사람의 특징과 클럽의 모양의 특징을 인식하여 사람의 손, 발 등의 사람의 특정부분과 클럽 헤드 각각의 객체들을 추출하는 단계;
클럽의 객체가 존재하는지를 판단하여, 클럽의 객체가 인식될 때까지 대기하는 단계;
클럽의 객체가 존재하면 골프 헤드의 높이를 검출하여 수직 위치가 기준선을 넘은 것으로 판단되면 골프 헤드와 손목의 위치를 추적하기 시작하는 단계;
골프 헤드의 움직임을 계속 추적하여 포인터를 저장하고, 골프 헤드가 스윙을 시작하고 최고점에 도달하게 된다면 추적을 중단하고 분석을 시작하는 단계;
골프 스윙 궤적과 손목의 위치를 미리 저장해둔 이상적인 스윙의 시간별 위치 값과 비교하여 스윙 동작을 분석하여 사용자에게 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 방법.Acquiring and storing a background depth value of the photographed image in the depth camera module, and starting the depth camera module to recognize the object;
A step of extracting objects of a specific part of a person and a club head, such as a human hand, foot, etc., by recognizing characteristics of a golfer and a shape of the club;
Determining whether an object of the club exists, and waiting until the object of the club is recognized;
Detecting the height of the golf head when the object of the club exists, and starting to track the position of the golf head and the wrist when it is determined that the vertical position exceeds the reference line;
Keeping track of the movement of the golf head and storing the pointer, stopping the tracking and starting analysis if the golf head starts to swing and reaches a peak;
And analyzing the swing motion by comparing the position of the golf swing trajectory and the position of the wrist with the time position value of the ideal swing in which the position of the wrist is stored in advance, and displaying the analyzed swing motion to the user. 제 7 항에 있어서, 스윙할 때의 과정을 깊이 영상과 색 영상으로 동영상을 녹화하여 스윙 장면을 리플레이하고,
객체 추적 단계에서 파악된 헤드의 위치와 손목 위치, 무릎 부위를 따로 표시하여 재생 시 표시하는 것을 특징으로 하는 깊이 정보를 이용한 골프 스윙 분석 방법.
8. The method according to claim 7, wherein the process of swinging is recorded with a depth image and a color image to replay the swing scene,
Wherein the position of the head, the position of the wrist, and the position of the knee detected in the object tracking step are separately displayed and displayed during playback.
KR1020140041428A 2014-04-07 2014-04-07 System and Method for analyzing golf swing motion using Depth Information KR101705836B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140041428A KR101705836B1 (en) 2014-04-07 2014-04-07 System and Method for analyzing golf swing motion using Depth Information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140041428A KR101705836B1 (en) 2014-04-07 2014-04-07 System and Method for analyzing golf swing motion using Depth Information

Publications (2)

Publication Number Publication Date
KR20150116318A true KR20150116318A (en) 2015-10-15
KR101705836B1 KR101705836B1 (en) 2017-02-10

Family

ID=54356926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140041428A KR101705836B1 (en) 2014-04-07 2014-04-07 System and Method for analyzing golf swing motion using Depth Information

Country Status (1)

Country Link
KR (1) KR101705836B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680164A (en) * 2016-08-01 2018-02-09 中兴通讯股份有限公司 A kind of virtual objects scale adjusting method and device
WO2018097612A1 (en) * 2016-11-23 2018-05-31 주식회사 골프존 Sensing device for calculating information on user's golf shot and sensing method using same
KR20220168030A (en) * 2021-06-15 2022-12-22 주식회사 뱅코 Golf swing analysis system
CN116075341A (en) * 2020-09-14 2023-05-05 高尔纵株式会社 Sensing device for golf swing and method for sensing impact position of club head using the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008171280A (en) * 2007-01-12 2008-07-24 Nippon Hoso Kyokai <Nhk> Position detection device, method, and program
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
KR101227569B1 (en) 2011-05-26 2013-01-29 한국과학기술연구원 Body Segments Localization Device and Method for Analyzing Motion of Golf Swing
KR101256046B1 (en) 2011-08-12 2013-04-18 한국과학기술원 Method and system for body tracking for spatial gesture recognition
KR20130047081A (en) * 2011-10-31 2013-05-08 박승현 Golf simulation system using high speed machine vision cameras and golf simulation method using the same
KR20130128097A (en) * 2012-05-16 2013-11-26 전자부품연구원 Object recognition method and apparatus using depth information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008171280A (en) * 2007-01-12 2008-07-24 Nippon Hoso Kyokai <Nhk> Position detection device, method, and program
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
KR101227569B1 (en) 2011-05-26 2013-01-29 한국과학기술연구원 Body Segments Localization Device and Method for Analyzing Motion of Golf Swing
KR101256046B1 (en) 2011-08-12 2013-04-18 한국과학기술원 Method and system for body tracking for spatial gesture recognition
KR20130047081A (en) * 2011-10-31 2013-05-08 박승현 Golf simulation system using high speed machine vision cameras and golf simulation method using the same
KR20130128097A (en) * 2012-05-16 2013-11-26 전자부품연구원 Object recognition method and apparatus using depth information

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680164A (en) * 2016-08-01 2018-02-09 中兴通讯股份有限公司 A kind of virtual objects scale adjusting method and device
CN107680164B (en) * 2016-08-01 2023-01-10 中兴通讯股份有限公司 Virtual object size adjusting method and device
WO2018097612A1 (en) * 2016-11-23 2018-05-31 주식회사 골프존 Sensing device for calculating information on user's golf shot and sensing method using same
GB2570847A (en) * 2016-11-23 2019-08-07 Golfzon Co Ltd Sensing device for calculating information on user's golf shot and sensing method using same
US11229824B2 (en) 2016-11-23 2022-01-25 Golfzon Co., Ltd. Determining golf club head location in an image using line detection and contour separation
GB2570847B (en) * 2016-11-23 2022-06-08 Golfzon Co Ltd Sensing device for calculating information about user's golf shot and sensing method using the same
CN116075341A (en) * 2020-09-14 2023-05-05 高尔纵株式会社 Sensing device for golf swing and method for sensing impact position of club head using the same
KR20220168030A (en) * 2021-06-15 2022-12-22 주식회사 뱅코 Golf swing analysis system

Also Published As

Publication number Publication date
KR101705836B1 (en) 2017-02-10

Similar Documents

Publication Publication Date Title
US11380100B2 (en) Methods and systems for ball game analytics with a mobile device
US8848058B2 (en) Method for analyzing the motion of a person during an activity
US10121065B2 (en) Athletic attribute determinations from image data
KR101583406B1 (en) Display control apparatus, display control method and a recording medium thereof
US9407804B2 (en) Method, apparatus, and non-transitory medium for generating a synthetic image from a series of captured images
US8896626B2 (en) Image capturing apparatus, image processing apparatus, control method thereof and program
KR101048089B1 (en) Apparatus for virtual golf simulation, and sensing device and method used to the same
KR20140037896A (en) Method of analysing a video of sports motion
CN105450911B (en) Image processing apparatus, image processing method
WO2006135160A1 (en) System and method for analyzing golf swing motion
JP6555699B2 (en) Golf swing video information providing system, camera device for providing golf swing video information, and golf swing video information providing method
KR101705836B1 (en) System and Method for analyzing golf swing motion using Depth Information
CN105850109B (en) Information processing unit, recording medium and information processing method
KR20220100765A (en) Method of recognizing motion of golf ball and club in fast camera image and apparatus of analyzing golf motion using the same
KR102578896B1 (en) Theta data acquisition system and theta data acquisition method
KR101703316B1 (en) Method and apparatus for measuring velocity based on image
KR101231147B1 (en) System and method for analyzing golf swing
RU2736259C1 (en) Sensor device for reading information on a golf throw and a measurement method using a system
KR102055146B1 (en) Method for checking out sports motion using event-based vision sensor and apparatus for the same
CN108854031A (en) The method and relevant apparatus of exercise data are analyzed by unmanned camera work
KR20190027222A (en) Training system based on learning and training service providing method thereof
Malawski Real-Time First Person Perspective Tracking and Feedback System for Weapon Practice Support in Fencing.
KR101078954B1 (en) Apparatus for virtual golf simulation, and sensing device and method used to the same
CN116109981B (en) Shooting recognition method, basketball recognition device, electronic equipment and storage medium
CN114387546A (en) Analysis method, system and computer readable storage medium for basketball goal segment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant