KR20230167984A - Artificial Intelligence based Golf Swing Coaching Service Providing System - Google Patents

Artificial Intelligence based Golf Swing Coaching Service Providing System Download PDF

Info

Publication number
KR20230167984A
KR20230167984A KR1020220068318A KR20220068318A KR20230167984A KR 20230167984 A KR20230167984 A KR 20230167984A KR 1020220068318 A KR1020220068318 A KR 1020220068318A KR 20220068318 A KR20220068318 A KR 20220068318A KR 20230167984 A KR20230167984 A KR 20230167984A
Authority
KR
South Korea
Prior art keywords
swing
user
image
posture image
golf swing
Prior art date
Application number
KR1020220068318A
Other languages
Korean (ko)
Inventor
이태원
Original Assignee
주식회사 엠넥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠넥스 filed Critical 주식회사 엠넥스
Priority to KR1020220068318A priority Critical patent/KR20230167984A/en
Publication of KR20230167984A publication Critical patent/KR20230167984A/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012Comparing movements or motion sequences with a registered reference
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32Golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템은 사용자의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치와, 인공신경망 모델을 이용하여 상기 사용자 장치로부터 전송되는 사용자의 골프 스윙 동영상을 분석하고 그 분석 결과를 상기 사용자 장치로 전송하는 코칭 서비스 제공 서버를 포함하되, 상기 코칭 서비스 제공 서버는, 상기 사용자의 골프 스윙 동영상을 구성하는 영상 프레임으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하는 이미지 추출부, 상기 스윙 단계별 스윙자세 이미지를 추출한 결과 누락된 단계가 있는 경우 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하는 이미지 합성부, 및 상기 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하는 스윙분석부를 포함하는 것을 특징으로 한다.The artificial intelligence-based golf swing coaching service provision system according to the present invention includes a user device that captures a user's golf swing video and transmits it to the outside, and analyzes the user's golf swing video transmitted from the user device using an artificial neural network model. A coaching service providing server that transmits the analysis results to the user device, wherein the coaching service providing server includes an image extraction unit that extracts a swing posture image for each predetermined swing step from the video frames constituting the user's golf swing video. , an image synthesis unit that synthesizes the swing posture image of the missing step using image frames placed before and after the missing step when there is a missing step as a result of extracting the swing posture image for each swing step, and a swing for each swing step. It is characterized by comprising a swing analysis unit that analyzes the user's golf swing problems step by step by comparing the posture image with the standard swing posture image provided for each step.

Description

인공지능 기반 골프 스윙 코칭 서비스 제공 시스템{Artificial Intelligence based Golf Swing Coaching Service Providing System}Artificial Intelligence based Golf Swing Coaching Service Providing System}

본 발명은 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에 관한 것으로서, 더욱 구체적으로는 인공신경망 모델을 이용하여 상기 사용자 장치로부터 온라인으로 전송되는 사용자의 골프 스윙 동영상을 분석하고, 그 분석 결과에 따라 온라인상에서 상기 사용자에게 적합한 코치를 상기 사용자와 매칭시켜 주는 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에 관한 것이다. The present invention relates to an artificial intelligence-based golf swing coaching service provision system, and more specifically, to analyze a user's golf swing video transmitted online from the user device using an artificial neural network model, and to provide a golf swing coaching service online according to the analysis results. It relates to an artificial intelligence-based golf swing coaching service providing system that matches the user with a coach suitable for the user.

골프는 근래 들어 급속히 대중화가 진행됨에 따라 남녀노소가 함께 즐길 수 있는 스포츠로 자리매김하고 있으나, 길이가 긴 골프 클럽을 이용하여 상대적으로 크기가 작은 골프공을 치는 방식이기 때문에 스윙 자세에 따라 뒷땅, 탑볼, 훅, 슬라이스 등과 같은 많은 실수가 유발되기 때문에 일반 아마추어 동호인들에게는 상당히 난이도가 높은 스포츠 중 하나이다.As golf has rapidly become popular in recent years, it has established itself as a sport that can be enjoyed by people of all ages. It is one of the sports that is quite difficult for general amateurs because it causes many mistakes such as top balls, hooks, slices, etc.

따라서, 다수의 아마추어 골퍼들은 임팩트 실수나 볼의 방향성 실수를 줄이기 위하여 실내외 골프 연습장과 같은 지정된 공간에서 스윙 연습을 수행하는 것이 일반적인데, 이 경우 잘못된 스윙 자세를 교정하기 위하여 거울 등의 보조 기구를 통해 자신의 스윙 자세를 점검하거나 전문 레슨 코치를 통해 현장에서 자세 교정을 받기도 한다. Therefore, it is common for many amateur golfers to practice their swings in designated spaces, such as indoor or outdoor golf practice ranges, to reduce impact errors or ball direction errors. In this case, they use auxiliary devices such as mirrors to correct incorrect swing posture. You can check your swing posture or receive posture correction on site through a professional lesson coach.

그러나, 거울 등의 보조 기구를 이용할 경우 골퍼의 시선 처리 한계와 미스샷에 대한 원인분석 능력의 한계 등으로 인하여 정확한 문제점 체크가 어려운 단점이 있으며, 전문 레슨 코치를 이용할 경우에는 상술한 단점은 어느 정도 해결할 수는 있으나 레슨을 위한 시간적 제약과 과도한 비용발생이 불가피한 단점이 있다.However, when using auxiliary devices such as mirrors, there is a disadvantage in that it is difficult to accurately check problems due to limitations in processing the golfer's line of sight and the ability to analyze the cause of a misshot. When using a professional lesson coach, the above-mentioned disadvantages are somewhat eliminated. Although it can be solved, there are inevitable disadvantages such as time constraints for lessons and excessive costs.

이러한 문제점을 해결하기 위하여, 최근에는 하기 [문헌 1]과 [문헌 2] 등에 개시된 바와 같이 ICT 기술을 이용하여 골퍼의 스윙 영상을 분석하여 골퍼들에게 유용한 정보를 제공하는 시스템이 개발되고 있으나, 이들 시스템의 경우 대부분 스윙시 발생되는 골퍼의 움직임을 포착하기 위하여 골퍼나 골프 클럽에 부착되는 별도의 센서, 마커, 또는 웨어러블 디바이스를 구비하여야 하기 때문에 장치의 구성에 비용이 많이 소요되고 통상의 골프 연습장에서는 이용하기 곤란한 문제점이 있다.In order to solve this problem, recently, as disclosed in [Document 1] and [Document 2] below, a system that provides useful information to golfers by analyzing golfer's swing images using ICT technology has been developed, but these In most cases, the system must be equipped with a separate sensor, marker, or wearable device attached to the golfer or golf club to capture the golfer's movements that occur during the swing, so it costs a lot to configure the device, and in a typical golf driving range, There is a problem that makes it difficult to use.

[문헌 1] 한국공개특허 제2009-0105031호(2009. 10. 7. 공개)[Document 1] Korea Patent Publication No. 2009-0105031 (published on October 7, 2009)

[문헌 2] 한국공개특허 제2016-0127615호(2016. 11. 4. 공개)[Document 2] Korean Patent Publication No. 2016-0127615 (published on November 4, 2016)

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 인공신경망 모델을 이용하여 상기 사용자 장치로부터 온라인으로 전송되는 사용자의 골프 스윙 동영상을 분석하고, 그 분석 결과에 따라 온라인상에서 상기 사용자에게 적합한 코치를 상기 사용자와 매칭시켜 주는 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템을 제공하기 위한 것이다.The present invention is intended to solve the problems of the prior art as described above. The purpose of the present invention is to analyze the user's golf swing video transmitted online from the user device using an artificial neural network model, and to analyze the user's golf swing video transmitted online from the user device according to the analysis results. The purpose is to provide an artificial intelligence-based golf swing coaching service provision system that matches the user with a coach suitable for the user online.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템은 사용자의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치와, 인공신경망 모델을 이용하여 상기 사용자 장치로부터 전송되는 사용자의 골프 스윙 동영상을 분석하고 그 분석 결과에 따라 상기 사용자에게 적합한 코치를 온라인상에서 상기 사용자와 매칭시켜 주는 코칭 서비스 제공 서버를 포함하여 구성되되, 상기 코칭 서비스 제공 서버는 상기 사용자의 골프 스윙 동영상을 구성하는 영상 프레임으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하는 이미지 추출부, 상기 스윙 단계별 스윙자세 이미지를 추출한 결과 누락된 단계가 있는 경우 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하는 이미지 합성부, 상기 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하는 스윙분석부, 및 상기 사용자의 골프 스윙 문제점 분석결과에 따라 미리 저장된 코치 DB에서 상기 사용자에게 적합한 코치를 검색하여 상기 사용자에게 온라인상에서 매칭시켜 주는 코치매칭부를 포함하는 것을 특징으로 한다.In order to achieve the above purpose, the artificial intelligence-based golf swing coaching service providing system according to the present invention includes a user device that captures a user's golf swing video and transmits it to the outside, and an artificial neural network model that transmits the video from the user device. It is configured to include a coaching service providing server that analyzes the user's golf swing video and matches the user with a coach suitable for the user online according to the analysis results, wherein the coaching service providing server records the user's golf swing video. An image extraction unit that extracts a swing posture image for each predetermined swing step from the video frames that constitute it. If there is a missing step as a result of extracting the swing posture image for each swing step, the missing step is used using the video frames placed before and after the missing step. An image synthesis unit that synthesizes swing posture images of each stage of the swing, a swing analysis unit that analyzes the user's golf swing problems step by step by comparing the swing posture images of each swing step with standard swing posture images provided for each step, and the user It is characterized by including a coach matching unit that searches for a coach suitable for the user from a pre-stored coach DB according to the results of analysis of golf swing problems and matches the coach to the user online.

또한, 상기 이미지 추출부는, 상기 영상 프레임과 표준 스윙자세 이미지에 대해 검출한 적어도 하나의 특징점의 좌표를 비교하여 상기 스윙 단계별 스윙자세 이미지를 추출하되, 상기 특징점은 머리, 목, 우측 어께, 좌측 어께, 복부 코어, 우측 팔꿈치, 좌측 팔꿈치, 그립, 우측 골반, 좌측 골반, 우측 무릎, 좌측 무릎, 우측 발목, 좌측 발목, 클럽 헤드로 이루어지는 것을 특징으로 한다.In addition, the image extraction unit extracts the swing posture image for each swing step by comparing the coordinates of at least one feature point detected for the video frame and the standard swing posture image, where the feature points are the head, neck, right shoulder, and left shoulder. , It is characterized by consisting of abdominal core, right elbow, left elbow, grip, right pelvis, left pelvis, right knee, left knee, right ankle, left ankle, and club head.

또한, 상기 이미지 추출부는, 상기 스윙 단계별로 표준 스윙자세 이미지와 상기 특징점들의 좌표가 미리 정해진 오차범위 내에서 일치되는 영상 프레임을 해당 스윙 단계의 스윙자세 이미지로 추출하는 것을 특징으로 한다.In addition, the image extraction unit is characterized in that it extracts an image frame in which the coordinates of the standard swing posture image and the feature points for each swing step match within a predetermined error range as the swing posture image for the corresponding swing step.

또한, 상기 이미지 합성부는, 상기 누락된 단계의 전후에 배치된 영상 프레임에서 상기 특징점 중 머리를 기준으로 한 클럽 헤드의 좌표값 변화를 이용하여 상기 클럽 헤드의 궤적과 각속도를 계산한 후, 상기 클럽 헤드가 누락된 단계의 표준 스윙자세 이미지의 클럽 헤드의 좌표와 일치되도록 상기 특징점들의 좌표를 산출함으로써 상기 누락된 단계의 스윙자세 이미지를 합성하는 것을 특징으로 한다.In addition, the image synthesis unit calculates the trajectory and angular velocity of the club head using the change in coordinate values of the club head based on the head among the feature points in the image frames placed before and after the missing step, and then calculates the trajectory and angular velocity of the club head. The swing posture image of the missing step is synthesized by calculating the coordinates of the feature points so that they match the coordinates of the club head of the standard swing posture image of the head missing step.

또한, 상기 스윙분석부는 각 단계별로 사용자의 스윙자세 이미지와 표준 스윙자세 이미지의 상기 특징점들의 좌표값을 대비하여 상기 사용자의 골프 스윙 문제점을 분석하는 것을 특징으로 한다.In addition, the swing analysis unit is characterized in that it analyzes the user's golf swing problems by comparing the coordinate values of the feature points of the user's swing posture image and the standard swing posture image at each stage.

본 발명에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템은 인공신경망 모델을 이용하여 상기 사용자 장치로부터 온라인으로 전송되는 사용자의 골프 스윙 동영상을 분석하고, 그 분석 결과에 따라 온라인상에서 상기 사용자에게 적합한 코치를 상기 사용자와 매칭시켜 주도록 구성되기 때문에 사용자의 입장에서는 골프 스윙 레슨에 소요되는 시간과 비용을 현저히 절약할 수 있는 장점이 있다.The artificial intelligence-based golf swing coaching service providing system according to the present invention analyzes the user's golf swing video transmitted online from the user device using an artificial neural network model, and provides a suitable coach for the user online according to the analysis results. Since it is configured to match the user, the user has the advantage of significantly saving the time and cost required for golf swing lessons.

또한, 본 발명에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템은 코칭 서비스 제공 서버가 사용자의 골프 스윙 문제점을 미리 분석한 후 그 분석결과에 따라 코치 DB에 저장된 코치 중 사용자에게 가장 적합한 코치를 검색하여 매칭시켜 주는 방식이기 때문에 사용자의 입장에서는 골프 레슨의 효과를 현저히 제고할 수 있는 장점이 있다.In addition, in the artificial intelligence-based golf swing coaching service providing system according to the present invention, the coaching service providing server analyzes the user's golf swing problems in advance and then searches for the most suitable coach for the user among the coaches stored in the coach DB according to the analysis results. Because it is a matching method, it has the advantage of significantly improving the effectiveness of golf lessons from the user's perspective.

도1은 본 발명의 일실시예에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템의 전체 구성을 설명하기 위한 도면,
도2는 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템의 동작 구성을 설명하기 위한 블럭도,
도3은 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템의 동작을 설명하기 위한 흐름도,
도4는 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에 구비된 스윙 단계별 표준 스윙자세 이미지를 나타낸 도면,
도5 내지 도7은 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에서 사용자 골프 스윙 영상으로부터 단계별 스윙자세 이미지를 추출하는 방법을 설명하기 위한 도면, 및
도8은 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에서 사용자 스윙자세 이미지와 표준 스윙자세 이미지를 대비하여 사용자 골프 스윙의 문제점을 분석하는 방법을 설명하기 위한 도면이다.
1 is a diagram illustrating the overall configuration of an artificial intelligence-based golf swing coaching service provision system according to an embodiment of the present invention;
Figure 2 is a block diagram for explaining the operation configuration of the artificial intelligence-based golf swing coaching service provision system shown in Figure 1;
Figure 3 is a flowchart for explaining the operation of the artificial intelligence-based golf swing coaching service provision system shown in Figure 1;
Figure 4 is a diagram showing a standard swing posture image for each swing step provided in the artificial intelligence-based golf swing coaching service provision system shown in Figure 1;
Figures 5 to 7 are diagrams for explaining a method of extracting step-by-step swing posture images from a user's golf swing image in the artificial intelligence-based golf swing coaching service provision system shown in Figure 1, and
Figure 8 is a diagram illustrating a method of analyzing problems in a user's golf swing by comparing the user's swing posture image with the standard swing posture image in the artificial intelligence-based golf swing coaching service provision system shown in Figure 1.

이하에서는 본 발명의 바람직한 실시예를 첨부한 도면을 이용하여 구체적으로 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail using the accompanying drawings.

도1은 본 발명의 일실시예에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템의 전체 구성을 설명하기 위한 도면이고, 도2는 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템의 동작 구성을 설명하기 위한 블럭도이다.Figure 1 is a diagram for explaining the overall configuration of an artificial intelligence-based golf swing coaching service provision system according to an embodiment of the present invention, and Figure 2 is an operational configuration of the artificial intelligence-based golf swing coaching service provision system shown in Figure 1. This is a block diagram to explain.

본 발명에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템은 사용자(P)의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치(10), 통신망(30)을 통하여 상기 사용자 장치(10)와 통신 가능하도록 연결된 코칭 서비스 제공 서버(20), 상기 통신망(30)을 통하여 상기 사용자 장치(10)와 코칭 서비스 제공 서버(20)에 통신 가능하도록 연결된 코치 장치(40)를 포함하여 구성된다.The artificial intelligence-based golf swing coaching service providing system according to the present invention includes a user device 10 that captures a golf swing video of the user P and transmits it to the outside, and can communicate with the user device 10 through a communication network 30. It is configured to include a coaching service providing server 20 connected to the coaching service providing server 20, and a coach device 40 connected to enable communication between the user device 10 and the coaching service providing server 20 through the communication network 30.

또한, 상기 사용자 장치(10)는 사용자(P)가 골프 스윙을 연습할 수 있도록 볼 공급 장치가 구비된 타석 매트(M), 상기 타석 매트의 일측에 설치되어 사용자(P)의 골프 스윙을 동영상으로 촬영하는 적어도 하나의 카메라부(11,12)를 포함하여 구성된다.In addition, the user device 10 includes a batting mat (M) equipped with a ball supply device so that the user (P) can practice his golf swing, and a batting mat (M) installed on one side of the batting mat so that the user (P) can practice his golf swing. It is configured to include at least one camera unit (11, 12) that takes pictures.

본 실시예에서는 일예로서 상기 카메라부(11,12)가 사용자(P)의 측면 스윙 자세를 촬영하기 위해 도면 기준으로 사용자(P)의 우측에 설치된 제1카메라부(11)와 사용자(P)의 정면 스윙 자세를 촬영하기 위해 도면 기준으로 사용자(P)의 전방에 설치된 제2카메라부(12)로 이루어지는 것으로 구성하였으나, 이에 한정되지 아니하며 필요에 따라서는 사용자(P)의 상부 방향 등 다양한 방향에 선택적으로 설치될 수도 있음은 물론이다.In this embodiment, as an example, the camera units 11 and 12 are installed on the right side of the user P based on the drawing to capture the side swing posture of the user P and the user P. It is composed of a second camera unit 12 installed in front of the user (P) based on the drawing in order to photograph the front swing posture of the user (P), but the camera is not limited to this and can be used in various directions such as the upper direction of the user (P) as needed. Of course, it can be installed selectively.

또한, 상기 사용자 장치(10)는 제1,2카메라부(11,12)에서 촬영된 사용자(P)의 골프 스윙 동영상을 외부로 전송하기 위한 제1통신부(13)와, 사용자(P)의 스윙 자세나 후술하는 바와 같이 코칭 서비스 제공 서버(20)에서 전송되는 스윙분석 결과, 코치 매칭 결과, 상기 코치 장치(40)로부터 전송되는 코칭 내용을 사용자에게 문자, 음성 또는 영상 중 적어도 어느 하나의 방식으로 표시하는 제1입출력부(14)를 더 포함하여 구성된다.In addition, the user device 10 includes a first communication unit 13 for transmitting to the outside the golf swing video of the user P captured by the first and second camera units 11 and 12, and a first communication unit 13 of the user P. As described later, the swing posture, the swing analysis result transmitted from the coaching service providing server 20, the coach matching result, and the coaching content transmitted from the coach device 40 are provided to the user through at least one of text, voice, or video. It further includes a first input/output unit 14 indicated by .

이때, 상기 사용자 장치(10)는 사용자(P)의 골프 스윙 동영상을 실시간으로 외부로 전송하거나 메모리 등에 저장한 후 사용자(P)의 제1입출력부(14) 조작에 의해 외부로 전송하도록 구성될 수 있다.At this time, the user device 10 may be configured to transmit the golf swing video of the user P to the outside in real time or store it in memory, etc. and then transmit it to the outside by the user P's operation of the first input/output unit 14. You can.

이를 위하여, 상기 사용자 장치(10)는 도면에 도시하지는 않았으나 메모리 등의 저장장치(미도시)를 더 포함할 수 있다.To this end, the user device 10 may further include a storage device (not shown) such as a memory, although not shown in the drawing.

또한, 상기 사용자(P)는 상기 제1입출력부(14)를 통하여 후술하는 바와 같이 코칭 서비스 제공 서버(20)에 의해 매칭된 코치가 사용하는 코치 장치(40)에 질의 사항 등을 전송하거나, 상기 코칭 서비스 제공 서버(20)에 레슨이 완료된 코치에 대한 평가의견이나 평점 등을 전송할 수도 있다.In addition, the user (P) transmits inquiries, etc. to the coach device 40 used by the coach matched by the coaching service providing server 20 through the first input/output unit 14, as described later, or Evaluation opinions or ratings for coaches whose lessons have been completed may be transmitted to the coaching service providing server 20.

또한, 상기 사용자 장치(10) 중 제1,2카메라부(11,12), 제1통신부(13), 제1입출력부(14)는 일예로서 타석 매트(M) 일측에 고정되는 스마트폰 등의 모바일 기기로 구성될 수도 있으며, 이 경우 상기 제1,2카메라부(11,12), 제1통신부(13), 제1입출력부(14)의 동작은 모바일 기기에 설치된 애플리케이션의 실행에 의하여 이루어질 수 있다.In addition, among the user devices 10, the first and second camera units 11 and 12, the first communication unit 13, and the first input/output unit 14 are, for example, a smartphone fixed to one side of the batting mat M. It may be configured as a mobile device, in which case the operation of the first and second camera units 11 and 12, the first communication unit 13, and the first input/output unit 14 is performed by executing an application installed on the mobile device. It can be done.

한편, 상기 코칭 서비스 제공 서버(20)는 통신망(30)을 통해 상기 사용자 장치(10)로부터 전송되는 사용자의 골프 스윙 동영상을 인공신경망 모델을 이용하여 분석하고, 그 분석 결과를 이용하여 상기 사용자(P)에게 적합한 코치를 매칭시켜 주는 기능과 상기 분석 결과를 상기 사용자 장치(10) 및/또는 코치 장치(40)로 전송하는 기능을 수행한다. Meanwhile, the coaching service providing server 20 analyzes the user's golf swing video transmitted from the user device 10 through the communication network 30 using an artificial neural network model, and uses the analysis result to determine the user ( It performs a function of matching a suitable coach for P) and transmitting the analysis results to the user device 10 and/or the coach device 40.

이때, 상기 통신망(30)은 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 유선 또는 무선 통신망으로 구성될 수 있는데, 일예로서 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web), 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 5G 통신, 6G 통신, 블루투스 통신, 적외선 통신, 초음파 통신, 라이파이(LiFi; Light Fidelity) 통신 중 어느 하나를 이용하는 통신망으로 구성될 수 있다.At this time, the communication network 30 may be composed of various wired or wireless communication networks such as a local area network (LAN), a metropolitan area network (MAN), and a wide area network (WAN), for example. Known as Internet or World Wide Web (WWW), WiFi communication, WiFi-Direct communication, Long Term Evolution (LTE) communication, 5G communication, 6G communication, Bluetooth communication , it may be composed of a communication network using any one of infrared communication, ultrasonic communication, and LiFi (Light Fidelity) communication.

이를 위하여, 상기 코칭 서비스 제공 서버(20)는 사용자 장치(10)의 제1통신부(13)와 통신하는 제2통신부(21), 상기 제2통신부(21)에서 수신된 사용자(P)의 골프 스윙 동영상을 이용하여 사용자(P)의 골프 스윙을 분석하는 제어부(22), 및 상기 제어부(22)가 사용자(P)의 골프 스윙 동영상을 분석하는데 필요한 데이터 등이 저장된 메모리부(23)를 포함하여 구성된다.For this purpose, the coaching service providing server 20 includes a second communication unit 21 that communicates with the first communication unit 13 of the user device 10, and a golf game of the user P received from the second communication unit 21. It includes a control unit 22 that analyzes the golf swing of the user (P) using the swing video, and a memory unit 23 that stores data necessary for the control unit 22 to analyze the golf swing video of the user (P). It is composed by:

또한, 상기 코칭 서비스 제공 서버(20)는 상기 제어부(22)의 제어신호에 따라 사용자(P)의 골프 스윙 동영상을 이용하여 후술하는 바와 같이 복수의 스윙자세 이미지를 추출하는 이미지 추출부(24)와, 상기 사용자(P)의 골프 스윙 동영상을 이용하여 이미지 추출부(24)에서 추출하지 못하는 스윙자세 이미지를 합성하는 이미지 합성부(25)를 더 포함하여 구성된다.In addition, the coaching service providing server 20 includes an image extraction unit 24 that extracts a plurality of swing posture images using the golf swing video of the user P according to a control signal from the control unit 22, as described later. and an image synthesis unit 25 that synthesizes a swing posture image that cannot be extracted by the image extraction unit 24 using the golf swing video of the user P.

또한, 상기 코칭 서비스 제공 서버(20)는 상기 이미지 추출부(24)와 이미지 합성부(25)에서 추출하거나 합성한 사용자(P)의 골프 스윙자세 이미지를 이용하여 문제점을 분석하는 스윙분석부(26)와, 상기 사용자의 골프 스윙 문제점 분석결과에 따라 메모리부(23)에 미리 저장된 코치 DB에서 상기 사용자에게 적합한 코치를 검색하여 상기 사용자에게 매칭시켜 주는 코치매칭부(27)를 더 포함하여 구성된다.In addition, the coaching service providing server 20 includes a swing analysis unit that analyzes problems using the golf swing posture image of the user (P) extracted or synthesized by the image extraction unit 24 and the image synthesis unit 25 ( 26), and a coach matching unit 27 that searches for a coach suitable for the user from the coach DB pre-stored in the memory unit 23 according to the results of analysis of the user's golf swing problem and matches it to the user. do.

또한, 상기 코치 장치(40)는 사용자 장치(10)와 코칭 서비스 제공 서버(20)와 통신하기 위한 제3통신부(43)와, 후술하는 바와 같이 코칭 서비스 제공 서버(20)에서 전송되는 사용자(P)의 골프 스윙 동영상, 단계별 스윙자세 이미지, 스윙분석 결과, 코치 매칭 결과, 상기 사용자 장치(10)로부터 전송되는 질의 내용 등을 코치에게 문자, 음성 또는 영상 중 적어도 어느 하나의 방식으로 표시하는 제2입출력부(44)를 더 포함하여 구성된다.In addition, the coach device 40 includes a third communication unit 43 for communicating with the user device 10 and the coaching service providing server 20, and a user ( A product that displays P)'s golf swing video, step-by-step swing posture images, swing analysis results, coach matching results, and query contents transmitted from the user device 10 to the coach in at least one of text, voice, and video. It further includes two input/output units (44).

또한, 상기 코치 장치(40)를 사용하는 코치는 상기 제2입출력부(44)를 통하여 사용자의 스윙 문제점을 교정하기 위한 코칭 내용을 상기 사용자 장치(10)에 전송할 수 있는데, 상기 코칭 내용은 문자, 영상, 음성 등으로 구성될 수 있다.In addition, a coach using the coaching device 40 can transmit coaching content for correcting the user's swing problem to the user device 10 through the second input/output unit 44, and the coaching content is text. , video, audio, etc.

다음으로, 상기와 같이 구성되는 본 발명에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템의 골프 스윙 분석방법을 도3 내지 도8을 참조하여 구체적으로 설명하기로 한다.Next, the golf swing analysis method of the artificial intelligence-based golf swing coaching service providing system according to the present invention configured as described above will be described in detail with reference to FIGS. 3 to 8.

도3은 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템의 동작을 설명하기 위한 흐름도이고, 도4는 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에 구비된 스윙 단계별 표준 스윙자세 이미지를 나타낸 도면이다.Figure 3 is a flowchart for explaining the operation of the artificial intelligence-based golf swing coaching service provision system shown in Figure 1, and Figure 4 is a standard swing for each swing provided in the artificial intelligence-based golf swing coaching service provision system shown in Figure 1. This is a drawing showing the posture image.

또한, 도5 내지 도7은 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에서 사용자 골프 스윙 영상으로부터 단계별 스윙자세 이미지를 추출하는 방법을 설명하기 위한 도면이고, 도8은 도1에 도시한 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템에서 사용자 스윙자세 이미지와 표준 스윙자세 이미지를 대비하여 사용자 골프 스윙의 문제점을 분석하는 방법을 설명하기 위한 도면이다.In addition, Figures 5 to 7 are diagrams for explaining a method of extracting step-by-step swing posture images from a user's golf swing image in the artificial intelligence-based golf swing coaching service provision system shown in Figure 1, and Figure 8 is shown in Figure 1. This is a diagram to explain how to analyze problems in a user's golf swing by comparing the user's swing posture image with the standard swing posture image in an artificial intelligence-based golf swing coaching service provision system.

먼저, 상기 제어부(22)는 사용자 장치(10)로부터 사용자(P)의 골프 스윙 동영상을 수신하게 되는데(S10), 상기 골프 스윙 동영상은 도5에 예시적으로 도시한 바와 같이 (1) 내지 (12)로 나타낸 복수의 연속된 스윙자세 이미지 프레임(즉, 영상 프레임)으로 구성된다.First, the control unit 22 receives the golf swing video of the user P from the user device 10 (S10), and the golf swing video includes (1) to (1) as exemplarily shown in FIG. 5. It consists of a plurality of consecutive swing posture image frames (i.e. video frames) shown in 12).

이를 골프 스윙 구간별로 구분하여 살펴보면, 스윙자세 이미지 프레임 (1) 내지 (5)는 어드레스 동작에서 백스윙 탑 동작까지의 "백스윙 구간"에 해당되고, 스윙자세 이미지 프레임 (6) 내지 (9)는 다운 스윙 동작에서 임팩트 동작까지의 "다운 스윙 구간"에 해당되며, 스윙자세 이미지 프레임 (10) 내지 (12)는 릴리즈 동작에서 피니쉬 동작까지의 "팔로우 스윙 구간"에 해당된다.Looking at this separately by golf swing section, swing posture image frames (1) to (5) correspond to the "backswing section" from the address action to the backswing top action, and swing posture image frames (6) to (9) are the down swing section. It corresponds to the “down swing section” from the swing action to the impact action, and swing posture image frames (10) to (12) correspond to the “follow swing section” from the release action to the finish action.

상기 S10 단계가 완료되면, 제어부(22)는 이미지 추출부(24)를 이용하여 상기 사용자 골프 스윙 동영상을 구성하는 복수의 영상 프레임(본 실시예의 경우 (1)~(12) 프레임)으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하게 된다(S20).When step S10 is completed, the control unit 22 uses the image extractor 24 to select a predetermined image frame from a plurality of image frames (frames (1) to (12) in this embodiment) constituting the user's golf swing video. Swing posture images for each swing stage are extracted (S20).

이를 위하여, 상기 메모리부(23)에는 도4에 예시적으로 도시한 바와 같은 각 단계별 표준 스윙자세 이미지가 미리 저장되어 있는데, 상기 표준 스윙자세 이미지는 프로선수의 스윙 영상으로부터 추출된 이미지이거나 골프 스윙 레슨을 위하여 연출되거나 합성된 이미지일 수 있다.For this purpose, the memory unit 23 pre-stores standard swing posture images for each stage as exemplarily shown in Figure 4. The standard swing posture images are images extracted from swing images of professional players or golf swing images. It may be a staged or synthesized image for the lesson.

본 실시예의 경우 일예로서 상기 표준 스윙자세 이미지가 국내외 여러 프로선수의 스윙 장점을 분석하여 컴퓨터 그래픽으로 합성한 이미지로 구성하였다.In the case of this embodiment, as an example, the standard swing posture image was composed of an image synthesized using computer graphics by analyzing the swing strengths of various domestic and foreign professional players.

또한, 설명의 편의를 위하여 본 실시예에서는 상기 표준 스윙자세 이미지가 순차적으로 "어드레스(a)", "테이크백(b)", "백스윙 탑(c)", "다운 스윙(d)", "임팩트(e)", "릴리즈(f)", "팔로우 스로우(g)", "피니쉬(h)"의 8개 단계로 이루어지는 것으로 구성하였다.In addition, for convenience of explanation, in this embodiment, the standard swing posture images are sequentially "address (a)", "takeback (b)", "backswing top (c)", "down swing (d)", It consists of eight stages: “Impact (e)”, “Release (f)”, “Follow Throw (g)”, and “Finish (h)”.

이때, 상기 이미지 추출부(24)는 메모리부(23)에 저장된 인공신경망 모델을 이용한 영상처리(image processing) 기법에 의하여 상기 사용자 골프 스윙 동영상으로부터 상기 각 단계별 표준 스윙자세 이미지에 대응되는 스윙자세 이미지를 추출하게 되는데, 본 명세서의 발명의 상세한 설명과 특허청구범위 전체에서 "인공신경망 모델"이라 함은 인간의 신경 구조를 모방하여 고안된 CNN, RNN 등 모든 종류의 기계학습 모델을 포괄하는 용어이다.At this time, the image extraction unit 24 extracts swing posture images corresponding to the standard swing posture images for each stage from the user golf swing video by using an image processing technique using an artificial neural network model stored in the memory unit 23. is extracted. In the detailed description of the invention and the entire scope of the patent claims in this specification, the term "artificial neural network model" is a term that encompasses all types of machine learning models such as CNN and RNN, which are designed to imitate the human neural structure.

또한, 본 실시예에서는 설명의 편의를 위하여 정면 표준 스윙자세 이미지를 이용하여 사용자의 정면 스윙자세 이미지를 추출하는 경우를 일예로서 설명하나, 동일한 방식으로 미리 저장된 측면 표준 스윙자세 이미지를 이용하여 사용자의 측면 스윙자세 이미지를 추출할 수 있다. In addition, in this embodiment, for convenience of explanation, the case of extracting the user's frontal swing posture image using the frontal standard swing posture image is described as an example, but the user's frontal swing posture image is extracted using the side standard swing posture image previously stored in the same manner. Side swing posture images can be extracted.

상기 S20 단계에서, 먼저 상기 이미지 추출부(24)는 수신된 사용자의 골프 스윙 동영상에 포함된 전체 스윙자세 이미지 프레임을 미리 정해진 크기의 이미지로 편집하게 되는데, 이 경우 후술하는 바와 같이 표준 스윙자세 이미지와의 대비를 위하여 사용자의 전체 신체가 포함된 부분을 표준 스윙자세 이미지에 포함된 골퍼의 신체 사이즈와 동일한 크기로 편집하는 것이 바람직하다.In step S20, first, the image extraction unit 24 edits the entire swing posture image frame included in the received user's golf swing video into an image of a predetermined size. In this case, as described later, a standard swing posture image For contrast, it is desirable to edit the part containing the user's entire body to the same size as the golfer's body size included in the standard swing posture image.

이와 같이, 스윙자세 이미지 프레임의 사이즈 편집이 완료되면 상기 이미지 추출부(24)는 인공신경망 모델을 이용하여 도5와 도7에 도시한 바와 같이 상기 스윙자세 이미지 프레임으로부터 각 단계별 표준 스윙자세 이미지에 대응되는 이미지를 추출하게 된다.In this way, when the size editing of the swing posture image frame is completed, the image extraction unit 24 uses an artificial neural network model to extract the standard swing posture image for each stage from the swing posture image frame as shown in Figures 5 and 7. The corresponding image is extracted.

이때, 상기 이미지 추출부(24)는 일예로서 OpenPose, MoveNet, BodyPoseNet 등과 같은 자세추정(pose estimation) 알고리즘 기반으로 사용자(P)의 각 단계별 스윙자세 이미지를 추출하게 되는데, 상기 알고리즘의 경우 공지된 바와 같이 인체의 관절검출 인공지능 알고리즘으로 인체의 관절에 대응되는 복수의 특징점(또는 노드점)을 검출하여 자세를 분석하게 된다.At this time, the image extraction unit 24 extracts the swing posture image of the user (P) at each stage based on a pose estimation algorithm such as OpenPose, MoveNet, BodyPoseNet, etc., as known in the case of the above algorithm. Likewise, the human body's joint detection artificial intelligence algorithm detects multiple feature points (or node points) corresponding to the human body's joints and analyzes the posture.

본 실시예에서는 일예로서 상기 인공신경망 모델이 도6과 도8에 도시된 바와 같이 머리(a1), 목(a2), 우측 어께(a3), 좌측 어께(a4), 복부 코어(a5), 우측 팔꿈치(a6), 좌측 팔꿈치(a7), 그립(a8), 우측 골반(a9), 좌측 골반(a10), 우측 무릎(a11), 좌측 무릎(a12), 우측 발목(a13), 좌측 발목(a14), 클럽 헤드(a15)로 이루어지는 총 15개의 특징점(노드점)을 검출하도록 구성된다.In this embodiment, as an example, the artificial neural network model has head (a1), neck (a2), right shoulder (a3), left shoulder (a4), abdominal core (a5), and right shoulder as shown in Figures 6 and 8. Elbow (a6), left elbow (a7), grip (a8), right pelvis (a9), left pelvis (a10), right knee (a11), left knee (a12), right ankle (a13), left ankle (a14) ), and is configured to detect a total of 15 feature points (node points) consisting of the club head (a15).

이와 같은 인공신경망 모델을 이용하여 상기 이미지 추출부(24)는 상기 스윙자세 이미지 프레임 각각에 대하여 상기 15개 특징점의 좌표를 검출한 후 각 단계별 표준 스윙자세 이미지에서 검출된 상기 15개 특징점의 좌표와 비교하여 미리 정해진 오차범위 내에서 표준 스윙자세 이미지와 15개 특징점의 좌표가 일치되는 스윙자세 이미지 프레임을 해당 단계의 스윙자세 이미지로 추출하게 된다.Using this artificial neural network model, the image extraction unit 24 detects the coordinates of the 15 feature points for each swing posture image frame, and then calculates the coordinates of the 15 feature points detected in the standard swing posture image for each stage and By comparison, the swing posture image frame in which the coordinates of the standard swing posture image and 15 feature points match within a predetermined error range is extracted as the swing posture image of the corresponding stage.

본 실시예에서는 일예로서 상기 이미지 추출부(24)가 서버의 연산 부하를 저감하기 위하여 스켈레톤(skeleton) 형태로 각 단계별 스윙자세 이미지를 추출하는 경우를 설명하나 이에 한정되지 아니하며, 필요에 따라서는 실제 촬영 영상형태로 스윙자세 이미지를 추출할 수도 있다.In this embodiment, as an example, a case where the image extraction unit 24 extracts the swing posture image for each stage in the form of a skeleton is explained in order to reduce the computational load of the server, but the case is not limited to this, and actual Swing posture images can also be extracted in the form of captured videos.

상기 S20 단계가 완료되면, 상기 제어부(22)는 상기 각 단계별 표준 스윙자세 이미지에 대응하여 추출된 사용자의 스윙자세 이미지를 검색하여 스윙자세 이미지 추출이 누락된 단계가 있는지 여부를 판단한다(S30).When step S20 is completed, the control unit 22 searches the user's swing posture image extracted corresponding to the standard swing posture image for each step and determines whether there is a step missing from the swing posture image extraction (S30) .

일반적으로 스마트폰과 같은 모바일 기기의 경우 동영상 촬영시 카메라의 프레임 속도(FPS, Frames Per Second)가 30fps 내지 60fps로 설정되는데, 백스윙 구간(도5에서 (1) 내지 (5) 프레임)은 상대적으로 스윙 속도가 느리기 때문에 누락된 단계가 있을 확률은 거의 희박하다.Generally, in the case of mobile devices such as smartphones, the frame rate (FPS, Frames Per Second) of the camera is set to 30fps to 60fps when shooting video, and the backswing section (frames (1) to (5) in Figure 5) is relatively fast. Because the swing speed is slow, the chances of missing a step are very slim.

그러나, 다운 스윙 구간 또는 팔로우 스윙 구간에서는 사용자에 따라 차이는 있으나 대부분 스윙 속도가 크게 가속되는 구간이기 때문에 카메라 프레임 속도의 한계로 인하여 상술한 바와 같이 미리 정해진 스윙 단계 중 일부 단계가 누락됨으로써 전체적인 사용자 골프 스윙의 분석이 곤란한 경우가 발생될 수 있다.However, in the down swing section or the follow swing section, there are differences depending on the user, but in most cases, the swing speed is greatly accelerated, so due to the limitation of the camera frame rate, some of the predetermined swing steps are omitted, resulting in the user's overall golf golf. There may be cases where swing analysis is difficult.

본 발명은 이와 같이 사용자 골프 스윙 동영상 중 스윙분석에 필요한 복수 단계의 스윙자세 중 일부 단계의 스윙자세가 누락된 경우에 이를 인공지능 기반으로 보완함으로써 전체 단계에 대한 스윙분석이 이루어질 수 있도록 한 것을 특징으로 한다.The present invention is characterized by enabling swing analysis of all stages by supplementing the missing swing postures on the basis of artificial intelligence when some of the swing postures of the plurality of stages required for swing analysis are missing in the user's golf swing video. Do it as

이를 위하여, 상기 제어부(22)는 S30 단계의 판단결과 누락된 단계가 있는 경우이면 이미지 합성부(25)를 이용하여 누락된 단계의 스윙자세 이미지를 합성하게 되는데(S40), 이 경우 상기 이미지 합성부(25)는 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하게 된다.To this end, if there is a missing step as a result of the determination in step S30, the control unit 22 synthesizes the swing posture image of the missing step using the image synthesis unit 25 (S40). In this case, the image synthesis The unit 25 synthesizes the swing posture image of the missing step using image frames placed before and after the missing step.

본 실시예의 경우 상기 S20 단계의 수행 결과 도5와 도7에 도시한 바와 같이 미리 정해진 복수 단계의 표준 스윙자세 이미지 중 "임팩트(e)" 단계에 대응되는 스윙자세 추출이 누락되어 있는데, 이는 앞서 설명한 바와 같이 다운 스윙 구간에서의 스윙 속도가 카메라 프레임 속도를 초과하기 때문에 발생되는 현상이다.In the case of this embodiment, as a result of performing step S20, as shown in Figures 5 and 7, the swing posture extraction corresponding to the "impact (e)" stage among the standard swing posture images of a plurality of predetermined stages is missing, which is previously described. As explained, this phenomenon occurs because the swing speed in the down swing section exceeds the camera frame rate.

이 경우, 상기 이미지 합성부(25)는 누락된 "임팩트(e)" 단계의 전후에 배치된 프레임, 즉 본 실시예의 경우 (9)번 프레임과 (10)번 프레임을 이용하여 자세추정(pose estimation) 알고리즘 기반의 인공신경망 모델에 의해 임팩트 단계의 스윙자세 이미지를 추정하여 합성하게 된다.In this case, the image synthesis unit 25 performs pose estimation using frames placed before and after the missing “impact (e)” step, that is, frames (9) and (10) in this embodiment. estimation) The swing posture image at the impact stage is estimated and synthesized by an algorithm-based artificial neural network model.

본 실시예의 경우, 상기 이미지 합성부(25)는 일예로서 도6에 도시된 바와 같이 (9)번 프레임과 (10)번 프레임에서 상대적으로 좌표가 고정되는 특징점인 사용자의 머리(a1,a1')를 기준으로 클럽 헤드(a15,a15')의 좌표값 변화를 계산하여 클럽 헤드의 궤적, 속도, 이동거리, 각속도 등의 정보를 먼저 계산하게 된다.In the case of this embodiment, the image synthesis unit 25 is an example of the user's head (a1, a1'), which is a feature point whose coordinates are relatively fixed in frames (9) and (10), as shown in FIG. 6. ) is calculated based on the change in coordinate values of the club head (a15, a15'), and information such as the club head's trajectory, speed, moving distance, and angular velocity is first calculated.

이때, 클럽 헤드의 각속도라 함은 머리(a1,a1')로부터 지면에 수직으로 연장한 기준선에 대하여 머리(a1,a1')와 클럽 헤드(a15,a15')를 연결한 가상선이 이루는 각도의 각속도(angular velocity)를 의미하며, 속도와 각속도는 각각 클럽 헤드(a15,a15')의 이동거리, 각도 변화량, 및 프레임 속도(각 프레임 사이의 시간 간격)를 이용하여 구할 수 있다.At this time, the angular velocity of the club head is the angle formed by the imaginary line connecting the head (a1, a1') and the club head (a15, a15') with respect to the reference line extending perpendicularly from the head (a1, a1') to the ground. It means the angular velocity, and the speed and angular velocity can be obtained using the moving distance of the club head (a15, a15'), the angle change amount, and the frame speed (time interval between each frame), respectively.

이와 같이 클럽 헤드의 각속도가 구해지면, 상기 이미지 합성부(25)는 표준 스윙자세 이미지의 임팩트 단계에서 골퍼의 머리와 클럽 헤드가 이루는 각도에 일치하도록 상기 임팩트 단계에서의 사용자 스윙자세 이미지의 클럽 헤드(b15) 좌표를 연산하게 되는데, 상기 연산은 (9)번,(10)번 프레임로부터 구해진 클럽 헤드(a1,a1')의 궤적과 각속도를 이용하여 산출될 수 있다.When the angular velocity of the club head is obtained in this way, the image synthesis unit 25 combines the club head of the user's swing posture image at the impact stage to match the angle formed between the golfer's head and the club head at the impact stage of the standard swing posture image. (b15) coordinates are calculated, and the calculation can be calculated using the trajectory and angular velocity of the club head (a1, a1') obtained from frames (9) and (10).

또한, 상술한 바와 같이 누락된 임팩트 단계에서의 사용자 스윙자세 이미지의 클럽 헤드(b15) 좌표가 산출되면, 상기 이미지 합성부(25)는 자세추정 알고리즘에 의하여 나머지 각 특징점(b1 내지 b14)들의 임팩트 단계에서의 좌표를 산출하여 해당 단계의 사용자 스윙자세 이미지를 합성하게 된다. In addition, when the coordinates of the club head (b15) of the user's swing posture image in the missing impact stage are calculated as described above, the image synthesis unit 25 calculates the impact of each of the remaining feature points (b1 to b14) by the posture estimation algorithm. By calculating the coordinates at each stage, the user's swing posture image at that stage is synthesized.

상기 S40 단계의 수행결과 미리 정해진 스윙 단계 전체에 대한 사용자의 스윙자세 이미지가 확보되면, 상기 제어부(22)는 스윙분석부(26)를 이용하여 사용자 골프 스윙의 문제점을 분석하게 된다(S50).When the user's swing posture image for all predetermined swing steps is secured as a result of performing step S40, the control unit 22 analyzes problems in the user's golf swing using the swing analysis unit 26 (S50).

이 경우, 상기 스윙분석부(26)는 사용자의 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하게 되는데, 구체적으로는 상기 특징점들의 좌표값을 대비하는 방식으로 사용자의 골프 스윙 문제점을 분석하게 된다.In this case, the swing analysis unit 26 analyzes the user's golf swing problems step by step by comparing the swing posture image of the user's swing step with the standard swing posture image provided for each step. Specifically, the user's golf swing problem is analyzed by step. The user's golf swing problems are analyzed by comparing coordinate values.

도8에서는 "테이크백" 단계에서의 사용자 스윙의 문제점을 분석하는 경우를 일예로서 도시하였는데, (a)는 표준 스윙자세 이미지, (b)는 사용자의 스윙자세 이미지, (c)는 상기 (a),(b) 이미지에서 검출한 각 특징점들의 좌표를 비교한 이미지이다.Figure 8 shows an example of analyzing problems in the user's swing in the "takeback" stage, where (a) is a standard swing posture image, (b) is the user's swing posture image, and (c) is the (a) ),(b) This is an image comparing the coordinates of each feature point detected in the image.

도8의 경우 표준 스윙자세 이미지와 사용자의 스윙자세 이미지의 각 특징점들이 매우 잘 일치하는 것으로 나타났는데, 이 경우 상기 스윙분석부(26)는 테이크백 단계에서는 사용자의 골프 스윙에 문제점이 없는 것으로 분석하게 된다.In the case of Figure 8, each feature point of the standard swing posture image and the user's swing posture image was found to match very well. In this case, the swing analysis unit 26 analyzed that there was no problem with the user's golf swing in the takeback stage. I do it.

반면에, 도면에서 도시하지는 않았으나 각 단계에서 표준 스윙자세 이미지와 사용자의 스윙자세 이미지의 각 특징점들이 일치되지 않는 경우이면, 상기 스윙분석부(26)는 메모리부(23)에 저장된 스윙분석 인공신경망 모델을 이용하여 사용자 골프 스윙의 다양한 문제점(스웨이, 얼리 익스텐션, 캐스팅, 헤드업, 스쿠핑 등)을 분석하게 된다.On the other hand, although not shown in the drawing, if the characteristic points of the standard swing posture image and the user's swing posture image do not match at each stage, the swing analysis unit 26 uses the swing analysis artificial neural network stored in the memory unit 23. Using the model, various problems in the user's golf swing (sway, early extension, casting, heads-up, scooping, etc.) are analyzed.

예를 들어, 백스윙 구간에 속하는 단계에서 사용자의 상체부 특징점(머리, 목, 양측 어께)들이 표준 스윙자세 이미지의 상체부 특징점보다 왼쪽으로 위치하는 경우이면 상기 스윙분석부(26)는 "백스윙시 상체 스웨이 현상"을 스윙 문제점으로 분석하게 되고, 다운 스윙 구간이나 팔로우 스로우 구간에서 사용자의 상체부 특징점(머리, 목, 양측 어께)들이 표준 스윙자세 이미지의 상체부 특징점보다 위쪽 또는 오른쪽으로 위치하는 경우이면 "임팩트시 헤드 업 현상" 또는 "임팩트시 상체 스웨이 현상"을 스윙 문제점으로 분석하게 된다.For example, if the user's upper body feature points (head, neck, both shoulders) are located to the left of the upper body feature points of the standard swing posture image during the backswing section, the swing analysis unit 26 The "upper body sway phenomenon" is analyzed as a swing problem, and in the down swing section or follow throw section, the user's upper body feature points (head, neck, both shoulders) are located above or to the right of the upper body feature points in the standard swing posture image. In this case, “head up phenomenon at impact” or “upper body sway phenomenon at impact” are analyzed as swing problems.

본 실시예에서는 설명의 편의를 위하여 여러 가지 골프 클럽 중 드라이버 스윙에 대한 골프 스윙 분석을 일예로서 설명하였으나, 필요에 따라서는 퍼터, 웨지, 미들 아이언, 롱 아이언, 유틸러티, 우드 등 다른 골프 클럽에 대해서도 적용될 수 있다.In this embodiment, for convenience of explanation, the golf swing analysis of the driver swing among various golf clubs is described as an example, but if necessary, it can be used for other golf clubs such as putter, wedge, middle iron, long iron, utility, and wood. It can also be applied.

이 경우 사용자는 스윙 분석을 의뢰하기 이전에 사용자 장치(10)의 제1입출력부(14)를 통하여 골프 클럽의 종류를 선택할 수 있으며, 상기 코칭 서비스 제공 서버(20)에는 각 골프 클럽별로 표준 스윙자세 이미지가 구비되어 있는 것이 바람직하다.In this case, the user can select the type of golf club through the first input/output unit 14 of the user device 10 before requesting swing analysis, and the coaching service providing server 20 may display a standard swing for each golf club. It is desirable to have a posture image.

한편, 상기 S30 단계의 판단결과 누락된 단계가 없는 경우이면 제어부(22)는 상술한 S50 단계를 수행하게 된다.Meanwhile, if there are no missing steps as a result of the determination in step S30, the control unit 22 performs step S50 described above.

상기 S50 단계가 완료되면, 상기 제어부(22)는 코치매칭부(27)를 이용하여 상기 S50 단계의 사용자 스윙 문제점 분석 결과에 따라 상기 메모리부(23)에 미리 저장된 코치 DB에서 상기 사용자에게 적합한 코치를 검색하여 상기 사용자와 매칭시켜 주는 단계를 수행한다(S60). When step S50 is completed, the control unit 22 uses the coach matching unit 27 to select a coach suitable for the user from the coach DB pre-stored in the memory unit 23 according to the result of analyzing the user's swing problem in step S50. A step of searching and matching with the user is performed (S60).

이때, 상기 코치 DB에는 코칭 서비스 제공 서버(20)에 등록된 코치들의 성명 또는 아이디, 성별, 장단점, 코칭내용에 대한 평점, 코칭 가능 시간대 등의 정보가 저장되어 있는데, 필요에 따라 상기 코칭내용에 대한 평점은 스윙 문제점 유형별로 구분하여 저장될 수 있다.At this time, the coach DB stores information such as the names or IDs, gender, strengths and weaknesses, ratings for coaching content, and coaching available time slots of coaches registered on the coaching service provision server 20. The coaching content can be changed as needed. The ratings can be stored separately by swing problem type.

따라서, 상기 코치매칭부(27)는 일예로서 백스윙 구간에서의 스윙자세에 문제점이 있는 사용자는 해당 분야(즉, 백스윙 분야)의 코칭 평점이 가장 높은 코치 순으로 매칭이 이루어지도록 하고, 팔로우 스로우 구간에서의 스윙자세에 문제점이 있는 사용자는 해당 분야(즉, 팔로우 스로우 분야)의 코칭 평점이 가장 높은 코치 순으로 매칭이 이루지도록 할 수 있다.Therefore, as an example, the coach matching unit 27 ensures that a user who has a problem with the swing posture in the backswing section is matched in the order of the coach with the highest coaching rating in the relevant field (i.e., the backswing field), and the follow throw section. Users who have problems with their swing posture can be matched in the order of the coach with the highest coaching rating in that field (i.e., follow throw field).

또한, 상기 코치 DB에 저장되는 각 코치들의 코칭 평점은 골프 클럽의 종류에 따라 구분하여 저장될 수도 있는데, 이 경우에도 마찬가지로 상기 코치매칭부(27)는 일예로서 롱아이언 클럽의 스윙자세에 문제점이 있는 사용자는 해당 분야 코칭 평점이 가장 높은 코치 순으로 매칭이 이루어지도록 하고, 드라이버 스윙자세에 문제점이 있는 사용자는 해당 분야의 코칭 평점이 가장 높은 코치 순으로 매칭이 이루지도록 할 수 있다.In addition, the coaching ratings of each coach stored in the coach DB may be stored separately according to the type of golf club. In this case, the coach matching unit 27 also detects problems with the swing posture of a long iron club as an example. Users who have a problem with driver swing posture can be matched in the order of coaches with the highest coaching rating in the field.

상기 S60 단계가 완료되면, 상기 제어부(22)는 코치 매칭 결과를 사용자 장치(10)와 코치 장치(40)를 통해 해당 사용자와 코치에 각각 전송하게 되는데, 이 경우 상기 제어부(22)는 사용자에게는 매칭된 코치에 관한 정보를, 코치에게는 매칭된 사용자에 대한 정보를 전송하게 된다.When step S60 is completed, the control unit 22 transmits the coach matching result to the user and the coach through the user device 10 and the coach device 40, respectively. In this case, the control unit 22 sends the coach matching result to the user and the coach, respectively. Information about the matched coach is sent to the coach, and information about the matched user is sent to the coach.

또한, 상기 제어부(22)는 이후 단계에서 매칭된 사용자와 코치간 골프 스윙에 대한 코칭이 온라인상에서 이루어질 수 있도록 사용자의 스윙 동영상, 사용자의 단계별 스윙자세 이미지, 스윙 문제점 분석결과 등을 매칭된 코치에게 전송하게 된다(S70).In addition, the control unit 22 sends the user's swing video, step-by-step swing posture images of the user, swing problem analysis results, etc. to the matched coach so that coaching on the golf swing between the matched user and the coach can be done online at a later stage. It is transmitted (S70).

상술한 바와 같이 상기 S60 단계와 S70 단계가 완료되면 통신망(30)을 통해 사용자 장치(10)와 코치 장치(40)가 연결됨으로써 온라인상에서 골프 스윙 문제점 해결을 위한 코칭이 이루어지게 된다.As described above, when steps S60 and S70 are completed, the user device 10 and the coach device 40 are connected through the communication network 30, so that coaching to solve golf swing problems is performed online.

또한, 본 발명에 따른 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템은 사용자 그룹과 코치 그룹의 회원 가입 및 인증을 위한 모듈과, 코칭 비용을 정산하기 위한 과금 결재 모듈이 더 포함될 수 있는데, 상기 모듈들은 일반적인 내용이기 때문에 여기에서는 구체적인 설명을 생략하기로 한다. In addition, the artificial intelligence-based golf swing coaching service provision system according to the present invention may further include a module for membership registration and authentication of the user group and the coach group, and a billing payment module for settling the coaching fee. The modules include general Since this is content, detailed explanation will be omitted here.

10 : 사용자 장치 11,12 : 제1,2카메라부
20 : 코칭 서비스 제공 서버 22 : 제어부
24 : 이미지 추출부 25 : 이미지 합성부
26 : 스윙분석부 40 : 코치 장치
10: User device 11, 12: First and second camera units
20: Coaching service provision server 22: Control unit
24: image extraction unit 25: image synthesis unit
26: swing analysis unit 40: coach device

Claims (5)

사용자의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치;와
인공신경망 모델을 이용하여 상기 사용자 장치로부터 전송되는 사용자의 골프 스윙 동영상을 분석하고, 그 분석 결과에 따라 상기 사용자에게 적합한 코치를 상기 사용자에게 매칭시켜 주는 코칭 서비스 제공 서버를 포함하여 구성되되,
상기 코칭 서비스 제공 서버는,
상기 사용자의 골프 스윙 동영상을 구성하는 영상 프레임으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하는 이미지 추출부;
상기 스윙 단계별 스윙자세 이미지를 추출한 결과 누락된 단계가 있는 경우 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하는 이미지 합성부;
상기 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하는 스윙분석부; 및
상기 사용자의 골프 스윙 문제점 분석결과에 따라 미리 저장된 코치 DB에서 상기 사용자에게 적합한 코치를 검색하여 상기 사용자에게 매칭시켜 주는 코치매칭부를 포함하는 것을 특징으로 하는 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템.
A user device that captures a video of the user's golf swing and transmits it to an external source; and
It is configured to include a coaching service providing server that analyzes the user's golf swing video transmitted from the user device using an artificial neural network model and matches the user with a coach suitable for the user according to the analysis results,
The coaching service providing server,
an image extraction unit that extracts a swing posture image for each predetermined swing step from the video frames constituting the user's golf swing video;
If there is a missing step as a result of extracting the swing posture image for each swing step, an image synthesis unit that synthesizes the swing posture image of the missing step using image frames placed before and after the missing step;
A swing analysis unit that analyzes the user's golf swing problems step by step by comparing the swing posture image for each swing step with a standard swing posture image provided for each step; and
An artificial intelligence-based golf swing coaching service providing system comprising a coach matching unit that searches for a coach suitable for the user from a pre-stored coach DB according to the results of analysis of the user's golf swing problem and matches it to the user.
제1항에서,
상기 이미지 추출부는, 상기 영상 프레임과 표준 스윙자세 이미지에 대해 검출한 적어도 하나의 특징점의 좌표를 비교하여 상기 스윙 단계별 스윙자세 이미지를 추출하되,
상기 특징점은 머리, 목, 우측 어께, 좌측 어께, 복부 코어, 우측 팔꿈치, 좌측 팔꿈치, 그립, 우측 골반, 좌측 골반, 우측 무릎, 좌측 무릎, 우측 발목, 좌측 발목, 클럽 헤드로 이루어지는 것을 특징으로 하는 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템.
In paragraph 1:
The image extraction unit extracts the swing posture image for each swing step by comparing the coordinates of at least one feature point detected for the video frame and the standard swing posture image,
The feature points include the head, neck, right shoulder, left shoulder, abdominal core, right elbow, left elbow, grip, right pelvis, left pelvis, right knee, left knee, right ankle, left ankle, and club head. Artificial intelligence-based golf swing coaching service provision system.
제2항에서,
상기 이미지 추출부는, 상기 스윙 단계별로 표준 스윙자세 이미지와 상기 특징점들의 좌표가 미리 정해진 오차범위 내에서 일치되는 영상 프레임을 해당 스윙 단계의 스윙자세 이미지로 추출하는 것을 특징으로 하는 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템.
In paragraph 2,
The image extractor extracts an image frame in which the coordinates of the standard swing posture image and the feature points match within a predetermined error range for each swing step as a swing posture image for the corresponding swing step. Artificial intelligence-based golf swing coaching Service delivery system.
제3항에서,
상기 이미지 합성부는, 상기 누락된 단계의 전후에 배치된 영상 프레임에서 상기 특징점 중 머리를 기준으로 한 클럽 헤드의 좌표값 변화를 이용하여 상기 클럽 헤드의 궤적과 각속도를 계산한 후, 상기 클럽 헤드가 누락된 단계의 표준 스윙자세 이미지의 클럽 헤드의 좌표와 일치되도록 상기 특징점들의 좌표를 산출함으로써 상기 누락된 단계의 스윙자세 이미지를 합성하는 것을 특징으로 하는 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템.
In paragraph 3,
The image synthesis unit calculates the trajectory and angular velocity of the club head using the change in coordinate values of the club head based on the head among the feature points in the image frames placed before and after the missing step, and then calculates the trajectory and angular velocity of the club head. An artificial intelligence-based golf swing coaching service providing system that synthesizes the swing posture image of the missing step by calculating the coordinates of the feature points to match the coordinates of the club head of the standard swing posture image of the missing step.
제4항에서,
상기 스윙분석부는 각 단계별로 사용자의 스윙자세 이미지와 표준 스윙자세 이미지의 상기 특징점들의 좌표값을 대비하여 상기 사용자의 골프 스윙 문제점을 분석하는 것을 특징으로 하는 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템.
In paragraph 4,
The swing analysis unit analyzes the user's golf swing problems by comparing the coordinate values of the feature points of the user's swing posture image and the standard swing posture image at each stage. An artificial intelligence-based golf swing coaching service providing system.
KR1020220068318A 2022-06-03 2022-06-03 Artificial Intelligence based Golf Swing Coaching Service Providing System KR20230167984A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220068318A KR20230167984A (en) 2022-06-03 2022-06-03 Artificial Intelligence based Golf Swing Coaching Service Providing System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220068318A KR20230167984A (en) 2022-06-03 2022-06-03 Artificial Intelligence based Golf Swing Coaching Service Providing System

Publications (1)

Publication Number Publication Date
KR20230167984A true KR20230167984A (en) 2023-12-12

Family

ID=89159786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220068318A KR20230167984A (en) 2022-06-03 2022-06-03 Artificial Intelligence based Golf Swing Coaching Service Providing System

Country Status (1)

Country Link
KR (1) KR20230167984A (en)

Similar Documents

Publication Publication Date Title
Chen et al. Computer-assisted yoga training system
JP2852925B2 (en) Physical exercise proficiency education system
JP6544551B1 (en) Swing determination device, swing determination method, and program.
WO2018035821A1 (en) Billiard ball striking assistance method, billiard ball striking assistance system, and portable electronic device
US20060252018A1 (en) Golf swing analysis
KR102356685B1 (en) Home training providing system based on online group and method thereof
US11941916B2 (en) Practice drill-related features using quantitative, biomechanical-based analysis
KR20210128943A (en) Apparatus and method for comparing and correcting sports posture using neural network
CN108905182B (en) Intelligent glasses and billiard shooting positioning and aiming method
KR20100033205A (en) System suppporting golf practice and method therefor
US20180204481A1 (en) Method of creating and distributing digital data sets to improve performance of physical activities
Huang et al. A golf swing analysis system using wii balance board and kinect sensors for novice players
KR101205811B1 (en) System and method for correcting billiards pose, and recording media thereof
KR20100037961A (en) Method for dynamic image extract of golf video and system for correting the swing motion of golfer
KR20160106455A (en) Analytical methods of golf posture using mobile devices
KR20230167984A (en) Artificial Intelligence based Golf Swing Coaching Service Providing System
KR20240080250A (en) An Apparatus for providing Golf Swing Coaching Service using deep learning
KR20230167983A (en) Artificial Intelligence based Golf Swing Analysis System
KR101864039B1 (en) System for providing solution of justice on martial arts sports and analyzing bigdata using augmented reality, and Drive Method of the Same
KR20240079391A (en) An Apparatus for practicing Golf Swing using deep learning
TWI775243B (en) Golf swing motion analysis method
TWI822380B (en) Ball tracking system and method
KR20160073790A (en) Analytical methods of golf posture using mobile devices
KR102631752B1 (en) Ai based swing video analyzing apparatus and method thereof
JP7248353B1 (en) Hitting analysis system and hitting analysis method