KR20240079391A - 딥러닝 기술을 이용한 골프 스윙 연습 장치 - Google Patents

딥러닝 기술을 이용한 골프 스윙 연습 장치 Download PDF

Info

Publication number
KR20240079391A
KR20240079391A KR1020220162252A KR20220162252A KR20240079391A KR 20240079391 A KR20240079391 A KR 20240079391A KR 1020220162252 A KR1020220162252 A KR 1020220162252A KR 20220162252 A KR20220162252 A KR 20220162252A KR 20240079391 A KR20240079391 A KR 20240079391A
Authority
KR
South Korea
Prior art keywords
swing
video
user
image
golf
Prior art date
Application number
KR1020220162252A
Other languages
English (en)
Inventor
이태원
Original Assignee
주식회사 엠넥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠넥스 filed Critical 주식회사 엠넥스
Priority to KR1020220162252A priority Critical patent/KR20240079391A/ko
Publication of KR20240079391A publication Critical patent/KR20240079391A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치는 사용자의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치와, 인공신경망 모델을 이용하여 상기 사용자 장치로부터 전송되는 사용자의 골프 스윙 동영상을 분석하고 그 분석 결과를 상기 사용자 장치로 전송하는 스윙분석 서버를 포함하되, 상기 스윙분석 서버는, 상기 사용자의 골프 스윙 동영상이 반전된 동영상인지 여부를 판단하는 동영상 판단부, 상기 동영상 판단부의 판단결과 반전된 동영상인 경우 해당 동영상의 좌우를 반전시켜 상기 사용자의 골프 스윙 동영상으로 저장하는 동영상 반전부, 상기 사용자의 골프 스윙 동영상을 구성하는 영상 프레임으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하는 이미지 추출부, 상기 스윙 단계별 스윙자세 이미지를 추출한 결과 누락된 단계가 있는 경우 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하는 이미지 합성부, 및 상기 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하는 스윙분석부를 포함하는 것을 특징으로 한다.

Description

딥러닝 기술을 이용한 골프 스윙 연습 장치{An Apparatus for practicing Golf Swing using deep learning}
본 발명은 딥러닝 기술을 이용한 골프 스윙 연습 장치에 관한 것으로서, 더욱 구체적으로는 온라인으로 전송되는 사용자의 골프 스윙 동영상으로부터 인공신경망 모델을 이용하여 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하고, 상기 추출된 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비함으로써 사용자 골프 스윙의 문제점을 분석하는 딥러닝 기술을 이용한 골프 스윙 연습 장치에 관한 것이다.
골프는 근래 들어 급속히 대중화가 진행됨에 따라 남녀노소가 함께 즐길 수 있는 스포츠로 자리매김하고 있으나, 길이가 긴 골프 클럽을 이용하여 상대적으로 크기가 작은 골프공을 치는 방식이기 때문에 스윙 자세에 따라 뒷땅, 탑볼, 훅, 슬라이스 등과 같은 많은 실수가 유발되기 때문에 일반 아마추어 동호인들에게는 상당히 난이도가 높은 스포츠 중 하나이다.
따라서, 다수의 아마추어 골퍼들은 임팩트 실수나 볼의 방향성 실수를 줄이기 위하여 실내외 골프 연습장과 같은 지정된 공간에서 스윙 연습을 수행하는 것이 일반적인데, 이 경우 잘못된 스윙 자세를 교정하기 위하여 거울 등의 보조 기구를 통해 자신의 스윙 자세를 점검하거나 전문 레슨 코치를 통해 현장에서 자세 교정을 받기도 한다.
그러나, 거울 등의 보조 기구를 이용할 경우 골퍼의 시선 처리 한계와 미스샷에 대한 원인분석 능력의 한계 등으로 인하여 정확한 문제점 체크가 어려운 단점이 있으며, 전문 레슨 코치를 이용할 경우에는 상술한 단점은 어느 정도 해결할 수는 있으나 레슨을 위한 시간적 제약과 과도한 비용발생이 불가피한 단점이 있다.
이러한 문제점을 해결하기 위하여, 최근에는 하기 [문헌 1]과 [문헌 2] 등에 개시된 바와 같이 ICT 기술을 이용하여 골퍼의 스윙 영상을 분석하여 골퍼들에게 유용한 정보를 제공하는 시스템이 개발되고 있으나, 이들 시스템의 경우 대부분 스윙시 발생되는 골퍼의 움직임을 포착하기 위하여 골퍼나 골프 클럽에 부착되는 별도의 센서, 마커, 또는 웨어러블 디바이스를 구비하여야 하기 때문에 장치의 구성에 비용이 많이 소요되고 통상의 골프 연습장에서는 이용하기 곤란한 문제점이 있다.
[문헌 1] 한국공개특허 제2009-0105031호(2009. 10. 7. 공개)
[문헌 2] 한국공개특허 제2016-0127615호(2016. 11. 4. 공개)
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 별도의 전용장치를 구비할 필요없이 온라인으로 전송되는 사용자의 골프 스윙 동영상으로부터 인공신경망 모델을 이용하여 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하고, 상기 추출된 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비함으로써 사용자 골프 스윙의 문제점을 분석하는 딥러닝 기술을 이용한 골프 스윙 연습 장치를 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치는 사용자의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치와, 인공신경망 모델을 이용하여 상기 사용자 장치로부터 전송되는 사용자의 골프 스윙 동영상을 분석하고 그 분석 결과를 상기 사용자 장치로 전송하는 스윙분석 서버를 포함하되, 상기 스윙분석 서버는, 상기 사용자의 골프 스윙 동영상이 반전된 동영상인지 여부를 판단하는 동영상 판단부, 상기 동영상 판단부의 판단결과 반전된 동영상인 경우 해당 동영상의 좌우를 반전시켜 상기 사용자의 골프 스윙 동영상으로 저장하는 동영상 반전부, 상기 사용자의 골프 스윙 동영상을 구성하는 영상 프레임으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하는 이미지 추출부, 상기 스윙 단계별 스윙자세 이미지를 추출한 결과 누락된 단계가 있는 경우 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하는 이미지 합성부, 및 상기 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하는 스윙분석부를 포함하는 것을 특징으로 한다.
또한, 상기 이미지 추출부는, 상기 영상 프레임과 표준 스윙자세 이미지에 대해 검출한 적어도 하나의 특징점의 좌표를 비교하여 상기 스윙 단계별 스윙자세 이미지를 추출하되, 상기 특징점은 머리, 목, 우측 어께, 좌측 어께, 복부 코어, 우측 팔꿈치, 좌측 팔꿈치, 그립, 우측 골반, 좌측 골반, 우측 무릎, 좌측 무릎, 우측 발목, 좌측 발목, 클럽 헤드로 이루어지는 것을 특징으로 한다.
또한, 상기 이미지 추출부는, 상기 스윙 단계별로 표준 스윙자세 이미지와 상기 특징점들의 좌표가 미리 정해진 오차범위 내에서 일치되는 영상 프레임을 해당 스윙 단계의 스윙자세 이미지로 추출하는 것을 특징으로 한다.
또한, 상기 이미지 합성부는, 상기 누락된 단계의 전후에 배치된 영상 프레임에서 상기 특징점 중 머리를 기준으로 한 클럽 헤드의 좌표값 변화를 이용하여 상기 클럽 헤드의 궤적과 각속도를 계산한 후, 상기 클럽 헤드가 누락된 단계의 표준 스윙자세 이미지의 클럽 헤드의 좌표와 일치되도록 상기 특징점들의 좌표를 산출함으로써 상기 누락된 단계의 스윙자세 이미지를 합성하는 것을 특징으로 한다.
또한, 상기 스윙분석부는 각 단계별로 사용자의 스윙자세 이미지와 표준 스윙자세 이미지의 상기 특징점들의 좌표값을 대비하여 상기 사용자의 골프 스윙 문제점을 분석하는 것을 특징으로 한다.
본 발명에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치는 별도의 전용장치를 구비하지 않더라도 온라인으로 전송되는 사용자의 골프 스윙 동영상으로부터 인공신경망 모델을 이용하여 추출한 스윙 단계별 사용자의 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 복수 특징점들의 좌표값을 대비하여 사용자 골프 스윙의 문제점을 분석하는 방식이기 때문에 저비용으로 실시간 골프 스윙 분석이 가능할 뿐만 아니라 통상의 골프 연습장에서도 이용이 가능한 장점이 있다.
또한, 본 발명에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치는 스윙 동영상 촬영 카메라의 프레임 속도 한계로 인하여 사용자 골프 스윙 동영상 중 스윙분석에 필요한 복수 단계의 스윙자세 중 일부 단계의 스윙자세가 누락된 경우에도 이를 인공지능 기반으로 보완함으로써 전체 단계에 대한 스윙분석이 이루어질 수 있도록 구성되기 때문에 골프 스윙 분석의 정확도를 더욱 제고할 수 있는 장점이 있다.
도1은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치의 전체 구성을 설명하기 위한 도면,
도2는 도1에 도시한 골프 스윙 분석 시스템의 동작 구성을 설명하기 위한 블럭도,
도3은 도1에 도시한 골프 스윙 분석 시스템의 동작을 설명하기 위한 흐름도,
도4는 도1에 도시한 골프 스윙 분석 시스템에 구비된 스윙 단계별 표준 스윙자세 이미지를 나타낸 도면,
도5 내지 도7은 도1에 도시한 골프 스윙 분석 시스템에서 사용자 골프 스윙 영상으로부터 단계별 스윙자세 이미지를 추출하는 방법을 설명하기 위한 도면,
도8은 도1에 도시한 골프 스윙 분석 시스템에서 사용자 스윙자세 이미지와 표준 스윙자세 이미지를 대비하여 사용자 골프 스윙의 문제점을 분석하는 방법을 설명하기 위한 도면, 및
도9는 도2에 도시한 동영상 반전부에 의하여 좌우가 반전된 동영상을 생성하는 방법을 설명하기 위한 도면이다.
이하에서는 본 발명의 바람직한 실시예를 첨부한 도면을 이용하여 구체적으로 설명하기로 한다.
도1은 본 발명의 일실시예에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치의 전체 구성을 설명하기 위한 도면이고, 도2는 도1에 도시한 골프 스윙 분석 시스템의 동작 구성을 설명하기 위한 블럭도이다.
본 발명에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치는 사용자(P)의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치(10)와, 통신망(30)을 통하여 상기 사용자 장치(10)와 통신 가능하도록 연결된 스윙분석 서버(20)를 포함하여 구성된다.
또한, 상기 사용자 장치(10)는 사용자(P)가 골프 스윙을 연습할 수 있도록 볼 공급 장치가 구비된 타석 매트(M), 상기 타석 매트의 일측에 설치되어 사용자(P)의 골프 스윙을 동영상으로 촬영하는 적어도 하나의 카메라부(11,12)를 포함하여 구성된다.
본 실시예에서는 일예로서 상기 카메라부(11,12)가 사용자(P)의 측면 스윙 자세를 촬영하기 위해 도면 기준으로 사용자(P)의 우측에 설치된 제1카메라부(11)와 사용자(P)의 정면 스윙 자세를 촬영하기 위해 도면 기준으로 사용자(P)의 전방에 설치된 제2카메라부(12)로 이루어지는 것으로 구성하였으나, 이에 한정되지 아니하며 필요에 따라서는 사용자(P)의 상부 방향 등 다양한 방향에 선택적으로 설치될 수도 있음은 물론이다.
또한, 상기 사용자 장치(10)는 제1,2카메라부(11,12)에서 촬영된 사용자(P)의 골프 스윙 동영상을 외부로 전송하기 위한 제1통신부(13)와, 사용자(P)의 스윙 자세나 후술하는 바와 같이 스윙분석 서버(20)에서 전송되는 스윙분석 결과를 사용자에게 문자, 음성 또는 영상 중 적어도 어느 하나의 방식으로 표시하는 정보입출력부(14)를 더 포함하여 구성된다.
이때, 상기 사용자 장치(10)는 사용자(P)의 골프 스윙 동영상을 실시간으로 외부로 전송하거나 메모리 등에 저장한 후 사용자(P)의 정보입출력부(14) 조작에 의해 외부로 전송하도록 구성될 수 있다.
이를 위하여, 상기 사용자 장치(10)는 도면에 도시하지는 않았으나 메모리 등의 저장장치(미도시)를 더 포함할 수 있다.
또한, 상기 사용자 장치(10) 중 제1,2카메라부(11,12), 제1통신부(13), 정보입출력부(14)는 일예로서 타석 매트(M) 일측에 고정되는 스마트폰 등의 모바일 기기로 구성될 수도 있으며, 이 경우 상기 제1,2카메라부(11,12), 제1통신부(13), 정보입출력부(14)의 동작은 모바일 기기에 설치된 애플리케이션의 실행에 의하여 이루어질 수 있다.
한편, 상기 스윙분석 서버(20)는 통신망(30)을 통해 상기 사용자 장치(10)로부터 전송되는 사용자의 골프 스윙 동영상을 인공신경망 모델을 이용하여 분석하고, 그 분석 결과를 상기 사용자 장치(10)로 전송하는 기능을 수행한다.
이때, 상기 통신망(30)은 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 유선 또는 무선 통신망으로 구성될 수 있는데, 일예로서 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web), 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 5G 통신, 6G 통신, 블루투스 통신, 적외선 통신, 초음파 통신, 라이파이(LiFi; Light Fidelity) 통신 중 어느 하나를 이용하는 통신망으로 구성될 수 있다.
이를 위하여, 상기 스윙분석 서버(20)는 사용자 장치(10)의 제1통신부(13)와 통신하는 제2통신부(21), 상기 제2통신부(21)에서 수신된 사용자(P)의 골프 스윙 동영상을 이용하여 사용자(P)의 골프 스윙을 분석하는 제어부(22), 및 상기 제어부(22)가 사용자(P)의 골프 스윙 동영상을 분석하는데 필요한 데이터 등이 저장된 메모리부(23)를 포함하여 구성된다.
또한, 상기 스윙분석 서버(20)는 상기 사용자(P)의 골프 스윙 동영상이 반전된 동영상인지 여부를 판단하는 동영상 판단부(28)와, 상기 동영상 판단부(28)의 판단결과 반전된 동영상인 경우 해당 동영상의 좌우를 반전시켜 상기 사용자의 골프 스윙 동영상으로 저장하는 동영상 반전부(29)를 더 포함하여 구성된다.
또한, 상기 스윙분석 서버(20)는 상기 제어부(22)의 제어신호에 따라 사용자(P)의 골프 스윙 동영상을 이용하여 후술하는 바와 같이 복수의 스윙자세 이미지를 추출하는 이미지 추출부(24), 상기 사용자(P)의 골프 스윙 동영상을 이용하여 이미지 추출부(24)에서 추출하지 못하는 스윙자세 이미지를 합성하는 이미지 합성부(25), 및 상기 이미지 추출부(24)와 이미지 합성부(25)에서 추출하거나 합성한 사용자(P)의 골프 스윙자세 이미지를 이용하여 문제점을 분석하는 스윙분석부(26)를 더 포함하여 구성된다.
다음으로, 상기와 같이 구성되는 본 발명에 따른 딥러닝 기술을 이용한 골프 스윙 연습 장치의 골프 스윙 분석방법을 도3 내지 도8을 참조하여 구체적으로 설명하기로 한다.
도3은 도1에 도시한 골프 스윙 분석 시스템의 동작을 설명하기 위한 흐름도이고, 도4는 도1에 도시한 골프 스윙 분석 시스템에 구비된 스윙 단계별 표준 스윙자세 이미지를 나타낸 도면이다.
또한, 도5 내지 도7은 도1에 도시한 골프 스윙 분석 시스템에서 사용자 골프 스윙 영상으로부터 단계별 스윙자세 이미지를 추출하는 방법을 설명하기 위한 도면이고, 도8은 도1에 도시한 골프 스윙 분석 시스템에서 사용자 스윙자세 이미지와 표준 스윙자세 이미지를 대비하여 사용자 골프 스윙의 문제점을 분석하는 방법을 설명하기 위한 도면이다.
또한, 도9는 도2에 도시한 동영상 반전부에 의하여 좌우가 반전된 동영상을 생성하는 방법을 설명하기 위한 도면이다.
먼저, 상기 제어부(22)는 사용자 장치(10)로부터 사용자(P)의 골프 스윙 동영상을 수신하게 되는데(S10), 상기 골프 스윙 동영상은 도5에 예시적으로 도시한 바와 같이 (1) 내지 (12)로 나타낸 복수의 연속된 스윙자세 이미지 프레임(즉, 영상 프레임)으로 구성된다.
이를 골프 스윙 구간별로 구분하여 살펴보면, 스윙자세 이미지 프레임 (1) 내지 (5)는 어드레스 동작에서 백스윙 탑 동작까지의 "백스윙 구간"에 해당되고, 스윙자세 이미지 프레임 (6) 내지 (9)는 다운 스윙 동작에서 임팩트 동작까지의 "다운 스윙 구간"에 해당되며, 스윙자세 이미지 프레임 (10) 내지 (12)는 릴리즈 동작에서 피니쉬 동작까지의 "팔로우 스윙 구간"에 해당된다.
상기 S10 단계가 완료되면, 제어부(22)는 동영상 판단부(28)를 이용하여 상기 S10 단계에서 수신한 동영상이 반전된 동영상인지 여부를 판단하게 된다(S16).
이때, 반전된 동영상이라 함은 후술하는 바와 같이 메모리부(23)에 미리 저장된 표준 스윙자세 이미지와 스윙 방향이 반대로 구성된 동영상을 의미하는데, 이와 같이 스윙 방향이 반대로 구성된 동영상은 정상적인 촬영모드에서 왼손 골퍼의 스윙을 촬영한 경우 또는 셀카모드에서 오른손 골퍼의 스윙을 촬영한 경우에 발생될 수 있다.
상기 S16 단계의 판단결과 수신된 동영상이 반전된 동영상인 경우 후술하는 바와 같이 표준 스윙자세 이미지와의 대비가 불가능하기 때문에 상기 제어부(22)는 도9에 도시한 바와 같이 해당 동영상의 좌우를 반전시켜 생성한 새로운 동영상을 상기 사용자(P)의 골프 스윙 동영상으로 저장하게 되며(S17), 상기 S16 단계의 판단결과 반전된 동영상이 아닌 경우에는 후술하는 S20 단계를 수행하게 된다.
상기 S17 단계가 완료되면, 제어부(22)는 이미지 추출부(24)를 이용하여 상기 사용자 골프 스윙 동영상을 구성하는 복수의 영상 프레임(본 실시예의 경우 (1)~(12) 프레임)으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하게 된다(S20).
이를 위하여, 상기 메모리부(23)에는 도4에 예시적으로 도시한 바와 같은 각 단계별 표준 스윙자세 이미지가 미리 저장되어 있는데, 상기 표준 스윙자세 이미지는 프로선수의 스윙 영상으로부터 추출된 이미지이거나 골프 스윙 레슨을 위하여 연출되거나 합성된 이미지일 수 있다.
본 실시예의 경우 일예로서 상기 표준 스윙자세 이미지가 국내외 여러 프로선수의 스윙 장점을 분석하여 컴퓨터 그래픽으로 합성한 이미지로 구성하였다.
또한, 설명의 편의를 위하여 본 실시예에서는 상기 표준 스윙자세 이미지가 순차적으로 "어드레스(a)", "테이크백(b)", "백스윙 탑(c)", "다운 스윙(d)", "임팩트(e)", "릴리즈(f)", "팔로우 스로우(g)", "피니쉬(h)"의 8개 단계로 이루어지는 것으로 구성하였다.
이때, 상기 이미지 추출부(24)는 메모리부(23)에 저장된 인공신경망 모델을 이용한 영상처리(image processing) 기법에 의하여 상기 사용자 골프 스윙 동영상으로부터 상기 각 단계별 표준 스윙자세 이미지에 대응되는 스윙자세 이미지를 추출하게 되는데, 본 명세서의 발명의 상세한 설명과 특허청구범위 전체에서 "인공신경망 모델"이라 함은 인간의 신경 구조를 모방하여 고안된 CNN, RNN 등 모든 종류의 기계학습 모델을 포괄하는 용어이다.
또한, 본 실시예에서는 설명의 편의를 위하여 정면 표준 스윙자세 이미지를 이용하여 사용자의 정면 스윙자세 이미지를 추출하는 경우를 일예로서 설명하나, 동일한 방식으로 미리 저장된 측면 표준 스윙자세 이미지를 이용하여 사용자의 측면 스윙자세 이미지를 추출할 수 있다.
상기 S20 단계에서, 먼저 상기 이미지 추출부(24)는 수신된 사용자의 골프 스윙 동영상에 포함된 전체 스윙자세 이미지 프레임을 미리 정해진 크기의 이미지로 편집하게 되는데, 이 경우 후술하는 바와 같이 표준 스윙자세 이미지와의 대비를 위하여 사용자의 전체 신체가 포함된 부분을 표준 스윙자세 이미지에 포함된 골퍼의 신체 사이즈와 동일한 크기로 편집하는 것이 바람직하다.
이와 같이, 스윙자세 이미지 프레임의 사이즈 편집이 완료되면 상기 이미지 추출부(24)는 인공신경망 모델을 이용하여 도5와 도7에 도시한 바와 같이 상기 스윙자세 이미지 프레임으로부터 각 단계별 표준 스윙자세 이미지에 대응되는 이미지를 추출하게 된다.
이때, 상기 이미지 추출부(24)는 일예로서 OpenPose, MoveNet, BodyPoseNet 등과 같은 자세추정(pose estimation) 알고리즘 기반으로 사용자(P)의 각 단계별 스윙자세 이미지를 추출하게 되는데, 상기 알고리즘의 경우 공지된 바와 같이 인체의 관절검출 인공지능 알고리즘으로 인체의 관절에 대응되는 복수의 특징점(또는 노드점)을 검출하여 자세를 분석하게 된다.
본 실시예에서는 일예로서 상기 인공신경망 모델이 도6과 도8에 도시된 바와 같이 머리(a1), 목(a2), 우측 어께(a3), 좌측 어께(a4), 복부 코어(a5), 우측 팔꿈치(a6), 좌측 팔꿈치(a7), 그립(a8), 우측 골반(a9), 좌측 골반(a10), 우측 무릎(a11), 좌측 무릎(a12), 우측 발목(a13), 좌측 발목(a14), 클럽 헤드(a15)로 이루어지는 총 15개의 특징점(노드점)을 검출하도록 구성된다.
이와 같은 인공신경망 모델을 이용하여 상기 이미지 추출부(24)는 상기 스윙자세 이미지 프레임 각각에 대하여 상기 15개 특징점의 좌표를 검출한 후 각 단계별 표준 스윙자세 이미지에서 검출된 상기 15개 특징점의 좌표와 비교하여 미리 정해진 오차범위 내에서 표준 스윙자세 이미지와 15개 특징점의 좌표가 일치되는 스윙자세 이미지 프레임을 해당 단계의 스윙자세 이미지로 추출하게 된다.
본 실시예에서는 일예로서 상기 이미지 추출부(24)가 서버의 연산 부하를 저감하기 위하여 스켈레톤(skeleton) 형태로 각 단계별 스윙자세 이미지를 추출하는 경우를 설명하나 이에 한정되지 아니하며, 필요에 따라서는 실제 촬영 영상형태로 스윙자세 이미지를 추출할 수도 있다.
상기 S20 단계가 완료되면, 상기 제어부(22)는 상기 각 단계별 표준 스윙자세 이미지에 대응하여 추출된 사용자의 스윙자세 이미지를 검색하여 스윙자세 이미지 추출이 누락된 단계가 있는지 여부를 판단한다(S30).
일반적으로 스마트폰과 같은 모바일 기기의 경우 동영상 촬영시 카메라의 프레임 속도(FPS, Frames Per Second)가 30fps 내지 60fps로 설정되는데, 백스윙 구간(도5에서 (1) 내지 (5) 프레임)은 상대적으로 스윙 속도가 느리기 때문에 누락된 단계가 있을 확률은 거의 희박하다.
그러나, 다운 스윙 구간 또는 팔로우 스윙 구간에서는 사용자에 따라 차이는 있으나 대부분 스윙 속도가 크게 가속되는 구간이기 때문에 카메라 프레임 속도의 한계로 인하여 상술한 바와 같이 미리 정해진 스윙 단계 중 일부 단계가 누락됨으로써 전체적인 사용자 골프 스윙의 분석이 곤란한 경우가 발생될 수 있다.
본 발명은 이와 같이 사용자 골프 스윙 동영상 중 스윙분석에 필요한 복수 단계의 스윙자세 중 일부 단계의 스윙자세가 누락된 경우에 이를 인공지능 기반으로 보완함으로써 전체 단계에 대한 스윙분석이 이루어질 수 있도록 한 것을 특징으로 한다.
이를 위하여, 상기 제어부(22)는 S30 단계의 판단결과 누락된 단계가 있는 경우이면 이미지 합성부(25)를 이용하여 누락된 단계의 스윙자세 이미지를 합성하게 되는데(S40), 이 경우 상기 이미지 합성부(25)는 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하게 된다.
본 실시예의 경우 상기 S20 단계의 수행 결과 도5와 도7에 도시한 바와 같이 미리 정해진 복수 단계의 표준 스윙자세 이미지 중 "임팩트(e)" 단계에 대응되는 스윙자세 추출이 누락되어 있는데, 이는 앞서 설명한 바와 같이 다운 스윙 구간에서의 스윙 속도가 카메라 프레임 속도를 초과하기 때문에 발생되는 현상이다.
이 경우, 상기 이미지 합성부(25)는 누락된 "임팩트(e)" 단계의 전후에 배치된 프레임, 즉 본 실시예의 경우 (9)번 프레임과 (10)번 프레임을 이용하여 자세추정(pose estimation) 알고리즘 기반의 인공신경망 모델에 의해 임팩트 단계의 스윙자세 이미지를 추정하여 합성하게 된다.
본 실시예의 경우, 상기 이미지 합성부(25)는 일예로서 도6에 도시된 바와 같이 (9)번 프레임과 (10)번 프레임에서 상대적으로 좌표가 고정되는 특징점인 사용자의 머리(a1,a1')를 기준으로 클럽 헤드(a15,a15')의 좌표값 변화를 계산하여 클럽 헤드의 궤적, 속도, 이동거리, 각속도 등의 정보를 먼저 계산하게 된다.
이때, 클럽 헤드의 각속도라 함은 머리(a1,a1')로부터 지면에 수직으로 연장한 기준선에 대하여 머리(a1,a1')와 클럽 헤드(a15,a15')를 연결한 가상선이 이루는 각도의 각속도(angular velocity)를 의미하며, 속도와 각속도는 각각 클럽 헤드(a15,a15')의 이동거리, 각도 변화량, 및 프레임 속도(각 프레임 사이의 시간 간격)를 이용하여 구할 수 있다.
이와 같이 클럽 헤드의 각속도가 구해지면, 상기 이미지 합성부(25)는 표준 스윙자세 이미지의 임팩트 단계에서 골퍼의 머리와 클럽 헤드가 이루는 각도에 일치하도록 상기 임팩트 단계에서의 사용자 스윙자세 이미지의 클럽 헤드(b15) 좌표를 연산하게 되는데, 상기 연산은 (9)번,(10)번 프레임로부터 구해진 클럽 헤드(a1,a1')의 궤적과 각속도를 이용하여 산출될 수 있다.
또한, 상술한 바와 같이 누락된 임팩트 단계에서의 사용자 스윙자세 이미지의 클럽 헤드(b15) 좌표가 산출되면, 상기 이미지 합성부(25)는 자세추정 알고리즘에 의하여 나머지 각 특징점(b1 내지 b14)들의 임팩트 단계에서의 좌표를 산출하여 해당 단계의 사용자 스윙자세 이미지를 합성하게 된다.
상기 S40 단계의 수행결과 미리 정해진 스윙 단계 전체에 대한 사용자의 스윙자세 이미지가 확보되면, 상기 제어부(22)는 스윙분석부(26)를 이용하여 사용자 골프 스윙의 문제점을 분석하게 된다(S50).
이 경우, 상기 스윙분석부(26)는 사용자의 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하게 되는데, 구체적으로는 상기 특징점들의 좌표값을 대비하는 방식으로 사용자의 골프 스윙 문제점을 분석하게 된다.
도8에서는 "테이크백" 단계에서의 사용자 스윙의 문제점을 분석하는 경우를 일예로서 도시하였는데, (a)는 표준 스윙자세 이미지, (b)는 사용자의 스윙자세 이미지, (c)는 상기 (a),(b) 이미지에서 검출한 각 특징점들의 좌표를 비교한 이미지이다.
도8의 경우 표준 스윙자세 이미지와 사용자의 스윙자세 이미지의 각 특징점들이 매우 잘 일치하는 것으로 나타났는데, 이 경우 상기 스윙분석부(26)는 테이크백 단계에서는 사용자의 골프 스윙에 문제점이 없는 것으로 분석하게 된다.
반면에, 도면에서 도시하지는 않았으나 각 단계에서 표준 스윙자세 이미지와 사용자의 스윙자세 이미지의 각 특징점들이 일치되지 않는 경우이면, 상기 스윙분석부(26)는 메모리부(23)에 저장된 스윙분석 인공신경망 모델을 이용하여 사용자 골프 스윙의 다양한 문제점(스웨이, 얼리 익스텐션, 캐스팅, 헤드업, 스쿠핑 등)을 분석하게 된다.
예를 들어, 백스윙 구간에 속하는 단계에서 사용자의 상체부 특징점(머리, 목, 양측 어께)들이 표준 스윙자세 이미지의 상체부 특징점보다 왼쪽으로 위치하는 경우이면 상기 스윙분석부(26)는 "백스윙시 상체 스웨이 현상"을 스윙 문제점으로 분석하게 되고, 다운 스윙 구간이나 팔로우 스로우 구간에서 사용자의 상체부 특징점(머리, 목, 양측 어께)들이 표준 스윙자세 이미지의 상체부 특징점보다 위쪽 또는 오른쪽으로 위치하는 경우이면 "임팩트시 헤드 업 현상" 또는 "임팩트시 상체 스웨이 현상"을 스윙 문제점으로 분석하게 된다.
상기 S50 단계가 완료되면, 상기 제어부(22)는 스윙분석 결과를 문자, 음성, 영상 중 적어도 어느 하나의 형태로 사용자 장치(10)로 전송하게 된다(S60).
한편, 상기 S30 단계의 판단결과 누락된 단계가 없는 경우이면 제어부(22)는 상술한 S50 단계와 S60 단계를 수행하게 된다.
본 실시예에서는 설명의 편의를 위하여 여러 가지 골프 클럽 중 드라이버 스윙에 대한 골프 스윙 분석을 일예로서 설명하였으나, 필요에 따라서는 퍼터, 웨지, 미들 아이언, 롱 아이언, 유틸러티, 우드 등 다른 골프 클럽에 대해서도 적용될 수 있다.
이 경우 사용자는 스윙 분석을 의뢰하기 이전에 사용자 장치(10)의 정보입출력부(14)를 통하여 골프 클럽의 종류를 선택할 수 있으며, 상기 스윙분석 서버(20)에는 각 골프 클럽별로 표준 스윙자세 이미지가 구비되어 있는 것이 바람직하다.
10 : 사용자 장치 11,12 : 제1,2카메라부
20 : 스윙분석 서버 22 : 제어부
24 : 이미지 추출부 25 : 이미지 합성부
26 : 스윙분석부 30 : 통신망

Claims (5)

  1. 사용자의 골프 스윙 동영상을 촬영하여 외부로 전송하는 사용자 장치;와
    인공신경망 모델을 이용하여 상기 사용자 장치로부터 전송되는 사용자의 골프 스윙 동영상을 분석하고, 그 분석 결과를 상기 사용자 장치로 전송하는 스윙분석 서버를 포함하되,
    상기 스윙분석 서버는,
    상기 사용자의 골프 스윙 동영상이 반전된 동영상인지 여부를 판단하는 동영상 판단부;
    상기 동영상 판단부의 판단결과 반전된 동영상인 경우 해당 동영상의 좌우를 반전시켜 상기 사용자의 골프 스윙 동영상으로 저장하는 동영상 반전부;
    상기 사용자의 골프 스윙 동영상을 구성하는 영상 프레임으로부터 미리 정해진 스윙 단계별 스윙자세 이미지를 추출하는 이미지 추출부;
    상기 스윙 단계별 스윙자세 이미지를 추출한 결과 누락된 단계가 있는 경우 상기 누락된 단계의 전후에 배치된 영상 프레임을 이용하여 상기 누락된 단계의 스윙자세 이미지를 합성하는 이미지 합성부; 및
    상기 스윙 단계별 스윙자세 이미지를 각 단계별로 구비된 표준 스윙자세 이미지와 대비하여 상기 사용자의 골프 스윙 문제점을 단계별로 분석하는 스윙분석부를 포함하는 것을 특징으로 하는 딥러닝 기술을 이용한 골프 스윙 연습 장치.
  2. 제1항에서,
    상기 이미지 추출부는, 상기 영상 프레임과 표준 스윙자세 이미지에 대해 검출한 적어도 하나의 특징점의 좌표를 비교하여 상기 스윙 단계별 스윙자세 이미지를 추출하되,
    상기 특징점은 머리, 목, 우측 어께, 좌측 어께, 복부 코어, 우측 팔꿈치, 좌측 팔꿈치, 그립, 우측 골반, 좌측 골반, 우측 무릎, 좌측 무릎, 우측 발목, 좌측 발목, 클럽 헤드로 이루어지는 것을 특징으로 하는 딥러닝 기술을 이용한 골프 스윙 연습 장치.
  3. 제2항에서,
    상기 이미지 추출부는, 상기 스윙 단계별로 표준 스윙자세 이미지와 상기 특징점들의 좌표가 미리 정해진 오차범위 내에서 일치되는 영상 프레임을 해당 스윙 단계의 스윙자세 이미지로 추출하는 것을 특징으로 하는 딥러닝 기술을 이용한 골프 스윙 연습 장치.
  4. 제3항에서,
    상기 이미지 합성부는, 상기 누락된 단계의 전후에 배치된 영상 프레임에서 상기 특징점 중 머리를 기준으로 한 클럽 헤드의 좌표값 변화를 이용하여 상기 클럽 헤드의 궤적과 각속도를 계산한 후, 상기 클럽 헤드가 누락된 단계의 표준 스윙자세 이미지의 클럽 헤드의 좌표와 일치되도록 상기 특징점들의 좌표를 산출함으로써 상기 누락된 단계의 스윙자세 이미지를 합성하는 것을 특징으로 하는 딥러닝 기술을 이용한 골프 스윙 연습 장치.
  5. 제4항에서,
    상기 스윙분석부는 각 단계별로 사용자의 스윙자세 이미지와 표준 스윙자세 이미지의 상기 특징점들의 좌표값을 대비하여 상기 사용자의 골프 스윙 문제점을 분석하는 것을 특징으로 하는 딥러닝 기술을 이용한 골프 스윙 연습 장치.
KR1020220162252A 2022-11-29 2022-11-29 딥러닝 기술을 이용한 골프 스윙 연습 장치 KR20240079391A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220162252A KR20240079391A (ko) 2022-11-29 2022-11-29 딥러닝 기술을 이용한 골프 스윙 연습 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220162252A KR20240079391A (ko) 2022-11-29 2022-11-29 딥러닝 기술을 이용한 골프 스윙 연습 장치

Publications (1)

Publication Number Publication Date
KR20240079391A true KR20240079391A (ko) 2024-06-05

Family

ID=91470275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220162252A KR20240079391A (ko) 2022-11-29 2022-11-29 딥러닝 기술을 이용한 골프 스윙 연습 장치

Country Status (1)

Country Link
KR (1) KR20240079391A (ko)

Similar Documents

Publication Publication Date Title
US7097459B2 (en) Golf swing diagnosis system
JP6544551B1 (ja) スイング判定装置、スイング判定方法、および、プログラム。
US20130178304A1 (en) Method of analysing a video of sports motion
WO2011009302A1 (zh) 一种基于多跟踪点的人体动作识别方法
WO2018035821A1 (zh) 台球击球辅助方法、台球击球辅助系统及便携式电子设备
US20060252018A1 (en) Golf swing analysis
US11941916B2 (en) Practice drill-related features using quantitative, biomechanical-based analysis
CN108905182B (zh) 一种智能眼镜和台球摄像定位瞄准方法
KR20100033205A (ko) 골프연습 보조 시스템 및 그 방법
Huang et al. A golf swing analysis system using wii balance board and kinect sensors for novice players
KR101624595B1 (ko) 골프 스윙 모니터링 시스템과 그에 연동되는 골프 클럽
KR20160106455A (ko) 영상기기를 활용한 골프 자세 분석 방법
JP2006181014A (ja) 画像解析装置および動作修正システム
KR20240079391A (ko) 딥러닝 기술을 이용한 골프 스윙 연습 장치
KR20230167983A (ko) 인공지능 기반 골프 스윙 분석 시스템
KR20240080250A (ko) 딥러닝 기술을 이용한 골프 스윙 코칭 서비스 제공 장치
CN112494915B (zh) 一种羽毛球机器人及其系统和控制方法
KR20230167984A (ko) 인공지능 기반 골프 스윙 코칭 서비스 제공 시스템
TWI775243B (zh) 高爾夫運動揮桿動作分析方法
Malawski Real-time first person perspective tracking and feedback system for weapon practice support in fencing
KR20160073790A (ko) 모바일기기를 활용한 골프 자세 분석 방법
JP7248353B1 (ja) ヒッティング解析システム及びヒッティング解析方法
KR102534463B1 (ko) Ａｉ기반의 인체 관절 및 골프 클럽 추출을 이용한 골프 레슨 시스템
TWI822380B (zh) 球體追蹤系統及方法
KR102593654B1 (ko) 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법