KR102593654B1 - 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법 - Google Patents

3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법 Download PDF

Info

Publication number
KR102593654B1
KR102593654B1 KR1020210169517A KR20210169517A KR102593654B1 KR 102593654 B1 KR102593654 B1 KR 102593654B1 KR 1020210169517 A KR1020210169517 A KR 1020210169517A KR 20210169517 A KR20210169517 A KR 20210169517A KR 102593654 B1 KR102593654 B1 KR 102593654B1
Authority
KR
South Korea
Prior art keywords
user
module
sequence
golf swing
correction
Prior art date
Application number
KR1020210169517A
Other languages
English (en)
Other versions
KR20230081949A (ko
Inventor
이도희
정정민
최정우
김지훈
서경진
Original Assignee
주식회사 인공지능연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인공지능연구원 filed Critical 주식회사 인공지능연구원
Priority to KR1020210169517A priority Critical patent/KR102593654B1/ko
Publication of KR20230081949A publication Critical patent/KR20230081949A/ko
Application granted granted Critical
Publication of KR102593654B1 publication Critical patent/KR102593654B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A63B2024/0081—Coaching or training aspects related to a group of users
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/01—User's weight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템 및 방법에 대해 개시된다. 골프 스윙 동작을 촬영한 영상에서 관절 위치를 포함하는 키포인트를 추출하고, 키포인트들의 위치 이동을 추적하여 골프 스윙 동작의 시퀀스를 추출한다. 추출된 시퀀스에서 교정포인트를 프로선수의 동작 또는 자세와 비교하고 분석하고, 3D 캐릭터를 리타게팅하여 3D 이미지를 생성한다. 사용자의 체형을 측정하여 사용자에 적합한 스윙 동작을 제시할 수 있으며, 교정내용을 직관적으로 이해할 수 있는 3D 이미지를 제공할 수 있다.

Description

3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법{System and method for artificial intelligence golf swing analysis/correction based on 3D character retargeting}
영상처리 기술, 특히 골프 스윙 영상들에서 사람의 동작을 인식하는 컴퓨터 비전 기술이 개시된다.
생활수준이 향상되면서 과거에 고급 스포츠로 여겨지던 골프가 점점 대중화되고 있다. 이에 따라 골프를 배우려는 인구도 증가하고 있으며, 골프 동호회, 골프 레슨, 골프 연습장 등의 수요도 증가하고 있다.
골프를 배우기 위해서는 먼저 올바른 스윙 동작 또는 자세를 익혀야 한다. 그러나 혼자서 자신의 자세를 확인하는 것은 어려우므로 강사 등 전문가의 도움이 필요하다. 한편 전문가의 도움을 받기 어려운 경우, 영상 촬영 시스템을 이용하여 스윙 동작을 교정받을 수 있다.
2021.04.26.에 공개된 공개특허 제10-2021-0045148호는 골프 스윙에 관한 정보를 추정하기 위한 방법에 관하여 개시하고 있다. 사용자의 골프 스윙에 관한 촬영 이미지가 획득되면, 인공신경망 모델을 이용하여 촬영 이미지에서 사용자의 적어도 하나의 관절을 검출하고, 검출되는 적어도 하나의 관절의 위치를 참조하여 사용자의 골프 스윙과 비교 대상의 골프 스윙을 서로 비교한다. 비교 결과에 기초하여 사용자의 골프 스윙에 관한 정보를 추정하는 방법이 제공된다.
2021.03.24.에 공고된 등록특허 제10-2231202호에는 어라운드 뷰를 통한 골프스윙기에 관하여 개시하고 있다. 특정 역할을 수행하는 어라운드 촬영부, 스윙 분석부, 데이터 저장부, 증강현실 데이터 생성부 및 증강현실 출력부를 구비함으로써, 골프 스윙 동작을 하는 골퍼의 움직임을 실시간으로 분석할 수 있고, 분석된 결과를 3차원으로 표현하여 골퍼에게 입체적으로 본인의 자세를 확인할 수 있으며, 올바른 스윙 자세 교정 방법을 제시할 수 있는 골프스윙분석기를 제공한다.
이와 같이 골프 스윙 동작이나 자세를 인식하고 교정을 제안하는 기술이 발전하고 있지만, 대부분의 응용들은 자세나 동작의 기록이나 분석에 그치고 사용자의 개인 체형에 맞는 교정을 제안하지 못하고 있다.
제안된 발명은 골프 스윙 동작 인식하여 골프 스윙 동작에서 교정할 부분에 대한 정보를 제공하는 것을 목적으로 한다.
나아가 제안된 발명은 사용자의 체형을 인식하여 사용자의 체형에 맞는 교정 정보를 제공하는 것을 하는 것을 목적으로 한다.
나아가 제안된 발명은 사용자가 선호하는 스타일의 교정 정보를 제공하는 것을 목적으로 한다.
제안된 발명의 일 양상에 따르면, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템은 입력모듈, 키포인트 추출 모듈, 시퀀스 추출 모듈, 교정 분석 모듈, 시각화 모듈을 포함한다. 입력 모듈은 사용자의 골프 스윙 동작을 촬영한 영상을 입력받는다. 키포인트 추출 모듈은 입력 모듈을 통해 입력된 영상으로부터 관절 위치를 포함하는 키포인트를 추출한다. 시퀀스 추출 모듈은 키포인트들의 위치 이동을 추적하여 사용자의 골프 스윙 동작의 시퀀스를 추출한다. 교정 분석 모듈은 시퀀스 추출 모듈에서 추출한 사용자의 골프 스윙 동작 또는 자세에서 교정 포인트에 해당하는 부분을 프로선수의 동작 또는 자세와 비교하여 분석한다. 시각화 모듈은 교정 분석 모듈에서 분석한 동작 또는 자세에 3D 캐릭터를 리타게팅하여 3D 이미지를 생성한다.
추가적인 양상에 따르면, 상기 키포인트 추출 모듈은, 2D 포즈 인식 알고리즘을 이용하여 인공지능으로 학습시킨 키포인트 인식기와, 골프 스윙 움직임을 취하는 사용자의 자세 특성(두 손의 거리가 가까움, 두 다리가 땅에 붙어있음 등)을 반영한 1차 키포인트 보정기와, 상기 1차 키포인트 보정기에서 보정된 키포인트들을 수집하는 키포인트 수집기와, 상기 키포인트 수집기에 모인 과거 키포인트들 정보를 이용해 스윙 움직임 특성 (손의 움직임이 호를 그림, 상체의 움직임이 크지 않음 등)을 반영한 2차 키포인트 보정기를 포함할 수 있다.
추가적인 양상에 따르면, 상기 시퀀스 추출 모듈은, 상기 2차 키포인트 보정기에서 보정된 키포인트 좌표를 바탕으로, 그들 사이의 거리 관계를 특징으로하는 다수의 벡터(손목 사이 위치와 발목 사이의 위치 등)를 활용해 프레임의 스윙 시퀀스을 분류하는 시퀀스 분류기와, 상기 시퀀스 분류기에서 분류된 시퀀스별로 키포인트들의 시퀀스를 수집하는 시퀀스 수집기와, 상기 시퀀스 수집기에서 수집된 연속적인 시퀀스 정보에서 중심이 되는 최적 시퀀스를 찾아내고, 사용자가 일련의 골프 스윙 시퀀스를 완료했는지를 판단하는 시퀀스 추출기를 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템은, 골프 스윙시 사용자가 서있는 정면과 측면을 포함하는 복수의 동영상을 촬영하고, 촬영된 영상을 상기 입력 모듈로 전달하는 카메라 모듈을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템은, 입력된 영상에서 사용자의 두 어깨 키포인트의 중앙점을 중심으로 팔과 골프채가 위치한 각도가 일정 범위 이상으로 회전하는 경우, 골프 스윙이 완료된 것으로 판단하여 스윙 횟수를 증가시키는 스윙 카운트 모듈을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템은, 사용자로부터 키와 체중을 포함하는 신체 데이터를 입력받는 체형 입력 모듈과, 사용자의 신체 사진을 촬영하고, 상기 체형 입력 모듈의 데이터와 촬영된 2D 이미지를 인공지능 모델에 투입하여 3차원 체형 정보를 생성하여 사용자의 체형을 설정하는 3D 체형 측정 모듈을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템은, 3D 체형 측정 모듈에서 설정한 사용자의 체형과 체형이 가장 유사한 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 체형별 자세 교정 모듈을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템은, 사용자로부터 선호하는 골프 스타일을 입력받는 스타일 입력 모듈과, 스타일 입력 모듈에서 선택된 골프 스타일에 해당하는 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 스타일별 자세 교정 모듈을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템은, 시각화 모듈에서 생성된 3D 캐릭터를 바라보는 방향을 변경하는 3D 앵글 조작 모듈을 더 포함할 수 있다.
제안된 발명에 따라, 골프 스윙 동작을 자동화 시스템에 의해 분석하여 관절별로 동작 상태를 분석함으로써 프로선수들의 동작과 비교하여 스스로 교정할 수 있으며, 특히 개인의 체형 및 스타일에 맞추어 교정할 수 있다.
도 1은 일 실시예에 따른 골프 스윙 분석/교정 시스템의 전체적인 구성을 도시한다.
도 2는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 주요 구성을 도시한 블록도이다.
도 3은 일 실시예에 따른 골프 스윙 분석/교정 시스템의 세부 구성을 도시한 블록도이다.
도 4는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 스윙 카운트 모듈에 따른 출력 예시 화면이다.
도 5는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 교정 분석 모듈에 따른 출력 예시 화면이다.
도 6은 일 실시예에 따른 골프 스윙 분석/교정 시스템에서 스윙 동작을 재생하는 모습을 나타내는 출력 예시 화면이다.
도 7은 일 실시예에 따른 골프 스윙 분석/교정 시스템의 교정 분석 모듈에 따른 헤드업 교정을 나타내는 출력 예시 화면이다.
도 8은 일 실시예에 따른 골프 스윙 분석/교정 시스템에서 자세를 구분하는 기준을 나타내는 사진이다.
도 9는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 스윙 분석 방법을 나타내는 순서도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 또는 타 실시예의 구성 요소들과 다양한 조합이 가능한 것으로 이해된다. 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 명세서 및 청구범위에 사용된 용어는 기재 내용 혹은 제안된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 골프 스윙 분석/교정 시스템의 전체적인 구성을 도시한다.
제안된 발명의 일 양상에 따르면, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템(100)은 메인 서버(110), 카메라 모듈(130), 출력 모듈(170)을 포함한다.
추가적인 양상에 따르면, 상기 카메라 모듈(130)은, 골프 스윙시 사용자가 서있는 정면과 측면을 포함하는 복수의 동영상을 촬영하고, 촬영된 영상을 상기 입력 모듈로 전달할 수 있다.
카메라 모듈(130)은 사용자의 가슴 앞쪽을 촬영하는 전면 카메라(133)와 전면 카메라와 수직으로 설치된 측면 카메라(137)를 포함한다. 필요에 따라 카메라를 추가로 더 설치할 수 있다. 카메라 모듈(130)은 카메라를 제외하고, 메인 서버(110)에 설치할 수 있다.
전면 카메라(133)와 측면 카메라(137)로 촬영된 사용자(150)의 영상은 카메라 모듈(130)을 통해 메인 서버(110)로 전달된다. 메인 서버(110)에서는 촬영된 골프 스윙 영상에서 키포인트를 추출하고, 시퀀스를 추출하여, 사용자의 스윙 동작이나 자세에서 교정할 부분을 분석한다. 분석된 내용에 3D 캐릭터를 리타게팅하여 3D이미지로 시각화 하고, 시각화 된 이미지는 출력 모듈(170)을 통해 표시된다. 출력 모듈(170)로는 메인 서버(110)와 유선 또는 무선 네트웍으로 연결되는 각종 디스플레이 장치 또는 태블릿, 노트북, 이동통신 단말을 사용할 수 있다.
도 2는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 주요 구성을 도시한 블록도이다.
제안된 발명의 일 양상에 따르면, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템(100)의 메인 서버(110)는 입력 모듈(210), 키포인트 추출 모듈(230), 시퀀스 추출 모듈(250), 교정 분석 모듈(270), 시각화 모듈(290)을 포함한다. 메인 서버(110)의 각 모듈은 컴퓨터로 수행 가능한 명령이 저장된 메모리, HDD, SSD 등의 저장장치와, 이러한 명령을 수행하는 프로세서, 또는 ASIC, FPGA 및 전자회로를 이용하여 구현할 수 있다.
입력 모듈(210)은 사용자의 골프 스윙 동작을 촬영한 영상을 입력받는다.
키포인트 추출 모듈(230)은 입력 모듈을 통해 입력된 영상으로부터 관절 위치를 포함하는 키포인트를 추출한다.
추가적인 양상에 따르면, 상기 키포인트 추출 모듈은, 2D 포즈 인식 알고리즘을 이용하여 인공지능으로 학습시킨 키포인트 인식기와, 골프 스윙 움직임을 취하는 사용자의 자세 특성(두 손의 거리가 가까움, 두 다리가 땅에 붙어있음 등)을 반영한 1차 키포인트 보정기와, 상기 1차 키포인트 보정기에서 보정된 키포인트들을 수집하는 키포인트 수집기와, 상기 키포인트 수집기에 모인 과거 키포인트들 정보를 이용해 스윙 움직임 특성 (손의 움직임이 호를 그림, 상체의 움직임이 크지 않음 등)을 반영한 2차 키포인트 보정기를 포함할 수 있다.
시퀀스 추출 모듈(250)은 키포인트들의 위치 이동을 추적하여 사용자의 골프 스윙 동작의 시퀀스를 추출한다.
추가적인 양상에 따르면, 상기 시퀀스 추출 모듈은, 상기 2차 키포인트 보정기에서 보정된 키포인트 좌표를 바탕으로, 그들 사이의 거리 관계를 특징으로하는 다수의 벡터(손목 사이 위치와 발목 사이의 위치 등)를 활용해 프레임의 스윙 시퀀스을 분류하는 시퀀스 분류기와, 상기 시퀀스 분류기에서 분류된 시퀀스별로 키포인트들의 시퀀스를 수집하는 시퀀스 수집기와, 상기 시퀀스 수집기에서 수집된 연속적인 시퀀스 정보에서 중심이 되는 최적 시퀀스를 찾아내고, 사용자가 일련의 골프 스윙 시퀀스를 완료했는지를 판단하는 시퀀스 추출기를 포함할 수 있다.
교정 분석 모듈(270)은 시퀀스 추출 모듈에서 추출한 사용자의 골프 스윙 동작 또는 자세에서 교정 포인트에 해당하는 부분을 프로선수의 동작 또는 자세와 비교하여 분석한다.
시각화 모듈(290)은 교정 분석 모듈에서 분석한 동작 또는 자세에 3D 캐릭터를 리타게팅하여 3D 이미지를 생성한다.
도 3은 일 실시예에 따른 골프 스윙 분석/교정 시스템의 세부 구성을 도시한 블록도이다.
추가적인 양상에 따르면, 상기 시스템(100)은, 입력된 영상에서 사용자의 두 어깨 키포인트의 중앙점을 중심으로 팔과 골프채가 위치한 각도가 일정 범위 이상으로 회전하는 경우, 골프 스윙이 완료된 것으로 판단하여 스윙 횟수를 증가시키는 스윙 카운트 모듈(310)을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템(100)은, 사용자로부터 키와 체중을 포함하는 신체 데이터를 입력받는 체형 입력 모듈(320)과, 사용자의 신체 사진을 촬영하고, 상기 체형 입력 모듈의 데이터와 촬영된 2D 이미지를 인공지능 모델에 투입하여 3차원 체형 정보를 생성하여 사용자의 체형을 설정하는 3D 체형 측정 모듈(330)을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템(100)은, 3D 체형 측정 모듈에서 설정한 사용자의 체형과 체형이 가장 유사한 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 체형별 자세 교정 모듈(340)을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템(100)은, 사용자로부터 선호하는 골프 스타일을 입력받는 스타일 입력 모듈(350)과, 스타일 입력 모듈에서 선택된 골프 스타일에 해당하는 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 스타일별 자세 교정 모듈(360)을 더 포함할 수 있다.
추가적인 양상에 따르면, 상기 시스템(100)은, 시각화 모듈에서 생성된 3D 캐릭터를 바라보는 방향을 변경하는 3D 앵글 조작 모듈(370)을 더 포함할 수 있다.
도 4는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 스윙 카운트 모듈에 따른 출력 예시 화면이다.
사용자의 연습 스윙을 인식하여 목표 스윙 자세를 완료하였을 때 횟수를 카운트한다. 정면과 측면의 2D 이미지를 인식하여 미디어파이프 등 인공지능 학습모델을 이용하여 키포인트 및 3D 포즈를 추출한다. 사용자 스스로 동작의 핵심을 파악할 수 있도록 사용자의 키포인트를 빨간색 점으로 표시할 수 있다.
도 5는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 교정 분석 모듈에 따른 출력 예시 화면이다.
사용자 키포인트의 시퀀스 분석에 의해 사용자가 흔히 하는 실수인 셋업, 스웨이, 헤드업, 리버스피봇, 포워드런지 등에 대해 교정 피드백이 가능하도록 분석하여 메모리, HDD. SSD 등에 저장한다. 저장된 내용은 추후 시각화 모듈(190)에서 3D 이미지로 출력한다.
시각화 모듈에서는, 분석된 사용자의 3D 포즈는 3D 캐릭터를 리타게팅하여 사용자 체형에 어울리는 3D 이미지가 출력될 수 있도록 한다. 도면에서 사용자의 자세는 왼쪽에 나타내었고, 사용자 자세에 해당하는 프로선수의 자세는 오른쪽에 나타내었다. 사용자 자세의 문제점을 표시하여 사용자가 스스로 교정할 수 있도록 한다.
도 6은 일 실시예에 따른 골프 스윙 분석/교정 시스템에서 스윙 동작을 재생하는 모습을 나타내는 출력 예시 화면이다.
(1) 왼쪽에는 사용자, 오른쪽에는 프로선수의 캐릭터가 표시된다. (2) 사용자와 프로선수의 스윙 모션을 동시에 재생하여 서로 비교할 수 있도록 한다. 캐릭터 위에 관절을 나타내는 키포인트와 스윙 궤도를 그래픽으로 표시할 수 있다. (3) 스윙 모션을 재생 또는 정지 할 수 있다. (4) 스윙 모션을 단계별로 확인할 수 있다.
도 7은 일 실시예에 따른 골프 스윙 분석/교정 시스템의 교정 분석 모듈에 따른 헤드업 교정을 나타내는 출력 예시 화면이다.
사용자 교정 항목 중 헤드업에 대한 교정 내용을 표시하는 화면이다. (1) 셋업시 기준이 되는 머리 위치를 주황색으로 표시한다. (2) 셋업시의 머리 위치에서 y값의 변동이 발생한 경우, 빨간색으로 현재 위치를 표시한다. (3) 셋업시의 회전축을 주황색으로 표시한다. (4) 셋업시의 회전축 대비 차이가 발생한 경우 표시한다. (5) 프로선수의 기준 머리위치와 회전축이 파란색으로 표시되었다.
도 8은 일 실시예에 따른 골프 스윙 분석/교정 시스템에서 자세를 구분하는 기준을 나타내는 사진이다.
두 어깨 키포인트의 중앙점(쇄골)을 기준으로 특정 각도를 갖는 선들로 구역을 나눈다. 골프채와 팔의 위치가 어느 구역에 위치하는 가에 따라 촬영된 영상의 프레임을 구분할 수 있다. 도면에서 프레임은, 탑(Top), 미드 백스윙(Mid-backswing) 또는 미드 다운스윙(Mid-downswing), 토우업(Toe-up), 어드레스(Address) 또는 임팩트(Impact), 미드 팔로우 쓰루(Mid-follow-through), 피니쉬(Finish) 등으로 구분할 수 있다.
도 9는 일 실시예에 따른 골프 스윙 분석/교정 시스템의 스윙 분석 방법을 나타내는 순서도이다.
제안된 발명의 다른 양상에 따르면, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 방법은, 사용자의 골프 스윙 동작을 촬영한 영상을 입력받는 입력 단계(S910)와, 상기 입력 단계에서 입력된 영상으로부터 관절 위치를 포함하는 키포인트를 추출하는 키포인트 추출 단계(S920)와, 상기 키포인트들의 위치 이동을 추적하여 사용자의 골프 스윙 동작의 시퀀스를 추출하는 시퀀스 추출 단계(S930)와, 상기 시퀀스 추출 단계에서 추출한 사용자의 골프 스윙 동작 또는 자세에서 교정 포인트에 해당하는 부분을 프로선수의 동작 또는 자세와 비교하여 분석하는 교정 분석 단계(S940)와, 상기 교정 분석 단계에서 분석한 동작 또는 자세에 3D 캐릭터를 리타게팅하여 3D 이미지를 생성하는 시각화 단계(S950)를 포함한다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.
110 : 메인 서버(110)
130 : 카메라 모듈(130)
150 : 사용자(150)
170 : 출력 모듈(170)
210 : 입력 모듈(210)
230 : 키포인트 추출 모듈(230)
250 : 시퀀스 추출 모듈(250)
270 : 교정 분석 모듈(270)
290 : 시각화 모듈(290)
310 : 스윙 카운트 모듈(310)
320 : 체형 입력 모듈(320)
330 : 3D 체형 측정 모듈(330)
340 : 체형별 자세 교정 모듈(340)
350 : 스타일 입력 모듈(350)
360 : 스타일별 교정 모듈(360)
370 : 3D 앵글 조작 모듈(370)

Claims (16)

  1. 사용자의 골프 스윙 동작을 촬영한 영상을 입력받는 입력 모듈;
    상기 입력 모듈을 통해 입력된 영상으로부터 관절 위치를 포함하는 키포인트를 추출하는 키포인트 추출 모듈;
    상기 키포인트의 위치 이동을 추적하여 사용자의 골프 스윙 동작의 시퀀스를 추출하는 시퀀스 추출 모듈;
    상기 시퀀스 추출 모듈에서 추출한 사용자의 골프 스윙 동작 또는 자세에서 교정 포인트에 해당하는 부분을 프로선수의 동작 또는 자세와 비교하여 분석하는 교정 분석 모듈; 및
    상기 교정 분석 모듈에서 분석한 동작 또는 자세에 3D 캐릭터를 리타게팅하여 3D 이미지를 생성하는 시각화 모듈;
    을 포함하고,
    상기 키포인트 추출 모듈은,
    2D 포즈 인식 알고리즘을 이용하여 인공지능으로 학습시킨 키포인트 인식기;
    골프 스윙 움직임을 취하는 사용자의 자세 특성을 반영한 1차 키포인트 보정기;
    상기 1차 키포인트 보정기에서 보정된 키포인트들을 수집하는 키포인트 수집기; 및
    상기 키포인트 수집기에 모인 과거 키포인트들 정보를 이용해 스윙 움직임 특성을 반영한 2차 키포인트 보정기;
    를 포함하는,
    3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  2. 삭제
  3. 청구항 1에 있어서, 상기 시퀀스 추출 모듈은 :
    상기 2차 키포인트 보정기에서 보정된 키포인트 좌표를 바탕으로, 그들 사이의 거리 관계를 특징으로하는 다수의 벡터를 활용해 프레임의 스윙 시퀀스을 분류하는 시퀀스 분류기;
    상기 시퀀스 분류기에서 분류된 시퀀스별로 키포인트들의 시퀀스를 수집하는 시퀀스 수집기; 및
    상기 시퀀스 수집기에서 수집된 연속적인 시퀀스 정보에서 중심이 되는 최적 시퀀스를 찾아내고, 사용자가 일련의 골프 스윙 시퀀스를 완료했는지를 판단하는 시퀀스 추출기;
    를 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  4. 청구항 1에 있어서, 상기 시스템은 :
    골프 스윙시 사용자가 서있는 정면과 측면을 포함하는 복수의 동영상을 촬영하고, 촬영된 영상을 상기 입력 모듈로 전달하는 카메라 모듈;
    을 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  5. 청구항 1에 있어서, 상기 시스템은 :
    입력된 영상에서 사용자의 두 어깨 키포인트의 중앙점을 중심으로 팔과 골프채가 위치한 각도가 일정 범위 이상으로 회전하는 경우, 골프 스윙이 완료된 것으로 판단하여 스윙 횟수를 증가시키는 스윙 카운트 모듈;
    을 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  6. 청구항 1에 있어서, 상기 시스템은 :
    사용자로부터 키와 체중을 포함하는 신체 데이터를 입력받는 체형 입력 모듈; 및
    사용자의 신체 사진을 촬영하고, 상기 체형 입력 모듈의 데이터와 촬영된 2D 이미지를 인공지능 모델에 투입하여 3차원 체형 정보를 생성하여 사용자의 체형을 설정하는 3D 체형 측정 모듈;
    을 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  7. 청구항 6에 있어서, 상기 시스템은 :
    상기 3D 체형 측정 모듈에서 설정한 사용자의 체형과 체형이 가장 유사한 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 체형별 자세 교정 모듈;
    을 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  8. 청구항 1에 있어서, 상기 시스템은 :
    사용자로부터 선호하는 골프 스타일을 입력받는 스타일 입력 모듈; 및
    상기 스타일 입력 모듈에서 선택된 골프 스타일에 해당하는 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 스타일별 자세 교정 모듈;
    을 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  9. 청구항 1에 있어서, 상기 시스템은 :
    상기 시각화 모듈에서 생성된 3D 캐릭터를 바라보는 방향을 변경하는 3D 앵글 조작 모듈;
    을 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  10. 골프 스윙시 사용자가 서있는 정면과 측면을 포함하는 복수의 동영상을 촬영하는 카메라 모듈;
    상기 카메라 모듈에서 촬영된 사용자의 골프 스윙 동작 영상을 입력받는 입력 모듈;
    상기 입력 모듈을 통해 입력된 영상으로부터 관절 위치를 포함하는 키포인트를 추출하는 키포인트 추출 모듈;
    상기 키포인트의 위치 이동을 추적하여 사용자의 골프 스윙 동작의 시퀀스를 추출하는 시퀀스 추출 모듈;
    상기 시퀀스 추출 모듈에서 추출한 사용자의 골프 스윙 동작 또는 자세에서 교정 포인트에 해당하는 부분을 프로선수의 동작 또는 자세와 비교하여 분석하는 교정 분석 모듈;
    상기 교정 분석 모듈에서 분석한 동작 또는 자세에 3D 캐릭터를 리타게팅하여 3D 이미지를 생성하는 시각화 모듈;
    상기 시각화 모듈에서 생성된 3D 캐릭터를 바라보는 방향을 변경하는 3D 앵글 조작 모듈; 및
    상기 시각화 모듈에서 생성된 3D 캐릭터를 표시하는 출력 모듈;
    을 포함하고,
    상기 키포인트 추출 모듈은,
    2D 포즈 인식 알고리즘을 이용하여 인공지능으로 학습시킨 키포인트 인식기;
    골프 스윙 움직임을 취하는 사용자의 자세 특성을 반영한 1차 키포인트 보정기;
    상기 1차 키포인트 보정기에서 보정된 키포인트들을 수집하는 키포인트 수집기; 및
    상기 키포인트 수집기에 모인 과거 키포인트들 정보를 이용해 스윙 움직임 특성을 반영한 2차 키포인트 보정기;
    를 포함하는,
    3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 시스템.
  11. 사용자의 골프 스윙 동작을 촬영한 영상을 입력받는 입력 단계;
    상기 입력 단계에서 입력된 영상으로부터 관절 위치를 포함하는 키포인트를 추출하는 키포인트 추출 단계;
    상기 키포인트의 위치 이동을 추적하여 사용자의 골프 스윙 동작의 시퀀스를 추출하는 시퀀스 추출 단계;
    상기 시퀀스 추출 단계에서 추출한 사용자의 골프 스윙 동작 또는 자세에서 교정 포인트에 해당하는 부분을 프로선수의 동작 또는 자세와 비교하여 분석하는 교정 분석 단계; 및
    상기 교정 분석 단계에서 분석한 동작 또는 자세에 3D 캐릭터를 리타게팅하여 3D 이미지를 생성하는 시각화 단계;
    를 포함하고,
    상기 키포인트 추출 단계는,
    2D 포즈 인식 알고리즘을 이용하여 인공지능으로 학습시키는 키포인트 인식 단계;
    골프 스윙 움직임을 취하는 사용자의 자세 특성을 반영한 1차 키포인트 보정 단계;
    상기 1차 키포인트 보정 단계에서 보정된 키포인트들을 수집하는 키포인트 수집 단계; 및
    상기 키포인트 수집 단계에서 모인 과거 키포인트들 정보를 이용해 스윙 움직임 특성을 반영한 2차 키포인트 보정 단계;
    를 포함하는,
    3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 방법.
  12. 삭제
  13. 청구항 11에 있어서, 상기 시퀀스 추출 단계는 :
    상기 2차 키포인트 보정 단계에서 보정된 키포인트 좌표를 바탕으로, 그들 사이의 거리 관계를 특징으로하는 다수의 벡터를 활용해 프레임의 스윙 시퀀스을 분류하는 시퀀스 분류 단계;
    상기 시퀀스 분류 단계에서 분류된 시퀀스별로 키포인트들의 시퀀스를 수집하는 시퀀스 수집 단계; 및
    상기 시퀀스 수집 단계에서 수집된 연속적인 시퀀스 정보에서 중심이 되는 최적 시퀀스를 찾아내고, 사용자가 일련의 골프 스윙 시퀀스를 완료했는지를 판단하는 시퀀스 추출 단계;
    를 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 방법.
  14. 청구항 11에 있어서, 상기 방법은 :
    입력된 영상에서 사용자의 두 어깨 키포인트의 중앙점을 중심으로 팔과 골프채가 위치한 각도가 일정 범위 이상으로 회전하는 경우, 골프 스윙이 완료된 것으로 판단하여 스윙 횟수를 증가시키는 스윙 카운트 단계;
    를 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 방법.
  15. 청구항 11에 있어서, 상기 방법은 :
    사용자로부터 키와 체중을 포함하는 신체 데이터를 입력받는 체형 입력 단계;
    사용자의 신체 사진을 촬영하고, 상기 체형 입력 단계에서 입력받은 데이터와 촬영된 2D 이미지를 인공지능 모델에 투입하여 3차원 체형 정보를 생성하여 사용자의 체형을 설정하는 3D 체형 측정 단계; 및
    상기 3D 체형 측정 단계에서 설정한 사용자의 체형과 체형이 가장 유사한 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 체형별 자세 교정 단계;
    를 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 방법.
  16. 청구항 11에 있어서, 상기 방법은 :
    사용자로부터 선호하는 골프 스타일을 입력받는 스타일 입력 단계; 및
    상기 스타일 입력 단계에서 선택된 골프 스타일에 해당하는 프로선수를 매칭시키고, 사용자의 스윙 자세를 매칭된 프로선수의 스윙 자세 또는 동작과 비교하는 스타일별 자세 교정 단계;
    를 더 포함하는, 3D 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석 및 교정 방법.
KR1020210169517A 2021-11-30 2021-11-30 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법 KR102593654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210169517A KR102593654B1 (ko) 2021-11-30 2021-11-30 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210169517A KR102593654B1 (ko) 2021-11-30 2021-11-30 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230081949A KR20230081949A (ko) 2023-06-08
KR102593654B1 true KR102593654B1 (ko) 2023-10-26

Family

ID=86765944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210169517A KR102593654B1 (ko) 2021-11-30 2021-11-30 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102593654B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399655B1 (ko) * 2013-04-12 2014-05-30 한밭대학교 산학협력단 체형별 스윙분석장치 및 이를 이용한 골프레슨 관리 시스템 및 방법
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Ｓｐｏｒｔｉｐ 運動支援システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100033205A (ko) * 2008-09-19 2010-03-29 명주성 골프연습 보조 시스템 및 그 방법
KR20210033290A (ko) * 2019-09-18 2021-03-26 주식회사 스마트골프 골프 시뮬레이션 장치를 이용한 스윙자세 교육방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399655B1 (ko) * 2013-04-12 2014-05-30 한밭대학교 산학협력단 체형별 스윙분석장치 및 이를 이용한 골프레슨 관리 시스템 및 방법
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Ｓｐｏｒｔｉｐ 運動支援システム

Also Published As

Publication number Publication date
KR20230081949A (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
JP6984698B2 (ja) 仮想環境構築装置、仮想環境構築方法、およびプログラム
CN110448870B (zh) 一种人体姿态训练方法
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
US9418470B2 (en) Method and system for selecting the viewing configuration of a rendered figure
US7404774B1 (en) Rule based body mechanics calculation
US10186041B2 (en) Apparatus and method for analyzing golf motion
JP2004164563A (ja) 画像解析方法、画像解析装置、画像解析プログラム
JP2009020897A (ja) 画像解析方法、画像解析装置、画像解析プログラム
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
KR101428922B1 (ko) 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
CN103916586B (zh) 图像解析装置以及图像解析方法
KR102594938B1 (ko) 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
KR20200022788A (ko) 동작분석 장치 및 방법
KR20100033205A (ko) 골프연습 보조 시스템 및 그 방법
KR102593654B1 (ko) 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법
Ingwersen et al. Evaluating current state of monocular 3d pose models for golf
Wang Research on the evaluation of sports training effect based on artificial intelligence technology
CN113947811A (zh) 一种基于生成对抗网络的太极拳动作校正方法及系统
Malawski Real-Time First Person Perspective Tracking and Feedback System for Weapon Practice Support in Fencing.
KR102055146B1 (ko) 이벤트 기반 비전 센서를 이용한 운동 자세 점검 방법 및 운동 자세 점검 장치
KR102614770B1 (ko) 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템
JP7488704B2 (ja) 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right