KR102353637B1 - 골프 동작 분석 방법 및 장치 - Google Patents
골프 동작 분석 방법 및 장치 Download PDFInfo
- Publication number
- KR102353637B1 KR102353637B1 KR1020190030226A KR20190030226A KR102353637B1 KR 102353637 B1 KR102353637 B1 KR 102353637B1 KR 1020190030226 A KR1020190030226 A KR 1020190030226A KR 20190030226 A KR20190030226 A KR 20190030226A KR 102353637 B1 KR102353637 B1 KR 102353637B1
- Authority
- KR
- South Korea
- Prior art keywords
- golf
- image
- motion
- joint
- user
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 235
- 238000000034 method Methods 0.000 title claims description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 61
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 33
- 230000015654 memory Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/0031—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
- A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
-
- A63B2071/0622—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Physical Education & Sports Medicine (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
사용자의 골프 동작을 분석하는 골프 동작 분석 방법에 있어서, 골프 동작을 촬영한 제1 학습 골프 영상 및 상기 제1 학습 골프 영상에 기초하여 생성된 스켈레톤 영상인 제2 학습 골프 영상에 기초하여 골프 동작이 학습된 인공 신경망 모델을 학습시킨다. 분석하고자 하는 사용자의 골프 동작을 촬영한 사용자의 제1 골프 영상이 입력된다. 상기 골프 동작이 학습된 인공 신경망 모델에 기초하여, 상기 제1 골프 영상으로부터 스켈레톤 영상인 제2 골프 영상을 생성한다. 상기 제2 골프 영상에 기초하여 사용자의 골프 동작을 분석한다.
Description
본 발명은 골프 동작 분석 방법 및 장치에 관한 것으로, 더욱 상세하게는 딥러닝 기술을 이용하여 사용자의 몸체에 대한 스켈레톤 정보와 함께 골프 클럽에 대한 스켈레톤 정보를 추출하여 사용자의 골프 동작을 분석하는 골프 동작 분석 방법 및 장치에 관한 것이다.
골프는 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)에 이르기까지 각 동작의 자세의 정확성이 요구되는 운동으로서, 사용자가 정확한 자세를 습득하기 위해서는 수많은 연습과 교정 과정의 반복이 요구된다.
이와 관련하여, 최근에는 종래의 전문가들의 코칭에 의해 이루어지던 교정 과정을 자가 학습으로 대체할 수 있도록 골프 동작을 분석해주는 다양한 시스템들이 도입되고 있으며, 특히, 최근에는 뎁스 카메라를 이용하여 취득된 영상으로부터 뎁스 정보를 추출하여 사용자의 골프 동작을 분석해주는 다양한 시스템들이 등장하고 있다.
예를 들어, 등록특허공보 10-1394274호(B1)(이하, 특허문헌 1이라 함.)의 경우, 뎁스 카메라로부터 취득된 뎁스 영상으로부터 사용자 부분이 추출되고, 사용자 부분의 상단 또는 하단 영역을 통해 사용자의 머리, 하체, 몸통, 팔 등의 신체 부위를 검출함으로써 사용자의 골프 동작을 분석하는 방법을 개시하고 있다. 또한, 공개특허공보 10-2018-0062069호(이하, 특허문헌 2)의 경우, 뎁스 카메라를 이용하여 사용자의 골프 동작을 촬영함으로써 사용자의 스켈레톤 영상을 취득하고, 취득한 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출하는 동시에, 골프 스윙시 사용자의 골프 동작을 보다 정밀하게 분석하기 위하여, 사용자의 손 동작을 감지하기 위한 관성 센서를 사용자의 손에 추가로 장착하고, 또한, 스윙 동작시에 골프 클럽의 빠른 움직임을 감지하기 하기 위하여 사용자의 골프 스윙을 고프레임으로 촬영하는 카메라를 설치하는 것을 개시하고 있다.
그러나, 특허문헌 1 및 2의 경우, 이를 구현하기 위해서는 고성능 컴퓨팅 장비가 포함된 시스템이 요구된다는 점에서 비용, 효율화 등의 측면에서 상용화의 한계를 가지고 있으며, 사전 학습이나 미리 정의된 신체 형태가 사용되는 것이 아닌 뎁스 카메라에 찍힌 사용자의 영상에 기초하여 분석을 하기 때문에 신체가 겹치는 부분(예를 들어, 정면 촬영시 어드레스 자세에서 팔과 상체가 겹치는 부분)에서 신체 부위를 정확히 분리해 내지 못하거나 팔의 굽혀진 각도를 정확히 인식하지 못하는 한계가 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 일 목적은 딥러닝(deep learning) 기술을 이용하여 사용자의 몸체에 대한 스켈레톤 정보와 함께 골프 클럽에 대한 스켈레톤 정보를 추출하여 사용자의 골프 동작을 분석하는 골프 동작 분석 방법을 제공하는 것이다.
본 발명의 일 목적은 상기 방법을 수행하는 장치를 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예에 따른 골프 동작 분석 방법에 있어서, 골프 동작을 촬영한 제1 학습 골프 영상 및 상기 제1 학습 골프 영상에 기초하여 생성된 스켈레톤 영상인 제2 학습 골프 영상에 기초하여 골프 동작이 학습된 인공 신경망 모델을 학습시킨다. 분석하고자 하는 사용자의 골프 동작을 촬영한 사용자의 제1 골프 영상이 입력된다. 상기 골프 동작이 학습된 인공 신경망 모델에 기초하여, 상기 제1 골프 영상으로부터 스켈레톤 영상인 제2 골프 영상을 생성한다. 상기 제2 골프 영상에 기초하여 사용자의 골프 동작을 분석한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예에 따른 골프 동작 분석 장치는 딥러닝을 이용한 골프 동작이 학습된 인공 신경망 모델에 기초하여, 분석하고자 하는 사용자의 골프 동작을 촬영한 적어도 하나의 제1 골프 영상으로부터 스켈레톤 영상인 제2 골프 영상을 생성하도록 구성된 스켈레톤 영상 생성부, 및 상기 제2 골프 영상에 표시되는 관절들 중 분석의 대상이 되는 관절을 추출하고, 추출된 관절의 좌표값을 이용하여 사용자의 골프 동작을 분석하도록 구성되는 동작 분석부를 포함한다.
상기와 같은 본 발명의 일 실시예에 따른 골프 동작 분석 방법 및 장치에서는, 딥러닝 기술을 이용한 미리 학습된 골프 스윙 모델에 기초하여 사용자의 골프 동작을 분석하기 때문에, 사용자의 골프 동작에 있어서, 신체가 겹쳐져 영상에 나타나지 않는 신체 부분에 대해서도 스켈레톤의 각 관절에 대응되는 좌표를 추출할 수 있다.
또한, 본 발명의 일 실시예에 따른 골프 동작 분석 방법 및 장치에서는, 딥러닝 기술을 이용한 미리 학습된 골프 스윙 모델에 기초하여 사용자의 신체에 대한 스켈레톤 좌표 정보와 함께 골프 클럽에 대한 스켈레톤의 좌표를 추출함으로써, 사용자의 골프 동작에 있어서, 사용자의 신체와 골프 클럽의 상호 위치 관계 및 골프 클럽의 움직임에 대해서도 분석할 수 있다.
도 1은 본 발명에 따른 사용자의 골프 동작을 분석하기 위한 골프 동작 분석 장치를 설명하기 위한 개념도이다.
도 2는 도 1에 도시된 골프 동작을 분석하는 장치를 설명하기 위한 블록도이다.
도 3은 골프 클럽 상에 미리 정의된 관절의 예시도이다.
도 4는 딥러닝 기술을 이용하여, 도 2의 사용자의 제1 골프 영상을 스켈레톤 영상인 제2 골프 영상으로 변환하는 장치를 학습시키는 것을 나타내는 블록도이다.
도 5는 도 2의 제2 골프 영상의 구분 동작별 프레임 영상을 나타낸 도면들이다.
도 6은 본 발명의 실시예에 따른 골프 동작 분석 방법을 나타낸 순서도이다.
도 7은 본 발명의 실시예들에 따른 골프 동작 분석 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 2는 도 1에 도시된 골프 동작을 분석하는 장치를 설명하기 위한 블록도이다.
도 3은 골프 클럽 상에 미리 정의된 관절의 예시도이다.
도 4는 딥러닝 기술을 이용하여, 도 2의 사용자의 제1 골프 영상을 스켈레톤 영상인 제2 골프 영상으로 변환하는 장치를 학습시키는 것을 나타내는 블록도이다.
도 5는 도 2의 제2 골프 영상의 구분 동작별 프레임 영상을 나타낸 도면들이다.
도 6은 본 발명의 실시예에 따른 골프 동작 분석 방법을 나타낸 순서도이다.
도 7은 본 발명의 실시예들에 따른 골프 동작 분석 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며, 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 사용자의 골프 동작을 분석하기 위한 골프 동작 분석 장치를 설명하기 위한 개념도이다. 도 2는 도 1에 도시된 골프 동작을 분석하는 장치를 설명하기 위한 블록도이다.
도 1 및 2를 참조하면, 본 실시예에 따른 골프 동작 분석 장치(100)는 유선 또는 무선으로 연결된 카메라부(10)로부터 수신된 사용자의 적어도 하나의 골프 영상에 기초로 하여, 사용자의 골프 동작을 분석하도록 구성된다. 상기 골프 동작 분석 장치(100)는, 골프 동작이 학습된 인공 신경망 모델에 기초하여 사용자의 골프 동작을 분석하도록 구성된다.
상기 카메라부(10)는 사용자의 골프 동작을 동영상으로 촬영가능하도록 구성된 단말로서, 일반 카메라, 깊이 영상을 촬영가능한 뎁스 카메라 또는 고속 촬영이 가능한 고프레임 카메라로 구성될 수 있다. 또한, 상기 카메라부(10)는 단일의 카메라로 구성되어, 배치된 위치에서 촬영한 하나의 골프 영상을 상기 골프 동작 분석 장치(100)로 송신하도록 구성되거나, 또는 복수의 카메라로 구성되어, 서로 다른 시점(view point)에서 사용자의 골프 동작을 촬영한 복수의 골프 영상을 상기 골프 동작 분석 장치(100)로 송신하도록 구성될 수 있다.
또한, 상기 카메라부(10)는 카메라 기능이 지원되는 다양한 종류의 단말로, 예를 들어, 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 또는 웨어러블 장치 중 적어도 하나일 수 있다.
상기 골프 동작 분석 장치(100)는, 2차원 또는 3차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여 사용자의 골프 동작을 분석하도록 구성된다. 예를 들어, 상기 골프 동작 분석 장치(100)가 2차원의 골프 동작이 학습된 인공 신경망 모델에 기초하는 경우, 상기 카메라부(10)는 상기 인공 신경망 모델을 학습시킨 골프 동작의 시점과 대응되는 특정의 시점에서 사용자의 골프 동작을 촬영할 필요가 있으며, 이 경우, 상기 카메라부(10)는 특정 위치에 고정되어 사용자의 골프 동작을 촬영하도록 구성된 고정식 단말일 수 있다. 또는 이와 달리, 상기 카메라부(10)는 이동식 단말일 수도 있으며, 이 경우, 사용자의 골프 동작을 촬영함에 있어, 상기 카메라부(10)에는 디스플레이 상에 촬영 시점에 대한 가이드 라인을 선 또는 윤곽 등으로 표시하도록 구성되어 촬영자가 상기 특정의 시점에서 촬영할 수 있도록 유도할 수 있다. 다만, 상기 카메라부(10)가 뎁스 카메라로 구성된 경우, 3차원의 골프 동작을 촬영가능하기 때문에, 어느 시점에서 촬영하더라도 상기 특정의 시점의 2차원의 골프 동작으로 변환이 가능하다. 따라서, 이 경우는 상기 카메라부(10)의 배치 위치가 특정의 위치로 제한되지 않으며, 사용자의 골프 동작을 촬영하는 동안에도 고정될 것이 요구되지 않는다.
또한, 상기 골프 동작 분석 장치(100)는, 서로 다른 시점에서의 2차원의 골프 동작이 학습된 복수의 인공 신경망 모델에 기초하여, 사용자의 골프 동작을 분석하도록 구성될 수도 있다. 이 경우, 상기 카메라부(10)는 복수의 카메라로 구성되어, 대응되는 각 시점에서 사용자의 골프 동작을 촬영하도록 구성될 수 있다. 즉, 상기 카메라부(10)는 서로 다른 시점에서의 사용자의 복수의 골프 영상들을 상기 골프 동작 분석 장치(100)에 송신하도록 구성된다. 다만, 이 경우에도, 상기 카메라부(10)가 뎁스 카메라로 구성된 경우에는, 촬영한 3차원의 골프 동작을 각 시점에 대응하는 복수의 2차원의 골프 동작으로 각각 변환가능하므로, 상기 카메라부(10)는 단일의 카메라로 구성될 수 있다.
이와 달리, 상기 골프 동작 분석 장치(100)는 3차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여, 사용자의 골프 동작을 분석하도록 구성될 수 있으며, 이 경우, 상기 카메라부(10)의 촬영 시점은 특정의 시점으로 제한되지 않는다. 즉, 상기 카메라부(10)의 배치 위치는 특정의 위치로 제한되지 않으며, 사용자의 골프 동작을 촬영하는 동안에도 고정될 것이 요구되지 않는다. 이는 상기 카메라부(10)가 뎁스 카메라로 구성된 경우에도 마찬가지이다.
상기 골프 동작 분석 장치(100)는 입력 버퍼(110), 적어도 하나의 프로세싱 소자(120) 및 출력 버퍼(130)를 포함한다. 또한, 상기 골프 동작 분석 장치(100)는 파라미터 버퍼(140) 및 메모리(150)를 더 포함할 수 있다.
상기 입력 버퍼(110)는 분석 대상이 되는 사용자의 골프 동작에 있어서, 적어도 하나 이상의 제1 골프 영상(VIMG1)을 수신한다. 예를 들어, 상기 입력 버퍼(110)는 적어도 하나의 프레임 버퍼를 포함할 수 있다. 상기 입력 버퍼(110)에 입력되는 상기 제1 골프 영상(VIMG1)은 상기 프로세싱 소자(120)에서 처리될 사용자의 골프 동작이 포함된 동영상으로서, 복수의 프레임 영상들을 포함하며, 각각의 프레임 영상은 특정 시간의 영상으로 구성된다.
또한, 상기 골프 동작 분석 장치(100)는 상기 입력 버퍼(110) 이전에 상기 카메라부(10)로부터 수신한 사용자의 골프 영상이 상기 프로세싱 소자(120)에서 처리될 수 있도록 적합한 형태의 영상으로 변환시키도록 구성된 영상 변환부(미도시)를 더 포함할 수 있다. 예를 들어, 상기 프로세싱 소자(120)에서 특정의 시점의 2차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여 골프 영상을 분석하도록 구성되는 경우, 상기 카메라부(10)에서 출력된 사용자의 골프 영상이 2차원인 경우에는 문제가 없으나(이 때는 상기 카메라부(10)에서 출력된 사용자의 골프 영상과 상기 제1 골프 영상(VIMG1)이 동일함.), 3차원인 경우에는 효과적인 분석을 위하여 2차원의 골프 동작이 학습된 특정의 시점의 2차원의 제1 골프 영상(VIMG1)으로 변환될 필요가 있다.
또는, 상기 프로세싱 소자(120)에서 서로 다른 시점에서의 2차원의 골프 동작이 학습된 복수의 인공 신경망 모델에 기초하여 골프 영상을 분석하도록 구성되는 경우, 대응되는 각 시점에서의 복수의 카메라에서 출력된 복수의 골프 영상이 2차원인 경우에는 문제가 없으나(이 때는 상기 카메라부(10)에서 출력된 사용자의 골프 영상과 상기 제1 골프 영상(VIMG1)이 동일함.), 상기 카메라부(10)로부터 하나의 3차원의 골프 영상이 출력된 경우, 효과적인 분석을 위하여 서로 다른 시점에서의 2차원의 골프 동작이 학습된 각 시점들에서의 2차원의 제1 골프 영상(VIMG1)로 변환될 필요가 있다.
또는 이와 달리, 상기 프로세싱 소자(120)에서 3차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여 골프 영상을 분석하도록 구성되는 경우, 상기 카메라부(10)에서 출력된 사용자의 골프 영상이 3차원인 경우에는 문제가 없으나(이 때는 상기 카메라부(10)에서 출력된 사용자의 골프 영상과 상기 제1 골프 영상(VIMG1)이 동일함.), 2차원인 경우에는 효과적인 분석을 위하여 3차원의 제1 골프 영상(VIMG1)으로 변환될 필요가 있다. 이 경우, 스티칭(stitching) 등의 기술을 이용하여 서로 다른 시점에서의 복수의 2차원의 골프 영상들로부터 3차원의 제1 골프 영상(VIMG1)을 생성하거나, 또는 딥러닝 기술을 이용한 3차원의 골프 동작이 학습된 인공 신경망 모델을 통해, 2차원의 골프 동작에서 뎁스(depth)값을 추론하여 3차원으로 랜더링함으로써, 3차원의 제1 골프 영상(VIMG1)을 생성할 수 있다. 상기의 기술은 본 발명의 범위를 벗어나므로, 이에 대한 자세한 설명은 생략한다.
따라서, 상기 영상 변환부(미도시)는 상기와 같이 상기 카메라부(10)에서 출력된 사용자의 골프 영상과 상기 프로세싱 소자(120)에서 분석되는 골프 영상 간에 2차원 또는 3차원의 형식에 있어 차이가 있을 경우, 효과적인 분석을 위하여 상기 카메라부(10)에서 출력된 사용자의 골프 영상을 적합한 형식의 제1 골프 영상(VIMG1)으로 변환하도록 구성된다.
즉, 상기 입력 버퍼(110)에 입력되는 상기 제1 골프 영상(VIMG1)의 각 프레임 영상에는, 상기 프로세싱 소자(120)에서 처리되는 사용자의 골프 영상의 2차원 또는 3차원의 형식에 따라, 사용자의 골프 동작에 있어서 사용자의 신체 및 골프 클럽에 대한 x좌표, y좌표의 좌표 정보 [f(x, y)]가 포함되거나, 또는, z좌표를 더 포함한 좌표 정보 [f(x, y, z)]가 포함될 수 있다. 또한, 상기 제1 골프 영상(VIMG1)의 각 프레임 영상에는, 그레이 스케일 값(또는 컬러 영상인 경우, R, G, B 값)에 대한 정보가 포함될 수 있다.
본 실시예에서는 상기 입력 버퍼(110) 이전에 상기 카메라부(10)로부터 출력된 사용자의 골프 영상이 상기 프로세싱 소자(120)에서 처리될 수 있도록 적합한 형태의 영상으로 변환되는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 프로세싱 소자(120)가 상기 영상 변환부(미도시)를 포함하도록 구성되고, 상기 프로세싱 소자(120)에서 효과적인 분석을 위하여 상기 제1 골프 영상(VIMG1)을 적합한 형식의 골프 영상으로 변환하도록 구성될 수도 있다.
상기 프로세싱 소자(120)는 골프 동작이 학습된 인공 신경망 모델에 기초하여 사용자의 골프 동작을 분석하도록 구성된다. 구체적으로, 상기 프로세싱 소자(120)는 상기 인공 신경망 모델에 기초하여, 수신된 상기 제1 골프 영상(VIMG1)으로부터 사용자의 골프 동작에 대응되는 스켈레톤 영상인 제2 골프 영상(VIMG2)을 생성하여 사용자의 신체 및 골프 클럽에 대한 각 관절에 대응되는 좌표를 추출하고, 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 골프 동작의 각 구분 동작에 있어서의 사용자의 신체 및 골프 클럽의 움직임 및 좌표의 위치를 추적하도록 구성된다.
구체적으로, 상기 프로세싱 소자(120)는 스켈레톤 영상 생성부(121) 및 동작 분석부(123)를 포함한다.
상기 스켈레톤 영상 생성부(121)는, 골프 동작이 학습된 인공 신경망 모델에 기초하여, 상기 입력버퍼(110)로부터 수신된 적어도 하나의 제1 골프 영상(VIMG1)으로부터 사용자의 골프 동작에 대응되는 스켈레톤 영상인 제2 골프 영상(VIMG2)을 생성하고, 사용자의 신체 및 골프 클럽에 대한 각 관절을 추출하여 상기 제2 골프 영상(VIMG2) 상에 표시하도록 구성된다. 예를 들어, 상기 스켈레톤 영상 생성부(121)는, 서로 다른 시점의 복수의 제1 골프 영상(VIMG1)이 수신되는 경우, 각 시점에서의 골프 동작이 학습된 복수의 인공 신경망 모델에 기초하여, 서로 다른 시점의 복수의 제2 골프 영상(VIMG2)을 생성할 수 있다.
구체적으로, 상기 스켈레톤 영상 생성부(121)는 상기 제1 골프 영상(VIMG1)의 복수의 프레임 영상들 각각에 대한 특성을 추출하여 특성 맵(feature map)들을 생성하고, 이들을 연산하여, 상기 각각의 프레임 영상들에서 골프 동작에 있어서의 사용자의 신체의 20개의 관절뿐만 아니라 골프 클럽 상에 미리 정의된 관절에 대해서도 각각의 좌표를 추론하도록 구성된다. 여기서의 상기 미리 정의된 관절에 대해서는 후술하도록 한다.
한편, 상기 특성 맵의 생성 및 연산은 컨볼루션 신경망(convolution neural network; CNN) 및/ 또는 순환 신경망(recurrent neural network RNN)을 기반으로 구현되는 레이어, 정정 선형 유닛(rectified linear unit; RELU) 레이어, 풀링(pooling) 레이어, 바이어스 가산(bias add) 레이어, 소프트맥스(softmax) 레이어 등과 같은 다양한 연산 레이어들을 포함하는 연산 모델에 의해 구현될 수 있다.
여기서, 인공 신경망(artificial neural network; ANN)이란 연결 선으로 연결된 많은 수의 인공 뉴런들을 사용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 연산 모델을 나타낸다. 상기 인공 신경망에서는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런을 사용하게 된다. 그리고 연결 강도를 갖는 연결 선을 통해 상호 연결시켜 인간의 인지 작용이나 학습 과정을 수행하게 된다. 즉, 상기 스켈레톤 영상 생성부(121)에서 이용되는 상기 연산 모델은 상기 인공 신경망을 이용하여 미리 학습된 상태의 연산 모델일 수 있다.
상기 동작 분석부(123)는 상기 제2 골프 영상(VIMG2)에 표시되는 사용자의 신체 및 골프 클럽 상의 관절들 중, 분석의 대상이 되는 관절을 추출하고, 추출된 해당 관절의 좌표값을 이용하여 사용자의 골프 동작을 분석하도록 구성될 수 있다. 예를 들어, 상기 동작 분석부(123)는 어드레스부터 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루 및 피니쉬까지의 골프 동작의 각 구분 동작별로 분석에 있어 기초가 되는 관절에 대한 미리 저장된 정보들을 참조하여, 해당 구분 동작시, 관련된 관절을 추출하도록 구성될 수 있다. 또한, 상기 동작 분석부(123)는 추출된 해당 관절의 좌표값을 이용하여 골프 동작 중 각 구분 동작, 예를 들어, 어드레스, 임팩트, 및 피니쉬와 같이 상태를 나타내는 구분 동작에서는 해당 관절의 절대 위치 및 다른 관절과의 상대 위치 등을 분석하고, 테이크백, 백스윙탑, 다운스윙, 팔로우스루와 같이 모션을 나타내는 구분 동작에서는 해당 관절의 이동 방향, 이동 속도, 이동한 궤적 등을 분석하도록 구성될 수 있다. 다만, 이에 제한되지 않는다.
한편, 상기 제2 골프 영상(VIMG2)의 골프 동작 중 사용자의 신체 및 골프 클럽 상에 표시되는 각 관절들은 딥러닝을 이용한 골프 동작이 학습된 인공 신경망 모델에 기초한 것으로, 연속성있는 각각의 프레임 영상에 표시된 각 관절의 위치에 기초하여, 각 관절의 위치 또는 이동을 추론하기 때문에, 상기 제2 골프 영상(VIMG2)의 골프 동작 중 신체가 겹쳐져 영상에 나타나지 않는 부분의 관절에 대해서도 그 위치를 추출할 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 프로세싱 소자(120)는, 사용자의 신체에 가려져 영상에 나타나지 않는 부분의 관절에 대해서도 추적이 가능하며, 특히 백뷰(back view) 시점에서 촬영된 팔로우스루 동작에 있어서, 사용자의 몸체에 가려져 영상에 나타나지 않는 손의 궤적나 골프 클럽의 궤적을 추적할 수 있다.
또한, 본 발명의 일 실시예에 따른 프로세싱 소자(120)는, 골프 동작이 학습된 인공 신경망 모델에 기초하여, 사용자의 신체에 대한 관절의 좌표 정보와 함께 골프 클럽에 대해 미리 정의된 관절의 좌표 정보를 추출함으로써, 사용자의 골프 동작에 있어서, 사용자의 신체와 골프 클럽의 상호 위치 관계 및 골프 클럽의 움직임에 대해서도 분석할 수 있다. 이와 관련하여, 도 3을 참조하여, 상기 미리 정의된 관절에 대해서 설명한다.
도 3은 골프 클럽 상에 미리 정의된 관절의 예시도이다.
도 3을 참조하면, 상기 골프 클럽 상에 사용자의 골프 그립이 끝나는 손잡이의 지점에 제1 관절(c1)이 정의되고, 샤프트의 길이 방향으로 중앙 위치에 제2 관절(c2)이 정의되고, 골프 클럽의 헤드에 제3 관절(c3)이 정의된다. 즉, 상기 제1 내지 제3 관절들(c1 내지 c3)의 좌표에 기초로 하여, 사용자의 골프 동작, 구체적으로 골프 클럽의 움직임을 분석할 수 있다. 예를 들어, 각 구분 동작에서의 손목과 샤프트 간의 각도를 측정하기 위하여, 상기 제1 관절(c1)의 좌표, 양 손목 관절의 좌표 및 상기 제2 관절(c2)의 좌표를 이용할 수 있다. 또한, 상기 제3 관절(c3)의 좌표를 이용하여 헤드의 위치, 속도, 및 궤적을 분석할 수 있다.
또한, 상기 골프 클럽의 움직임을 분석하기 위해, 추가로 골프 클럽 상의 샤프트의 헤드쪽 단부 지점에 제4 관절(c4)이 더 정의될 수 있다. 예를 들어, 각 구분 동작, 특히, 다운 스윙 또는 임팩트 동작에서의 샤프트의 휘는 정도를 측정하기 위하여, 상기 제1 관절(c1)의 좌표, 상기 제2 관절(c2)의 좌표 및 상기 제4 관절(c4)의 좌표를 이용할 수 있다. 구체적으로, 상기 제1 관절(c1)과 상기 제4 관절(c3)이 이루는 직선으로부터 상기 제2 관절(c2)이 떨어진 방향 및 거리를 측정함으로써, 골프 클럽의 진행 방향 및 휘는 정도를 측정할 수 있다. 이를 통해, 사용자의 골프 동작에 기초하여, 사용자가 사용하는 골프 클럽의 샤프트의 강도가 적합한지 여부를 판단할 수 있다.
또한, 임팩트 동작에서의 클럽 헤드가 열린 상태 또는 닫힌 상태로 볼을 맞췄는지를 측정하기 위하여, 상기 제3 관절(c3)의 좌표 및 제4 관절(c4)의 좌표를 이용할 수 있다. 예를 들어, 상기 제4 관절(c4)로부터의 상기 제3 관절(c3)의 상대 위치를 측정하거나, 또는 어드레스 동작과 임팩트 동작에서의 상기 제3 관절(c3)의 좌표 및 제4 관절(c4)의 좌표를 각각 비교함으로써, 임팩트 동작에서의 클럽 헤드의 상태를 분석할 수 있다.
즉, 본 발명은 상기 제1 골프 영상(VIMG1)을 상기 제2 골프 영상(VIMG2)으로 변환시킴에 있어, 기초가 되는 골프 동작이 학습된 인공 신경망 모델을 생성함에 있어, 복수의 학습용의 골프 영상들 각각에 대하여 신체의 20개의 관절뿐만 아니라 골프 클럽 상의 미리 정의된 관절에 대해서도 학습시킴으로써, 사용자의 골프 동작을 분석함에 있어서, 사용자 신체의 움직임뿐만 아니라 사용자의 신체와 골프 클럽의 상호 위치 관계 및 골프 클럽의 움직임에 대해서도 분석할 수 있다.
본 발명의 일 실시예에서, 상기 프로세싱 소자(120)는 상술한 연산들을 수행하기 위해 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphic processing unit; GPU), 신경 처리 장치(neural processing unit; NPU), 디지털 신호 프로세서(digital signal processor; DSP), 영상 신호 프로세서(image signal processor; ISP) 등과 같은 다양한 처리 장치들 중 적어도 하나를 포함하여 구현될 수 있다. 실시예에 따라서, 상기 프로세싱 소자(120)는 상술한 처리 장치들 중 동일한 종류의(homogeneous) 처리 장치들을 복수 개 포함하거나, 서로 다른 종류의(heterogeneous) 처리 장치들을 복수 개 포함하여 구현될 수 있다.
본 발명의 일 실시예에서, 상기 프로세싱 소자(120)는 상술한 연산들을 병렬 처리하기 위해 복수의 프로세서 코어(processor core)들을 포함하여 구현될 수 있다.
상기 출력 버퍼(130)는 상기 프로세싱 소자(120)에서 골프 동작이 학습된 인공 신경망 모델에 기초한 연산의 결과로서, 상기 제1 골프 영상(VIMG1)으로부터 생성한 상기 제2 골프 영상(VIMG2)을 저장 및 출력할 수 있다. 예를 들어, 상기 출력 버퍼(130)는 적어도 하나의 레지스터를 포함할 수 있다.
상기 파라미터 버퍼(140)는 상기 프로세싱 소자(120)가 상술한 연산들을 수행하는데 이용되는 복수의 파라미터들 및/또는 복수의 하이퍼 파라미터(hyper parameter)들을 저장할 수 있다. 예를 들면, 상기 파라미터 버퍼(140)는 학습 과정에 의해 학습된 인공 신경망 모델의 파라미터들을 저장할 수 있다.
상기 메모리(150)는 상기 프로세싱 소자(120)에 의해 처리되었거나 처리될 예정인 데이터들을 임시로 또는 지속적으로 저장할 수 있다. 예를 들어, 상기 메모리(150)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 휘발성 메모리, 및 플래시 메모리(flash memory), PRAM(phase change random access memory), RRAM(resistance random access memory), NFGM(nano floating gate memory), PoRAM(polymer random access memory), MRAM(magnetic random access memory), FRAM(ferroelectric random access memory) 등과 같은 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 본 발명의 일 실시예에 따라서, 상기 메모리(150)는 SSD(solid state drive), eMMC(embedded multimedia card), UFS(universal flash storage) 등과 같은 대량 저장 장치의 형태로 구현될 수도 있다.
도시하지는 않았으나, 본 실시예에 따른 골프 동작 분석 장치(100)는 구성요소들의 전반적인 동작을 제어하는 제어부, 특정 작업의 할당을 관리하는 작업 관리자 등을 더 포함할 수 있다.
도 4는 딥러닝 기술을 이용하여, 도 2의 사용자의 제1 골프 영상을 스켈레톤 영상인 제2 골프 영상으로 변환하는 장치를 학습시키는 것을 나타내는 블록도이다.
도 4를 참조하면, 상기 프로세싱 소자(120)는 관절 추출 모델 학습부(125)를 더 포함할 수 있다. 상기 관절 추출 모델 학습부(125)는 복수의 제1 학습용 골프 영상(TVIMG1; TVIMG11, TVIMG12, ...)과 각각의 제1 학습용 골프 영상(TVIMG1)을 이용하여 생성한 복수의 제2 학습용 골프 영상(TVIMG2; TVIMG21, TVIMG22, ...)를 이용하여, 상기 인공 신경망 모델을 학습(training)시키도록 구성된다.
상기 제1 학습용 골프 영상(TVIMG1)은 학습시키고자 하는 촬영 대상물인 골프 동작을 촬영한 비디오 영상으로서, 복수의 프레임 영상으로 구성되어 있다. 예를 들어, 2차원의 골프 동작이 학습된 인공 신경망 모델을 학습시키고자 하는 경우, 상기 제1 학습용 골프 영상(TVIMG1)은, 예를 들어 미리 정해진 특정의 시점에서 촬영된 골프 영상일 수 있다. 또는, 서로 다른 시점에서의 2차원의 골프 동작이 학습된 복수의 인공 신경망 모델을 학습시키고자 하는 경우, 상기 제1 학습용 골프 영상(TVIMG1)은, 예를 들어 미리 정해진 서로 다른 시점에서 촬영된 골프 영상들일 수 있다. 또한, 3차원의 골프 동작이 학습된 인공 신경망 모델을 학습시키고자 하는 경우, 상기 제1 학습용 골프 영상(TVIMG1)은, 예를 들어 뎁스 카메라로 촬영된 3차원의 골프 동작이 포함된 골프 영상이거나, 서로 다른 시점에서 촬영된 복수의 2차원의 골프 영상을 이용하여 스티칭하여 획득한 골프 영상이거나 또는 딥러닝 기술을 이용한 3차원의 골프 동작이 학습된 인공 신경망 모델을 통해, 2차원의 골프 동작에서 뎁스(depth)값을 추론하여 3차원으로 랜더링하여 생성한 골프 영상일 수 있다.
상기 제2 학습용 골프 영상(TVIMG2)은 상기 제1 학습용 골프 영상(TVIMG1)을 이용하여 생성한 스켈레톤 영상으로서, 각각의 프레임 영상들에 골프 동작에 있어서의 신체의 20개의 관절뿐만 아니라 골프 클럽 상에 상기 미리 정의된 관절의 정보가 포함된다. 예를 들어, 상기 제2 학습용 골프 영상(TVIMG2)의 각각의 프레임 영상들을 생성함에 있어, 신체의 관절과 상기 골프 클럽 상의 미리 정의된 관절은 상기 제1 학습용 골프 영상(TVIMG1)을 기초로 관절 추적 소프트웨어를 적용하여 추출할 수 있다.
즉, 상기 관절 추출 모델 학습부(125)는 복수의 제1 학습용 골프 영상(TVIMG1) 및 각각의 제1 학습용 골프 영상(TVIMG1)에 대응하는 복수의 제2 학습용 골프 영상(TVIMG2)을 학습 데이터 세트로 이용하여, 지도학습(Supervised Learning)을 실행할 수 있다. 복수의 골프 영상에 대해 반복적으로 학습 데이터 세트를 얻고, 이를 반복하여 학습을 수행할 수 있다. 따라서, 학습 데이터 세트의 2차원 또는 3차원의 형식에 따라, 2차원 또는 3차원의 골프 동작이 학습된 인공 신경망 모델을 학습시킬 수 있으며, 또한, 특정의 시점에서의 2차원의 골프 동작이 학습된 인공 신경망 모델을 학습시키기 위해서는, 학습 데이터 세트는 특정 시점에서의 2차원의 골프 영상일 것이 요구된다.
또한, 상기 관절 추출 모델 학습부(125)은, 상기 인공 신경망 모델을 학습(training)시킴에 있어서, 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 구분 동작 별로 골프 동작을 학습하도록 구성된다. 즉, 상기 제1 학습용 골프 영상(TVIMG1) 및 상기 제2 학습용 골프 영상(TVIMG2)을 학습 데이터 세트로 구성함에 있어서, 골프 동작의 구분 동작 별로 복수의 프레임 영상들을 분류시켜 학습 데이터 세트를 구성할 수 있다. 이에 따라, 구분 동작 별로 학습된 인공 신경망 모델을 생성할 수 있으며, 이에 기초하여, 상기 제1 골프 영상(VIMG1)으로부터 상기 제2 골프 영상(VIMG2)을 생성하여 사용자의 골프 동작의 각 구분 동작에 있어서의 사용자의 신체 및 골프 클럽의 움직임 및 관절의 좌표의 위치를 추적할 수 있다.
도 5는 도 2의 제2 골프 영상(VIMG2)의 구분 동작별 프레임 영상을 나타낸 도면들이다.
도 5의 (a) 내지 (g)를 참조하면, 어드레스부터 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루 및 피니쉬의 각 구분 동작에 있어서의 사용자의 신체 및 골프 클럽의 관절이 표시된다. 도 5의 제2 골프 영상(VIMG2)은 촬영 대상물인 사용자의 골프 동작의 우측(right side)을 바라보는 시점을 도시하고 있으나, 이에 한정되지 않으며, 상기 인공 신경망 모델을 학습시킨 골프 영상의 촬영 시점에 따라 골프 동작의 후측(back side), 좌측(left side) 등을 바라보는 시점(view point)으로 출력될 수 있다.
도 6은 본 발명의 실시예에 따른 골프 동작 분석 방법을 나타낸 순서도이다.
도 6을 참조하면, 인공 신경망 모델을 학습시키는 단계(S100), 사용자의 제1 골프 영상을 입력하는 단계(S200), 상기 인공 신경망 모델에 기초하여, 상기 제1 골프 영상으로부터 스켈레톤 영상인 제2 골프 영상을 생성하는 단계(S300), 및 상기 제2 골프 영상에 기초하여 사용자의 골프 동작을 분석하는 단계(S400)을 포함할 수 있다.
상기 인공 신경망 모델을 학습시키는 학습 단계(S100)에서는, 골프 동작을 촬영한 복수의 제1 학습용 골프 영상(TVIMG1)과 각각의 제1 학습용 골프 영상(TVIMG1)을 이용하여 생성한 복수의 제2 학습용 골프 영상(TVIMG2)를 이용하여, 상기 인공 신경망 모델을 학습(training)시키도록 구성된다.
상기 제2 학습용 골프 영상(TVIMG2)은 상기 제1 학습용 골프 영상(TVIMG1)을 이용하여 생성한 스켈레톤 영상으로서, 각각의 프레임 영상들에 골프 동작에 있어서의 신체의 20개의 관절뿐만 아니라 골프 클럽 상에 상기 미리 정의된 관절의 정보가 포함된다.
또한, 상기 인공 신경망 모델을 학습시키는 단계(S100)에서는, 복수의 제1 학습용 골프 영상(TVIMG1) 및 각각의 제1 학습용 골프 영상(TVIMG1)에 대응하는 복수의 제2 학습용 골프 영상(TVIMG2)을 학습 데이터 세트로 이용하여, 지도학습(Supervised Learning)이 실행될 수 있다. 복수의 골프 영상에 대해 반복적으로 학습 데이터 세트를 얻고, 이를 반복하여 학습을 수행할 수 있다. 따라서, 학습 데이터 세트의 2차원 또는 3차원의 형식에 따라, 2차원 또는 3차원의 골프 동작이 학습된 인공 신경망 모델을 학습시킬 수 있으며, 또한, 특정의 시점에서의 2차원의 골프 동작이 학습된 인공 신경망 모델을 학습시키기 위해서는, 학습 데이터 세트는 특정 시점에서의 2차원의 골프 영상일 것이 요구된다.
또한, 상기 인공 신경망 모델을 학습시키는 단계(S100)에서는, 상기 인공 신경망 모델을 학습(training)시킴에 있어서, 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 구분 동작 별로 골프 동작을 학습하도록 구성된다. 즉, 상기 제1 학습용 골프 영상(TVIMG1) 및 상기 제2 학습용 골프 영상(TVIMG2)을 학습 데이터 세트로 구성함에 있어서, 골프 동작의 구분 동작 별로 복수의 프레임 영상들을 분류시켜 학습 데이터 세트를 구성하여, 상기 인공 신경망 모델을 학습시킬 수 있다.
상기 사용자의 제1 골프 영상(VIMG1)을 입력하는 단계(S200)에서는, 분석하고자 하는 사용자의 골프 동작의 제1 골프 영상(VIMG1)이 입력된다. 상기 제1 골프 영상(VIMG1)은 상기 프로세싱 소자(120)에서 처리될 사용자의 골프 동작이 포함된 동영상으로서, 복수의 프레임 영상들을 포함하며, 각각의 프레임 영상은 특정 시간의 영상으로 구성된다.
예를 들어, 2차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여 골프 동작을 분석하는 경우, 상기 제1 골프 영상(VIMG1)은 학습된 인공 신경망 모델의 시점과 대응되는 특정의 시점에서의 사용자의 2차원의 골프 영상일 수 있다. 또한, 서로 다른 시점에서의 2차원의 골프 동작이 학습된 복수의 인공 신경망 모델에 기초하여 골프 동작을 분석하는 경우, 상기 제1 골프 영상(VIMG1)은 학습된 인공 신경망 모델들의 각 시점과 대응되는 서로 다른 시점에서의 사용자의 2차원의 골프 영상들일 수 있다. 또한, 3차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여 골프 동작을 분석하는 경우, 상기 제1 골프 영상(VIMG1)은 3차원의 골프 영상일 수 있다.
한편, 특정의 시점에서의 2차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여 골프 동작을 분석하는 경우, 입력되는 상기 제1 골프 영상(VIMG1)이 사용자의 3차원의 골프 영상일 수 있으며, 이 경우, 상기 제1 골프 영상(VIMG1)을 상기 특정의 시점에서의 사용자의 2차원의 골프 영상으로 변환할 수 있다. 또한, 서로 다른 시점에서의 2차원의 골프 동작이 학습된 복수의 인공 신경망 모델에 기초하여 골프 동작을 분석하는 경우, 입력되는 상기 제1 골프 영상(VIMG1)이 사용자의 3차원의 골프 영상일 수 있으며, 이 경우, 상기 제1 골프 영상(VIMG1)을 상기 서로 다른 시점에서의 사용자의 2차원의 골프 영상들로 변환할 수 있다. 또한, 3차원의 골프 동작이 학습된 인공 신경망 모델에 기초하여 골프 동작을 분석하는 경우, 입력되는 상기 제1 골프 영상(VIMG1)이 사용자의 2차원의 골프 영상일 수 있으며, 이 경우 스티칭(stitching) 등의 기술을 이용하여 서로 다른 시점에서의 복수의 2차원의 골프 영상들로부터 3차원의 골프 영상으로 변환하거나 또는 딥러닝 기술을 이용한 3차원의 골프 동작이 학습된 인공 신경망 모델을 통해, 2차원의 골프 동작에서 뎁스(depth)값을 추론하여 3차원으로 랜더링함으로써, 3차원의 골프 영상으로 변환할 수 있다.
또한, 상기 제1 골프 영상(VIMG1)의 각 프레임 영상에는, 상기 프로세싱 소자(120)에서 처리되는 사용자의 골프 영상의 2차원 또는 3차원의 형식에 따라, 사용자의 골프 동작에 있어서 사용자의 신체 및 골프 클럽에 대한 x좌표, y좌표의 좌표 정보 [f(x, y)]가 포함되거나, 또는, z좌표를 더 포함한 좌표 정보 [f(x, y, z)]가 포함될 수 있다. 또한, 상기 제1 골프 영상(VIMG1)의 각 프레임 영상에는, 그레이 스케일 값(또는 컬러 영상인 경우, R, G, B 값)에 대한 정보가 포함될 수 있다.
상기 인공 신경망 모델에 기초하여, 상기 제1 골프 영상으로부터 스켈레톤 영상인 제2 골프 영상을 생성하는 단계(S300)에서는, 상기 골프 동작이 학습된 인공 신경망 모델에 기초하여, 상기 제1 골프 영상(VIMG1)으로부터 사용자의 골프 동작에 대응되는 스켈레톤 영상인 제2 골프 영상(VIMG2)을 생성하고, 사용자의 신체 및 골프 클럽에 대한 각 관절을 추출하여 상기 제2 골프 영상(VIMG2) 상에 표시하도록 구성된다. 예를 들어, 서로 다른 시점의 복수의 제1 골프 영상(VIMG1)이 수신되는 경우, 각 시점에서의 골프 동작이 학습된 복수의 인공 신경망 모델에 기초하여, 서로 다른 시점의 복수의 제2 골프 영상(VIMG2)이 생성될 수 있다.
구체적으로, 상기 제2 골프 영상(VIMG2)을 생성함에 있어서, 상기 제1 골프 영상(VIMG1)의 복수의 프레임 영상들 각각에 대한 특성을 추출하여 특성 맵(feature map)들을 생성하고, 이들을 연산하여, 상기 각각의 프레임 영상들에서 골프 동작에 있어서의 사용자의 신체의 20개의 관절뿐만 아니라 골프 클럽 상에 미리 정의된 관절에 대해서도 각각의 좌표를 추론하도록 구성된다.
상기 제2 골프 영상에 기초하여 사용자의 골프 동작을 분석하는 단계(S400)에서는, 상기 제2 골프 영상(VIMG2)에 표시되는 사용자의 신체 및 골프 클럽 상의 관절들 중, 분석의 대상이 되는 관절을 추출하고, 추출된 해당 관절의 좌표값을 이용하여 사용자의 골프 동작을 분석하도록 구성된다.
예를 들어, 어드레스부터 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루 및 피니쉬까지의 골프 동작의 각 구분 동작별로 분석에 있어 기초가 되는 관절에 대한 미리 저장된 정보들을 참조하여, 해당 구분 동작시, 관련된 관절을 추출하고, 해당 관절의 절대 위치, 다른 관절과의 상대 위치, 이동 방향, 이동 속도, 및 이동한 궤적 등을 분석된다.
한편, 상기 제2 골프 영상(VIMG2)의 골프 동작 중 사용자의 신체 및 골프 클럽 상에 표시되는 각 관절들은 딥러닝을 이용한 골프 동작이 학습된 인공 신경망 모델에 기초한 것으로, 연속성있는 각각의 프레임 영상에 표시된 각 관절의 위치에 기초하여, 각 관절의 위치 또는 이동을 추론하기 때문에, 상기 제2 골프 영상(VIMG2)의 골프 동작 중 신체가 겹쳐져 영상에 나타나지 않는 부분의 관절에 대해서도 그 위치를 추출할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 골프 동작 분석 방법에서는, 사용자의 신체에 가려져 영상에 나타나지 않는 부분의 관절에 대해서도 추적이 가능하며, 특히 팔로우스루 동작에 있어서, 사용자의 몸체에 가려져 영상에 나타나지 않는 손의 궤적나 골프 클럽의 궤적을 추적할 수 있다.
또한, 본 발명의 일 실시예에 따른 골프 동작 분석 방법에서는, 골프 동작이 학습된 인공 신경망 모델에 기초하여, 사용자의 신체에 대한 관절의 좌표 정보와 함께 골프 클럽에 대해 미리 정의된 관절의 좌표 정보를 추출함으로써, 사용자의 골프 동작에 있어서, 사용자의 신체와 골프 클럽의 상호 위치 관계 및 골프 클럽의 움직임에 대해서도 분석할 수 있다.
도 7은 본 발명의 실시예들에 따른 골프 동작 분석 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 7을 참조하면, 본 발명의 실시예들에 따른 골프 동작 분석 방법 및 장치는, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수도 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.
상기 컴퓨팅 시스템(1000)은 프로세서(1010) 및 골프 동작 분석 장치(100)를 포함한다. 컴퓨팅 시스템(1000)은 통신(connectivity)부(1020), 저장부(1030), 사용자 인터페이스(1050) 및 전원 공급부(1060)를 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 예를 들어, 프로세서(1010)는 CPU, 마이크로프로세서, AP(application processor) 등과 같은 임의의 프로세서일 수 있다. 프로세서(1010)는 컴퓨팅 시스템(1000)을 구동하기 위한 운영 체제(operating system; OS)를 실행할 수 있고, 인터넷 브라우저, 게임, 동영상, 카메라 등을 제공하는 다양한 어플리케이션들을 실행할 수 있다.
골프 동작 분석 장치(100)는 프로세서(1010)에 의해 제어된다. 골프 동작 분석 장치(100)는 도 2의 장치일 수 있으며, 도 1 내지 6을 참조하여 상술한 방식에 기초하여 동작하고 움직임 특성 네트워크 시스템을 형성할 수 있다. 실시예에 따라서, 골프 동작 분석 장치(100)의 일부는 프로세서(1010) 및/또는 저장부(1030)에 포함될 수 있다.
통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신부(1020)는 범용 직렬 버스(Universal Serial Bus; USB) 통신, 이더넷(Ethernet) 통신, 근거리 무선 통신(Near Field Communication; NFC), 무선 식별(Radio Frequency Identification; RFID) 통신, 이동 통신(Mobile Telecommunication), 메모리 카드 통신 등을 수행할 수 있다.
저장부(1030)는 프로세서(1010)에 의해 처리되는 데이터를 저장하거나, 동작 메모리(working memory)로서 작동할 수 있다. 저장부(1030)는 컴퓨팅 시스템(1000)을 부팅하기 위한 부트 이미지(boot image), 컴퓨팅 시스템(1000)을 구동하기 위한 상기 운영 체제와 관련된 파일 시스템(file system), 컴퓨팅 시스템(1000)과 연결되는 외부 장치와 관련된 장치 드라이버(device driver), 컴퓨팅 시스템(1000)에서 실행되는 상기 어플리케이션 등을 저장할 수 있다. 예를 들어, 저장부(1030)는 DRAM, SRAM 등과 같은 적어도 하나의 휘발성 메모리를 포함할 수도 있고, EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리, PRAM, RRAM, NFGM, PoRAM, MRAM, FRAM 등과 같은 적어도 하나의 비휘발성 메모리를 포함할 수도 있다.
사용자 인터페이스(1050)는 키패드, 버튼, 마이크, 터치 스크린 등과 같은 하나 이상의 입력 장치, 및/또는 스피커, 디스플레이 장치 등과 같은 하나 이상의 출력 장치를 포함할 수 있다. 전원 공급부(1060)는 컴퓨팅 시스템(1000)의 동작 전압을 공급할 수 있다.
일 실시예에서, 컴퓨팅 시스템(1000)은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular), 스마트 폰(smart phone), MP3 플레이어, PDA(personal digital assistant), PMP(portable multimedia player), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things) 기기, IoE(internet of everything) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기 등과 같은 임의의 전자 기기 또는 휴대 기기일 수 있다.
본 발명의 실시예들에 따른 골프 동작 분석 방법 및 장치는, 컴퓨터에 의해 실행되는 프로그램 듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 두 포함한다.
또한, 본 발명의 실시예들에 따른 골프 동작 분석 방법 및 장치는, 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드 디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서, 본 발명의 실시예들에 따른 골프 동작 분석 방법 및 장치는, 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 마더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서, 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및/또는 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및/또는 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한, 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고, 저장장치는 컴퓨팅 장치에게 대량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
10: 카메라부
100: 골프 동작 분석 장치
110: 입력 버퍼
120: 프로세싱 소자
121: 스켈레톤 영상 생성부
123: 동작 분석부
125: 관절 추출 모델 학습부
130: 출력 버퍼
140: 파라미터 버퍼
150: 메모리
100: 골프 동작 분석 장치
110: 입력 버퍼
120: 프로세싱 소자
121: 스켈레톤 영상 생성부
123: 동작 분석부
125: 관절 추출 모델 학습부
130: 출력 버퍼
140: 파라미터 버퍼
150: 메모리
Claims (17)
- 사용자의 골프 동작을 분석하는 골프 동작 분석 방법에 있어서,
골프 동작을 촬영한 제1 학습용 골프 영상 및 상기 제1 학습용 골프 영상에 기초하여 생성된 미리 정의된 관절에 대한 정보가 포함된 스켈레톤 영상인 제2 학습용 골프 영상에 기초하여 골프 동작이 학습된 인공 신경망 모델을 학습시키는 단계;
분석하고자 하는 사용자의 골프 동작을 촬영한 사용자의 제1 골프 영상이 입력되는 단계;
상기 골프 동작이 학습된 인공 신경망 모델에 기초하여, 상기 제1 골프 영상으로부터 상기 미리 정의된 관절이 표시된 스켈레톤 영상인 제2 골프 영상을 생성하는 단계; 및
상기 제2 골프 영상에 기초하여 사용자의 골프 동작을 분석하는 단계를 포함하고,
상기 제2 골프 영상의 연속성있는 각각의 프레임 영상에 표시된 미리 정의된 관절의 위치 정보에 기초하여, 골프 동작 중 신체가 겹쳐져 영상에 나타나지 않는 관절의 위치가 추론되는 것을 특징으로 하는 골프 동작 분석 방법. - 제1 항에 있어서,
상기 제2 학습용 골프 영상은 각각의 프레임 영상들에 골프 동작에 있어서의 신체의 관절뿐만 아니라 골프 클럽 상에 미리 정의된 관절의 정보를 포함하는 골프 동작 분석 방법. - 제1 항에 있어서,
상기 제2 골프 영상에는 사용자의 골프 동작 중 신체의 관절 및 골프 클럽 상의 미리 정의된 관절이 표시되는 골프 동작 분석 방법. - 제2 항 또는 제3 항에 있어서,
상기 미리 정의된 관절은,
상기 골프 클럽 상에 골프 그립이 끝나는 손잡이의 지점에 정의된 제1 관절;
상기 골프 클럽의 샤프트의 길이 방향으로 중앙 위치에 정의된 제2 관절; 및
상기 골프 클럽의 헤드에 정의된 제3 관절을 포함하는 골프 동작 분석 방법. - 제4 항에 있어서,
상기 미리 정의된 관절은, 상기 골프 클럽 상의 샤프트의 헤드쪽 단부 지점에 정의된 제4 관절을 더 포함하는 골프 동작 분석 방법. - 제1 항에 있어서,
상기 인공 신경망 모델을 학습시키는 단계에 있어서, 상기 제1 학습용 골프 영상 및 상기 제2 학습용 골프 영상의 각각의 영상 프레임을 골프 동작의 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 구분 동작 별로 분류하여 상기 인공 신경망 모델을 학습시키는 골프 동작 분석 방법. - 제1 항에 있어서,
상기 인공 신경망 모델은 특정의 시점(view point)에서의 2차원의 골프 동작에 기초하여 학습되고, 입력되는 상기 제1 골프 영상은 상기 특정의 시점에서 촬영된 사용자의 2차원의 골프 영상인 골프 동작 분석 방법. - 제1 항에 있어서,
상기 인공 신경망 모델은 서로 다른 시점에서의 2차원의 골프 동작에 기초하여 학습된 복수 개로 구성되고, 입력되는 상기 제1 골프 영상은 상기 서로 다른 시점의 각 시점에서 촬영된 사용자의 복수의 2차원의 골프 영상들인 골프 동작 분석 방법. - 제1 항에 있어서,
상기 인공 신경망 모델은 3차원의 골프 동작에 기초하여 학습되고, 입력되는 상기 제1 골프 영상은 사용자의 3차원의 골프 영상인 골프 동작 분석 방법. - 제1 항에 있어서,
상기 인공 신경망 모델은 특정의 시점에서의 2차원의 골프 동작에 기초하여 학습되고, 입력되는 상기 제1 골프 영상이 사용자의 3차원의 골프 영상인 경우, 상기 제1 골프 영상으로부터 상기 제2 골프 영상을 생성하기 전에, 상기 제1 골프 영상을 상기 특정의 시점에서의 사용자의 2차원의 골프 영상으로 변환하는 골프 동작 분석 방법. - 골프 동작을 촬영한 제1 학습용 골프 영상 및 상기 제1 학습용 골프 영상에 기초하여 생성된 미리 정의된 관절에 대한 정보가 포함된 스켈레톤 영상인 제2 학습용 골프 영상에 기초하여 골프 동작이 학습된 인공 신경망 모델을 학습(training)시키도록 구성된 관절 추출 모델 학습부;
딥러닝을 이용한 골프 동작이 학습된 인공 신경망 모델에 기초하여, 분석하고자 하는 사용자의 골프 동작을 촬영한 적어도 하나의 제1 골프 영상으로부터 상기 미리 정의된 관절이 표시된 스켈레톤 영상인 제2 골프 영상을 생성하도록 구성된 스켈레톤 영상 생성부; 및
상기 제2 골프 영상에 표시되는 관절들 중 분석의 대상이 되는 관절을 추출하고, 추출된 관절의 좌표값을 이용하여 사용자의 골프 동작을 분석하도록 구성되는 동작 분석부를 포함하고,
상기 제2 골프 영상의 연속성있는 각각의 프레임 영상에 표시된 미리 정의된 관절의 위치 정보에 기초하여, 골프 동작 중 신체가 겹쳐져 영상에 나타나지 않는 관절의 위치가 추론되는 것을 특징으로 하는 골프 동작 분석 장치. - 삭제
- 제11 항에 있어서,
상기 관절 추출 모델 학습부는, 각각의 프레임 영상들에 골프 동작에 있어서의 신체의 관절뿐만 아니라 골프 클럽 상에 미리 정의된 관절의 정보가 포함된 상기 제2 학습용 골프 영상에 기초하여 상기 인공 신경망 모델을 학습시키도록 구성된 골프 동작 분석 장치. - 제11 항에 있어서,
상기 제2 골프 영상에 표시되는 관절은, 사용자의 골프 동작 중 신체의 관절 및 골프 클럽 상의 미리 정의된 관절을 포함하는 골프 동작 분석 장치. - 제13 항 또는 제14 항에 있어서,
상기 미리 정의된 관절은,
상기 골프 클럽 상에 골프 그립이 끝나는 손잡이의 지점에 정의된 제1 관절;
상기 골프 클럽의 샤프트의 길이 방향으로 중앙 위치에 정의된 제2 관절; 및
상기 골프 클럽의 헤드에 정의된 제3 관절을 포함하는 골프 동작 분석 장치. - 제15 항에 있어서,
상기 미리 정의된 관절은, 상기 골프 클럽 상의 샤프트의 헤드쪽 단부 지점에 정의된 제4 관절을 더 포함하는 골프 동작 분석 장치. - 제11 항에 있어서,
상기 관절 추출 모델 학습부는, 상기 제1 학습용 골프 영상 및 상기 제2 학습용 골프 영상의 각각의 영상 프레임을 골프 동작의 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 구분 동작 별로 분류하여 상기 인공 신경망 모델을 학습시키도록 구성된 골프 동작 분석 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190030226A KR102353637B1 (ko) | 2019-03-17 | 2019-03-17 | 골프 동작 분석 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190030226A KR102353637B1 (ko) | 2019-03-17 | 2019-03-17 | 골프 동작 분석 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200115729A KR20200115729A (ko) | 2020-10-08 |
| KR102353637B1 true KR102353637B1 (ko) | 2022-01-21 |
Family
ID=72897274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190030226A KR102353637B1 (ko) | 2019-03-17 | 2019-03-17 | 골프 동작 분석 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102353637B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220049736A (ko) * | 2020-10-15 | 2022-04-22 | 주식회사 모아이스 | 골프 스윙 자세에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| KR102241414B1 (ko) * | 2020-10-23 | 2021-04-19 | 아이디어링크 주식회사 | 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법 |
| KR102563764B1 (ko) * | 2020-11-16 | 2023-08-10 | 주식회사 모아이스 | 골프 스윙에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| KR102547998B1 (ko) * | 2020-12-22 | 2023-06-27 | 건국대학교 산학협력단 | 동작 인식 방법 및 장치 |
| KR20220100476A (ko) * | 2021-01-08 | 2022-07-15 | 주식회사 모아이스 | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| KR102491025B1 (ko) * | 2022-02-25 | 2023-01-20 | (주)어나더리얼 | 학습용 데이터셋을 생성하기 위한 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101428922B1 (ko) * | 2013-04-19 | 2014-08-11 | 한밭대학교 산학협력단 | 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101298902B1 (ko) * | 2011-07-21 | 2013-08-27 | (주) 큐알온텍 | 골프 스윙 자세 분석 시스템 및 그 운용 방법 |
| KR101394274B1 (ko) | 2013-11-27 | 2014-05-13 | (주) 골프존 | 뎁스 정보 분석을 통한 신체 검출 방법 및 사용자 신체 검출을 위한 뎁스 정보 분석 장치 |
| KR102514697B1 (ko) * | 2015-04-09 | 2023-03-29 | 한국전자통신연구원 | 골프 동작 분석 장치 및 방법 |
| KR101913667B1 (ko) | 2016-11-30 | 2018-10-31 | 조선대학교산학협력단 | 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법 |
| KR101986327B1 (ko) * | 2017-08-18 | 2019-06-05 | 강다겸 | 자세 가이드 제공 방법 및 그 장치 |
| KR20190027222A (ko) * | 2017-09-06 | 2019-03-14 | 한국전자통신연구원 | 학습 기반 트레이닝 시스템 및 이의 트레이닝 서비스 제공 방법 |
-
2019
- 2019-03-17 KR KR1020190030226A patent/KR102353637B1/ko active IP Right Review Request
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101428922B1 (ko) * | 2013-04-19 | 2014-08-11 | 한밭대학교 산학협력단 | 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200115729A (ko) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102353637B1 (ko) | 골프 동작 분석 방법 및 장치 | |
| WO2021129064A9 (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
| CN108369643B (zh) | 用于3d手部骨架跟踪的方法和系统 | |
| Memo et al. | Head-mounted gesture controlled interface for human-computer interaction | |
| Wang et al. | Modeling temporal dynamics and spatial configurations of actions using two-stream recurrent neural networks | |
| CN107833271B (zh) | 一种基于Kinect的骨骼重定向方法及装置 | |
| US11610331B2 (en) | Method and apparatus for generating data for estimating three-dimensional (3D) pose of object included in input image, and prediction model for estimating 3D pose of object | |
| Zhu et al. | A cuboid CNN model with an attention mechanism for skeleton-based action recognition | |
| Wang et al. | Video-based hand manipulation capture through composite motion control | |
| CN111488824A (zh) | 运动提示方法、装置、电子设备和存储介质 | |
| EP3711024A1 (en) | Event camera-based deformable object tracking | |
| CN105512621A (zh) | 一种基于Kinect的羽毛球动作指导系统 | |
| CN103955295A (zh) | 一种基于数据手套和物理引擎的虚拟手的实时抓取方法 | |
| CN113362452B (zh) | 一种手部姿态三维重建方法、装置及存储介质 | |
| US11850747B2 (en) | Action imitation method and robot and computer readable medium using the same | |
| KR102241414B1 (ko) | 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법 | |
| KR20160059844A (ko) | 운동 궤적 분석을 이용한 훈련 방법 및 장치 | |
| KR102539215B1 (ko) | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| KR102250163B1 (ko) | 딥러닝 기술을 이용하여 비디오 영상을 3d 비디오 영상으로 변환하는 방법 및 장치 | |
| Gao et al. | Robust stroke recognition via vision and imu in robotic table tennis | |
| KR20230147144A (ko) | 마커리스 모션 분석을 개선하기 위한 방법 | |
| Kondori et al. | A direct method for 3d hand pose recovery | |
| KR20220052450A (ko) | 골프 스윙 연습 보조 방법 및 장치 | |
| KR102342760B1 (ko) | 인공지능 기반의 골프 영상 학습장치, 그 방법 및 그 기록매체 | |
| JP2021099666A (ja) | 学習モデルの生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| Z072 | Maintenance of patent after cancellation proceedings: certified copy of decision transmitted [new post grant opposition system as of 20170301] | ||
| Z131 | Decision taken on request for patent cancellation [new post grant opposition system as of 20170301] | ||
| Z072 | Maintenance of patent after cancellation proceedings: certified copy of decision transmitted [new post grant opposition system as of 20170301] |