KR20220082127A - 골프 클럽 헤드 궤적 추정을 위한 학습용 데이터 셋 구축 방법 및 이를 이용한 클럽 헤드 궤적 추정 방법 - Google Patents

Abstract

본 발명은 골프 클럽 헤드 궤적 추정을 위한 학습용 키 포인트 데이터 셋 구축 방법 및 이를 이용한 골프 클럽 헤드 궤적 추정 방법에 관한 것이다. 상기 학습용 데이터 셋 구축 방법은, 2차원 골프 스윙 동영상으로부터 복수 개의 학습용 프레임을 샘플링하고, 샘플링된 프레임들에 대하여, 신체 포즈 추정 네트워크를 이용하여 신체에 대한 17개의 키 포인트 정보를 추출하고, 사용자로부터 각 프레임들에 대한 클럽 헤드 레이블들을 입력받고, 상기 예측된 17개의 신체 키 포인트와 입력된 1개의 클럽 헤드 키 포인트를 포함하는 학습용 키 포인트 데이터 셋을 완성하는 것을 특징으로 한다. 또한, 본 발명은 전술한 학습용 데이터 셋을 이용하여 학습하여 헤드 궤적 추정 모델을 얻고, 이를 이용하여 2차원 스윙 동영상으로부터 골프 클럽 헤드 궤적을 추정하게 된다.

Description

골프 클럽 헤드 궤적 추정을 위한 학습용 데이터 셋 구축 방법 및 이를 이용한 클럽 헤드 궤적 추정 방법{Method of constructing dataset for club head trajectory estimation and method of estimating club head trajectory using the dataset}

본 발명은 골프 클럽 헤드 궤적 추정을 위한 학습용 데이터 셋 구축 방법 및 이를 이용한 클럽 헤드 궤적 추정 방법에 관한 것으로서, 더욱 구체적으로는 2차원 동영상으로부터 골프 클럽 헤드 궤적 추정을 하기 위하여 17개의 신체에 대한 키 포인트와 1개의 클럽 헤드 키 포인트를 포함하는 학습용 데이터 셋을 구축하고, 클럽 헤드 키 포인트를 포함하는 학습용 데이터 셋을 이용하여 학습하여 클럽 헤드 궤적 추정 모델을 생성하고, 클럽 헤드 궤적 추정 모델을 이용하여 사용자에 대한 골프 스윙 동영상에서의 골프 클럽 헤드 궤적을 추정하는 방법에 관한 것이다.

골프 스윙 분석 방법은 클럽 헤드 궤적을 분석하는 방법과 스윙 포즈를 분석하는 방법이 있다. 스윙 포즈를 추정하는 방법 중 모션 캡쳐는 골프 스윙의 매우 정밀한 3D 모델을 만드는데 사용할 수 있다. 하지만, 일반 사용자들은 정밀한 3D 모델을 만들 정도의 기술을 갖춘 스튜디오에 접근하기가 쉽지 않다.

한편, 컴퓨터 비전은 다양한 골프 관련 어플리케이션에 적용되고 있다. 모션 캡쳐 시스템, 골프 지도를 보완하는 비디오 시스템, 골프 비디오 게임 등이 그 예이다. 모션 캡쳐는 골프 스윙에 매우 정교한 3D 모델을 만드는데 사용될 수 있지만, 일반인들이 비용이나 시간 등을 고려할 때 모션 캡쳐가 가능한 스튜디오에 접근하기는 쉽지 않다. 하지만, 대부분의 골퍼는 자신의 스윙을 기록하고 분석하여 다른 사람들과 공유하기를 원한다. 따라서, 골프 클럽 헤드 궤적을 추정하는 작업은 많은 골퍼들에게 유용할 수 있다.

한편, 신체 포즈 추정(Human Pose Estimation)은 키 포인트를 검출하고 자세를 추정하는 것으로서, 다인 포즈 추정 방식은 상향식과 하향식으로 구분할 수 있다. 하향식 포즈 추정은 사람을 탐지한 후 경계 상자에 있는 객체의 포즈를 추정한다. 이 방식은 사람 수가 증가하면 계산 비용을 증가시키지만, 상향식 방법에 비해 겹치는 부분이 큰 사람이 있더라도 해당 신체 부위를 그룹화하는 데 큰 어려움이 없다는 장점이 있다. HR-NET은 COCO 키 포인트 검출과 포즈 추정 문제에서 우수한 성능을 보여준다.

골프 클럽 헤드 궤적을 추정하기 위한 여러 연구가 진행되고 있다. 이들 중, N. Gehrig et al,에 의한 “Visual golf club tracking for enhanced swing analysis”는 상의 모션 검출로 얻은 이진 영상의 에지 정보를 기반으로 클럽의 직선 세그먼트를 얻고, 프레임별 클럽 헤드 좌표를 추정한다. 그리고, 정의한 극 좌표계에서 극축과 클럽 헤드가 이루는 각도 ρ를 이용하여 상승 스윙과 하강 스윙으로 스윙 구간을 나누어 RANSAC 과 같은 다항식 근사 알고리즘으로 클럽 헤드의 궤적을 추정하게 된다. 하지만, 이러한 종래의 기술에 따른 클럽 헤드 궤적 추정 방식은 배경이 움직이거나 클럽 헤드 궤적 구간에 에지 정보가 많은 비디오에서는 클럽 헤드 궤적을 추정하기 어려운 한계가 존재한다.

따라서, 본 발명에서는 일반인들이 쉽게 촬영할 수 있는 2차원 골프 스윙 동영상에서 클럽 헤드 궤적을 추정할 수 있는 방안을 제안하고자 한다.

한국등록특허공보 제 10-1394279호 한국공개특허공보 제 10-2016-0139578호

전술한 문제점을 해결하기 위하여 본 발명은 2차원 골프 동영상으로부터 클럽 헤드 궤적 추정을 위한 학습용 키 포인트 데이터 셋을 구축하는 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 전술한 방법에 의해 구축된 학습용 키 포인트 데이터 셋을 이용하여 학습하여 클럽 헤드 궤적 추정 모델을 얻고, 이를 이용하여 2차원 스윙 동영상에 대하여 클럽 헤드 궤적을 추정하는 방법을 제공하는 것을 다른 목적으로 한다.

전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법은, (a) 사전 준비된 2차원 골프 스윙 동영상으로부터 복수 개의 학습용 프레임을 샘플링하는 단계; (b) 샘플링된 프레임들에 대하여, 신체 포즈 추정 네트워크를 이용하여 신체에 대한 사전 설정된 개수의 키 포인트 정보를 추출하는 단계; (c) 상기 샘플링된 프레임들에 대한 클럽 헤드 레이블들을 입력받아 클럽 헤드 키 포인트로 설정하는 단계; (d) 상기 샘플링된 프레임들로부터 추출된 키 포인트 정보와 상기 클럽 헤드 키 포인트를 포함하는 학습용 키 포인트 데이터 셋을 완성하는 단계;를 구비한다.

전술한 제1 특징에 따른 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법에 있어서, 상기 키 포인트 정보는, 객체에 대한 키 포인트 위치 정보와 해당 객체의 신뢰도 정보를 포함하는 것이 바람직하다.

전술한 제1 특징에 따른 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법에 있어서, 상기 (b) 단계는, 신체 포즈 추정 네트워크를 이용하여 사전 설정된 개수의 키 포인트 정보를 추출하고, 상기 추출된 키 포인트의 신뢰도가 사전 설정된 기준점보다 작으면 해당 키 포인트를 잡음 키 포인트로 설정하고 키 포인트로부터 제외시키는 것이 바람직하다.

전술한 제1 특징에 따른 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법에 있어서,

상기 학습용 키 포인트 데이터 셋은, 하나의 프레임에 대하여 예측된 17개의 신체 키 포인트와 입력된 1개의 클럽 헤드 키 포인트로 이루어진 것이 바람직하다.

본 발명의 제2 특징에 따른 클럽 헤드 궤적 추정 방법은, (a) 클럽 헤드 궤적 추정을 위한 학습용 키 포인트 데이터 셋을 이용하여 학습하여 궤적 추정 모델을 완성하는 단계; (b) 상기 궤적 추정 모델을 이용하여, 골프 스윙 동영상의 모든 프레임에서 클럽 헤드 키 포인트를 예측하는 단계; (c) 예측된 키 포인트들 중 노이즈를 검출하고 제거하는 단계; (d) 클럽 헤드가 움직일 수 있는 궤적에 존재하는 예측된 키 포인트들 중 하나를 선택하여 후보 키 포인트로 설정하고, 후보 키 포인트에 대한 비교 키 포인트를 설정하는 단계; (e) 후보 키 포인트와 비교 키 포인트들에 대한 모션 벡터를 생성한 후 모션 벡터들을 이용하여 코사인 유사도를 계산하는 단계; (f) 상기 코사인 유사도가 사전 설정된 범위내이면, 해당 후보 키 포인트를 클럽 헤드 궤적에 추가하는 단계;를 구비하는 것이 바람직하다.

전술한 제2 특징에 따른 클럽 헤드 궤적 추정 방법에 있어서, 상기 (c) 단계는, 예측된 키 포인트의 신뢰도가 가변 기준점보다 작으면 노이즈로 판단하고, 해당 노이즈는 제거하는 것이 바람직하다.

전술한 제2 특징에 따른 클럽 헤드 궤적 추정 방법에 있어서, 상기 (a) 단계의 학습용 데이터 셋은, 사전 준비된 2차원 골프 스윙 동영상으로부터 복수 개의 학습용 프레임을 샘플링하고, 샘플링된 프레임들에 대하여, 신체 포즈 추정 네트워크를 이용하여 사전 설정된 개수의 신체 관절들에 대한 키 포인트 정보를 추출하고, 상기 샘플링된 프레임들에 대한 클럽 헤드 레이블들을 입력받고, 상기 추출된 신체 관절들에 대한 키 포인트 정보와 상기 클럽 헤드 레이블을 포함하는 학습용 키 포인트 데이터 셋을 완성하는 것이 바람직하다.

전술한 제2 특징에 따른 클럽 헤드 궤적 추정 방법에 있어서, 상기 키 포인트 정보는, 객체에 대한 키 포인트 위치 정보와 객체의 신뢰도 정보를 포함하는 것이 바람직하다.

전술한 제2 특징에 따른 클럽 헤드 궤적 추정 방법에 있어서, 상기 (d) 단계에서 비교 키 포인트는, 후보 키 포인트가 포함된 프레임의 이전의 2개의 프레임에서 예측된 키 포인트들인 것이 바람직하다.

전술한 제2 특징에 따른 클럽 헤드 궤적 추정 방법에 있어서, 상기 학습용 키 포인트 데이터 셋은, 하나의 프레임에 대하여 예측된 17개의 신체 키 포인트와 입력된 1개의 클럽 헤드 키 포인트로 이루어진 것이 바람직하다.

전술한 방법에 따라 17개의 신체 키 포인트와 1개의 헤드 클럽 키 포인트로 구성된 학습용 데이터 셋을 사용하여 모델을 학습시킴으로써, 2차원 골프 스윙 영상에서 골프 헤드 궤적을 보다 정확하게 추정할 수 있게 된다.

도 1은 본 발명에 따른 클럽 헤드 궤적 추정 방법을 구현한 클럽 헤드 궤적 추정 시스템을 전체적으로 도시한 구성도이다.
도 2는 도 1의 클럽 헤드 궤적 추정 시스템의 구조를 개념적으로 도시한 모식도이다.
도 3은 본 발명에 따른 골프 클럽 헤드 궤적 추정을 위한 학습용 키 포인트 데이터 셋을 구축하는 과정을 순차적으로 도시한 흐름도이다.
도 4는 본 발명에 따른 골프 클럽 헤드 궤적 추정 방법을 표시한 순서도이며, 도 5는 도 4에 따른 클럽 헤드 궤적 추정 방법을 구현한 알고리즘이다.
도 6은 본 발명에 따른 골프 클럽 헤드 궤적 추정 방법에 의해 검출한 궤적을 표시한 영상들로서, (a)는 자동 검출한 클럽 헤드 궤적이며, (b)는 노이즈를 제거한 클럽 헤드 궤적이며, (c)는 본 발명에 따른 클럽 헤드 궤적이다.
도 7은 baseline 및 전이 학습의 학습 성능 비교표이다.
도 8은 기존의 수작업에 따른 방법과 본 발명에 따른 방법으로 생성한 학습용 데이터 셋의 학습 단계에 따른 테스트 성능 변화를 도시한 그래프이다.
도 9는 골프 키 포인트 DB 성능 비교표를 도시한 도표이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 골프 클럽 헤드 궤적 추정을 위한 학습용 데이터 셋 구축 방법 및 이를 이용한 클럽 헤드 궤적 추정 방법에 대하여 구체적으로 설명한다.

도 1은 본 발명에 따른 클럽 헤드 궤적 추정 방법을 구현한 클럽 헤드 궤적 추정 시스템을 전체적으로 도시한 구성도이다. 도 1을 참조하면, 본 발명에 따른 클럽 헤드 궤적 추정 시스템은(1), 골프 DB(10), 학습용 데이터 구축 모듈(100), 학습 모듈(110), 궤적 추정 모듈(120)을 구비한다. 도 2는 도 1의 클럽 헤드 궤적 추정 시스템의 구조를 개념적으로 도시한 모식도이다. 본 발명에 따른 클럽 헤드 궤적 추정 시스템은 컴퓨터 등으로 구성될 수 있으며, 후술되는 골프 클럽 헤드 궤적 추정을 위한 학습용 데이터 셋 구축 방법 및 클럽 헤드 궤적 추정 방법은 컴퓨터에서 실행되는 프로그램에 의해 구현될 수 있다.

상기 골프 DB(10)는 유투브에 존재하는 720P, 30fps 품질을 가진 1400 개의 골프 스윙 영상과 주석 집합이다. 골프 DB는 다음의 3가지 조건을 고려하는 것이 바람직하다. 첫번째, 샤프트가 모든 프레임에서 보여야 한다. 두번째, 흔들림이 적은 고화질 원본 영상이어야 한다. 마지막으로, PGA, LPGA, Champion Tours에서 활동하는 프로 골퍼의 스윙 동영상이어야 한다. 이 데이터 셋은 골프 스윙 동작을 8가지 이벤트로 나누기 위하여 만들어진 데이터로써, 이벤트 시작 프레임, 성별, 클럽 종류, 촬영 각도 등의 주석 정보를 포함하고 있지만, 키 포인트 주석은 포함하고 있지 않다.

상기 학습용 데이터 구축 모듈(100)은 후술되는 학습용 데이터 셋 구축 방법에 따라, 골프 DB로부터 샘플링된 학습용 프레임들로부터 키 포인트들을 추출하여 학습용 키 포인트 데이터 셋을 구축한다. 상기 학습용 키 포인트 데이터 셋은, 각 프레임들로부터 17개의 신체에 대한 키 포인트들과 1개의 헤드 클럽에 대한 키 포인트에 대한 정보들을 포함한다.

상기 학습 모듈(110)은 전술한 학습용 키 포인트 데이터셋을 이용하여 HR-NET을 학습하며 골프 클럽 헤드 궤적 추정 모델을 완성한다.

상기 궤적 추정 모듈(120)은 사용자로부터 2차원 스윙 동영상을 입력받고, 상기 입력된 2차원 스윙 동영상에 대하여 상기 골프 클럽 헤드 궤적 추정 모델을 통해 각 프레임의 클럽 헤드 키 포인트들을 예측하고, 상기 예측된 클럽 헤드 키 포인트들을 이용하여 클럽 헤드 궤적을 추정한다. 구체적인 클럽 헤드 궤적 추정 방법은 후술한다.

< 학습용 데이터 셋 구축 방법 >

이하, 상기 학습용 데이터 구축 모듈에 의해 실행되는 본 발명에 따른 학습용 키 포인트 데이터 셋 구축 방법에 대하여 구체적으로 설명한다.

도 3은 본 발명에 따른 골프 클럽 헤드 궤적 추정을 위한 학습용 키 포인트 데이터 셋을 구축하는 과정을 순차적으로 도시한 흐름도이다.

도 3을 참조하면, 먼저 사전 준비된 학습 데이터는 2차원 골프 스윙 동영상이며, 이러한 학습 데이터로부터 복수 개의 학습용 프레임을 샘플링한다(단계 300). 상기 학습 데이터인 2차원 골프 스윙 동영상은 전술한 골프 DB의 조건을 만족하는 것이 바람직하다. 따라서, 상기 학습 데이터는 PGA, LPGA, Champion Tour에서 활동하는 17명의 프로 골퍼의 골프 스윙 비디오 영상 중 흔들림이 적고 샤프트가 존재하는 프레임 데이터를 이용하는 것이 바람직하다. 또한, 8가지 골프 스윙 이벤트 구간인 어드레스 구간, Toe-Up 구간, Mid-Back swing 구간, Top 구간, Mid-Down Swing 구간, 임팩트 구간, Mid-follow through 구간, Finish 구간 중 어드레스 구간부터 Finish 구간에 존재하는 프레임을 동영상 별로 10~15장씩 추출하여 학습 프레임을 구성하였다. 본 발명에서 사용한 학습 프레임은 203장이며, 1명 이상의 관중을 포함한 프레임이 72장 포함되며, 테스트 데이터는 13명의 프로 골퍼 비디오 영상에서 추출한 20장 프레임으로 구성된다. 한편, 골프 스윙 동영상의 특징 중 하나는 골퍼와 겹치는 부분이 큰 관중을 쉽게 관측할 수 있다는 점이므로, 본 발명에서는 키 포인트를 그룹화하기 용이한 하향식 반자동 키 포인트 주석 생성을 사용하게 된다.

다음, 샘플링된 프레임들에 대하여, COCO 데이터에 미리 학습된 Faster R-CNN과 HR-Net 기반의 신체 포즈 추정 네트워크를 이용하여 신체에 대한 사전 설정된 개수의 키 포인트 정보를 추출한다(단계 310). 이때 상기 키 포인트는 신체의 17개의 관절 키 포인트들로 이루어지는 것이 바람직하다. 또한, 상기 키 포인트 정보는, 객체에 대한 위치 정보와 해당 객체의 신뢰도 정보를 포함하는 것이 바람직하다.

다음, 예측된 키 포인트의 신뢰도가 수학식 1의 기준점보다 작으면, 잡음 키 포인트로 반영하여 제외시키는 것이 바람직하다(단계 312).

다음, 상기 샘플링된 프레임들에 대한 클럽 헤드 레이블들을 입력받는다(단계 320). 여기서, 상기 클럽 헤드 레이블은 사용자의 수작업에 의해 입력되며, 입력된 클럽 헤드 레이블을 이용하여 각 프레임에서의 클럽 헤드 키 포인트를 생성하게 된다.

다음, 상기 샘플링된 프레임들로부터 추출된 17개의 키 포인트 정보와 상기 클럽 헤드에 대한 키 포인트를 포함하여, 18개의 키 포인트 주석을 포함하는 학습용 키 포인트 데이터 셋을 완성한다(단계 330). 여기서, 데이터 셋에 포함되는 상기 키 포인트 정보는, 객체에 대한 키 포인트 위치 정보와 해당 객체의 신뢰도 정보를 포함하는 것이 바람직하다.

< 골프 클럽 헤드 궤적 추정 방법 >

이하, 본 발명에 따른 골프 클럽 헤드 궤적 추정 방법에 대하여 구체적으로 설명한다. 도 4는 본 발명에 따른 골프 클럽 헤드 궤적 추정 방법을 표시한 순서도이며, 도 5는 도 4에 따른 클럽 헤드 궤적 추정 방법을 구현한 알고리즘이다.

도 4 및 도 5를 참조하면, 본 발명에 따른 골프 클럽 헤드 궤적 추정 방법은, 먼저 클럽 헤드 궤적 추정을 위한 학습용 키 포인트 데이터 셋을 이용하여 학습하여 궤적 추정 모델을 완성한다(단계 400). 상기 학습용 키 포인트 데이터 셋은 전술한 방법에 의하여 구축되며, 각 프레임들에 대하여 17개의 예측된 신체 관절 키 포인트들과 1개의 헤드 클럽 키 포인트로 이루어지며, 각 키 포인트는 객체에 대한 키 포인트 위치 정보와 해당 객체에 대한 신뢰도 정보를 포함한다.

도 6은 본 발명에 따른 골프 클럽 헤드 궤적 추정 방법에 의해 검출한 궤적을 표시한 영상들로서, (a)는 자동 검출한 클럽 헤드 궤적이며, (b)는 노이즈를 제거한 클럽 헤드 궤적이며, (c)는 본 발명에 따른 클럽 헤드 궤적이다.

다음, 상기 궤적 추정 모델을 이용하여, 골프 스윙 동영상의 모든 프레임에서 클럽 헤드 키 포인트를 예측한다(단계 410). 도 6의 (a)는 예측된 모든 클럽 헤드 키 포인트를 이용하여 추정된 골프 클럽 헤드 궤적을 도시한 것이다.

다음, 예측된 키 포인트들 중 신뢰도가 가변 기준점보다 작은 키 포인트는 노이즈로 판단하고, 해당 노이즈는 제거한다(단계 420). 도 6의 (a)에 도시된 궤적 영상에서 노이즈를 제거한 후 작성한 궤적이 도 6의 (b)이다.

다음, 클럽 헤드가 움직일 수 있는 궤적에 존재하는 예측된 키 포인트들 중 하나를 선택하여 후보 키 포인트로 설정한다(단계 430). 다음, 후보 키 포인트에 대한 비교 키 포인트를 설정한다(단계 440). t = 2 ( 0 ≤ t < number of frames)일 때, 후보 키 포인트(Pcur)가 선택되면, t = { 0,1,2}에서 예측된 클럽 헤드 키 포인트를 Ppprev, Pprev, Pcur로 정한다. 여기서, Pcur는 후보 키 포인트, Ppprev, Pprev는 비교 키 포인트가 된다.

다음, 후보 키 포인트와 비교 키 포인트들에 대한 모션 벡터 Vprev, Vcur를 생성한 후 모션 벡터들을 이용하여 코사인 유사도를 계산한다(단계 450). 본 발명에서는 궤적이 이루는 각이

범위에 존재한다고 가정한다. 따라서, 계산된 상기 코사인 유사도가 사전 설정된 범위인 [-0.5, 1] 내의 값이면, 해당 후보 키 포인트(Pcur)를 클럽 헤드 궤적에 추가한다(단계 460).

그리고, t+1 에서 예측된 키 포인트가 후보 키 포인트가 되고, Pprev, Pcur이 비교 키 포인트가 된다. 위의 계산 값이 범위를 벗어나면, 후보 키 포인트는 t+1 에서 예측된 키 포인트로 바뀌지만, 비교 키 포인트는 바뀌지 않는다. 위의 과정을 반복하며 클럽 헤드 궤적을 연결한다. 도 6의 (c)는 전술한 과정에 의해 최종 검출된 클럽 헤드 궤적에 대한 영상이다.

전술한 방법에 따른 성능을 평가하기 위하여, 골프 영상에 적합한 학습 매개 변수를 선택하기 위하여 데이터를 2가지로 나누어 학습을 진행하고 학습 정확도를 비교하였다. 신체의 17개 키 포인트와 클럽 헤드 키 포인트를 포함한 18개 키 포인트 데이터 셋을 이용하여 HRNet-w48 네트워크 학습을 진행하였다. 도 7은 baseline 및 전이 학습의 학습 성능 비교표이다. 도 7의 성능 평가에 이용한 학습 키 포인트 주석은 수작업으로 생성하였다. COCO 키 포인트 검출에서 좋은 성능을 달성한 데이터 증강 기법(예를 들면, Flip, Rotation, Half Body)은 골프 스윙 데이터 학습에 도움이 되지 않았고, 클럽 헤드를 포함한 데이터와 그렇지 않은 데이터 모두 COCO에 미리 학습된 가중치를 이용한 전이 학습이 가장 좋은 학습 정확도를 보여 준다. 도 8은 기존의 수작업에 따른 방법과 본 발명에 따른 방법으로 생성한 학습용 데이터 셋의 학습 단계에 따른 테스트 성능 변화를 도시한 그래프이다.

한편, 본 발명에 따른 키 포인트 주석 방법을 생성한 키 포인트 주석과 종래의 수작업으로 생성한 키 포인트 주석의 성능을 비교한다. 도 9는 골프 키 포인트 DB 성능 비교표를 도시한 도표이다. 도 9의 실험에 사용된 학습 프레임 데이터의 골프 클럽 헤드를 포함한 18개 키 포인트 주석은 각각 다른 방법으로 생성되었지만, 성능 평가에 이용된 테스트 데이터의 키 포인트 주석은 수작업으로 생성되었다. 도 9에서, Handcrafted는 수작업으로 생성된 주석을 의미하고, Semi-Auto는 본 발명에 따른 방식으로 생성된 주석을 의미한다.

본 발명은 2차원 골프 스윙 동영상에서 클럽 헤드 궤적과 스윙 포즈를 추정하기 위한 골프 키 포인트 DB를 소개하고 Faster R-CNN과 HR-Net을 이용하여 반자동으로 키 포인트 주석을 생성하는 방법과 클럽 헤드 궤적 추정을 위한 클럽 헤드 키 포인트 검출 방법을 제안하였다. 클럽 헤드 키 포인트를 포함한 키 포인트 검출에 적합한 포즈 추정 네트워크의 학습 매개 변수를 찾기 위하여 기존의 COCO 형식 데이터와 골프 클럽 헤드를 추가한 데이터에서의 성능을 여러 매개 변수를 이용하여 실험하였고, 데이터 증강 기법을 사용하지 않고 COCO 가중치를 이용한 전이 학습 방법이 높은 학습 정확도를 보여준다. 본 발명에 따른 학습용 데이터 셋 구축 방법의 효율성을 확인하기 위하여 수작업으로 주석을 생성한 방법과의 테스트 성능을 비교하였다. 비교 결과, 기준점 0.5를 이용한 본 발명에 따른 방법이 기존의 수작업 구축 방법보다 3% 높은 정확도를 보여준다.

이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

1 : 클럽 헤드 궤적 추정 시스템
10 : 골프 DB
100 : 학습용 데이터 구축 모듈
110 : 학습 모듈
120 : 헤드 궤적 추정 모듈

Claims (10)

1. (a) 사전 준비된 2차원 골프 스윙 동영상으로부터 복수 개의 학습용 프레임을 샘플링하는 단계;
   (b) 샘플링된 프레임들에 대하여, 신체 포즈 추정 네트워크를 이용하여 신체에 대한 사전 설정된 개수의 키 포인트 정보를 추출하는 단계;
   (c) 상기 샘플링된 프레임들에 대한 클럽 헤드 레이블들을 입력받아 클럽 헤드 키 포인트로 설정하는 단계;
   (d) 상기 샘플링된 프레임들로부터 추출된 키 포인트 정보와 상기 클럽 헤드 키 포인트를 포함하는 학습용 키 포인트 데이터 셋을 완성하는 단계;
   를 포함하는 것을 특징으로 하는 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법.
2. 제1항에 있어서, 상기 키 포인트 정보는, 객체에 대한 키 포인트 위치 정보와 해당 객체의 신뢰도 정보를 포함하는 것을 특징으로 하는 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법.
3. 제1항에 있어서, 상기 (b) 단계는,
   신체 포즈 추정 네트워크를 이용하여 사전 설정된 개수의 키 포인트 정보를 추출하고,
   상기 추출된 키 포인트의 신뢰도가 사전 설정된 기준점보다 작으면 해당 키 포인트를 잡음 키 포인트로 설정하고 키 포인트로부터 제외시키는 것을 특징으로 하는 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법.
4. 제1항에 있어서, 상기 학습용 키 포인트 데이터 셋은,
   하나의 프레임에 대하여 예측된 17개의 키 포인트와 입력된 1개의 클럽 헤드 키 포인트로 이루어진 것을 특징으로 하는 클럽 헤드 궤적 추정을 위한 학습용 데이터셋 구축 방법.
5. (a) 클럽 헤드 궤적 추정을 위한 학습용 키 포인트 데이터 셋을 이용하여 학습하여 궤적 추정 모델을 완성하는 단계;
   (b) 상기 궤적 추정 모델을 이용하여, 골프 스윙 동영상의 모든 프레임에서 클럽 헤드 키 포인트를 예측하는 단계;
   (c) 예측된 키 포인트들 중 노이즈를 검출하고 제거하는 단계;
   (d) 클럽 헤드가 움직일 수 있는 궤적에 존재하는 예측된 키 포인트들 중 하나를 선택하여 후보 키 포인트로 설정하고, 후보 키 포인트에 대한 비교 키 포인트를 설정하는 단계;
   (e) 후보 키 포인트와 비교 키 포인트들에 대한 모션 벡터를 생성한 후 모션 벡터들을 이용하여 코사인 유사도를 계산하는 단계;
   (f) 상기 코사인 유사도가 사전 설정된 범위내이면, 해당 후보 키 포인트를 클럽 헤드 궤적에 추가하는 단계;
   를 구비하는 것을 특징으로 하는 클럽 헤드 궤적 추정 방법.
6. 제5항에 있어서, 상기 (c) 단계는,
   예측된 키 포인트의 신뢰도가 가변 기준점보다 작으면 노이즈로 판단하고, 해당 노이즈는 제거하는 것을 특징으로 하는 클럽 헤드 궤적 추정 방법.
7. 제5항에 있어서, 상기 (a) 단계의 학습용 데이터 셋은,
   사전 준비된 2차원 골프 스윙 동영상으로부터 복수 개의 학습용 프레임을 샘플링하고, 샘플링된 프레임들에 대하여, 신체 포즈 추정 네트워크를 이용하여 사전 설정된 개수의 신체 관절들에 대한 키 포인트 정보를 추출하고, 상기 샘플링된 프레임들에 대한 클럽 헤드 레이블들을 입력받고, 상기 추출된 신체 관절들에 대한 키 포인트 정보와 상기 클럽 헤드 레이블을 포함하는 학습용 키 포인트 데이터 셋을 완성하는 것을 특징으로 하는 클럽 헤드 궤적 추정 방법.
8. 제7항에 있어서, 상기 키 포인트 정보는,
   객체에 대한 키 포인트 위치 정보와 객체의 신뢰도 정보를 포함하는 것을 특징으로 하는 클럽 헤드 궤적 추정 방법.
9. 제5항에 있어서, 상기 (d) 단계에서 비교 키 포인트는,
   후보 키 포인트가 포함된 프레임의 이전의 2개의 프레임에서 예측된 키 포인트들인 것을 특징으로 하는 클럽 헤드 궤적 추정 방법.
10. 제5항에 있어서, 상기 학습용 키 포인트 데이터 셋은,
    하나의 프레임에 대하여 예측된 17개의 키 포인트와 입력된 1개의 클럽 헤드 키 포인트로 이루어진 것을 특징으로 하는 클럽 헤드 궤적 추정 방법.
    

Images