KR20220080063A - 골프 스윙 촬영 방법 및 장치 - Google Patents

골프 스윙 촬영 방법 및 장치 Download PDF

Info

Publication number
KR20220080063A
KR20220080063A KR1020220068302A KR20220068302A KR20220080063A KR 20220080063 A KR20220080063 A KR 20220080063A KR 1020220068302 A KR1020220068302 A KR 1020220068302A KR 20220068302 A KR20220068302 A KR 20220068302A KR 20220080063 A KR20220080063 A KR 20220080063A
Authority
KR
South Korea
Prior art keywords
golf swing
trigger
user
shooting
camera
Prior art date
Application number
KR1020220068302A
Other languages
English (en)
Inventor
이상국
김대식
Original Assignee
이상국
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이상국 filed Critical 이상국
Priority to KR1020220068302A priority Critical patent/KR20220080063A/ko
Publication of KR20220080063A publication Critical patent/KR20220080063A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23229—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 사용자의 골프 스윙을 동영상 촬영하는 골프 스윙 촬영 방법에 있어서, 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해 카메라의 상에 비추어지는 카메라 영상을 모니터링하면서, 사용자의 골프 스윙의 움직임을 추적한다. 상기 카메라 영상 내에 사용자의 골프 스윙의 움직임에 있어 미리 설정된 트리거가 있는지 여부를 판단한다. 그리고, 상기 미리 설정된 트리거가 인식되면, 상기 미리 설정된 트리거에 대응한 골프 스윙의 동영상 촬영에 대한 카메라 제어를 행한다.

Description

골프 스윙 촬영 방법 및 장치{METHOD AND APPARATUS OF SHOOTING GOLF SWING}
본 발명은 골프 스윙 촬영 방법 및 장치에 관한 것으로, 더욱 상세하게는 딥러닝 기술을 이용하여 사용자의 골프 스윙을 자동으로 촬영하는 골프 스윙 촬영 방법 및 장치에 관한 것이다.
골프는 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)에 이르기까지 각 구분 동작의 자세의 정확성이 요구되는 운동으로서, 사용자가 골프 스윙의 정확한 자세를 습득하기 위해서는 수많은 연습과 교정 과정의 반복이 요구된다.
이런 교정 과정의 일환으로, 사용자는 자신의 스윙 자세를 확인하고, 타겟으로 설정한 스윙 자세와 비교함으로써 자신의 스윙 자세를 지속적으로 교정할 것이 요구된다. 이에, 사용자는 최근 고해상도의 영상 촬영 및 고프레임의 슬로 모션 촬영 등 다양한 기능을 지원하는 휴대폰 등의 발달에 힘입어, 자신이 소유하는 휴대폰 등으로 자신의 골프 스윙을 촬영하여 동영상으로 기록하는 것이 일상이 되었다. 그러나, 사용자가 자신의 골프 스윙을 촬영하기 위해서는 주변 사람에게 촬영을 부탁하거나, 타이머를 이용하여 촬영할 수 밖에 없는 한계가 있었으며, 이들 마저도 매회의 골프 스윙을 촬영하는데는 불편이 있을 수 밖에 없었다.
더욱이, 주변 사람에게 촬영을 부탁할 경우, 사용자가 어드레스 자세를 취한 후 어느 타이밍에 테이크백으로 전환될 지, 바꿔말하면 촬영자로서는 어느 시점에 촬영을 개시할 지가 불명확하였다. 예를 들어, 슬로 모션 기능으로 골프 스윙을 촬영함에 있어서, 촬영자가 사용자의 어드레스 자세에서 촬영을 개시하였으나, 사용자의 어드레스 자세가 일정 시간 이상으로 소요되는 경우, 사용자가 촬영된 동영상을 확인함에 있어서, 불필요하게 장시간의 어드레스 동작을 계속 봐야 하는 불편이 있었다. 또한, 타이머를 이용한 촬영의 경우에도, 사용자가 준비되기도 전에 타이머 시간에 쫓겨 골프 스윙을 해야만 하는 불편이 있었다.
이에 최근에는, 임팩트 단계에서 골프 공을 칠 때 나는 소리를 트리거(trigger)로 하여 골프 스윙을 촬영하는 등의 다양한 시도들이 이루어지고 있으나, 이 경우 임팩트 이전의 구분 동작의 촬영은 불가하며, 주위의 소음 등의 노이즈 때문에 제대로 촬영이 이루어질 수가 없는 기술적인 한계가 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 일 목적은 딥러닝(deep learning) 기술을 이용하여 사용자의 조작없이 골프 스윙을 인식하여 사용자의 골프 스윙을 자동으로 촬영하기 위한 골프 스윙 촬영 방법을 제공하는 것이다.
본 발명의 일 목적은 상기 방법을 수행하는 장치를 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예에 따른 골프 스윙 촬영 방법에 있어서, 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해 카메라의 상에 비추어지는 카메라 영상을 모니터링하면서, 사용자의 골프 스윙의 움직임을 추적한다. 상기 카메라 영상 내에 사용자의 골프 스윙의 움직임에 있어 미리 설정된 트리거가 있는지 여부를 판단한다. 그리고, 상기 미리 설정된 트리거가 인식되면, 상기 미리 설정된 트리거에 대응한 골프 스윙의 동영상 촬영에 대한 카메라 제어를 행한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예에 따른 골프 스윙 촬영 장치는 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해 카메라의 상에 비추어지는 카메라 영상을 모니터링하면서, 사용자의 골프 스윙의 움직임을 추적하는 스윙 모니터링 모듈, 상기 카메라 영상 내에 상기 스윙 모니터링 모듈에 의해 추적되는 사용자의 골프 스윙의 움직임에 있어 미리 설정된 트리거가 있는지 여부를 판단하는 트리거 인식 모듈, 및 상기 트리거 인식 모듈에 의해 상기 미리 설정된 트리거가 인식되면, 상기 미리 설정된 트리거에 대응한 골프 스윙의 동영상 촬영에 대한 카메라 제어를 행하는 촬영 제어 모듈을 포함한다.
상기와 같은 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법 및 장치에서는, 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델에 기초하여, 사용자의 골프 스윙을 인식하여 촬영을 개시하므로, 별도의 사용자의 조작없이 골프 스윙의 동영상을 자동으로 촬영할 수 있다.
또한, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법 및 장치는 사용자의 골프 스윙의 구분 동작 중 특정의 시점을 인식하여 촬영을 개시하도록 구성됨에 따라, 사용자의 골프 스윙에 대한 동영상 촬영을 종료한 후에도 별도의 사용자의 조작없이 연속적으로 사용자의 매회의 골프 스윙을 촬영한 복수의 동영상을 획득할 수 있다. 이에 따라, 반복적으로 골프 스윙을 연습하는 골프 연습장에서 연습 도중 휴식을 취하거나, 골프 클럽의 변경 등으로 골프 스윙 간에 인터벌이 형성된 경우라도, 사용자의 별도의 조작없이 연속적으로 자신의 골프 스윙만을 촬영한 복수의 동영상을 획득할 수 있다.
도 1은 본 발명의 일 실시예 따른 사용자의 골프 스윙을 촬영하도록 구성된 골프 스윙 장치의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 골프 스윙 촬영 장치를 설명하기 위한 블록도이다.
도 3은 도 2에 도시된 골프 스윙 촬영 장치의 프로세서를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법을 나타낸 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 골프 스윙 촬영 방법을 나타낸 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며, 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
또한, 본 출원에서 사용되는 용어를 정의함에 있어서, 동영상 촬영이 개시되는 시점을 기준으로, 촬영 개시 전 카메라 상에 비추어지는 영상을 "프리뷰 영상"이라 하고, 촬영 개시 후, 카메라 상에 비추어지는 영상을 "촬영 영상"이라고 한다. 즉, "촬영 영상"은 동영상 촬영 중인 영상을 의미한다. 따라서, 동영상 촬영이 종료될 경우, 카메라 상에 비추어지는 영상은 "촬영 영상"으로부터 "프리뷰 영상"으로 이어진다. 아울러, "프리뷰 영상"과 "촬영 영상"을 통칭하는 용어로 "카메라 영상"을 사용한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예 따른 사용자의 골프 스윙을 촬영하도록 구성된 골프 스윙 장치의 예시도이다. 도 2는 본 발명의 일 실시예에 따른 골프 스윙 촬영 장치를 설명하기 위한 블록도이다. 도 3은 도 2에 도시된 골프 스윙 촬영 장치의 프로세서를 설명하기 위한 블록도이다.
도 1 내지 3을 참조하면, 본 발명의 일 실시예에 따른 골프 스윙 촬영 장치(100)는 사용자의 골프 스윙을 촬영하도록 구성된다. 구체적으로, 상기 골프 스윙 촬영 장치(100)는, 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델에 기초하여 사용자의 골프 스윙을 인식하여 동영상 촬영을 하도록 구성된다.
상기 골프 스윙 촬영 장치(100)는, 2차원 또는 3차원의 골프 스윙이 학습된 인공 신경망 모델에 기초하여 사용자의 골프 스윙을 인식하도록 구성된다. 예를 들어, 2차원의 골프 스윙이 학습된 인공 신경망 모델에 기초하는 경우, 상기 골프 스윙 촬영 장치(100)는 상기 인공 신경망 모델을 학습시킨 골프 스윙의 시점(view point)과 대응되는 특정의 시점에서 사용자의 골프 스윙을 인식하여 촬영할 수 있다.
따라서, 이 경우, 상기 골프 스윙 촬영 장치(100)는 당해 특정의 시점에서 사용자의 골프 스윙을 촬영하도록 배치될 필요가 있다. 이에, 상기 골프 스윙 촬영 장치(100)는 사용자로 하여금 상기 특정의 시점에서의 촬영을 유도하기 위하여, 디스플레이를 통해 촬영 시점에 대한 가이드를 선, 윤곽 또는 증강현실(AR) 등으로 표시하거나, 또는 스피커를 통해 알람, 경고음 또는 음성으로 가이드하도록 구성될 수 있다. 여기서, 상기 특정의 시점은 골프 스윙을 확인 내지 분석하기에 적합한 시점인 것이 바람직하며, 예를 들어, 사용자의 후방향, 또는 측방향에서 바라본 시점일 수 있다.
이와 달리, 상기 골프 스윙 촬영 장치(100)는 사용자를 중심으로 회전 이동가능하도록 설계될 수 있으며, 이 경우 상기 특정의 시점에서 사용자의 골프 스윙을 촬영하도록 제어될 수 있다. 한편, 상기 특정의 시점에서의 2차원의 골프 스윙이 학습된 하나의 인공 신경망 모델에 기초하는 경우를 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 골프 스윙 촬영 장치(100)는 서로 다른 시점에서의 2차원의 골프 스윙이 학습된 복수의 인공 신경망 모델에 기초하여, 사용자의 골프 스윙을 인식할 수도 있으며, 이 경우, 상기 골프 스윙 촬영 장치(100)는 사용자의 선택에 의해 서로 다른 시점 중 어느 하나의 시점에서 사용자의 골프 스윙을 촬영하도록 배치될 수 있다.
이와 달리, 3차원의 골프 스윙이 학습된 인공 신경망 모델에 기초하는 경우, 상기 골프 스윙 촬영 장치(100)의 촬영 시점은 특정의 시점으로 제한되지 않는다. 즉, 상기 골프 스윙 촬영 장치(100)의 배치는 특정의 위치로 제한되지 않으며, 사용자의 골프 스윙을 촬영하는 동안에도 고정될 것이 요구되지 않는다.
상기 골프 스윙 촬영 장치(100)는 사용자의 골프 스윙을 촬영하기 위하여 카메라 영상 처리가 가능한 다양한 종류의 단말로, 예를 들어, 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 카메라, 또는 웨어러블 장치 중 적어도 하나일 수 있다. 또는, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 셋톱 박스, 홈 오토메이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플 TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 또는 캠코더 중 적어도 하나일 수 있다.
상기 골프 스윙 촬영 장치(100)는 카메라부(110), 프로세서부(120) 및 메모리부(130)를 포함한다.
상기 카메라부(110)는 사용자의 골프 스윙을 동영상으로 촬영가능하도록 구성된 카메라 모듈로서, 하나 이상의 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 예를 들어, 상기 카메라부(110)는, 복수의 카메라를 포함할 수 있으며, 이들은 서로 다른 초점 또는 시야각을 갖는 카메라일 수 있다.
또한, 카메라부(110)는 줌 기능(예: 줌-인(zoom-in) 및/또는 줌-아웃(zoom-out)기능)을 포함하는 카메라를 포함할 수 있다. 또한, 상기 카메라부(110)는 일반 카메라, 깊이 영상을 촬영가능한 뎁스 카메라 또는 고속 촬영이 가능한 고프레임 카메라로 구성될 수 있다.
상기 카메라부(110)는 카메라를 통해 비추어지는 카메라 영상을 영상 데이터로 변환하여, 실시간으로 상기 프로세서부(120)로 송신하도록 구성된다. 이 때, 상기 프로세서부(120)는 실시간으로 입력되는 상기 영상 데이터로부터 사용자의 골프 스윙의 촬영에 있어 미리 설정된 트리거(trigger)를 인식하여 상기 카메라부(110)를 제어하도록 구성된다. 즉, 상기 카메라부(110)는 상기 프로세서부(120)의 제어에 의해, 피사체, 즉 사용자의 골프 스윙을 동영상 촬영하도록 구성된다.
한편, 상기 카메라부(110)는 상기 골프 스윙 촬영 장치(100)에 포함되는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 카메라부(110)는 상기 골프 스윙 촬영 장치(100)와 유선 또는 무선으로 연결된 외부의 카메라 또는 이를 포함하는 단말일 수 있다. 이 경우, 상기 카메라부(110)는 단일의 카메라로 구성되어, 배치된 위치에서 사용자의 골프 스윙을 촬영하도록 구성되거나, 또는 복수의 카메라로 구성되어, 서로 다른 시점에서 사용자의 골프 스윙을 촬영하도록 구성될 수 있다. 이 경우, 획득되는 사용자의 골프 스윙 동영상은 서로 다른 시점에서 촬영된 복수의 동영상이거나, 또는 스티칭 또는 합성 등을 통해 시점 변환이 가능한 하나의 3D 동영상일 수 있다.
또는, 상기 카메라부(110)는 상기 골프 스윙 촬영 장치(100)에 포함된 내부 카메라와 외부의 카메라의 복수의 카메라로 구성될 수도 있다. 예를 들어, 상기 외부 카메라는 상기 특정의 시점에서 사용자의 골프 스윙을 인식하고, 상기 내부 카메라는 사용자의 골프 스윙을 동영상 촬영하도록 구성될 수 있다. 즉, 이 경우, 상기 골프 스윙 촬영 장치(100)가 2차원의 골프 스윙이 학습된 인공 신경망 모델에 기초하는 경우라도, 상기 내부 카메라는 사용자의 골프 스윙의 촬영에만 관여하기 때문에, 상기 골프 스윙 촬영 장치의 배치는 상기 특정의 위치로 제한되지 않으며, 사용자의 골프 스윙을 촬영하는 동안에도 고정될 것이 요구되지 않는다.
상기 프로세서부(120)는 상기 카메라부(110)와 연결되어 상기 영상 데이터를 실시간으로 송신받고, 골프 스윙이 학습된 인공 신경망 모델에 기초하여 상기 카메라 영상 내에 사용자의 골프 스윙의 움직임에 있어 미리 설정된 트리거가 있는지 여부를 판단하여, 상기 카메라부(110)를 제어하도록 구성된다. 구체적으로, 상기 프로세서부(120)는 상기 영상 데이터의 복수의 프레임들로부터 특성을 추출하여 특성 맵(feature map)들을 생성하고, 이들을 연산하여, 실시간으로 상기 카메라 영상 내에 사용자의 위치 및 움직임을 추적하고, 또한 사용자의 움직임에 있어 골프 스윙의 촬영에 대한 미리 설정된 트리거가 있는지 여부를 판단하여, 상기 카메라부(110)를 제어하도록 구성된다. 이에 대해서는 후술한다.
상기 프로세서부(120)는 스윙 모니터링 모듈(121), 트리거 인식 모듈(123) 및 촬영 제어 모듈(125)을 포함한다.
상기 스윙 모니터링 모듈(121)은 상기 카메라부(110)로부터 실시간으로 카메라 영상에 대한 영상 데이터를 수신하고, 상기 영상 데이터를 기초로 카메라 영상을 모니터링하면서, 사용자의 위치 및 움직임 중 적어도 하나를 추적하도록 구성된다. 상기 카메라 영상은 동영상 촬영 전의 영상인 프리뷰 영상과, 동영상 촬영 중의 영상인 촬영 영상으로 구성되며, 동영상 촬영이 종료되면, 상기 촬영 영상으로부터 다시 상기 프리뷰 영상으로 이어진다. 이는 상기 골프 스윙 촬영 장치(100)가 동작하는 동안 반복된다. 즉, 상기 스윙 모니터링 모듈(121)은 상기 골프 스윙 촬영 장치(100)가 동작하는 동안, 상기 카메라 영상을 모니터링하면서, 사용자의 위치 및 움직임 중 적어도 하나를 추적하도록 구성된다. 한편, 상기 골프 스윙 촬영 장치의 동작의 개시 및 종료는 입력부를 통한 사용자의 조작에 의할 수 있다.
구체적으로, 상기 스윙 모니터링 모듈(121)은 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해, 상기 영상 데이터의 복수의 프레임들로부터 특성을 추출하여 특성 맵(feature map)들을 생성하고, 이들을 연산하여, 실시간으로 상기 카메라 영상 내에 사용자의 위치 및 움직임 중 적어도 하나를 추적하도록 구성된다.
또한, 상기 스윙 모니터링 모듈(121)은 영상 데이터의 프레임의 특성 맵에서 관심 영역(ROI)를 추출할 수 있으며, 또한, 영상 데이터의 프레임의 적어도 일부인 관심 영역을 골프 스윙의 촬영에 있어 미리 설정된 트리거가 있는지 여부를 판단하기 위한 주요 영역으로 설정할 수 있다. 예를 들어, 상기 스윙 모니터링 모듈(121)은 영상 데이터의 프레임에서 사용자의 신체가 인식된 영역을 포함하도록 주요 영역을 설정할 수 있다. 또는, 스윙 모니터링 모듈(121)은 영상 데이터의 프레임에서 사용자의 신체와 골프 클럽이 인식된 영역을 포함하도록 주요 영역을 설정할 수 있다.
한편, 상기 특성 맵의 생성 및 연산은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성되는 DNN(Deep Neural Network) 기반으로 구현되는 레이어, 예를 들어, 컨볼루션 신경망(convolution neural network; CNN) 및/또는 순환 신경망(recurrent neural network RNN)을 기반으로 구현되는 레이어, 정정 선형 유닛(rectified linear unit; RELU) 레이어, 풀링(pooling) 레이어, 바이어스 가산(bias add) 레이어, 소프트맥스(softmax) 레이어 등과 같은 다양한 연산 레이어들을 포함하는 연산 모델에 의해 구현될 수 있다.
여기서, 인공 신경망(artificial neural network; ANN)이란 연결 선으로 연결된 많은 수의 인공 뉴런들을 사용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 연산 모델을 나타낸다. 상기 인공 신경망에서는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런을 사용하게 된다. 그리고 연결 강도를 갖는 연결 선을 통해 상호 연결시켜 인간의 인지 작용이나 학습 과정을 수행하게 된다. 즉, 상기 스윙 모니터링 모듈(121)에서 이용되는 상기 연산 모델은 골프 스윙이 학습된 인공 신경망 모델일 수 있다.
예를 들어, 상기 인공 신경망 모델은 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 구분 동작 중 적어도 하나 이상을 학습한 것으로, 각 구분 동작의 순서인 시퀀스에 대한 정보도 학습된 것일 수 있다. 이에 따라, 상기 스윙 모니터링 모듈(121)은 상기 인공 신경망 모델에 기초하여, 상기 카메라 영상 내에 사용자의 골프 스윙의 각 구분 동작에 대응되는 사용자의 움직임을 추적할 수 있다. 다만, 이에 한정되지 않는다. 예를 들어, 상기 인공 신경망 모델은 골프 스윙의 촬영에 있어 후술하는 미리 설정된 트리거와 연관된 구분 동작 또는 구분 동작에 있어 특정의 시점에 대한 자세를 학습한 것일 수도 있다.
또한, 상기 인공 신경망 모델은 골프 스윙의 각 구분 동작에 있어서의 신체의 관절(skeleton)에 대한 정보를 더 학습한 것일 수 있다. 즉, 어드레스부터 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루 및 피니쉬까지의 구분 동작 중 적어도 하나 이상에 있어서 20개의 신체의 관절에 대한 정보를 학습한 것일 수 있으며, 이 경우, 상기 스윙 모니터링 모듈(121)은 상기 카메라 영상을 모니터링함에 있어, 상기 인공 신경망 모델에 기초하여 실시간으로 골프 스윙의 각 구분 동작에 대응되는 사용자의 움직임에 대한 20개의 관절의 좌표를 추적할 수 있다.
여기서, 상기 관절의 좌표는 2차원 또는 깊이 정보를 포함하는 3차원의 정보를 포함할 수 있다. 또한, 상기 스윙 모니터링 모듈(121)은 사용자의 신체의 관절의 좌표뿐만 아니라, 사용자의 골프 클럽 상에 미리 정의된 관절의 좌표도 추적할 수 있으나, 상기의 기술은 본 발명의 범위를 벗어나므로, 이에 대한 자세한 설명은 생략한다.
상기 트리거 인식 모듈(123)은 상기 스윙 모니터링 모듈(121)이 사용자의 움직임을 추적하는 동안, 카메라 영상 내에 골프 스윙의 촬영에 대한 미리 설정된 트리거가 있는지 여부를 판단하도록 구성된다. 여기서 상기 미리 설정된 트리거에는 촬영 개시의 트리거인 제1 트리거가 포함된다. 예를 들어, 상기 제1 트리거는 어드레스 동작으로부터 테이크백 동작으로 전환되는 시점일 수 있다. 또는, 어드레스 동작 중 어느 시점일 수도 있다. 예를 들어, 사용자가 어드레스 동작을 취한 시점이거나, 사용자가 어드레스 동작을 취한 후 자세가 일정 시간 유지되는 시점일 수 있다. 또는, 이와 달리 상기 어드레스 동작 이외의 특정의 구분 동작 중 어느 시점을 촬영 개시의 제1 트리거로 설정할 수도 있다. 즉, 상기 트리거 인식 모듈(123)에 의해 프리뷰 영상 내에 상기 제1 트리거가 인식되면, 후술하는 촬영 제어 모듈(125)에 의해 상기 카메라부(110)가 제어되어 사용자의 골프 스윙에 대한 동영상 촬영이 개시된다.
즉, 본 발명의 일 실시예에 따른 골프 스윙 촬영 장치(100)는 사용자의 골프 스윙의 구분 동작 중 특정의 시점을 트리거로 인식하여 촬영을 개시하도록 구성됨에 따라, 사용자의 별도의 조작없이 골프 스윙의 동영상을 자동으로 촬영할 수 있다.
또한, 상기 미리 설정된 트리거에는 촬영 종료의 트리거인 제2 트리거가 더 포함될 수 있다. 즉, 상기 트리거 인식 모듈(123)은 상기 카메라부(110)에 의해 사용자의 골프 스윙의 동영상을 촬영하는 중, 촬영 영상 내에 상기 제2 트리거가 있는지 여부를 판단하도록 구성될 수 있다. 예를 들어, 상기 제2 트리거는 피니쉬 동작으로부터 사용자의 자세가 풀어지는 시점, 즉 골프 스윙의 구분 동작이 아닌 동작으로 전환되는 시점일 수 있다. 또는, 사용자가 피니쉬 동작을 취한 시점, 사용자가 피니쉬 동작을 취한 후 자세가 일정 시간 유지되는 시점, 또는 사용자가 피니쉬 동작을 취한 후 이후의 자세에 상관없이 일정 시간이 경과된 시점일 수 있다.
즉, 상기 트리거 인식 모듈(123)에 의해 촬영 영상 내에 상기 제2 트리거가 인식되면, 후술하는 촬영 제어 모듈(125)에 의해 상기 카메라부(110)가 제어되어 사용자의 골프 스윙에 대한 동영상의 촬영이 종료된다. 한편, 상기 트리거 인식 모듈(123)이 촬영 종료의 상기 제2 트리거를 인식하는 것을 예로 설명하였으나, 이에 한정되진 않는다. 예를 들어, 별도의 촬영 종료를 위한 제2 트리거에 대한 인식없이, 상기 제1 트리거에 의한 사용자의 골프 스윙에 대한 동영상 촬영을 개시한 후, 골프 스윙에 통상으로 소요되는 시간이 경과한 후 촬영이 종료되도록 제어함으로써, 이를 대체할 수 있다. 예를 들어, 상기 소요되는 시간은 2초 내지 4초로 설정될 수 있다. 한편, 동영상 촬영이 종료되면, 해당 사용자의 골프 스윙에 대한 동영상이 획득되고, 해당 골프 스윙 동영상은 후술하는 메모리부(130)에 저장된다.
또한, 상기 미리 설정된 트리거에는 촬영 모드의 전환의 트리거인 제3 트리거가 더 포함될 수 있다. 즉, 상기 트리거 인식 모듈(123)은 상기 카메라부(110)에 의해 촬영 영상 내에 상기 제3 트리거가 있는지 여부를 판단하도록 구성될 수 있다. 예를 들어, 상기 제3 트리거는 사용자의 골프 스윙을 촬영함에 있어, 일반 촬영 모드와 슬로모션 촬영 모드 간의 전환을 위한 시점일 수 있다. 예를 들어, 상기 제3 트리거는 골프 스윙의 구분 동작에 있어서, 이 후 빠르게 동작이 진행되는 백스윙탑 동작을 취한 시점일 수 있다. 다만, 이에 한정되지 않으며, 백스윙탑 동작 이외의 특정의 구분 동작 중 어느 시점일 수 있다. 예를 들어, 사용자가 어드레스 동작을 취한 시점에 촬영이 개시되고, 이로부터 테이크백 동작으로 전환되는 시점에서 슬로모션으로 촬영 모드가 전환되도록 구성될 수도 있다.
즉, 상기 트리거 인식 모듈(123)에 의해 촬영 영상 내에 상기 제3 트리거가 인식되면, 후술하는 촬영 제어 모듈(125)에 의해 상기 카메라부(110)가 제어되어 사용자의 골프 스윙에 대한 촬영 모드가 전환된다. 이에 따라, 사용자는 상기 제3 트리거에서 슬로 모션으로 전환되는 드라마틱(dramatic)한 골프 스윙 동영상을 획득할 수 있다.
또한, 상기 제3 트리거에서는 일반 촬영 모드와 줌-인 촬영 모드 간의 전환이 이루어질 수 있다. 예를 들어, 상기 제3 트리거에서는 슬로모션으로의 전환과 함께, 사용자의 전신 촬영으로부터 특정의 신체 부위의 줌-인 촬영으로의 전환이 이루어질 수 있다. 여기서, 상기 특정의 신체 부위는 사용자의 선택에 의하거나 또는 특정 구분 동작에 있어서 동작의 정확성을 판단하기 위한 미리 설정된 신체 부위일 수 있다. 이에 따라, 사용자가 취약하다고 판단되는 구분 동작을 슬로 모션으로 촬영하는 동시에 줌-인하여 확대하여 촬영함으로써, 사용자는 분석이 용이한 골프 스윙 동영상을 획득할 수 있다. 한편, 상기 제3 트리거에서 슬로모션으로의 전환과 함께, 줌-인 촬영으로의 전환이 이루어지는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 제3 트리거에서 줌-인 촬영으로의 전환만 이루어질 수도 있다.
상기 촬영 제어 모듈(125)은 상기 트리거 인식 모듈(123)에 의해 카메라 영상 내에 상기 미리 설정된 트리거가 인식되면, 상기 미리 설정된 트리거에 대응하여 상기 카메라부(110)를 제어하여 사용자의 골프 스윙을 촬영하도록 구성된다. 예를 들어, 상기 촬영 제어 모듈(125)은 상기 트리거 인식 모듈(123)에 의해 프리뷰 영상 내에 상기 제1 트리거가 인식되면, 상기 카메라부(110)를 제어하여 사용자의 골프 스윙에 대한 동영상 촬영을 개시한다. 이 때, 동영상 촬영은 일반 촬영 모드 또는 슬로모션 촬영 모드로 수행될 수 있다. 예를 들어, 사용자의 선택에 의해 촬영 모드가 결정될 수 있다.
또한, 상기 촬영 제어 모듈(125)은 상기 트리거 인식 모듈(123)에 의해 상기 촬영 영상 내에 상기 제2 트리거가 인식되면, 상기 카메라부(110)를 제어하여 사용자의 골프 스윙에 대한 동영상 촬영을 종료할 수 있다. 또는 이와 달리, 상기 촬영 제어 모듈(125)은 상기 제1 트리거에 의한 사용자의 골프 스윙에 대한 동영상 촬영을 개시한 후, 골프 스윙에 통상으로 소요되는 시간이 경과한 후 촬영이 종료되도록 제어할 수 있다. 한편, 동영상 촬영이 종료되면, 해당 사용자의 골프 스윙에 대한 동영상이 획득되고, 해당 골프 스윙 동영상은 후술하는 메모리부(130)에 저장된다. 이 때, 골프 스윙 동영상이 획득되면, 사용자가 인지할 수 있도록 스피커를 통해 알람 또는 음성으로 사용자에게 통보할 수 있다.
한편, 상기 촬영 제어 모듈(125)은 사용자의 골프 스윙에 대한 동영상 촬영을 종료한 후, 상기 트리거 인식 모듈(123)에 의해 프리뷰 영상 내에 다시 상기 제1 트리거가 인식되면, 상기 카메라부(110)를 제어하여 사용자의 다음 골프 스윙에 대한 동영상 촬영을 개시하도록 구성된다. 이에 따라, 본 발명의 일 실시예에 따른 골프 스윙 촬영 장치(100)는, 별도의 사용자의 조작없이 연속적으로 사용자의 매회의 골프 스윙을 촬영한 복수의 동영상을 획득할 수 있다. 이에 따라, 반복적으로 골프 스윙을 연습하는 골프 연습장에서 연습 도중 휴식을 취하거나, 골프 클럽의 변경 등으로 골프 스윙 간에 인터벌이 형성된 경우라도, 사용자의 별도의 조작없이 연속적으로 자신의 골프 스윙만을 촬영한 복수의 동영상을 획득할 수 있다.
한편, 상기 촬영 제어 모듈(125)은 촬영 횟수를 일정 횟수로 제한할 수도 있다. 예를 들어, 상기 촬영 제어 모듈(125)은 상기 촬영 횟수를 미리 결정된 횟수, 또는 사용자의 선택에 의한 횟수로 제한할 수 있으며, 또는 이와 달리 상기 골프 스윙 촬영 장치(100)의 전력 상황 및 여분의 메모리 정보 중 적어도 하나에 기초하여 상기 촬영 횟수를 제한할 수도 있다. 이 때, 사용자의 골프 스윙의 촬영 횟수는 카운팅되며, 카운팅 정보는 매회 골프 스윙에 대한 동영상이 획득될 때, 스피커를 통해 사용자에게 통보될 수 있다.
또한, 상기 촬영 제어 모듈(125)은 상기 트리거 인식 모듈(123)에 의해 상기 촬영 영상 내에 상기 제3 트리거가 인식되면, 상기 카메라부(110)를 제어하여 촬영 모드를 전환시킬 수 있다. 상기 촬영 모드의 전환은 일반 촬영 모드와 슬로모션 촬영 모드 간의 전환이거나, 및/또는 일반 촬영 모드와 줌-인 촬영 모드 간의 전환일 수 있다. 예를 들어, 상기 촬영 모드의 전환은 슬로모션으로의 전환과 함께, 사용자의 전신 촬영으로부터 특정의 신체 부위의 줌-인 촬영으로의 전환일 수 있다.
한편, 사용자의 골프 스윙을 촬영함에 있어서, 상기 카메라부(110)는 적어도 하나 이상의 카메라를 사용할 수 있으며, 이 때 상기 촬영 제어 모듈(125)은 상기 카메라부(110)를 제어하여, 하나의 카메라의 촬영 모드를 전환시키거나, 또는 각각의 촬영 모드로 촬영 중인 복수의 카메라의 촬영 영상을 조합하여, 상기 제3 트리거에서 촬영 영상이 전환되도록 할 수 있다.
또한, 상기 프로세서부(120)는 촬영 환경 제어 모듈(127)을 더 포함할 수 있다. 상기 촬영 환경 제어 모듈(127)은 상기 스윙 모니터링 모듈(121)에 의해 추적되는 사용자의 위치 및 움직임 중 적어도 하나에 기초하여, 촬영 환경이 미리 설정된 조건에 부합하는지 여부를 판단하여, 이에 대한 가이드 정보를 사용자에게 제공하도록 구성될 수 있다. 예를 들어, 상기 미리 설정된 조건은 카메라 영상 내의 사용자의 위치 또는 화면 내 비율일 수 있다. 즉, 상기 촬영 환경 제어 모듈(127)은 추적되는 사용자의 위치에 기초하여, 사용자의 위치가 카메라 영상의 중심 영역에서 벗어나거나, 전체 화면 대비 일정 이하의 비율인 경우, 스피커를 통해 알람, 경고음 또는 음성 등의 형태로 촬영 환경에 대한 가이드 정보를 사용자에게 제공하도록 구성될 수 있다. 예를 들어, 어드레스 동작을 취한 사용자의 위치는 디스플레이를 통해 선, 윤곽 또는 증강현실(AR) 등의 형태로 표시될 수 있으며, 이에 따라, 사용자는 자신이 어드레스 동작을 취했던 위치를 참고하여 촬영 환경을 설정할 수 있다. 즉, 상기 가이드 정보를 기초로 하여, 사용자는 상기 골프 스윙 촬영 장치(100)의 배치 위치를 변경할 수 있다.
또한, 상기 골프 스윙 촬영 장치(100)가 2차원의 골프 스윙이 학습된 인공 신경망 모델에 기초하는 경우, 상기 골프 스윙 촬영 장치(100)는 상기 인공 신경망 모델을 학습시킨 골프 스윙의 시점과 대응되는 특정의 시점에서 사용자의 골프 스윙을 촬영할 것이 요구된다. 따라서, 이 경우, 상기 촬영 환경 제어 모듈(127)은, 상기 스윙 모니터링 모듈(121)에 의해 추적되는 사용자의 위치 및 움직임 중 적어도 하나에 기초하여, 촬영 시점이 상기 특정의 시점에 벗어나는 경우, 스피커를 통해 알람, 경고음 또는 음성 등의 형태로 촬영 시점에 대한 가이드 정보를 사용자에게 제공하고, 또한 디스플레이를 통해 선, 윤곽 또는 증강현실(AR) 등의 형태로 촬영 시점에 대한 가이드 정보를 표시할 수 있다. 이 때, 촬영 시점이 상기 특정의 시점에 벗어나는지 여부는 상기 스윙 모니터링 모듈(121)에서 추적되는 사용자의 움직임에 대한 신뢰도를 기초로 판단할 수 있다.
한편, 상기 촬영 환경 제어 모듈(127)은 촬영 환경이 설정될 수 있도록 사용자에게 가이드 정보를 제공하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 골프 스윙 촬영 장치(100)의 배치 위치가 변경될 필요가 없는 수준의 촬영 환경의 설정이 요구되는 경우, 상기 촬영 환경 제어 모듈(127)은 상기 카메라부(110)를 제어하여 촬영 환경을 설정하도록 구성될 수 있다. 예를 들어, 상기 스윙 모니터링 모듈(121)에 의해 추적되는 사용자의 위치 및 움직임 중 적어도 하나에 기초하여 사용자의 신체가 카메라 배율을 조정 가능한 범위에서 영상 내에 작게 표시되거나, 또는 크게 표시된다고 판단될 경우, 상기 카메부(110)를 제어하여, 줌-인하여 확대하거나, 줌-아웃하여 축소하여 촬영하도록 구성될 수 있다.
또한, 상기 프로세서부(120)는 비교 판단 모듈(129)을 더 포함할 수 있다. 상기 비교 판단 모듈(129)은, 상기 스윙 모니터링 모듈(121)에 의해 추적되는 사용자의 움직임에 기초하여, 이전 촬영된 골프 스윙과의 유사 여부를 판단하여, 촬영이 종료된 후 획득되는 골프 스윙 동영상을 유사한 동영상별로 그룹화하도록 구성된다. 이 때, 유사 여부의 판단은 사용자의 골프 스윙의 움직임에 있어서의 관절 정보에 기초할 수 있다. 예를 들어, 상기 관절 정보는 사용자의 골프 스윙의 움직임에 있어, 특정의 구분 동작에서 인접하는 관절들이 이루는 각도, 또는 관절의 궤적 등에 대한 정보를 포함할 수 있다.
구체적으로, 상기 비교 판단 모듈(129)은, 현재 촬영 중인 골프 스윙과 유사하다고 판단되는 이전 촬영된 골프 스윙이 있는 경우, 현재 촬영 중인 골프 스윙의 촬영이 종료되면, 획득된 골프 스윙 동영상을 상기 이전 촬영된 골프 스윙의 동영상과 그룹화하여 저장하도록 구성된다. 이와 달리, 유사하다고 판단되는 이전 촬영된 골프 스윙이 없는 경우, 획득된 골프 스윙 동영상을 별도의 그룹으로 지정하여 저장하도록 구성된다. 한편, 상기 유사 여부의 판단 기준은 예를 들어, 95% 이상일 수 있다.
이에 따라 사용자는 획득된 골프 스윙 동영상이 다수인 경우, 모든 골프 스윙 동영상을 다 확인할 필요없이 그룹별로 저장된 대표 골프 스윙 동영상만을 확인하여, 변화가 있는 골프 스윙을 분석할 수 있다. 한편, 사용자의 골프 스윙 동영상은 모두 저장되는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 사용자의 촬영 중인 골프 스윙과 유사도가 일정 이상인 이전 촬영된 골프 스윙이 있는 경우, 획득된 동영상을 별도로 저장하지 않고 삭제하도록 구성될 수도 있다.
또한, 상기 비교 판단 모듈(129)은, 상기 스윙 모니터링 모듈(121)에 의해 추적되는 사용자의 움직임에 기초하여, 이전 촬영된 골프 스윙의 사용자와의 유사 여부를 판단하여, 획득되는 골프 스윙 동영상을 사용자별로 그룹화하도록 구성될 수 있다. 이 때, 유사 여부의 판단은 사용자의 골프 스윙의 움직임에 있어서의 관절 정보에 기초할 수 있다. 예를 들어, 상기 관절 정보는 사용자의 신체에 있어, 인접하는 관절 간의 거리 정보 등에 대한 정보를 포함할 수 있다.
이에 따라, 스크린 골프 연습장과 같이 복수의 사용자가 번갈아 가며, 골프 스윙을 행하는 경우, 하나의 골프 스윙 촬영 장치(100)를 이용하여 연속적으로 촬영하더라도, 사용자가 번거롭게 획득된 다수의 골프 스윙 동영상 중에서 자신의 골프 스윙 동영상을 선별할 필요가 없다. 한편, 본 발명의 일 실시예에 따른 골프 스윙 촬영 장치(100)는 상기 비교 판단 모듈(129)을 통해 사용자의 관절 정보에 기초하여 사용자별로 골프 스윙 동영상을 그룹화하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 별도의 얼굴 인식 모듈을 통해 사용자별로 그룹화할 수도 있다.
또한, 상기 프로세서부(120)는 상기 골프 스윙 촬영 장치(100)의 구성 요소들의 전반적인 동작을 제어하도록 구성되며, 특정 작업의 할당을 관리하는 작업 관리자로서의 기능을 수행하도록 구성된다. 예를 들어, 상기 프로세서부(120)는 CPU, 마이크로프로세서, AP(application processor) 등과 같은 범용의 프로세서일 수 있다. 상기 프로세서부(120)는 골프 스윙 촬영 장치를 구동하기 위한 운영 체제(operating system; OS)를 실행할 수 있고, 인터넷 브라우저, 게임, 동영상, 카메라 등을 제공하는 다양한 어플리케이션들을 실행할 수 있다.
본 실시예에 따른 상기 프로세서부(120)의 구성들 중 적어도 하나는 하드웨어 구성(hardware component), 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), FLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 실시예에 따라서, 상기 프로세서부(120)는 상술한 유닛들 중 동일한 종류의(homogeneous) 유닛들을 복수 개 포함하거나, 서로 다른 종류의(heterogeneous) 유닛들을 복수 개 포함하여 구현될 수 있다. 또한, 상기 프로세서부(120)는 상술한 모듈들의 동작을 병렬 처리하기 위해 복수의 프로세서 코어(processor core)들을 포함하여 구현될 수 있다.
특히, 상기 스윙 모니터링 모듈(121)은 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 상기 골프 스윙 촬영 장치에 탑재될 수도 있다.
소프트웨어적인 구현에 의하면, 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 상기 프로세서부(120)의 적어도 하나 이상의 기능 및 동작을 수행할 수 있으며, 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 소프트웨어 코드는 후술하는 메모리부(130)에 저장되고, 프로세서에 의해 실행될 수 있다. 특히, 상기 스윙 모니터링 모듈(121)은 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 상기 비일시적 판독 가능 기록매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다. 또한, 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
상기 메모리부(130)는 상기 프로세서부(120)에 의해 처리되었거나 처리될 예정인 데이터들을 일시적 또는 영구적으로 저장하거나, 동작 메모리(working memory)로서 작동할 수 있다. 상기 메모리부(130)는 상기 골프 스윙 촬영 장치(100)를 부팅하기 위한 부트 이미지(boot image), 상기 골프 스윙 촬영 장치(100)를 구동하기 위한 운영 체제와 관련된 파일 시스템(file system), 상기 골프 스윙 촬영 장치(100)와 연결되는 외부 장치와 관련된 장치 드라이버(device driver), 상기 골프 스윙 촬영 장치(100)에서 실행되는 상기 어플리케이션 등을 저장할 수 있다.
또한, 상기 메모리부(130)는 특성 맵의 생성 및 연산을 수행하는데 이용되는 복수의 파라미터들 및/또는 복수의 하이퍼 파라미터(hyper parameter)들을 저장할 수 있다. 예를 들면, 골프 스윙의 학습 과정에 의해 학습된 인공 신경망 모델의 파라미터들이 저장될 수 있다. 또한, 상기 메모리부(130)는 상기 카메라부(110)로부터 촬영된 사용자의 골프 스윙 동영상을 일시적 또는 영구적으로 저장하도록 구성될 수 있다.
예를 들어, 상기 메모리부(130)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 휘발성 메모리, 및 플래시 메모리(flash memory), PRAM(phase change random access memory), RRAM(resistance random access memory), NFGM(nano floating gate memory), PoRAM(polymer random access memory), MRAM(magnetic random access memory), FRAM(ferroelectric random access memory) 등과 같은 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 본 발명의 일 실시예에 따라, 상기 메모리부(130)는 SSD(solid state drive), eMMC(embedded multimedia card), UFS(universal flash storage) 등과 같은 대량 저장 장치의 형태로 구현될 수도 있다. 다만 이에 한정되는 것은 아니다.
또한, 상기 골프 스윙 촬영 장치(100)는 통신부(140), 입력부(150) 및 출력부(160)를 포함할 수 있다.
상기 통신부(140)는 외부 장치 또는 시스템과 데이터 통신을 수행하도록 구성된다. 상기 통신부(140)는 유/무선 통신 모듈을 포함할 수 있으며, 유선 또는 무선 통신 기술을 이용하여 외부와 데이터 통신을 수행할 수 있다. 무선 통신 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 무선 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있고, 유선 근거리 통신 기술로는 USB(Universal Serial Bus), IEEE 1394, 인텔사의 썬더볼트 등이 이용될 수 있다.
또한, 상기 통신부(140)는 위치 정보 모듈을 포함할 수 있으며, 위치 정보 모듈은 위성 또는 서비스 제공자와 무선 통신을 수행하여 상기 골프 스윙 촬영 장치(100)가 사용자의 골프 스윙을 촬영하는 장소의 위치 정보, 예를 들어 골프장에서의 홀 정보, 촬영 시간 정보 등의 메타데이터를 수신할 수 있다. 상기 위치 정보 모듈의 예로는 GPS(Global Position System) 모듈이 있으며, 상기 메타데이터는 획득된 사용자의 골프 스윙 동영상과 연계되어 저장될 수 있다.
상기 입력부(150)는 사용자에 의한 입력에 따라 조작 신호를 생성하도록 구성된다. 상기 입력부(150)는 터치 스크린(touch screen), 키 패드(key pad), 돔 스위치, 조그 휠, 조그 스위치 등으로 구성될 수 있다.
상기 입력부(150)는 상기 골프 스윙 촬영 장치(100)의 구동에 대한 사용자의 요청을 입력받을 수 있으며, 또한, 촬영 모드에 대한 사용자의 요청 및 촬영 환경의 제어를 위한 카메라 설정에 대한 요청을 입력받을 수 있다.
상기 출력부(160)는 상기 골프 스윙 촬영 장치(100)에서 처리되는 정보를 출력하도록 구성된다. 상기 출력부(160)는 디스플레이를 포함할 수 있으며, 이 경우, 디스플레이는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT LCD), 유기 발광 다이오드(OLED), 플렉시블 디스플레이(flexible display), 폴더블 디스플레이(foldable display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
예를 들어, 상기 출력부(160)는 디스플레이를 통해 상기 카메라부(110)로부터의 카메라 영상을 표시하고, 사용자의 골프 스윙에 있어서 추적되는 사용자의 위치 및 움직임에 대한 인식 상황 및 카메라 영상 내 미리 설정된 트리거에 대한 인식 상황 등을 표시할 수 있다. 또한, 상기 출력부(160)는 디스플레이 상에 촬영 모드의 선택 및 촬영 환경의 설정 등 기능 제어에 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수도 있다.
또한, 상기 출력부(160)는 상기 골프 스윙 촬영 장치(100)에 포함되는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 출력부(160)는 상기 통신부(140)를 통해 상기 골프 스윙 촬영 장치(100)와 유선 또는 무선으로 연결된 외부의 디스플레이 또는 이를 포함하는 단말일 수 있다. 예를 들어, 상기 출력부(160)는 사용자의 측면에 배치되어, 카메라 영상을 실시간으로 표시하거나, 또는 획득된 골프 스윙 동영상을 표시하도록 구성될 수 있다. 이 경우, 사용자는 매회의 골프 스윙 후에 획득된 골프 스윙 동영상을 즉각적으로 확인함으로써, 자신의 골프 스윙을 분석할 수 있다.
또한, 상기 출력부(160)는 스피커를 포함할 수 있으며, 이 경우, 스피커는 내부 스피커 또는 외부 스피커로 구성될 수 있다. 예를 들어, 상기 출력부(160)는 스피커를 통해 환경 설정에 대한 가이드 정보를 출력하거나, 사용자의 골프 스윙 동영상의 획득을 알리는 알림 내지 카운팅 정보 등을 출력할 수 있다.
본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은, 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해 카메라의 상에 비추어지는 카메라 영상을 모니터링하면서, 사용자의 골프 스윙의 움직임을 추적하는 단계, 상기 카메라 영상 내에 사용자의 골프 스윙의 움직임에 있어 미리 설정된 트리거가 있는지 여부를 판단하는 단계, 및 상기 미리 설정된 트리거가 인식되면, 상기 미리 설정된 트리거에 대응한 골프 스윙의 동영상 촬영에 대한 카메라 제어를 행하는 단계를 포함한다. 이하, 도 4 및 5를 참조하여, 본 발명에 따른 골프 스윙 촬영 방법을 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법을 나타낸 순서도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은, 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해 카메라에 비추어지는 카메라 영상을 모니터링하는 단계(S100)를 포함한다. 상기 카메라 영상은 동영상 촬영 전의 영상인 프리뷰 영상과, 동영상 촬영 중의 영상인 촬영 영상으로 구성되며, 동영상 촬영이 종료되면, 상기 촬영 영상으로부터 다시 상기 프리뷰 영상으로 이어진다. 이는 상기 골프 스윙 촬영 장치가 동작하는 동안 반복된다.
구체적으로, 상기 단계(S100)에서는 딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해, 상기 카메라 영상의 복수의 프레임들로부터 특성을 추출하여 특성 맵(feature map)들을 생성하고, 이들을 연산하여, 실시간으로 상기 카메라 영상 내에 사용자의 위치 및 움직임 중 적어도 하나를 추적하도록 구성된다.
여기서, 상기 골프 스윙이 학습된 인공 신경망 모델은 어드레스부터 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루 및 피니쉬까지의 구분 동작 중 적어도 하나 이상을 학습한 것으로, 각 구분 동작의 순서인 시퀀스에 대한 정보도 학습된 것일 수 있다. 이에 따라, 상기 카메라 영상 내에 사용자의 골프 스윙의 각 구분 동작에 대응되는 사용자의 움직임을 추적할 수 있다.
또한, 상기 골프 스윙이 학습된 인공 신경망 모델은 골프 스윙의 각 구분 동작에 있어서의 신체의 관절(skeleton)에 대한 정보를 더 학습한 것일 수 있다. 즉, 어드레스부터 테이크백, 백스윙탑, 다운스윙, 임팩트, 팔로우스루 및 피니쉬까지의 구분 동작 중 적어도 하나 이상에 있어서 20개의 신체의 관절에 대한 정보를 학습한 것일 수 있으며, 이 경우, 상기 카메라 영상을 모니터링함에 있어, 상기 인공 신경망 모델에 기초하여 실시간으로 사용자의 골프 스윙의 각 구분 동작에 대응되는 움직임에 대한 20개의 관절의 좌표를 추적할 수 있다.
또한, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은 사용자의 움직임을 추적하는 동안, 상기 카메라 영상(프리뷰 영상) 내에 사용자의 골프 스윙의 움직임에 있어, 촬영 개시의 트리거인 제1 트리거가 있는지 여부를 판단하는 단계(S110)를 포함한다.
상기 단계(S110)에서 상기 제1 트리거가 인식되지 않으면(NO), 계속하여 사용자의 움직임을 추적하면서, 상기 제1 트리거가 있는지 여부를 판단하고, 이와 달리 상기 제1 트리거가 인식되면(YES), 카메라를 제어하여 사용자의 골프 스윙 동영상의 촬영을 개시한다(S120). 이 때, 동영상 촬영은 일반 촬영 모드 또는 슬로모션 촬영 모드 등으로 수행될 수 있다. 예를 들어, 사용자의 선택에 의해 촬영 모드가 결정될 수 있다.
예를 들어, 상기 제1 트리거는 어드레스 동작으로부터 테이크백 동작으로 전환되는 시점일 수 있다. 또는, 어드레스 동작 중 어느 시점일 수도 있다. 예를 들어, 사용자가 어드레스 동작을 취한 시점이거나, 사용자가 어드레스 동작을 취한 후 자세가 일정 시간 유지되는 시점일 수 있다. 또는, 이와 달리 상기 어드레스 동작 이외의 특정의 구분 동작 중 어느 시점을 촬영 개시의 제1 트리거로 설정할 수도 있다.
즉, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은 사용자의 골프 스윙의 구분 동작 중 특정의 시점을 트리거로 인식하여 촬영을 개시하도록 구성됨에 따라, 사용자의 별도의 조작없이 골프 스윙의 동영상을 자동으로 촬영할 수 있다.
또한, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은, 사용자의 골프 스윙의 촬영 중에, 상기 카메라 영상(촬영 영상) 내에 사용자의 골프 스윙의 움직임에 있어, 촬영 종료의 트리거인 제2 트리거가 있는지 여부를 판단하는 단계(S130)를 포함한다.
상기 단계(S130)에서 상기 제2 트리거가 인식되지 않으면(NO), 골프 스윙 동영상을 촬영하면서, 사용자의 움직임을 추적하여 상기 제2 트리거가 있는지 여부를 판단하고, 상기 제2 트리거가 인식되면(YES), 카메라를 제어하여 사용자의 골프 스윙 동영상의 촬영을 종료한다(S140). 한편, 동영상 촬영이 종료되면, 해당 사용자의 골프 스윙에 대한 동영상이 획득되고, 해당 골프 스윙 동영상은 메모리에 저장된다.
예를 들어, 상기 제2 트리거는 피니쉬 동작으로부터 사용자의 자세가 풀어지는 시점, 즉 골프 스윙의 구분 동작이 아닌 동작으로 전환되는 시점일 수 있다. 또는, 사용자가 피니쉬 동작을 취한 시점, 사용자가 피니쉬 동작을 취한 후 자세가 일정 시간 유지되는 시점, 또는 사용자가 피니쉬 동작을 취한 후 이후의 자세에 상관없이 일정 시간이 경과된 시점일 수 있다.
한편, 사용자의 골프 스윙에 대한 동영상 촬영이 종료되면, 다시 상기 카메라 영상(프리뷰 영상) 내에 사용자의 골프 스윙의 움직임에 있어, 상기 제1 트리거가 있는지 여부를 판단하고(S110), 상기 골프 스윙 촬영 장치(100)가 동작하는 동안 상기의 과정이 반복되어, 획득되는 복수의 골프 스윙 동영상은 순차적으로 메모리에 저장된다.
이에 따라, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은, 별도의 사용자의 조작없이 연속적으로 복수의 사용자의 골프 스윙 동영상을 획득할 수 있다. 또한, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은 사용자의 골프 스윙의 움직임에 있어, 상기 제1 트리거를 인식하여 촬영을 개시하도록 구성됨에 따라, 반복적으로 골프 스윙을 연습하는 골프 연습장에서 연습 도중 휴식을 취하거나, 골프 클럽의 변경 등으로 골프 스윙 간에 인터벌이 형성된 경우라도, 사용자의 별도의 조작없이 연속적으로 사용자의 골프 스윙만을 촬영한 복수의 골프 스윙 동영상을 획득할 수 있다.
한편, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은, 사용자의 골프 스윙의 촬영 횟수를 카운트하여, 일정 횟수로 제한할 수도 있다. 이 경우, 일정 횟수에 도달하면, 더이상 상기 카메라 영상(프리뷰 영상) 내에 상기 제1 트리거가 있는지 여부를 판단하지 않고, 상기 골프 스윙 촬영 장치(100)의 동작을 종료시킬 수 있다. 예를 들어, 상기 촬영 횟수를 미리 결정된 횟수, 또는 사용자의 선택에 의한 횟수로 제한할 수 있으며, 또는 이와 달리 상기 골프 스윙 촬영 장치(100)의 전력 상황 및 여분의 메모리 정보 중 적어도 하나에 기초하여 상기 촬영 횟수를 제한할 수도 있다.
또한, 순차적으로 저장되는 복수의 골프 스윙 동영상은 유사 여부를 기초하여 그룹화하여 저장될 수 있다. 예를 들어, 추적되는 사용자의 움직임에 기초하여, 현재 촬영 중인 사용자의 골프 스윙과 이전 촬영된 골프 스윙이 유사한 경우, 획득되는 골프 스윙 동영상을 유사한 이전 골프 스윙 동영상과 그룹화하여 저장할 수 있다. 여기서, 유사 여부의 판단은 사용자의 관절 정보에 기초할 수 있으며, 예를 들어, 상기 관절 정보는 특정의 구분 동작에서 인접하는 관절들이 이루는 각도, 또는 관절의 궤적 등에 대한 정보를 포함할 수 있다. 이와 달리, 유사하다고 판단되는 이전 촬영된 골프 스윙이 없는 경우, 획득된 골프 스윙 동영상을 별도의 그룹으로 지정하여 저장할 수 있다. 한편, 상기 유사 여부의 판단 기준은 예를 들어, 95% 이상일 수 있다.
이에 따라 사용자는 획득된 골프 스윙 동영상이 다수인 경우, 모든 골프 스윙 동영상을 다 확인할 필요없이 그룹별로 저장된 대표 골프 스윙 동영상만을 확인하여, 변화가 있는 골프 스윙을 분석할 수 있다. 한편, 사용자의 골프 스윙 동영상은 모두 저장되는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 현재 촬영 중인 사용자의 골프 스윙과 이전 촬영된 골프 스윙이 일정 이상으로 유사한 경우, 획득된 동영상을 별도로 저장하지 않고 삭제할 수도 있다.
또한, 획득되는 복수의 골프 스윙 동영상은 추적되는 사용자의 움직임에 기초하여 이전 촬영된 골프 스윙의 사용자와의 유사 여부를 판단하여, 사용자별로 그룹화하여 저장될 수 있다. 여기서, 유사 여부 판단은 사용자의 관절 정보에 기초할 수 있으며, 예를 들어, 상기 관절 정보는 사용자의 신체에 있어, 인접하는 관절 간의 거리 정보 등을 포함할 수 있다.
이에 따라, 스크린 골프 연습장과 같이 복수의 사용자가 번갈아 가며, 골프 스윙을 행하는 경우, 하나의 골프 스윙 촬영 장치(100)를 이용하여 연속적으로 촬영하더라도, 사용자가 번거롭게 획득된 다수의 골프 스윙 동영상 중에서 자신의 골프 스윙 동영상을 선별할 필요가 없다.
한편, 본 발명의 일 실시예에 따른 골프 스윙 촬영 방법은, 사용자의 골프 스윙을 촬영함에 있어서, 상기 제2 트리거를 기초하여 촬영을 종료하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 별도의 촬영 종료를 위한 상기 제2 트리거에 대한 인식없이, 상기 제1 트리거에 의한 사용자의 골프 스윙에 대한 동영상 촬영을 개시한 후, 골프 스윙에 통상으로 소요되는 미리 결정된 시간이 경과하면, 촬영을 종료하도록 할 수 있다. 예를 들어, 상기 미리 결정된 시간은 2초 내지 4초로 설정될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 골프 스윙 촬영 방법을 나타낸 순서도이다.
도 5에 도시된 골프 스윙 촬영 방법은, 사용자의 골프 스윙을 촬영함에 있어서, 촬영 모드를 전환하는 단계를 더 포함하는 것을 제외하면, 도 4에 도시된 골프 스윙 촬영 방법과 실질적으로 동일하다. 따라서, 동일한 부분에 대해서는 동일한 도면부호를 사용하고, 동일한 부분에 대한 중복되는 설명은 생략한다.
도 5를 참조하면, 본 실시예에 따른 골프 스윙 촬영 방법은 사용자의 골프 스윙의 촬영 중에, 카메라 영상(촬영 영상) 내에 사용자의 골프 스윙의 움직임에 있어, 촬영 모드 전환의 트리거인 제3 트리거가 있는지 여부를 판단하는 단계(S250)를 포함한다.
상기 단계(S250)에서 상기 제3 트리거가 인식되지 않으면(NO), 골프 스윙 동영상을 촬영하면서, 사용자의 움직임을 추적하여 상기 제3 트리거가 있는지 여부를 판단하고, 상기 제3 트리거가 인식되면(YES), 카메라를 제어하여 사용자의 골프 스윙의 촬영에 있어 촬영 모드를 전환시킨다(S260).
예를 들어, 상기 제3 트리거는 사용자의 골프 스윙을 촬영함에 있어, 일반 촬영 모드와 슬로모션 촬영 모드 간의 전환을 위한 시점일 수 있다. 예를 들어, 상기 제3 트리거는 골프 스윙의 구분 동작에 있어서, 이 후 빠르게 동작이 진행되는 백스윙탑 동작을 취한 시점일 수 있다. 다만, 이에 한정되지 않으며, 백스윙탑 동작 이외의 특정의 구분 동작 중 어느 시점일 수 있다. 예를 들어, 사용자가 어드레스 동작을 취한 시점에 촬영이 개시되고, 이로부터 테이크백 동작으로 전환되는 시점에서 슬로모션으로 촬영 모드가 전환되도록 구성될 수도 있다. 이에 따라, 사용자는 상기 제3 트리거에서 슬로 모션으로 전환되는 드라마틱(dramatic)한 골프 스윙 동영상을 획득할 수 있다.
또한, 상기 제3 트리거에서는 일반 촬영 모드와 줌-인 촬영 모드 간의 전환이 이루어질 수 있다. 예를 들어, 상기 제3 트리거에서는 슬로모션으로의 전환과 함께, 사용자의 전신 촬영으로부터 특정의 신체 부위의 줌-인 촬영으로의 전환이 이루어질 수 있다. 여기서, 상기 특정의 신체 부위는 사용자의 선택에 의하거나 또는 특정 구분 동작에 있어서 동작의 정확성을 판단하기 위한 미리 설정된 신체 부위일 수 있다. 이에 따라, 사용자가 취약하다고 판단되는 구분 동작을 슬로 모션으로 촬영하는 동시에 줌-인하여 확대하여 촬영함으로써, 사용자는 분석이 용이한 골프 스윙 동영상을 획득할 수 있다. 한편, 상기 제3 트리거에서 슬로모션으로의 전환과 함께, 줌-인 촬영으로의 전환이 이루어지는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 제3 트리거에서 줌-인 촬영으로의 전환만 이루어질 수도 있다.
한편, 본 실시예에 따른 골프 스윙 촬영 방법은, 도 4에 도시된 골프 스윙 촬영 방법에 사용자의 골프 스윙을 촬영함에 있어서, 상기 제3 트리거에 기초하여 촬영 모드를 전환하는 단계를 더 포함하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 별도의 제3 트리거에 대한 인식 없이, 상기 제1 트리거에 의한 사용자의 골프 스윙에 대한 동영상 촬영을 개시한 후, 미리 결정된 시간이 경과하면, 촬영 모드를 전환하도록 할 수 있다. 이 때, 상기 미리 결정된 시간은 예를 들어, 1초 이내로 설정될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
100: 골프 스윙 촬영 장치
110: 카메라부
120: 프로세서부
121: 스윙 모니터링 모듈
123: 트리거 인식 모듈
125: 촬영 제어 모듈
127: 촬영 환경 제어 모듈
129: 비교 판단 모듈
130: 메모리부
140: 통신부
150: 입력부
160: 출력부

Claims (11)

  1. 사용자의 골프 스윙을 동영상 촬영하는 골프 스윙 촬영 방법에 있어서,
    딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해 카메라의 상에 비추어지는 카메라 영상을 모니터링하면서, 사용자의 골프 스윙의 움직임을 추적하는 단계;
    상기 카메라 영상 내에 사용자의 골프 스윙의 움직임에 있어 미리 설정된 트리거가 있는지 여부를 판단하는 단계; 및
    상기 미리 설정된 트리거가 인식되면, 상기 미리 설정된 트리거에 대응한 골프 스윙의 동영상 촬영에 대한 카메라 제어를 행하는 단계를 포함하고,
    상기 인공 신경망 모델은, 골프 스윙에 있어 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 구분 동작 및 각 구분 동작의 순서인 시퀀스에 대한 정보도 학습되고,
    상기 인공 신경망 모델은, 상기 구분 동작에 있어서의 적어도 하나 이상의 신체의 관절(skeleton)에 대한 정보를 학습하고,
    상기 움직임을 추적하는 단계에서는, 상기 인공 신경망 모델을 통해, 상기 카메라 영상의 복수의 프레임들로부터 특성을 추출하여 특성 맵(feature map)들을 생성하고, 이들을 연산하여, 실시간으로 상기 카메라 영상 내의 상기 구분 동작으로서의 움직임을 추적하고,
    실시간으로 각 구분 동작에 대응되는 사용자의 움직임에 대한 상기 신체의 관절의 좌표를 추적하는 것을 특징으로 하는 골프 스윙 촬영 방법.
  2. 제1 항에 있어서,
    상기 미리 설정된 트리거는 촬영 개시의 트리거인 제1 트리거를 포함하고,
    촬영 전의 카메라 영상에서 상기 제1 트리거가 인식되면, 사용자의 골프 스윙의 동영상 촬영을 개시하는 것을 특징으로 하는 골프 스윙 촬영 방법.
  3. 제2 항에 있어서,
    상기 제1 트리거는 골프 스윙에 있어 어드레스로 동작으로부터 테이크백 동작으로 전환되는 시점인 것을 특징으로 하는 골프 스윙 촬영 방법.
  4. 제2 항에 있어서,
    상기 미리 설정된 트리거는 촬영 종료의 트리거인 제2 트리거를 더 포함하고,
    촬영 중인 카메라 영상에서 상기 제2 트리거가 인식되면, 사용자의 골프 스윙의 동영상 촬영을 종료하는 것을 특징으로 하는 골프 스윙 촬영 방법.
  5. 제4 항에 있어서,
    상기 제2 트리거는 골프 스윙에 있어 피니시 동작으로부터 골프 스윙의 구분 동작이 아닌 동작으로 전환되는 시점인 것을 특징으로 하는 골프 스윙 촬영 방법.
  6. 제2 항에 있어서,
    상기 미리 설정된 트리거는 촬영 모드 전환의 트리거인 제3 트리거를 더 포함하고,
    촬영 중인 카메라 영상에서 상기 제3 트리거가 인식되면, 사용자의 골프 스윙을 일반 촬영 모드에서 슬로 모션 촬영 모드로 전환하여 동영상 촬영하는 것을 특징으로 하는 골프 스윙 촬영 방법.
  7. 제6 항에 있어서,
    상기 제3 트리거가 인식되면, 슬로 모션 촬영 모드로의 전환과 함께, 사용자의 전신 촬영으로부터 특정의 신체 부위의 줌-인 촬영으로 전환하여 동영상 촬영하는 것을 특징으로 하는 골프 스윙 촬영 방법.
  8. 사용자의 골프 스윙을 동영상 촬영하는 골프 스윙 촬영 장치에 있어서,
    딥러닝 기술을 이용한 골프 스윙이 학습된 인공 신경망 모델을 통해 카메라의 상에 비추어지는 카메라 영상을 모니터링하면서, 사용자의 골프 스윙의 움직임을 추적하는 스윙 모니터링 모듈;
    상기 카메라 영상 내에 상기 스윙 모니터링 모듈에 의해 추적되는 사용자의 골프 스윙의 움직임에 있어 미리 설정된 트리거가 있는지 여부를 판단하는 트리거 인식 모듈; 및
    상기 트리거 인식 모듈에 의해 상기 미리 설정된 트리거가 인식되면, 상기 미리 설정된 트리거에 대응한 골프 스윙의 동영상 촬영에 대한 카메라 제어를 행하는 촬영 제어 모듈을 포함하고,
    상기 인공 신경망 모델은, 골프 스윙에 있어 어드레스(address)부터 테이크백(take-back), 백스윙탑(backswing top), 다운스윙(downswing), 임팩트(impact), 팔로우스루(follow through) 및 피니쉬(finish)까지의 구분 동작 및 각 구분 동작의 순서인 시퀀스에 대한 정보도 학습되고,
    상기 인공 신경망 모델은 각 구분 동작에 있어서의 적어도 하나 이상의 신체의 관절(skeleton) 정보를 학습하고,
    상기 스윙 모니터링 모듈은, 상기 인공 신경망 모델을 통해, 상기 카메라 영상의 복수의 프레임들로부터 특성을 추출하여 특성 맵(feature map)들을 생성하고, 이들을 연산하여, 실시간으로 상기 카메라 영상 내의 상기 구분 동작으로서의 움직임을 추적하고,
    상기 스윙 모니터링 모듈은, 실시간으로 각 구분 동작에 대응되는 사용자의 움직임에 대한 상기 신체의 관절의 좌표를 추적하는 것을 특징으로 하는 골프 스윙 촬영 장치.
  9. 제8 항에 있어서,
    상기 미리 설정된 트리거는 촬영 개시의 트리거인 제1 트리거를 포함하고,
    촬영 전의 카메라 영상에서 상기 트리거 인식 모듈에 의해 상기 제1 트리거가 인식되면, 상기 촬영 제어 모듈은 사용자의 골프 스윙의 동영상 촬영을 개시하도록 상기 카메라를 제어하는 것을 특징으로 하는 골프 스윙 촬영 방법.
  10. 제9 항에 있어서,
    상기 미리 설정된 트리거는 촬영 종료의 트리거인 제2 트리거를 더 포함하고,
    촬영 중인 카메라 영상에서 상기 트리거 인식 모듈에 의해 상기 제2 트리거가 인식되면, 상기 촬영 제어 모듈은 사용자의 골프 스윙의 동영상 촬영을 종료하도록 상기 카메라를 제어하는 것을 특징으로 하는 골프 스윙 촬영 장치.
  11. 제9 항에 있어서,
    상기 미리 설정된 트리거는 촬영 모드 전환의 트리거인 제3 트리거를 더 포함하고,
    촬영 중인 카메라 영상에서 상기 트리거 인식 모듈에 의해 상기 제3 트리거가 인식되면, 상기 촬영 제어 모듈은 사용자의 골프 스윙을 일반 촬영 모드에서 슬로 모션 촬영 모드로 전환하여 동영상 촬영하도록 상기 카메라를 제어하는 것을 특징으로 하는 골프 스윙 촬영 장치.
KR1020220068302A 2020-08-13 2022-06-03 골프 스윙 촬영 방법 및 장치 KR20220080063A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220068302A KR20220080063A (ko) 2020-08-13 2022-06-03 골프 스윙 촬영 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200102023A KR20210008322A (ko) 2020-08-13 2020-08-13 골프 스윙 촬영 방법 및 장치
KR1020220068302A KR20220080063A (ko) 2020-08-13 2022-06-03 골프 스윙 촬영 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200102023A Division KR20210008322A (ko) 2020-08-13 2020-08-13 골프 스윙 촬영 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220080063A true KR20220080063A (ko) 2022-06-14

Family

ID=74237752

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200102023A KR20210008322A (ko) 2020-08-13 2020-08-13 골프 스윙 촬영 방법 및 장치
KR1020220068302A KR20220080063A (ko) 2020-08-13 2022-06-03 골프 스윙 촬영 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200102023A KR20210008322A (ko) 2020-08-13 2020-08-13 골프 스윙 촬영 방법 및 장치

Country Status (1)

Country Link
KR (2) KR20210008322A (ko)

Also Published As

Publication number Publication date
KR20210008322A (ko) 2021-01-21

Similar Documents

Publication Publication Date Title
Lai et al. Semantic-driven generation of hyperlapse from 360 degree video
JP7048764B6 (ja) パノラマビデオのターゲット追跡方法及びパノラマカメラ
US10580453B1 (en) Cataloging video and creating video summaries
US8330793B2 (en) Video conference
WO2022062318A1 (zh) 一种拍摄方法及设备
US9934823B1 (en) Direction indicators for panoramic images
US8670047B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US9367746B2 (en) Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images
TWI537872B (zh) 辨識二維影像產生三維資訊之方法
TWI777185B (zh) 機器人圖像增強方法、處理器、電子設備、電腦可讀儲存介質
US20220329880A1 (en) Video stream processing method and apparatus, device, and medium
CN108141525A (zh) 具有集成存储器和处理器的智能图像传感器
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
US20230040548A1 (en) Panorama video editing method,apparatus,device and storage medium
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN108198199A (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
US20240007588A1 (en) Slow-motion video recording method and device
KR101787937B1 (ko) 이미지들의 시퀀스로부터 베이스 이미지와 재위치된 객체를 조합하는 이미지 생성
CN112738397A (zh) 拍摄方法、装置、电子设备及可读存储介质
WO2022166173A1 (zh) 视频资源处理方法、装置、计算机设备、存储介质及程序
WO2021238317A1 (zh) 一种全景拍摄方法及设备
KR20220080063A (ko) 골프 스윙 촬영 방법 및 장치
CN115589532A (zh) 防抖处理方法、装置、电子设备和可读存储介质
CN108965859B (zh) 投影方式识别方法、视频播放方法、装置及电子设备
CN115278082B (zh) 视频拍摄方法、视频拍摄装置及电子设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application