KR20210155564A

KR20210155564A - 영상 저장 장치 및 영상 저장 방법

Info

Publication number: KR20210155564A
Application number: KR1020200072946A
Authority: KR
Inventors: 최명철; 이호형; 김준오; 백성주
Original assignee: 주식회사 브이씨
Priority date: 2020-06-16
Filing date: 2020-06-16
Publication date: 2021-12-23
Also published as: WO2021256764A1

Abstract

영상 저장 장치 및 영상 저장 방법이 제공된다. 영상 저장 장치는, 제1 카메라를 이용하여 골퍼의 동작을 판별하고, 동작에 연관된 타임 스탬프를 추출하는 동작 판별 모듈; 타임 스탬프에 기초하여, 제2 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 저장 구간 설정 모듈; 및 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 스윙 영상을 저장하고, 복수의 저장 구간 중 제2 저장 구간에 대해 제1 프레임 레이트와 다른 제2 프레임 레이트로 스윙 영상을 저장하는 영상 저장 모듈을 포함할 수 있다.

Description

영상 저장 장치 및 영상 저장 방법{DEVICE AND METHOD FOR STORING VIDEO}

본 발명은 영상 저장 장치 및 영상 저장 방법에 관한 것이다.

골퍼는 골프 공의 현재 위치와 홀의 위치를 고려하여 목표 지점을 결정하고, 골프 공이 목표 지점으로 이동하도록, 적절한 골프채를 선택하여 골프 공을 친다. 골프 공이 원하는 목표 지점으로 이동하도록 하기 위해서는 골퍼의 스윙 동작이 매우 중요하다. 골퍼는 자신의 스윙 동작을 분석하거나, 다른 골퍼의 스윙 동작을 참고하기 위해 스윙 영상을 촬영하고자 하며, 이에 따라 스윙 영상을 촬영하고 재생하는 기술이 주목 받고 있다.

한편, 최근 카메라 해상도의 증가로 인해, 영상 데이터는 많은 용량을 차지하게 되었다. 예를 들어, 스마트 폰을 비롯한 비 전문적인 촬영 디바이스에서 영상 촬영을 하는 경우에도, 4k 해상도와 같은 고해상도 영상이 표준 해상도로 도입되고 있다. 그러므로 특별히 설정을 변경하지 않는 한, 사용자는 자연스럽게 고해상도 촬영을 하게 되는 경우가 많다. 이에 따라, 스윙 영상과 같은 짧은 시간 동안에 촬영된 영상이라도 상당한 크기의 용량을 차지하게 되며, 이는 곧 촬영 디바이스 또는 서버의 저장 자원을 소모할 뿐 아니라, 촬영된 영상을 전송하기 위한 네트워크 자원 역시 많이 소모하게 된다. 따라서, 촬영된 스윙 영상을 온전히 저장하면서도, 저장 용량의 크기를 줄일 수 있는 방안이 요구된다.

본 발명이 해결하고자 하는 과제는, 촬영된 스윙 영상에 대해, 사용자에게 양호한 재생 품질을 제공하면서도 저장 용량을 줄일 수 있는 영상 저장 장치 및 영상 저장 방법을 제공하는 것이다.

본 발명의 일 실시 예에 따른 영상 저장 장치는, 제1 카메라를 이용하여 골퍼의 동작을 판별하고, 동작에 연관된 타임 스탬프를 추출하는 동작 판별 모듈; 타임 스탬프에 기초하여, 제2 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 저장 구간 설정 모듈; 및 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 스윙 영상을 저장하고, 복수의 저장 구간 중 제2 저장 구간에 대해 제1 프레임 레이트와 다른 제2 프레임 레이트로 스윙 영상을 저장하는 영상 저장 모듈을 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 동작 판별 모듈은, 제1 카메라를 이용하여 촬영된 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 골퍼의 동작을 판별할 수 있다.

본 발명의 몇몇의 실시 예에서, 동작 판별 모듈은, 영상 인식을 수행하여 획득한 골프 공 또는 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS(Micro Electro Mechanical System) 센서 중 적어도 하나를 이용하여 획득한 골프 공 또는 클럽에 대한 인식 결과를 함께 분석하여, 골퍼의 동작을 판별할 수 있다.

본 발명의 몇몇의 실시 예에서, 제1 카메라의 촬영 프레임 레이트는 제2 카메라의 촬영 프레임 레이트보다 높을 수 있다.

본 발명의 몇몇의 실시 예에서, 저장 구간 설정 모듈은, 동작 판별 모듈에 의해 추출된 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정할 수 있다.

본 발명의 몇몇의 실시 예에서, 저장 구간 설정 모듈은, 외부로부터 미리 설정된 조정 파라미터를 제공받고, 동작 판별 모듈에 의해 추출된 타임 스탬프에 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하고, 새로운 타임 스탬프를 이용하여 스윙 영상에 복수의 저장 구간을 설정할 수 있다.

본 발명의 몇몇의 실시 예에서, 저장 구간 설정 모듈은, 동작 판별 모듈에 의해 추출된 타임 스탬프에 기초하여, 저장 시작 시점 및 저장 종료 시점을 결정할 수 있다.

본 발명의 일 실시 예에 따른 영상 저장 장치는, 센서를 이용하여 골퍼의 동작이 일어나는 시점을 판별하고, 시점에 대한 타임 스탬프를 추출하는 동작 판별 모듈; 타임 스탬프에 기초하여, 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 저장 구간 설정 모듈; 및 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 스윙 영상을 저장하고, 복수의 저장 구간 중 제2 저장 구간에 대해 제1 프레임 레이트와 다른 제2 프레임 레이트로 스윙 영상을 저장하는 영상 저장 모듈을 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 센서는 충격음 검출 센서를 포함하고, 동작 판별 모듈은, 충격음 검출 센서를 이용하여 골프 공과 클럽의 충격음을 센싱함으로써 임팩트(impact) 시점을 판별하고, 저장 구간 설정 모듈은, 임팩트 시점에 대한 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정할 수 있다.

본 발명의 몇몇의 실시 예에서, 센서는 적외선 센서를 포함하고, 동작 판별 모듈은, 적외선 센서를 이용하여 골프 공의 출발 시점을 판별함으로써 임팩트 시점을 판별하고, 저장 구간 설정 모듈은, 임팩트 시점에 대한 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정할 수 있다.

본 발명의 몇몇의 실시 예에서, 센서는 MEMS 센서를 포함하고, 동작 판별 모듈은, MEMS 센서를 이용하여 골프 공과 클럽에 대한 충격량을 센싱함으로써 임팩트 시점을 판별하고, 저장 구간 설정 모듈은, 임팩트 시점에 대한 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정할 수 있다.

본 발명의 일 실시 예에 따른 영상 저장 장치는, 카메라를 이용하여 촬영한 스윙 영상을 제공받고, 스윙 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 골퍼의 동작을 판별하고, 동작에 연관된 타임 스탬프를 추출하는 동작 판별 모듈; 타임 스탬프에 기초하여, 스윙 영상에 복수의 저장 구간을 설정하는 저장 구간 설정 모듈; 및 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 스윙 영상을 저장하고, 복수의 저장 구간 중 제2 저장 구간에 대해 제1 프레임 레이트와 다른 제2 프레임 레이트로 스윙 영상을 저장하는 영상 저장 모듈을 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 동작 판별 모듈은, 영상 인식을 수행하여 획득한 골프 공 또는 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS 센서 중 적어도 하나를 이용하여 획득한 골프 공 또는 클럽에 대한 인식 결과를 함께 분석하여, 골퍼의 동작을 판별할 수 있다.

본 발명의 일 실시 예에 따른 영상 저장 방법은, 골퍼의 동작을 판별하고, 동작에 연관된 타임 스탬프를 추출하는 단계; 타임 스탬프에 기초하여, 스윙 영상에 복수의 저장 구간을 설정하는 단계; 및 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 스윙 영상을 저장하고, 복수의 저장 구간 중 제2 저장 구간에 대해 제1 프레임 레이트와 다른 제2 프레임 레이트로 스윙 영상을 저장하는 단계를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 타임 스탬프를 추출하는 단계는, 제1 카메라를 이용하여 촬영된 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 골퍼의 동작을 판별하는 단계를 포함하고, 복수의 저장 구간을 설정하는 단계는, 제2 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 단계를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 타임 스탬프를 추출하는 단계는, 영상 인식을 수행하여 획득한 골프 공 또는 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS 센서 중 적어도 하나를 이용하여 획득한 골프 공 또는 클럽에 대한 인식 결과를 함께 분석하여, 골퍼의 동작을 판별하는 단계를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 복수의 저장 구간을 설정하는 단계는, 추출된 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정하는 단계를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 복수의 저장 구간을 설정하는 단계는, 외부로부터 미리 설정된 조정 파라미터를 제공받는 단계; 추출된 타임 스탬프에 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하는 단계; 및 새로운 타임 스탬프를 이용하여 스윙 영상에 복수의 저장 구간을 설정하는 단계를 포함할 수 있다.

본 발명의 실시 예들에 따르면, 스윙 영상에 대한 사용자의 관심도를 고려하여, 스윙 동작 별로 다른 프레임 레이트로 스윙 영상을 저장함에 따라, 스윙 영상이 저장되는 디바이스의 저장 자원을 효율적으로 사용할 수 있을 뿐 아니라 스윙 영상을 전송하기 위해 필요한 네트워크 자원을 최소화할 수 있다.

또한, 본 발명의 실시 예들에 따르면, 스윙 영상에 대한 사용자의 관심도를 반영하여 스윙 영상의 저장 구간의 설정을 자동화함에 따라, 스윙 영상에서 설정되는 저장 구간의 정확도를 높일 수 있을 뿐 아니라, 스윙 영상이 촬영된 즉시 저장 구간을 설정하는 것이 가능하다.

또한, 본 발명의 실시 예들에 따르면, 스윙 영상에 대한 사용자의 관심도를 반영하여 스윙 영상의 구간 설정을 커스터마이징할 수 있도록 함에 따라, 스윙 영상의 재생 품질이 스윙 영상을 분석하고자 하는 사용자의 기준에 부합하도록 스윙 영상을 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 저장 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 저장 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 영상 저장 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 영상 저장 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 영상 저장 시스템을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 영상 저장 시스템을 설명하기 위한 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 영상 저장 장치 및 영상 저장 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 아래에서 설명되는 실시 예들에 따른 영상 저장 장치 및 영상 저장 방법 중 적어도 일부는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 저장 시스템을 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 저장 시스템(1)은 제1 카메라(3), 제2 카메라(5), 영상 저장 장치(10), 메모리(20) 및 스토리지(30)를 포함할 수 있다. 그러나 본 발명의 실시 예들에 따른 영상 저장 시스템(1)의 구성은 도 1에 도시된 것으로 제한되는 것은 아니며, 구체적인 구현 목적에 따라, 도 1에서 일부 요소가 변경되거나 생략될 수도 있고, 도 1에 도시되지 않은 다른 요소가 추가될 수도 있다.

영상 저장 시스템(1)은 이들 요소들을 이용하여, 스윙 영상을 촬영하고, 촬영한 영상을 스윙 동작 별로 다른 프레임 레이트로 저장할 수 있다. 구체적으로, 영상 저장 장치(10)는 제1 카메라(3)로부터 제공 받은 영상 데이터(SD)에 기초하여 골퍼의 스윙 동작을 구분하고, 구분한 스윙 동작에 따라, 제2 카메라(5)로부터 제공 받은 영상 데이터(VD)에 복수의 저장 구간을 설정한 후, 영상 데이터(VD)를 메모리(20) 또는 스토리지(30)에 저장함에 있어서, 복수의 저장 구간 별로 다른 프레임 레이트를 적용할 수 있다. 이를 위해, 영상 저장 장치(10)는, 동작 판별 모듈(100), 저장 구간 설정 모듈(110), 영상 저장 모듈(120) 및 영상 버퍼(130)를 포함할 수 있다.

제1 카메라(3)는 골퍼 근처에 배치되어 골퍼의 동작을 촬영할 수 있다. 제1 카메라(3)는, 예를 들어, 골퍼의 정면에 배치될 수도 있고, 골퍼의 상부에 배치될 수도 있으나, 본 발명은 제1 카메라(3)가 배치되는 위치를 특정 위치로 제한하지는 않는다. 제1 카메라(3)는 골퍼의 동작을 촬영한 영상 데이터(SD)를 동작 판별 모듈(100)에 제공할 수 있다.

본 발명의 몇몇의 실시 예에서, 제1 카메라(3)는 (초)고속 카메라 센서, 레이더(Radar) 센서 등을 포함할 수 있다. (초)고속 카메라 센서는 인간의 눈으로 보기에는 매우 빠른 현상, 즉 고속 현상의 물체를 촬영할 수 있는 카메라 센서, 즉, 해상도, 촬영 프레임 레이트, 감도, 노출 시간 등이 고속 현상의 물체 촬영이 가능한 범위로 구현된 센서를 말한다. 한편, 레이더 센서는 전자파를 방사해서 목표물에서 반사되어 되돌아오는 파를 검출하여 물체를 탐지 및 측정하는 센서를 말하며, 예를 들어, 펄스 레이더(Pulse Radar), 연속파 레이더(Continuous Wave Radar, CW Radar)는 도플러(Doppler) 레이더, 주파수 변조형 연속파 레이더(Frequency Modulated CW Radar, FMCW 레이더) 등으로 구현될 수 있다, (초)고속 카메라 센서 및 레이더 센서에 대한 더욱 상세한 내용에 대해서는 공지된 기술을 참조할 수 있으므로, 본 명세서에서는 그 설명을 생략하도록 한다. 그러나 본 발명의 범위가 이에 제한되는 것은 아니며, 제1 카메라(3)는 (초)고속 카메라 센서, 레이더 센서 이외의 다른 센서를 포함하도록 구현될 수 있다.

본 발명의 몇몇의 실시 예에서, 제1 카메라(3)는 이더넷(Ethernet) 인터페이스를 통해 영상 저장 장치(10)와 연결될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

제2 카메라(5)는 골퍼의 동작을 촬영하여 스윙 영상을 생성할 수 있다. 제2 카메라(5)는, 제1 카메라(3)와 달리, 일반 속도의 촬영을 수행할 수 있는 카메라일 수 있다. 제2 카메라(5)는 일반 속도로 골퍼의 동작을 촬영한 영상 데이터(VD)를 영상 버퍼(130)에 제공할 수 있다.

본 발명의 몇몇의 실시 예에서, 제1 카메라(3)의 촬영 프레임 레이트는 후술할 제2 카메라(5)의 촬영 프레임 레이트보다 높을 수 있다. 예를 들어, 제1 카메라(3)의 촬영 프레임 레이트는 300 fps(frames per second)이고, 제2 카메라(5)의 촬영 프레임 레이트는 120 fps일 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

한편, 본 발명의 몇몇의 실시 예에서, 제2 카메라(5)는 USB(Universal Serial Bus) 인터페이스를 통해 영상 저장 장치(10)와 연결될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

영상 버퍼(130)는 제2 카메라(5)로부터 제공된 영상 데이터(VD)를 임시 저장할 수 있다. 영상 버퍼(130)에 임시 저장된 영상 데이터(VD)는 영상 저장 모듈(120)에 제공되어, 메모리(20) 또는 스토리지(30)에 저장되기 전에, 후술하는 바와 같이, 저장 구간 설정 모듈(120)에 의해 복수의 저장 구간이 설정될 수 있다. 복수의 저장 구간이 설정된 영상 데이터(VD)는 복수의 저장 구간 별로 다른 프레임 레이트로 메모리(20) 또는 스토리지(30)에 저장될 수 있다.

여기서, 메모리(20)는 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory) 등을 비롯한 휘발성 메모리로 구현될 수도 있고, 플래시 메모리(flash memory)를 비롯한 비 휘발성 메모리로 구현될 수도 있으며, 열거하지 않은 임의의 종류의 메모리 디바이스로 구현될 수 있다. 한편, 스토리지(30)는, SSD(Solid State Drive), HDD(Hard Disk Drive)를 비롯한 임의의 종류의 디바이스로 구현될 수 있다.

동작 판별 모듈(100)은, 제1 카메라(3)를 이용하여 골퍼의 동작을 판별하고, 해당 동작에 연관된 타임 스탬프(TS)를 추출할 수 있다. 구체적으로, 동작 판별 모듈(100)은, 제1 카메라(3)를 이용하여 골퍼의 동작을 촬영한 영상 데이터(SD)에서 골퍼의 동작을 판별할 수 있다. 이를 위해, 동작 판별 모듈(100)은, 골프 공 또는 클럽에 대한 인식을 수행, 예를 들어, 골프 공 또는 클럽에 대한 위치, 속도 등을 측정할 수 있다. 동작 판별 모듈(100)은, 측정한 위치, 속도의 변화를 추적함으로써, 제1 카메라(3)로부터 제공되는 영상 데이터(SD)로부터 골퍼의 동작을 구분할 수 있다.

여기서, 골퍼의 동작은, 예를 들어, 어드레스(address) 동작, 테이크 백(take back) 동작, 탑(top) 상태의 동작, 다운 스윙(down swing) 동작, 임팩트가 발생하는 시점의 동작, 팔로우 스루(follow through) 동작, 피니쉬(finish) 동작 등으로 구분될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니고, 제1 카메라(3)로부터 제공되는 영상 데이터(SD)로부터, 사용자의 구체적인 필요에 따라 정의될 수 있는 임의의 동작들이 판별될 수 있다.

설명의 편의를 위해, 본 명세서에서는 동작 판별 모듈(100)이 탑 상태의 동작, 다운 스윙 동작 및 임팩트가 발생하는 시점의 동작을 주로 판별한다는 가정 하에 설명을 계속하기로 한다.

동작 판별 모듈(100)은, 제1 카메라(3)를 이용하여 촬영된 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 골퍼의 동작을 판별할 수 있다. 여기서, 영상 인식은, 제1 카메라(3)로 촬영된 연속한 디지털 이미지가 처음 시작될 때, 해당 이미지에 존재하는 물체, 예컨대 골프 공 또는 클럽의 움직임을 추적하기 위한 추적 알고리즘을 실행하는 소프트웨어를 통해 수행될 수 있다. 이러한 영상 인식은 SIFT(Scale Invariant Feature Transform), SURF(Speeded-up Robust Features), Haar, HOG(Histogram of Oriented Gradients)와 같은 객체가 갖는 특징에 주목하여 객체를 검출하는 기술, DPM(Deformable Part-based Model)과 같이 물체를 여러 부분으로 나누어 분석하면서 각 부분들을 SVM(Support Vector Machine)과 같은 기계학습 방법으로 연결하는 기술, CNN(Convolutional Neural Network), R-CNN(Region-based Convolutional Neural Network), Fast R-CNN, R-FCN, YOLO(You Only Look Once), SSD(Single Shot MultiBox Detector) 등과 같은 딥러닝 또는 인공지능을 이용한 기술 등을 이용하여 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다. 동작 판별 모듈(100)은, 영상 인식을 통해, 골프 공 또는 클럽에 대한 위치 및 속도에 대한 정보를 획득할 수 있다.

예를 들어, 동작 판별 모듈(100)은, 임팩트 이전의 클럽의 속도가 0 인 시점을 탑 상태의 동작으로 판별할 수 있거나, 클럽의 속도가 최대인 시점과 골프 공의 위치가 변화하는 시점으로부터 임팩트 시점을 판별할 수 있다. 이와 같이, 동작 판별 모듈(100)은, 골프 공 또는 클럽에 대한 위치 및 속도에 대한 정보로부터, 골퍼의 동작을 세분화하여 판별할 수 있다.

본 발명의 몇몇의 실시 예에서, 동작 판별 모듈(100)은, 영상 인식을 수행하여 획득한, 골프 공 또는 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS(Micro Electro Mechanical System) 센서와 같은 다른 센서들 중 적어도 하나를 이용하여 획득한, 골프 공 또는 클럽에 대한 인식 결과를 함께 분석하여, 골퍼의 동작을 판별할 수도 있다.

여기서, 충격음 검출 센서는, 예를 들어, 미리 정해진 임계치를 초과하는 충격음을 검출하여 임팩트가 발생한 시점을 검출하기 위해 사용될 수 있고, 적외선 센서는, 골프 공의 출발 시점을 검출하기 위해 사용될 수 있으며, MEMS 센서는, 예를 들어, 골퍼가 착용하는 웨어러블 디바이스의 형태로 구현되어, 미리 정해진 임계치를 초과하는 충격량을 검출하여 임팩트가 발생한 시점을 검출하기 위해 사용될 수 있다.

이로부터, 동작 판별 모듈(100)은, 예를 들어, 영상 인식을 수행하여 획득한 제1 임팩트 시점과, 충격음 검출 센서, 적외선 센서 및 MEMS 센서를 이용하여 검출한 제2 임팩트 시점에 차이가 있는 경우, 제1 임팩트 시점과 제2 임팩트 시점 각각에 서로 다른 가중치를 부여하여 고려함으로써, 더욱 정확한 임팩트 시점을 도출할 수도 있다.

다음으로, 동작 판별 모듈(100)은, 판별된 동작에 연관된 타임 스탬프(TS)를 추출할 수 있다. 예를 들어, 동작 판별 모듈(100)이 제1 카메라(3)로부터 제공되는 영상 데이터(SD)로부터 판별한 동작이 탑 상태의 동작인 경우, 동작 판별 모듈(100)은, 제1 카메라(3)의 시스템 시간(system time) 기준으로 탑 상태의 동작이 검출된 시점에 대응하는 타임 스탬프(TS)를 추출할 수 있다. 또한, 동작 판별 모듈(100)이 제1 카메라(3)로부터 제공되는 영상 데이터(SD)로부터 임팩트를 판별한 경우, 동작 판별 모듈(100)은, 제1 카메라(3)의 시스템 시간 기준으로 임팩트 시점에 대응하는 타임 스탬프(TS)를 추출할 수 있다. 동작 판별 모듈(100)은, 추출한 타임 스탬프(TS)를 저장 구간 설정 모듈(110)에 제공할 수 있다.

저장 구간 설정 모듈(110)은, 타임 스탬프(TS)에 기초하여, 제2 카메라(5)를 이용하여 촬영한 스윙 영상(VD)에 복수의 저장 구간을 설정할 수 있다. 구체적으로, 저장 구간 설정 모듈(110)은, 동작 판별 모듈(100)에 의해 추출된 타임 스탬프(TS)를, 제2 카메라(5)의 시스템 시간 기준으로, 스윙 영상(VD)에 매칭하여 복수의 저장 구간을 설정할 수 있다.

예를 들어, 저장 구간 설정 모듈(110)은, 동작 판별 모듈(100)에 의해 추출된 탑 상태 및 임팩트 시점에 해당하는 타임 스탬프(TS)에 기초하여, 스윙 영상(VD)에 다운 스윙 구간을 하나의 저장 구간으로 설정할 수 있다. 구체적으로, 저장 구간 설정 모듈(110)은, 탑 상태에 해당하는 타임 스탬프(TS)를, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭함으로써, 스윙 영상(VD) 기준으로 다운 스윙 구간의 시점을 설정할 수 있다. 또한, 저장 구간 설정 모듈(110)은, 임팩트 시점에 해당하는 타임 스탬프(TS)를, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭함으로써, 스윙 영상(VD) 기준으로 다운 스윙 구간의 종점을 설정할 수 있다.

한편, 저장 구간 설정 모듈(110)은, 외부로부터 미리 설정된 조정 파라미터를 제공받고, 동작 판별 모듈(100)에 의해 추출된 타임 스탬프(TS)에 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하고, 새로운 타임 스탬프를 이용하여 스윙 영상(VD)에 복수의 저장 구간을 설정할 수도 있다.

예를 들어, 저장 구간 설정 모듈(110)은, 동작 판별 모듈(100)에 의해 추출된 임팩트 시점에 해당하는 타임 스탬프(TS)와, 조정 파라미터를 반영하여 생성한 새로운 타임 스탬프에 기초하여, 스윙 영상(VD)에 임팩트 구간을 하나의 저장 구간으로 설정할 수 있다.

구체적으로, 조정 파라미터가 제1 조정 파라미터 및 제2 조정 파라미터를 포함하고, 제1 조정 파라미터는 임팩트 시점 이전의 소정의 제1 시간을 나타내고, 제2 조정 파라미터는 임팩트 시점 이후의 소정의 제2 시간을 나타내는 경우, 저장 구간 설정 모듈(110)은, 임팩트 시점에 해당하는 타임 스탬프(TS)로부터 제1 시간 이전의 시점에 해당하는 타임 스탬프를, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭함으로써, 스윙 영상(VD) 기준으로 임팩트 구간의 시점을 설정할 수 있다. 또한, 저장 구간 설정 모듈(110)은, 임팩트 시점에 해당하는 타임 스탬프(TS)로부터 제2 시간 이후의 시점에 해당하는 타임 스탬프를, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭함으로써, 스윙 영상(VD) 기준으로 임팩트 구간의 종점을 설정할 수 있다. 이에 따라, 이와 같은 조정 파라미터를 이용하여, 사용자의 구체적인 필요에 따라 저장 구간의 설정을 커스터마이징할 수 있도록 할 수 있다.

저장 구간 설정 모듈(110)은, 이와 같이 설정한 저장 구간에 대한 정보(SI)를 영상 저장 모듈(120)에 제공할 수 있다. 본 발명의 몇몇의 실시 예에서, 저장 구간에 대한 정보(SI)는, 예를 들어, 제2 카메라(5)의 시스템 시간 기준으로 매칭된, 저장 구간의 시점 및 종점에 대한 타임 스탬프 정보를 포함하는 방식으로 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니고, 저장 구간 설정 모듈(110)이 설정한 저장 구간에 대한 정보(SI)를 영상 저장 모듈(120)에 제공하는 방식은 구체적인 구현 목적에 따라 얼마든지 달라질 수 있다.

한편, 본 발명의 몇몇의 실시 예에서, 저장 구간 설정 모듈(110)은, 동작 판별 모듈(100)에 의해 추출된 타임 스탬프(TS)에 기초하여, 저장 시작 시점 및 저장 종료 시점을 결정할 수도 있다. 여기서, 저장 시작 시점은, 제2 카메라(5)의 시스템 시간 기준으로 매칭된 타임 스탬프 정보로서, 영상 버퍼(130)에 임시 저장된 스윙 영상(VD) 중 영상 저장 모듈(120)이 실제로 저장을 시작하는 시점을 말하며, 저장 종료 시점은, 역시 제2 카메라(5)의 시스템 시간 기준으로 매칭된 타임 스탬프 정보로서, 영상 버퍼(130)에 임시 저장된 스윙 영상(VD) 중 영상 저장 모듈(120)이 실제로 저장을 종료하는 시점을 말한다.

영상 저장 모듈(120)이 실제로 저장을 시작하거나 종료하는 것을 의미하는 저장 시작 시점 및 저장 종료 시점은, 스윙 영상(VD)의 시작 시점과 종료 시점과 다를 수 있다. 영상 저장 모듈(120)이 실제로 저장을 시작하거나 종료하는 저장 시작 시점 및 저장 종료 시점은, 스윙 영상(VD)에 설정되는 저장 구간의 시점 또는 종점에 해당될 수 있기 때문에, 저장 구간에 대한 정보(SI)에 포함되어 영상 저장 모듈(120)에 전송될 수 있다.

영상 저장 모듈(120)은, 저장 구간 설정 모듈(110)로부터 제공 받은 저장 구간에 대한 정보(SI)에 기초하여, 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 스윙 영상을 저장하고, 복수의 저장 구간 중 제2 저장 구간에 대해 제1 프레임 레이트와 다른 제2 프레임 레이트로 스윙 영상을 저장할 수 있다.

예를 들어, 영상 저장 모듈(120)은, 스윙 영상(VD)에 설정된 다운 스윙 구간에 대해서는 60 fps로 저장하고, 스윙 영상(VD)에 설정된 임팩트 구간에 대해서는 120 fps로 저장할 수 있고, 그 이외의 구간에 대해서는 30 fps로 저장할 수 있다.

골프의 스윙에 있어서, 스윙 동작 별로 그 중요도가 다를 수 있으며, 어떤 골퍼는, 예를 들어, 임팩트가 발생하는 시점의 동작에 대해서 주로 관심을 가질 수 있고, 다른 골퍼는, 예를 들어, 다운 스윙 동작과 임팩트가 발생하는 시점의 동작에 대해서 주로 관심을 가질 수 있다.

영상 저장 장치(10)는, 스윙 영상에 대한 사용자의 관심도를 고려하여, 스윙 동작 별로 다른 프레임 레이트로 스윙 영상을 저장함에 따라, 스윙 영상이 저장되는 디바이스의 저장 자원을 효율적으로 사용할 수 있을 뿐 아니라 스윙 영상을 전송하기 위해 필요한 네트워크 자원을 최소화할 수 있다. 또한, 영상 저장 장치(10)는, 스윙 영상에 대한 사용자의 관심도를 반영하여 스윙 영상의 저장 구간의 설정을 자동화함에 따라, 스윙 영상에서 설정되는 저장 구간의 정확도를 높일 수 있을 뿐 아니라, 스윙 영상이 촬영된 즉시 저장 구간을 설정하는 것이 가능하다. 또한, 영상 저장 장치(10)는, 스윙 영상에 대한 사용자의 관심도를 반영하여 스윙 영상의 구간 설정을 커스터마이징할 수 있도록 함에 따라, 스윙 영상의 재생 품질이 스윙 영상을 분석하고자 하는 사용자의 기준에 부합하도록 스윙 영상을 제공할 수 있다.

이와 같이 저장된 스윙 영상(VD)은, 저장된 프레임 레이트에 대응하는 재생 속도로 재생될 수 있어서, 단순히 저장된 영상을 재생하기만 하면 관심이 있는 구간에서 재생 속도가 느려지는 간결한 방식으로, 스윙 동작을 분석하기에 편리한 스윙 영상을 사용자에게 제공할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 영상 저장 장치의 동작을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 영상 저장 장치(10)는, 스윙 영상(VD)에 제1 저장 구간(I) 내지 제4 저장 구간(IV)을 설정할 수 있다.

동작 판별 모듈(100)은, 골퍼의 탑 상태의 동작과, 임팩트가 발생하는 시점의 동작을 판별하고, 해당 동작에 연관된 타임 스탬프(TS)를 저장 구간 설정 모듈(110)에 제공할 수 있다. 골퍼의 탑 상태의 동작과, 임팩트가 발생하는 시점의 동작은, 제1 카메라(3)로 촬영한 영상 데이터(SD)에 대해 영상 인식을 수행하거나, 전술한 바와 같이 영상 인식 외의 다른 방법을 조합하여, 골프 공과 클럽의 위치 변화 및 속도 변화를 검출함에 따라 판별될 수 있다.

저장 구간 설정 모듈(110)은, 타임 스탬프(TS)에 기초하여, 제2 카메라(5)를 이용하여 촬영한 스윙 영상(VD)에 제1 저장 구간(I) 내지 제4 저장 구간(IV)을 설정할 수 있다.

이를 위해, 저장 구간 설정 모듈(110)은, 저장 시작 시점(t1) 및 저장 종료 시점(t4)를 결정할 수 있다. 저장 시작 시점(t1) 및 저장 종료 시점(t4)은, 어드레스 동작 및 테이크 백 동작이나, 팔로우 스루 동작 및 피니쉬 동작이 누락되지 않도록 하는 범위에서, 그러나 스윙 영상(VD)의 시작 시점과 종료 시점 범위에서 불필요한 영상(예를 들어, 어드레스 이전 또는 피니쉬 동작 이후의 스윙과 무관한 다른 동작들)을 포함시키지 않도록 하는 범위에서 적절히 결정될 수 있다.

또한, 저장 구간 설정 모듈(110)은, 시점(t2)을 결정할 수 있다. 시점(t2)은, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭된, 탑 상태의 시점을 의미한다.

또한, 저장 구간 설정 모듈(110)은, 시점(t3)을 결정할 수 있다. 시점(t3)은, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭된, 임팩트 시점을 의미한다. 나아가, 저장 구간 설정 모듈(110)은, 시점(t31) 및 시점(t32)를 결정할 수 있다. 시점(t31)은, 미리 설정된 조정 파라미터를 반영하여, 임팩트 시점에 해당하는 시점(t3)으로부터 제1 시간(d1) 이전의 시점에 해당하는 시점을 의미하고, 시점(t32)은, 미리 설정된 조정 파라미터를 반영하여, 임팩트 시점에 해당하는 시점(t3)으로부터 제2 시간(d2) 이후의 시점에 해당하는 시점을 의미한다.

이로부터, 저장 구간 설정 모듈(110)은 시점(t1) 내지 시점(t2)에 해당하는 제1 저장 구간(I)('업 스윙 구간'), 시점(t2) 내지 시점(t31)에 해당하는 제2 저장 구간(II)('다운 스윙 구간'), 시점(t31) 내지 시점(t32)에 해당하는 제3 저장 구간(III)('임팩트 구간') 및 시점(t32) 내지 시점(t4)에 해당하는 제4 저장 구간(IV)('팔로우 스윙 구간')을 설정할 수 있다.

저장 구간 설정 모듈(110)은 이와 같은 설정 정보(SI)를 영상 저장 모듈(120)에 제공하며, 이에 따라 영상 저장 모듈(120)은 스윙 영상(VD)을, 제1 저장 구간(I) 및 제4 저장 구간(IV)에 대해서는 제1 프레임 레이트, 예컨대 30 fps로 메모리(20) 또는 스토리지(30)에 저장하고, 제2 저장 구간(II)에 대해서는 제2 프레임 레이트, 예컨대, 60 fps로 메모리(20) 또는 스토리지(30)에 저장하고, 제3 저장 구간(III)에 대해서는 제3 프레임 레이트, 예컨대, 120 fps로 메모리(20) 또는 스토리지(30)에 저장할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 영상 저장 장치의 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 영상 저장 장치(10)는, 스윙 영상(VD)에 제1 저장 구간(I) 내지 제5 저장 구간(V)을 설정할 수 있다.

동작 판별 모듈(100)은, 골퍼의 탑 상태의 동작, 탑 상태에서 임팩트 사이에 다운 스윙이 진행 중인 시점의 동작 및 임팩트가 발생하는 시점의 동작을 판별하고, 해당 동작에 연관된 타임 스탬프(TS)를 저장 구간 설정 모듈(110)에 제공할 수 있다. 골퍼의 탑 상태의 동작, 탑 상태에서 임팩트 사이에 다운 스윙이 진행 중인 시점의 동작 및 임팩트가 발생하는 시점의 동작은, 제1 카메라(3)로 촬영한 영상 데이터(SD)에 대해 영상 인식을 수행하거나, 전술한 바와 같이 영상 인식 외의 다른 방법을 조합하여, 골프 공과 클럽의 위치 변화 및 속도 변화를 검출함에 따라 판별될 수 있다.

저장 구간 설정 모듈(110)은, 타임 스탬프(TS)에 기초하여, 제2 카메라(5)를 이용하여 촬영한 스윙 영상(VD)에 제1 저장 구간(I) 내지 제5 저장 구간(V)을 설정할 수 있다.

이를 위해, 도 2와 관련하여 앞서 설명한 바와 같이, 저장 구간 설정 모듈(110)은, 저장 시작 시점(t1) 및 저장 종료 시점(t5)를 결정할 수 있다.

또한, 저장 구간 설정 모듈(110)은, 시점(t3)을 결정할 수 있다. 시점(t3)은, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭된, 탑 상태에서 임팩트 사이에 다운 스윙이 중간 정도 진행된 시점을 의미한다.

또한, 저장 구간 설정 모듈(110)은, 시점(t4)을 결정할 수 있다. 시점(t4)은, 제2 카메라(5)의 시스템 시간 기준으로 스윙 영상(VD)에 매칭된, 임팩트 시점을 의미한다. 나아가, 저장 구간 설정 모듈(110)은, 도 2의 시점(t31) 및 시점(t32)와 관련하여 앞서 설명한 바와 같이, 시점(t41) 및 시점(t42)를 결정할 수 있다.

이로부터, 저장 구간 설정 모듈(110)은 시점(t1) 내지 시점(t2)에 해당하는 제1 저장 구간(I)('업 스윙 구간'), 시점(t2) 내지 시점(t3)에 해당하는 제2 저장 구간(II)('제1 다운 스윙 구간'), 시점(t3) 내지 시점(t41)에 해당하는 제3 저장 구간(III)('제2 다운 스윙 구간'), 시점(t41) 내지 시점(t42)에 해당하는 제4 저장 구간(IV)('임팩트 구간') 및 시점(t42) 내지 시점(t5)에 해당하는 제5 저장 구간(V)('팔로우 스윙 구간')을 설정할 수 있다.

저장 구간 설정 모듈(110)은 이와 같은 설정 정보(SI)를 영상 저장 모듈(120)에 제공하며, 이에 따라 영상 저장 모듈(120)은 스윙 영상(VD)을, 제1 저장 구간(I) 및 제5 저장 구간(V)에 대해서는 제1 프레임 레이트, 예컨대 24 fps로 메모리(20) 또는 스토리지(30)에 저장하고, 제2 저장 구간(II)에 대해서는 제2 프레임 레이트, 예컨대, 30 fps로 메모리(20) 또는 스토리지(30)에 저장하고, 제3 저장 구간(III)에 대해서는 제3 프레임 레이트, 예컨대, 60 fps로 메모리(20) 또는 스토리지(30)에 저장하고, 제4 저장 구간(IV)에 대해서는 제4 프레임 레이트, 예컨대, 120 fps로 메모리(20) 또는 스토리지(30)에 저장할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 영상 저장 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 영상 저장 방법은, 골퍼의 동작을 판별하는 단계(S401), 골퍼의 동작에 연관된 타임 스탬프를 추출하는 단계(S403), 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하는 단계(S405), 타임 스탬프에 기초하여, 스윙 영상에 복수의 저장 구간을 설정하는 단계(S407), 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 스윙 영상을 저장하는 단계(S409) 및 복수의 저장 구간 중 제2 저장 구간에 대해 제1 프레임 레이트와 다른 제2 프레임 레이트로 스윙 영상을 저장하는 단계(S411)를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 단계(S401)는, 제1 카메라를 이용하여 촬영된 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 골퍼의 동작을 판별하는 단계를 포함하고, 단계(S407)는, 제2 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 단계를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 단계(S401)는, 영상 인식을 수행하여 획득한 골프 공 또는 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS 센서 중 적어도 하나를 이용하여 획득한 골프 공 또는 클럽에 대한 인식 결과를 함께 분석하여, 골퍼의 동작을 판별하는 단계를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 단계(S407)는, 추출된 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정하는 단계를 포함할 수 있다.

본 발명의 몇몇의 실시 예에서, 단계(S405)는, 외부로부터 미리 설정된 조정 파라미터를 제공받는 단계, 추출된 타임 스탬프에 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하는 단계를 포함하고, 단계(S407)는, 새로운 타임 스탬프를 이용하여 스윙 영상에 복수의 저장 구간을 설정하는 단계를 포함할 수 있다.

본 실시 예에 따른 영상 저장 방법에 대한 더욱 상세한 내용에 대해서는 도 1 내지 도 3과 관련하여 설명한 내용을 참조할 수 있으므로, 여기서는 중복되는 내용에 대한 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시 예에 따른 영상 저장 시스템을 설명하기 위한 블록도이다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 영상 저장 시스템(2)은, 동작 판별 모듈(100)이, 센서(7)를 이용하여 골퍼의 동작이 일어나는 시점을 판별한다는 점이 도 1과 관련하여 전술한 영상 저장 시스템(1)과 다르다. 즉, 영상 저장 시스템(2)은, 영상 인식 이외의 기술만을 사용하여 골퍼의 동작이 일어나는 시점을 판별할 수 있다.

본 발명의 몇몇의 실시 예에서, 센서는 충격음 검출 센서를 포함하고, 동작 판별 모듈(100)은, 충격음 검출 센서를 이용하여 골프 공과 클럽의 충격음을 센싱함으로써 임팩트 시점을 판별하고, 저장 구간 설정 모듈(110)은, 임팩트 시점에 대한 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정할 수 있다.

본 발명의 몇몇의 실시 예에서, 센서는 적외선 센서를 포함하고, 동작 판별 모듈(100)은, 적외선 센서를 이용하여 골프 공의 출발 시점을 판별함으로써 임팩트 시점을 판별하고, 저장 구간 설정 모듈(110)은, 임팩트 시점에 대한 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정할 수 있다.

본 발명의 몇몇의 실시 예에서, 센서는 MEMS 센서를 포함하고, 동작 판별 모듈(100)은, MEMS 센서를 이용하여 골프 공과 클럽에 대한 충격량을 센싱함으로써 임팩트 시점을 판별하고, 저장 구간 설정 모듈(110)은, 임팩트 시점에 대한 타임 스탬프를 스윙 영상에 매칭하여 복수의 저장 구간을 설정할 수 있다.

물론, 동작 판별 모듈(100)은, 충격음 검출 센서, 적외선 센서 및 MEMS 센서 중 적어도 2 개 센서를 조합하여 임팩트 시점을 판별할 수도 있다.

도 6은 본 발명의 일 실시 예에 따른 영상 저장 시스템을 설명하기 위한 블록도이다.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 영상 저장 시스템(3)은, 동작 판별 모듈(100)이, 카메라(9)를 이용하여 촬영한 스윙 영상을 제공받고, 스윙 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 골퍼의 동작을 판별한다는 점이 도 1과 관련하여 전술한 영상 저장 시스템(1) 및 도 5와 관련하여 전술한 영상 저장 시스템(1)과 다르다. 즉, 영상 저장 시스템(3)은, 영상 저장 시스템(1)의 제2 카메라(5)에 대응되는 일반 속도로 골퍼의 동작을 촬영한 영상 데이터(VD)에 대해 바로 영상 인식을 수행함으로써, 골프 공 또는 클럽의 위치 변화 및 속도 변화를 검출할 수 있다. 이를 위해, 도 1과 관련하여 전술한 바와 같이, 영상 인식은, 제1 카메라(3)로 촬영된 연속한 디지털 이미지가 처음 시작될 때, 해당 이미지에 존재하는 물체, 예컨대 골프 공 또는 클럽의 움직임을 추적하기 위한 추적 알고리즘을 실행하는 소프트웨어를 통해 수행될 수 있다. 이러한 영상 인식은 SIFT, SURF, Haar, HOG와 같은 객체가 갖는 특징에 주목하여 객체를 검출하는 기술, DPM과 같이 물체를 여러 부분으로 나누어 분석하면서 각 부분들을 SVM과 같은 기계학습 방법으로 연결하는 기술, CNN, R-CNN, Fast R-CNN, R-FCN, YOLO, SSD 등과 같은 딥러닝 또는 인공지능을 이용한 기술 등을 이용하여 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

도 7은 본 발명의 일 실시 예에 따른 영상 저장 장치 및 영상 저장 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 영상 저장 장치 및 영상 저장 방법은 컴퓨팅 장치(50)를 이용하여 구현될 수 있다.

컴퓨팅 장치(50)는 버스(520)를 통해 통신하는 프로세서(510), 메모리(530), 사용자 인터페이스 입력 장치(540), 사용자 인터페이스 출력 장치(550) 및 저장 장치(560) 중 적어도 하나를 포함할 수 있다. 컴퓨팅 장치(50)는 또한 네트워크(40), 예컨대 무선 네트워크에 전기적으로 접속되는 네트워크 인터페이스(570)를 포함할 수 있다. 네트워크 인터페이스(570)는 네트워크(40)를 통해 다른 개체와 신호를 송신 또는 수신할 수 있다.

프로세서(510)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(530) 또는 저장 장치(560)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(510)는 도 1 내지 도 6에서 설명한 기능 및 방법들을 구현하도록 구성될 수 있다.

메모리(530) 및 저장 장치(560)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(531) 및 RAM(random access memory)(532)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(530)는 프로세서(510)의 내부 또는 외부에 위치할 수 있고, 메모리(530)는 이미 알려진 다양한 수단을 통해 프로세서(510)와 연결될 수 있다.

또한, 본 발명의 실시 예들에 따른 영상 저장 장치 및 영상 저장 방법 중 적어도 일부는 컴퓨팅 장치(50)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

또한, 본 발명의 실시 예들에 따른 영상 저장 장치 및 영상 저장 방법 중 적어도 일부는 컴퓨팅 장치(50)과 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.

이제까지 설명한 본 발명의 실시 예들에 따르면, 스윙 영상에 대한 사용자의 관심도를 고려하여, 스윙 동작 별로 다른 프레임 레이트로 스윙 영상을 저장함에 따라, 스윙 영상이 저장되는 디바이스의 저장 자원을 효율적으로 사용할 수 있을 뿐 아니라 스윙 영상을 전송하기 위해 필요한 네트워크 자원을 최소화할 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.

Claims

제1 카메라를 이용하여 골퍼의 동작을 판별하고, 상기 동작에 연관된 타임 스탬프를 추출하는 동작 판별 모듈;
상기 타임 스탬프에 기초하여, 제2 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 저장 구간 설정 모듈; 및
상기 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 상기 스윙 영상을 저장하고, 상기 복수의 저장 구간 중 제2 저장 구간에 대해 상기 제1 프레임 레이트와 다른 제2 프레임 레이트로 상기 스윙 영상을 저장하는 영상 저장 모듈을 포함하는
영상 저장 장치.
제1항에 있어서,
상기 동작 판별 모듈은, 상기 제1 카메라를 이용하여 촬영된 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 상기 골퍼의 동작을 판별하는, 영상 저장 장치.
제2항에 있어서,
상기 동작 판별 모듈은, 상기 영상 인식을 수행하여 획득한 상기 골프 공 또는 상기 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS(Micro Electro Mechanical System) 센서 중 적어도 하나를 이용하여 획득한 상기 골프 공 또는 상기 클럽에 대한 인식 결과를 함께 분석하여, 상기 골퍼의 동작을 판별하는, 영상 저장 장치.
제1항에 있어서,
상기 제1 카메라의 촬영 프레임 레이트는 상기 제2 카메라의 촬영 프레임 레이트보다 높은, 영상 저장 장치.
제1항에 있어서,
상기 저장 구간 설정 모듈은, 상기 동작 판별 모듈에 의해 추출된 상기 타임 스탬프를 상기 스윙 영상에 매칭하여 상기 복수의 저장 구간을 설정하는, 영상 저장 장치.
제5항에 있어서,
상기 저장 구간 설정 모듈은,
외부로부터 미리 설정된 조정 파라미터를 제공받고,
상기 동작 판별 모듈에 의해 추출된 상기 타임 스탬프에 상기 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하고,
상기 새로운 타임 스탬프를 이용하여 상기 스윙 영상에 상기 복수의 저장 구간을 설정하는, 영상 저장 장치.
제1항에 있어서,
상기 저장 구간 설정 모듈은, 상기 동작 판별 모듈에 의해 추출된 상기 타임 스탬프에 기초하여, 저장 시작 시점 및 저장 종료 시점을 결정하는, 영상 저장 장치.
센서를 이용하여 골퍼의 동작이 일어나는 시점을 판별하고, 상기 시점에 대한 타임 스탬프를 추출하는 동작 판별 모듈;
상기 타임 스탬프에 기초하여, 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 저장 구간 설정 모듈; 및
상기 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 상기 스윙 영상을 저장하고, 상기 복수의 저장 구간 중 제2 저장 구간에 대해 상기 제1 프레임 레이트와 다른 제2 프레임 레이트로 상기 스윙 영상을 저장하는 영상 저장 모듈을 포함하는
영상 저장 장치.
제8항에 있어서,
상기 센서는 충격음 검출 센서를 포함하고,
상기 동작 판별 모듈은, 상기 충격음 검출 센서를 이용하여 골프 공과 클럽의 충격음을 센싱함으로써 임팩트(impact) 시점을 판별하고,
상기 저장 구간 설정 모듈은, 상기 임팩트 시점에 대한 타임 스탬프를 상기 스윙 영상에 매칭하여 상기 복수의 저장 구간을 설정하는 영상 저장 장치.
제8항에 있어서,
상기 센서는 적외선 센서를 포함하고,
상기 동작 판별 모듈은, 상기 적외선 센서를 이용하여 골프 공의 출발 시점을 판별함으로써 임팩트 시점을 판별하고,
상기 저장 구간 설정 모듈은, 상기 임팩트 시점에 대한 타임 스탬프를 상기 스윙 영상에 매칭하여 상기 복수의 저장 구간을 설정하는 영상 저장 장치.
제8항에 있어서,
상기 센서는 MEMS 센서를 포함하고,
상기 동작 판별 모듈은, 상기 MEMS 센서를 이용하여 골프 공과 클럽에 대한 충격량을 센싱함으로써 임팩트 시점을 판별하고,
상기 저장 구간 설정 모듈은, 상기 임팩트 시점에 대한 타임 스탬프를 상기 스윙 영상에 매칭하여 상기 복수의 저장 구간을 설정하는 영상 저장 장치.
카메라를 이용하여 촬영한 스윙 영상을 제공받고, 상기 스윙 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 골퍼의 동작을 판별하고, 상기 동작에 연관된 타임 스탬프를 추출하는 동작 판별 모듈;
상기 타임 스탬프에 기초하여, 상기 스윙 영상에 복수의 저장 구간을 설정하는 저장 구간 설정 모듈; 및
상기 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 상기 스윙 영상을 저장하고, 상기 복수의 저장 구간 중 제2 저장 구간에 대해 상기 제1 프레임 레이트와 다른 제2 프레임 레이트로 상기 스윙 영상을 저장하는 영상 저장 모듈을 포함하는
영상 저장 장치.
제12항에 있어서,
상기 동작 판별 모듈은, 상기 영상 인식을 수행하여 획득한 상기 골프 공 또는 상기 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS 센서 중 적어도 하나를 이용하여 획득한 상기 골프 공 또는 상기 클럽에 대한 인식 결과를 함께 분석하여, 상기 골퍼의 동작을 판별하는, 영상 저장 장치.
제12항에 있어서,
상기 저장 구간 설정 모듈은, 상기 동작 판별 모듈에 의해 추출된 상기 타임 스탬프를 상기 스윙 영상에 매칭하여 상기 복수의 저장 구간을 설정하는, 영상 저장 장치.
제14항에 있어서,
상기 저장 구간 설정 모듈은,
외부로부터 미리 설정된 조정 파라미터를 제공받고,
상기 동작 판별 모듈에 의해 추출된 상기 타임 스탬프에 상기 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하고,
상기 새로운 타임 스탬프를 이용하여 상기 스윙 영상에 상기 복수의 저장 구간을 설정하는, 영상 저장 장치.
골퍼의 동작을 판별하고, 상기 동작에 연관된 타임 스탬프를 추출하는 단계;
상기 타임 스탬프에 기초하여, 스윙 영상에 복수의 저장 구간을 설정하는 단계; 및
상기 복수의 저장 구간 중 제1 저장 구간에 대해 제1 프레임 레이트로 상기 스윙 영상을 저장하고, 상기 복수의 저장 구간 중 제2 저장 구간에 대해 상기 제1 프레임 레이트와 다른 제2 프레임 레이트로 상기 스윙 영상을 저장하는 단계를 포함하는
영상 저장 방법.
제16항에 있어서,
상기 타임 스탬프를 추출하는 단계는,
제1 카메라를 이용하여 촬영된 영상에서 골프 공 또는 클럽에 대한 영상 인식을 수행하여 상기 골퍼의 동작을 판별하는 단계를 포함하고,
상기 복수의 저장 구간을 설정하는 단계는,
제2 카메라를 이용하여 촬영한 스윙 영상에 복수의 저장 구간을 설정하는 단계를 포함하는, 영상 저장 방법.
제17항에 있어서,
상기 타임 스탬프를 추출하는 단계는,
상기 영상 인식을 수행하여 획득한 상기 골프 공 또는 상기 클럽에 대한 인식 결과와, 충격음 검출 센서, 적외선 센서 및 MEMS 센서 중 적어도 하나를 이용하여 획득한 상기 골프 공 또는 상기 클럽에 대한 인식 결과를 함께 분석하여, 상기 골퍼의 동작을 판별하는 단계를 포함하는, 영상 저장 방법.
제16항에 있어서,
상기 복수의 저장 구간을 설정하는 단계는,
추출된 상기 타임 스탬프를 상기 스윙 영상에 매칭하여 상기 복수의 저장 구간을 설정하는 단계를 포함하는, 영상 저장 방법.
제19항에 있어서,
상기 복수의 저장 구간을 설정하는 단계는,
외부로부터 미리 설정된 조정 파라미터를 제공받는 단계;
추출된 상기 타임 스탬프에 상기 조정 파라미터를 반영하는 연산을 수행하여 새로운 타임 스탬프를 생성하는 단계; 및
상기 새로운 타임 스탬프를 이용하여 상기 스윙 영상에 상기 복수의 저장 구간을 설정하는 단계를 포함하는, 영상 저장 방법.