KR20220114131A - 스포츠 모션 비디오 분석 방법 - Google Patents

Abstract

본 발명은 스포츠 모션의 비디오 이미지를 분석하는 방법에 관한 것이다. 특히, 발명은 비디오 내의 키 모션 위치의 식별과, 스포츠 모션을 포함하는 비디오의 세그먼트의 자동 추출에 관련된다.

Description

스포츠 모션 비디오 분석 방법 {method of analyzing a video of sports motion}

본 발명은 스포츠 모션의 비디오 이미지를 분석하는 방법에 관한 것이다. 특히, 발명은 비디오 내의 키 모션 위치의 식별과, 스포츠 모션을 포함하는 비디오의 세그먼트의 자동 추출에 관련된다.

많은 스포츠에서의 참여는 계속적으로 소정의 모션의 반복을 포함한다. 특정 방식으로 이러한 모션들을 수행하는 지속적 능력은 스포츠에서 우수한 실력에 있어 일반적으로 중요하다. 참가자들이 소정의 방식으로 반복적으로 운동하게 하는 기능을 발전시키는 것을 돕기 위해 서로 다른 방법들이 발견된 바 있다. 스포츠에서의 실력 개선을 위한 이러한 방법에 기술이 사용되고 있다.

비디오 분석은 현대 스포츠 트레이닝의 중요한 부분이다. 자신의 모션 수행을 보는 기능은 개인으로 하여금 기술적 결함을 식별할 수 있게 하고 이러한 결함을 교정할 수 있게 한다. 더욱이, 비디오 분석 기술을 스포츠 모션 비디오에 적용하여, 변화할 필요가 있는 모션 형태를 식별할 수 있게 돕거나, 긍정적 피드백을 위해 정확하게 수행되는 모션 형태를 식별할 수 있게 돕는다.

일례로 골프를 들자면, 골퍼의 스윙 기술은 골프 공을 일관되게 쳐서 우수한 결과를 얻는 능력에 있어서 중요하다. 수십 년간, 선호되는 골프 스윙 기술이 알려져 있고, 대부분의 골퍼는 이러한 선호되는 기술에 가능한 가깝게 자신의 스윙을 모델링하려 노력하고 있다. 비디오 분석은 골퍼의 스윙을 개선시키기 위해 골프에 사용되고 있다.

직관적 형태의 비디오 분석은 단순히 골프 스윙을 녹화하고 다시 봐서 골퍼 자신 또는 지도자로는 구분할 수 없는 흠결을 식별하는 것이다. 특정 스윙 위치를 보여주는 개별 프레임들이 분석될 수 있도록 비디오 영상이 멈춰질 수 있다.

다른 분석 방법은 모델 스윙 대비 차이점을 더욱 쉽게 식별하기 위해, 골퍼의 스윙을 타인의 골프 스윙 옆에 디스플레이하는 것이다. 일부 기존 방법들은 2개의 스윙의 동기화 과정을 포함하여, 대응하는 스윙 위치들이 함께 나타나게 되어, 비교가 용이해진다.

골프 스윙을 분석하기 위해, 어드레스 위치, 탑 스윙 위치, 임팩트 위치, 및 피니시 위치와 같은 소정의 스윙 위치를 점검하는 것이 유용하다. 따라서, 이러한 위치에서 골퍼를 보여주는 비디오 프레임을 식별하는 것이 바람직하다.

골프 스윙의 비디오 영상을 캡처할 때, 예를 들어, 경기자가 스윙을 준비하고 있을 때, 스윙 자체의 어느 한 쪽을 녹화한 다량의 영상이 존재할 수 있다. 이러한 영상은 상당분 잉여이고, 실제 스윙 모션을 신속하게 식별하는 것을 어렵게 할 수 있으며, 저장되는 디지털 비디오 데이터의 경우에 소중한 메모리 공간을 차지할 수 있다. 따라서, 골프 스윙 모션만을 담은 비디오 영상의 세그먼트를 추출하는 것이 바람직하다.

일부 기존의 골프 스윙 비디오 분석 방법은 이러한 목적, 즉, 골프 스윙을 담은 비디오의 세그먼트의 추출, 또는, 핵심 스윙 위치의 식별, 또는, 두 가지 모두를 실현한다. 어드레스 및 피니시 위치의 식별은 골프 스윙을 보여주는 비디오의 세그먼트를 추출할 수 있게 한다 - 골프 스윙은 어드레스 및 피니시 위치 사이에서 비디오의 일부분으로 나타난다.

따라서, 앞서 논의한 단점 중 적어도 일부를 극복하는 스포츠 모션의 비디오 이미지를 분석하는 개선된 방법을 제공하는 것이 발명의 목적이다.

비디오 캡처 장치는 최근 수년간 저변을 넓혀가고 있다. 비디오 이미지가 디지털 카메라 및 이동 전화와 같은 많은 개인용 전자 장치에서 캡처될 수 있다. 따라서, 누군가가 특정 스포츠 모션을 실행하는 개인의 비디오 영상을 캡처하는 것이 매우 쉬워지고 있다. 비디오 영상을 캡처하는데 사용되는 동일 장치가 영상의 분석에 사용될 수 있다면 편리할 것이다. 따라서, 개인용 전자 장치에 의해 수행될 수 있는 스포츠 모션의 비디오 이미지 분석 방법을 제공하는 것이 발명의 대안의 목적이다.

스포츠 모션의 비디오 이미지를 분석하기 위한 개선된 장치 및/또는 시스템을 제공하는 것이 발명의 대안의 목적이다.

대안으로서, 유용한 선택사항을 대중에게 적어도 제공하는 것이 발명의 일 목적이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

발명의 제 1 형태에 따르면, 비디오 분석 방법이 제공되며, 상기 비디오의 적어도 일부분은 스포츠 모션을 디스플레이하고, 상기 방법은, T개의 이미지 프레임을 나타내는 데이터를 수신하는 단계와, Tc개의 이미지 프레임 각각에 대해, 이미지 프레임과 다른 이미지 프레임 사이의 하나 이상의 프레임 차이 측정치를 연산하는 단계와, 각각 스포츠 모션의 핵심 위치를 보여주는 복수의 이미지 프레임을 식별하도록 상기 프레임 차이 측정치를 분석하는 단계를 포함한다.

상기 방법은 상기 스포츠 모션을 디스플레이하는 비디오의 일부분을 식별하는 단계를 더 포함하는 것이 선호된다. 스포츠 모션을 디스플레이하는 비디오의 일부분을 식별하는 단계는, 스포츠 모션의 핵심 위치들 중 2개 사이의 이미지 프레임을 선택하는 단계를 포함하는 것이 더욱 선호된다.

상기 방법은, 프레임 차이 측정치로부터 스포츠 모션의 하나 이상의 모션 상태를 식별하는 단계를 더 포함하는 것이 선호된다. 상기 방법은 스포츠 모션의 핵심 위치를 식별하기 위해 모션 상태의 식별을 이용하는 단계를 포함하는 것이 더욱 선호된다.

"프레임 차이 측정치"는 이미지 프레임들 간의 비디오 데이터의 차이를 표시하는 양이다. 발명의 선호되는 실시예에서, 하나 이상의 프레임 차이 측정치는, 1. 이미지 프레임들 사이의 움직임의 양의 측정치, 2. 이미지 프레임들 사이의 움직임 위치의 측정치, 그리고, 3. 이미지 프레임들 사이의 움직임 속도, 또는 (가속도와 같은) 속도의 도함수의 측정치 중 적어도 하나를 포함한다.

각각의 프레임 차이 측정치는 프레임들 사이의 차이의 전역적 측정치, 또는, 프레임들 사이의 차이의 국부적 측정치일 수 있다. 전역적 측정치는 실질적으로 전체 이미지의 레벨에서 측정치로 이해될 수 있다. 국부적 측정치는 화소 또는 서브-이미지 레벨에서의 측정치로 이해될 수 있다.

각각의 이미지 프레임은 P개의 화소 또는 화소 그룹을 포함하는 것이 선호되고, 상기 방법은, Tc개의 이미지 프레임 각각에 대해, Pc개의 화소 또는 화소 그룹 각각을 다른 이미지 프레임 내 대응하는 화소 또는 화소 그룹과 비교하고, 하나 이상의 화소 차이 측정치를 연산하는 단계를 더 포함한다.

상기 화소 차이 측정치는 화소 또는 화소 그룹들 사이의 세기 차이를 포함하는 것이 더욱 바람직하다.

상기 방법은 하나 이상의 화소 차이 측정치에 기초하여 하나 이상의 프레임 차이 측정치를 연산하는 단계를 포함하는 것이 바람직하다.

상기 방법은 이미지 프레임들 사이의 화소 차이 측정치의 통계적 값을 연산하는 단계를 포함하는 것이 더욱 바람직하다. 상기 방법은 지정 임계치를 넘는 화소 차이 측정치의 통계적 값들 연산하는 단계를 포함하는 것이 바람직하다. 상기 화소 차이 측정치는, 1. 이미지 프레임들 사이의 화소 움직임의 양의 측정치, 2. 이미지 프레임들 사이의 화소 움직임의 위치의 측정치, 3. 이미지 프레임들 사이의 화소 움직임의 속도 또는 (가속도와 같은) 속도의 도함수의 측정치 중 하나 이상을 포함할 수 있다.

연산되는 화소 차이 측정치의 통계적 값들은 중간값, 평균값, n번째-퍼센타일, 표준 편차 중 하나 이상을 포함할 수 있는 것이 더욱 바람직하다.

발명의 제 2 선호 실시예에서, 상기 방법은, Tc개의 이미지 프레임 각각에 대하여, 화소 또는 화소 그룹과, 다른 이미지 프레임 내 대응하는 화소 또는 화소 그룹 사이의 광학적 유동을 결정하는 단계를 포함한다.

광학적 유동을 결정하는 단계는, 각각의 이미지 프레임과 다른 이미지 프레임 사이의 화소 또는 화소 그룹 사이의 국부적 상관을 결정하는 단계를 포함하는 것이 더욱 바람직하다.

발명의 선호되는 실시예에서, 스포츠 모션의 핵심 위치를 각각 보여주는 복수의 이미지 프레임을 식별하기 위해 프레임 차이 측정치를 분석하는 단계는, 프레임 차이 측정치의 시간적 변화로 복수의 패턴을 식별하는 단계와, 각각의 패턴을 스포츠 모션의 모션 상태 중 하나와 연관시키는 단계를 포함한다.

복수의 패턴을 식별하는 단계는, 프레임 차이 측정치의 시간적 변화의 고점 및/또는 저점을 식별하는 단계를 포함하는 것이 바람직하다.

복수의 패턴을 식별하는 단계는, 이미지 프레임들 사이의 수직 화소 움직임의 고점 및/또는 저점을 식별하는 단계를 포함하는 것이 더욱 바람직하다.

발명의 소정의 실시예에서, 상기 방법은, 스포츠 모션의 핵심 위치를 각각 보여주는 복수의 이미지 프레임을 식별하기 위해 프레임 차이 측정치를 분석하기 위해 결정 모델이 이용된다.

발명의 선호도는 실시예에서, 상기 방법은 비디오에 이미지 개선 알고리즘을 적용하는 단계를 포함한다. 예를 들어, 일 실시예에서, 이미지 안정화 알고리즘이 비디오에 적용된다.

발명의 일 실시예에서, 상기 방법은, 광학 유동 벡터의 연산을 포함하는 이미지 안정화 알고리즘을 적용하고, 이어서, 프레임 차이 측정치를 연산하기 위해 광학 유동 벡터를 이용하는 단계를 포함한다.

발명의 일 실시예에서, 이미지 개선 알고리즘은 콘트래스트 개선 알고리즘을 포함할 수 있다.

프레임 차이 측정치를 분석하는 단계는, 프레임 차이 측정치의 시간적 변화에 노이즈 감소 필터를 적용하는 단계를 포함하는 것이 바람직하다.

프레임 차이 측정치를 연산하는 각각의 단계에 대하여, 다른 이미지 프레임이 이미지 프레임으로부터 지정된 개수의 이미지 프레임에 의해 분리되는 것이 바람직하다. 다른 이미지 프레임은 선행 또는 후속 프레임인 것이 더욱 바람직하다.

프레임 차이 측정치가 연산되는 이미지 프레임의 개수 Tc가 비디오 데이터 내 이미지 프레임의 개수 T와 동일한 것이 바람직하다.

화소 또는 화소 그룹의 개수 Pc가 이미지 프레임 내 화소 또는 화소 그룹의 개수 P와 동일한 것이 바람직하다.

상기 방법은, 스포츠 모션을 디스플레이하는 비디오의 일부분 및/또는 스포츠 모션의 핵심 위치를 보여주는 이미지 프레임들을 나타내는 데이터를 컴퓨터 판독형 매체에 기록하는 단계를 더 포함하는 것이 바람직하다. 상기 방법은 모든 다른 데이터를 소거하는 단계를 더 포함할 수 있다.

상기 방법은, 디스플레이 장치 상에 스포츠 모션을 디스플레이하는 비디오의 일부분 및/또는 스포츠 모션의 핵심 위치를 보여주는 이미지 프레임을 출력하는 단계를 포함하는 것이 더욱 바람직하다.

상기 방법은, 비디오 캡처 장치 상에서 비디오를 녹화하는 단계를 포함하는 것이 바람직하다. 비디오 분석 방법은 상기 비디오 캡처 장치 상에서 수행되는 것이 더욱 바람직하다. 일 실시예에서, 비디오 캡처 장치는 이동 전화다.

상기 방법은, 2개의 스포츠 모션을 동기화시키는 단계와, 디스플레이 장치 상에 두 스포츠 모션을 함께 디스플레이하는 단계를 더 포함하는 것이 바람직하다. 2개의 스포츠 모션은 스포츠 모션을 행하는 한 사람의 2개의 모습일 수 있고, 또는, 스포츠 모션을 행하는 두 사람의 동일 모습일 수도 있다. 동기화 방법은 각각의 스포츠 모션의 핵심 위치의 이미지 프레임을 동시에 디스플레이하는 단계를 포함하는 것이 더욱 바람직하다.

상기 방법은 스포츠 모션의 지속시간을 표시하는 값을 연산하는 단계를 더 포함하는 것이 바람직하다. 스포츠 모션의 지속시간을 표시하는 값은 핵심 위치들 중 2개를 보여주는 이미지 프레임들 사이에서 경과한 시간을 포함하는 것이 더욱 바람직하다.

발명의 선호되는 실시예에서, 상기 스포츠 모션은 골프 스윙이다.

발명의 선호되는 실시예에서, 상기 방법은 이미지 프레임들 중 하나 이상에서 물체를 식별하는 단계를 더 포함한다. 상기 방법은, 상기 스포츠 모션의 핵심 위치 중 하나를 보여주는 상기 이미지 프레임들 중 적어도 하나에서 물체를 식별하는 단계를 포함하는 것이 더욱 바람직하다. 예를 들어, 상기 방법은 하나 이상의 이미지 프레임에서 골프 클럽을 식별하는 단계를 포함하고, 특히 상기 이미지 프레임들은 어드레스 및 피니시 위치를 보여준다. 골프 클럽을 식별하기 위해 Hough 또는 Radon 변환법이 이용될 수 있다.

상기 방법은 하나 이상의 라인을 구성하고, 이미지 프레임들 중 하나 이상에 대해 라인을 디스플레이하는 단계를 포함하는 것이 바람직하다.

예를 들어, 일 실시예에서, 상기 방법은 어드레스 위치에서 골프 클럽을 통해 제 1 라인을, 그리고, 제 1 라인에 대해 (제 1 라인 위로) 대략 17*?*로 제 2 라인을 구성하는 단계와, 골퍼의 측면의 하나 이상의 이미지 프레임 내에 라인을 디스플레이하는 단계를 포함한다. 다른 실시예에서, 방법은 대략 골프 클럽을 통해 수직 라인을 구성하는 단계와, 골퍼의 정면의 하나 이상의 이미지 프레임에 라인을 디스플레이하는 단계를 포함한다.

상기 방법은 이미지 프레임을 분석하는 단계와, 그 결과, 개선 명령어를 제공하는 단계를 더 포함하는 것이 바람직하다.

발명의 제 2 형태에 따르면, 비디오 분석 장치가 제공되며, 상기 비디오의 적어도 일부분은 스포츠 모션을 디스플레이하고, 상기 장치는, T개의 이미지 프레임을 나타내는 데이터를 수신하는 수단과, Tc개의 이미지 프레임 각각에 대해, 이미지 프레임과 다른 이미지 프레임 사이의 하나 이상의 프레임 차이 측정치를 연산하는 수단과, 각각 스포츠 모션의 핵심 위치를 보여주는 복수의 이미지 프레임을 식별하도록 상기 프레임 차이 측정치를 분석하는 수단을 포함한다.

상기 장치는 비디오를 녹화하기 위한 비디오 캡처 장치를 더 포함하는 것이 바람직하다. 상기 장치는 핵심 위치 이미지 프레임을 디스플레이하기 위한 디스플레이 수단을 더 포함하는 것이 더욱 바람직하다.

발명의 선호되는 실시예에서, 상기 장치는 이동 전화, 이동 태블릿, 또는 랩탑 컴퓨터를 포함한다.

본 발명의 일 실시예는 개선된(enhanced) 스포츠 모션 비디오 분석 방법을 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 발명의 일 실시예에 따른 골프 스윙 분석 방법을 설명하는 순서도다.
도 2는 발명의 일 실시예에 따른 골프 스윙 분석 시스템 또는 장치의 도해다.
도 3은 발명의 일 실시예에 따른 골퍼의 비디오를 구성하는 복수의 이미지 프레임의 도해다.
도 4는 일 실시예에 따른 비디오 데이터 분석 방법의 단계들을 예시하는 순서도다.
도 5는 발명의 일 실시예에 따른 분석 결과의 도해다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

도 1은 발명의 일 실시예에 따른 골프 스윙 분석 방법(100)을 예시하는 순서도다.

도 2는 발명의 동일 실시예에 따른 골프 스윙 분석 시스템 또는 장치(200)의 도해다.

단계(101)에서, 골프 스윙을 하는 개인의 비디오가 녹화된다. 비디오는 일부 잉여 영상, 즉, 실제 골프 스윙을 보여주지 않고 경기자가 자세를 취하거나 스윙 준비를 하는 등의 비디오 부분을 포함할 수 있다. 비디오는 임의의 비디오 캡처 장치(201)에서 녹화될 수 있고, 일부 실시예에서는 캠코더, 디지털 카메라, 이동 전화, 태블릿 컴퓨터, 등과 같이, 손쉽게 휴대가능한 디지털 장치가 사용된다. 어디서라도 골프 스윙을 녹화 및 분석할 수 있다는 편의성은 발명의 일부 실시예의 장점이다.

디지털 비디오 녹화시, 단계(101)의 종료 결과는 비디오를 집합적으로 구성하는 이미지 프레임들을 나타내는 디지털 데이터다. 이러한 데이터는 비디오 캡처 장치 상에 또는 임의의 적절한 데이터 저장 매체 상에, 예를 들어, 하드 드라이브, 메모리 카드, CD, 플로피 디스크, 등에 저장될 수 있다.

단계(102)에서, 발명에 따른 분석 단계를 수행하기에 적합한 컴퓨터 또는 프로세서(202)에서 대표 데이터가 수신된다. 일부 실시예에서, 프로세서(202)는 비디오 캡처에 사용되는 동일 장치(201)(가령, 이동 전화)에 탑재되어, 비디오의 캡처 및 분석과 분석 결과의 디스플레이에 단일 장치만 요구된다.

단계(103)에서, 방법은 비디오 데이터에 이미지 개선 알고리즘을 적용하는 단계를 포함할 수 있다. 이러한 알고리즘을 이용하여 데이터의 품질을 개선시키고, 따라서, 분석 방법의 결과를 개선시킬 수 있다. 사용될 수 있는 이미지 개선 알고리즘의 예는, 이미지 안정화 알고리즘, 콘트래스트 개선 알고리즘, 노이즈 감소 알고리즘, 등을 포함한다. 이미지 안정화 알고리즘은 예를 들어, 카메라가 사람의 손에 쥐어져 있을 경우 카메라 흔들림의 효과(획득되는 결과의 품질을 저하시킬 수 있음)를 감소시키는 것을 돕는다. 콘트래스트 개선 알고리즘은 캡처된 비디오의 광 품질이 불량할 때 특히 유용하며, 이는 예를 들어, 흔히 음지에 있기 때문에 골프 드라이빙 범위에서 캡처되는 비디오와 함께 발생할 수 있다. 적절한 알고리즘이 당 분야에 잘 알려져 있고, 더 상세히 논의하지 않을 것이다.

단계(104)에서, 프로세서(202)는 프로세서에 의해 수신되는 복수의 이미지 프레임에 대한 프레임 차이 측정치를 연산한다. 본 발명의 범주에서, 프레임 차이 측정치는 이미지 프레임들 사이의 비디오 데이터의 차이를 표시하는 양이다. 이 단계는 아래에서 더 상세히 설명될 것이다.

단계(105)에서, 프로세서(202)는, 예를 들어, 연산된 프레임 차이 측정치에 결정 모델을 적용함으로써 프레임 차이 측정치를 분석한다. 이 단계 역시 아래에서 더 상세히 설명될 것이다.

단계(106)에서, 프로세서(202)는 단계(105)의 분석 결과를 출력한다. 발명의 일 실시예에서, 분석 결과는 스포츠 모션의 핵심 위치와 스포츠 모션을 디스플레이하는 비디오의 부분을, 즉, 잉여 비디오 세그먼트없이, 각각 보여주는 복수의 이미지 프레임을 포함한다.

스포츠 모션의 핵심 위치는 스포츠 모션 분석에 중요하다고 간주되는 임의의 위치를 의미한다. 이러한 핵심 위치를 좌지우지하는 것은, 분석되는 스포츠 모션과, 관련된 사람이다 - 서로 다른 사람들이 개별 스포츠 모션 내의 서로 다른 위치에 대해 다양한 중요도를 배치할 수 있다. 골프 스윙 분석의 예에서, 핵심 위치는 어드레스시 골퍼의 위치, 백스윙 중간점, 백스윙의 탑, 다운스윙의 중간점, 임팩트, 및 팔로-스로로 흔히 간주된다. 그러나, 이러한 위치들은 단지 예로서 언급될 뿐, 골프 스윙의 임의의 다른 위치도 핵심 위치로 간주될 수 있다. 예를 들어, 스포츠 모션의 위치는 단지 사용자에게 디스플레이를 위해 선택된다는 점에 비추어볼 때 핵심적인 것으로 간주될 수 있다.

모션의 어느 쪽에서도 잉여 비디오없이 스포츠 모션을 디스플레이하는 비디오 부분은, 항상은 아니지만 종종, 최초 및 최종 위치 사이의 비디오의 해당 부분일 것이다. 골프 스윙의 경우에, 관련 비디오 부분은 어드레스 위치를 보여주는 프레임과, 팔로-스로 또는 피니시 위치를 보여주는 어드레스 사이의 모든 이미지 프레임을 포함한다. 다른 실시예에서, 비디오의 다른 부분은 요구되는 바에 따라 추출될 수 있다. 요구되는 비디오 세그먼트의 시작 또는 종료는 특정 방식으로, 예를 들어, 최초 및 최종 핵심 위치로부터 소정의 시간 또는 프레임 개수 내에서, 소정의 핵심 위치에 관련될 수 있다.

단계(107)에서, 프로세서(202)에 의해 출력되는 분석 결과가 디스플레이 수단(203) 상에 디스플레이된다. 디스플레이 수단(203)은 당 분야에 알려진 바와 같이, 이미지 프레임 및 비디오 영상을 디스플레이할 수 있는 임의의 적절한 장치를 포함할 수 있다. 일부 실시예에서, 디스플레이 수단(203)은 프로세서(202) 및/또는 비디오 캡처 장치(201)와 동일한 장치 내에 탑재된다. 예를 들어, 디스플레이 수단(203)은 이동 전화 상의 스크린을 포함할 수 있다.

단계(108)에서, 출력된 결과는 추가로 자동적으로 분석될 수 있고, 개선 명령어의 형태로 피드백이 제공될 수 있다. 예를 들어, 골프 스윙의 경우에, 어드레스시 골프 클럽의 위치가 검출된다(아래 논의됨). 골프 클럽이 너무 크거나 작은 각도에 있을 경우, 검출될 수 있고, 적절한 피드백이 제공될 수 있다 - 예를 들어, ("볼에 더 가까이 서세요/볼로부터 멀리 떨어지세요").

발명의 일부 실시예에 따라 분석 결과가 디스플레이되는 방식이 아래에 설명될 것이다.

도 3은 발명의 일 실시예에 따라 골퍼의 비디오(300)를 구성하는 복수의 이미지 프레임(301)의 도해다. 비디오 녹화는 초당 30프레임(fps)으로 대략 23초간 찍었다. 편의상 도 3에 5개의 이미지 프레임마다 하나씩만 도시된다.

비디오 중, 골퍼는 4회의 풀 골프 스윙을 하였고, 이러한 스윙을 보여주는 이미지 프레임들이 강조되어 (302)로 마킹된다.

비디오(300)는 T개의 이미지 프레임 X(t)의 시퀀스이고, 각각의 데이터로 표현된다. 각각의 이미지 프레임(X)은 P = [nr x nc] 화소로 구성되며, nr은 이미지 프레임 내 화소의 로우 수이고, nc는 이미지 프레임 내 화소의 칼럼 수다. 이미지 프레임은 다음과 같이 표현될 수 있다:

X(t) = [x(t)ij],

여기서 i = 1, 2,..., nr, j = 1, 2, ..., nc, 및 t = 1, 2, ..., T.

도 4는 발명의 일 실시예에 따른 비디오 데이터 분석 방법(400)의 단계들을 예시하는 순서도다. 도 4에 도시되는 방법(400)은 온라인 비디오 분석 방법으로 구현될 수 있다.

단계(401)에서, Tc개의 이미지 프레임이 분석에 사용된다. Tc는 T보다 작거나 동일할 수 있다. 논의되는 실시예에서, 모든 가용 데이터가 분석되도록 Tc = T 다. 그러나, 요구되는 결과를 얻기 위해 충분한 개수의 프레임이 분석되어야 하지만, 가용 프레임들의 서브세트만이 분석될 경우 프로세싱이 가속될 수 있다. 고속 비디오의 경우(가령, 초당 30프레임 이상), 더 빠른 프로세싱을 위해 모든 이미지 프레임이 사용될 필요가 없고, 이미지 프레임간 의미있는 비교가 이루어질 수 있도록, 프레임 간에 이미지의 충분한 변화가 있음을 보장하기 위해 모든 이미지 프레임이 사용될 필요가 없다.

이미지 프레임은 화소 세기 x의 그레이 스케일 이미지로 처리될 수 있고, x(t)는 [0, 최대 화소 세기]의 수치다. 그레이 스케일 이용시 방법이 단순화된다. 다른 실시예에서, 다른 측정치가 사용될 수 있고, 예를 들어, 화소 내 칼라 성분이 사용될 수 있다.

단계(402)에서, 분석을 위해 현 이미지 프레임이 선택된다. 일 실시예에서, 방법은 분석될 비디오 내 이미지 프레임들을 통해 순차적으로 이루어질 수 있다. 다른 실시예에서, 방법은 매 몇 프레임을 거쳐 작용하여, 모든 프레임을 분석하지 않으면서 결과를 얻으려 시도하며, 요구될 경우 다른 프레임들을 분석할 뿐이다. 다른 실시예에서, 분석을 위해 이미지 프레임들의 순서를 선택하는 다른 방식이 사용될 수 있다.

단계(403)에서, 차이 프레임 또는 차이 이미지 D(t)가 연산된다. 차이 프레임은 현 이미지 프레임 X(t)의 Pc 화소 각각과, 과거의 또는 미래의 다른 이미지 프레임 X(t-m)의 대응 화소 사이의 절대차이며, m은 t 이전의 프레임 수다:

D(t) = | X(t) - X(t-m) |.

다른 실시예에서, D(t)는 대응 화소들의 다른 차이 함수로 연산된다. 예를 들어, 차이 이미지 D(t)는 제공차, 변환차, 절대차의 로그, 로그차, 등일 수 있다.

일부 실시예에서, m = ±1 이다. 즉, 차이 프레임은 이전 또는 후속 이미지 프레임 사이의 차에 기초한다. 그러나 m은 임의의 정수일 수 있다. 예를 들어, 빠른 프로세싱을 위해 고속의 경우에, 그리고 프레임들간 이미지의 더 큰 변화를 검출하기 위해, 1보다 큰 정수가 사용될 수 있다.

일 실시예에서, Pc = P, 즉, 이미지 프레임 내 모든 화소들이 다른 이미지 프레임 내 화소들에게 비교된다. 그러나, 일부 실시예에서, Pc는 P보다 작아서, 화소의 서브세트만이 각각의 프레임에서 비교되며, 또는, 다운-샘플링된(즉, 해상도 감소된) 프레임들만이 비교된다. 이는 특히, 고해상도 이미징의 경우에, 효율을 증가시킬 수 있고, 모든 화소를 처리하지 않으면서 적정 결과를 얻을 수 있다. 다른 실시예에서, 화소 그룹이 프레임들 간에 비교된다.

단계(404)에서, 하나 이상의 프레임 차이 측정치가 연산된다. 이미지 프레임이 화소들로 구성되는 현재 논의되는 실시예에서, 프레임 차이 측정치는 프레임 간의 화소 차이 측정치 또는 그 통계치들을 포함한다. 예를 들어, 단계(404a)에서, 차이비 DRatio(dthres)가 연산된다. 이러한 차이 비는 지정된 세기 임계치 dthres를 넘는 차이 이미지 D의 화소 비다:

차이비는 차이 이미지의 운동의 크기의 측정치다 - 즉, 이미지 프레임들 간 운동의 크기의 측정치다. 이는 (화소 또는 서브-이미지 레벨에서의 운동의 국부적 측정치에 반해) 전체로서 이미지 프레임에 관련되기 때문에 전역적 측정치다. 높은 값의 DRatio(dthres)는 프레임들 간에 큰 운동을 나타낸다. 이미지의 회전 변환에 대해서는 불변이다.

단계(404b)에서, 차이 위치 인디케이터가 연산된다. 선택된 세기 임계치(ethres)가 주어졌을 때, ethres를 넘는 D 내 화소들에 대응하는 이진 매트릭스(E)는 다음과 같이 규정될 수 있다:

를 E의 칼럼 합계의 벡터라고 하고,

를 E의 로우 합계의 벡터라고 하자. 다음의 차이 위치 인디케이터가 아래와 같이 규정된다:

수평 차이 위치 인디케이터: HDPrctile(p) = pth-Percentile(eh)

수직 차이 위치 인디케이터: VDPrctile(p) = pth-Percentile(ev)

앞서 규정된 수평 및 수직 차이 위치 인디케이터는 이미지 프레임 간 운동 위치의 측정치다. p 값은 임의의 값일 수 있지만, 예를 들어, [5, 25, 50, 75, 95]로부터 선택될 수 있고, 2개 이상의 차이 위치 인디케이터를 제공하기 위해 복수의 값들이 사용될 수도 있다.

도 5는 발명의 일 실시예에 따른 분석 결과의 도해다. 도 5는 분석 중인 프레임(501)(X(t))을 예시한다. 프레임(501)은 골프 스윙을 거쳐가는 골퍼 부분의 이미지다. 차이 프레임 D(t)가 이미지(502)에 도시된다. 이는 프레임(501)과 비교 프레임 사이에서 다른 모든 화소들을 보여주고, 본 예에서, 비교 프레임은 바로 선행하는 프레임이다. 이미지(503)는 지정 임계치(ethres)를 넘어서는 차이 프레임 내 화소의 위치를 보여준다. 그래프(504, 505)는 각각 지정 임계치(ethres)를 넘어서는 차이 프레임 내 화소의 수평 및 수직 분포를 보여준다. 그래프(504, 505)를 이미지(503)와 연결하는 라인은 5번째, 50번째, 및 95번째 퍼센타일의 개략적 위치를 보여준다 - 즉, HDPrctile(p) 및 VDPrctile(p)의 각기 서로 다른 3개의 값을 보여주고, p는 5, 50, 95와 같다.

다시 도 4를 참조하면, 발명의 일 실시예에 따라 골퍼의 스윙에서 핵심 위치를 식별하기 위해 프레임 차이 측정치를 분석하는 단계가 이제 설명될 것이다. 본 실시예에서, 간단한 시간 인지 전략이 사용된다. 아래 논의되는 방법의 세부사항은 (도 3에 따른) 골퍼의 측면 비디오의 분석과 관련된다.

단계(405)에서, 데이터 내 노이즈를 감소시키기 위해 지금껏 연산된 시간 프레임 차이 측정치 데이터에 가우시안 필터가 적용될 수 있다.

단계(406)에서, 프레임 차이 측정치 데이터에서 스윙 상태가 식별되려 시도된다. 영역(604, 605, 606)은 그래프(602, 603)의 데이터의 스윙 상태를 식별하는 결과를 보여준다. 영역(604)은 풀 스윙을 나타내지 않는 패턴을 보여주고, 영역(605, 606)은 프레임 차이 측정치 데이터 내 패턴에 상관된 스윙 상태를 표시한다. 프레임 차이 측정치 데이터에서 패턴에 상관된 스윙 상태를 표시한다. 특히, 4개의 개별 스윙 상태가 식별된다. 도 6에서, 이러한 스윙 상태들은 "시작", "업-다운", "다운-업", 및 "종료"로 불린다. 각각의 스윙 상태는 프레임 차이 측정치 데이터 내 패턴에 의한 특징을 갖는다. 예를 들어, 시작 및 종료 상태 중, DRatio의 값이 비교적 작아, 전체적 모션이 거의 없음을 표시한다. 업-다운 상태의 중간에서, DRatio 및 VDPrctile(50)은 동시에 저점을 쳐서(그래프(603)에서 y-축이 역전되기 때문에 VDPrctile(50)는 높음), 백스윙의 탑을 표시하고, 이 경우 운동은 최소이고 운동 위치는 최고점에 있다. 다운-업 상태 또는 다운스윙 중, DRatio는 신체 운동이 최대에 있기 때문에 최고다. 흔히 사용되는 피크 검출법을 이용하여 데이터의 고점 또는 저점을 식별할 수 있다.

완전한 스윙은 차례로 4개의 모든 상태를 지녀야 한다. 따라서, 차례로 4개의 상태의 로우와 스윙 상태에 특정한 특징 패턴의 검출을 이용하여 데이터에서 완전한 스윙을 식별할 수 있다. 성공적인 스윙 인지는, 예를 들어, 각각의 상태의 지속시간을 평가함으로써, 또한 비준될 수 있다. 초당 30프레임의 비디오 녹화의 경우에, 각각의 스윙 상태는 대부분의 골프 스윙에 대해 약 60프레임보다 길지 않아야 한다.

결정 단계(407)에서, 스윙이 식별되었는지 여부가 결정된다. 예를 들어, 스윙 검출은 차례로 모두 4개의 스윙 상태가 검출되는 것을 요구할 수 있다. 스윙이 식별되지 않은 경우, 방법은 단계(402)로 루프-백하여, 비디오 데이터 내 다른 이미지 프레임의 데이터를 분석한다. 스윙이 식별된 경우, 방법은 단계(409)로 이동한다.

단계(408)에서, 스윙의 핵심 위치를 보여주는 이미지 프레임이 데이터 내 식별된 스윙 상태에 기초하여 식별된다. 도 7은 도 6에 도시되는 바와 같은 그래프(603)의 일부분의 도해다. 도 7에 도시되는 그래프(701)는 제 1 완전 스윙을 나타내는 데이터를 포함하는 그래프(603)의 일부분이다.

핵심 스윙 위치를 보여주는 이미지 프레임들이 어떻게 식별되는 지의 예가 아래에서 설명된다:

어드레스 - 시작 상태에서 VDPrctile(50)의 지배적 고점의 위치

탑-스윙 - 다운-업 상태에서 VDPrctile(50)의 지배적 저점의 위치

임팩트 - 다운-업 상태에서 VDPrctile(50)의 지배적 고점의 위치

피니시 - 종료 단계에서 VDPrctile(50)의 지배적 저점의 위치

업스윙 및 다운스윙 - 고점-저점 = 시작 상태에서 VDPrctile(50)의 지배적 고점 - 업-다운 상태에서 VDPrctile(50)의 지배적 저점이고, CrossRatio = 업스윙 및 다운스윙 위치 결정을 위해 고점-저점의 선택된 비일 경우, 업스윙 및 다운스윙 프레임 = 각각 VDPrctile(50)이 저점 위 (CrossRatio*고점-저점)을 지날 때의 임팩트 프레임과 어드레스 프레임 사이의 최초 및 최종 위치다. 일 실시예에서, CrossRatio는 대략 0.3과 같다. 다른 실시예에서, 0.5가 선택될 수 있다.

발명의 일부 실시예에서, 물체 검출 방법을 이용하여 스포츠 모션 내 소정의 물체를 식별할 수 있고, 선택적으로, 물체 검출을 이용하여, 스윙 상태 및/또는 핵심 위치의 식별을 돕거나 비준할 수 있다. 골프 스윙 분석의 경우에, 골프 클럽 검출법, 예를 들어, 직선 검출 알고리즘이 이용될 수 있다.

도 4의 단계(409)에서, 핵심 스윙 위치를 도시하는 이미지 프레임들이 출력된다. 도 8은 발명의 일 실시예에 따른 방법이 도 3에 도시되는 비디오 데이터에 적용될 때 핵심 스윙 위치를 보여주는 이미지 도해다. 수신되는 비디오의 4개의 스윙 각각에 대하여, 6개의 핵심 위치가 제공된다. 도시되는 실시예에서, 물체 검출 알고리즘을 적용하여 어드레스시 골프 클럽의 위치를 표시하였다. 이는 모든 프레임에서 라인으로 표시된다.

단계(410)에서, 골프 스윙을 보여주는 최초에 녹화된 비디오의 일부분이 출력된다. 이는 어드레스와 피니시 위치 사이의 이미지 프레임들을 포함하는 비디오 데이터의 형태로 출력되고, 요망될 경우, 이러한 위치들 중 어느 한쪽의 몇몇 이미지 프레임들을 또한 포함할 수 있다. 도 3에 도시되는 비디오의 경우에, 4개의 짧은 비디오 세그먼트가 출력될 것이고, 각각은 녹화된 스윙 중 하나를 보여준다.

핵심 위치 프레임을 출력하고 추출된 골프 스윙 세그먼트를 출력하지 않는 것은, 메모리 요건 감소 및 프로세싱 속도 때문에 유리할 수 있다.

단계(410)에서, 방법은 단계(402)로 회귀하여 존재할 수 있는 스윙에 대한 비디오 분석을 계속할 수 있다.

발명의 방법 단계들 중 일부가 동시에 또는 서로 다른 순서로 이루어질 수 있음을 인지하여야 한다. 도 4의 단계들은 단지 설명을 위해, 차례로 도시된다. 방법의 일부 단계들을 적절하다면 동시에 수행함으로써, 발명의 방법이 "실시간" 작동을 위해 또는 적어도 매우 짧은 프로세싱 시간에 부응할 수 있다.

골퍼의 전면 모습이 분석되는 다른 실시예에서, 어드레스 위치에서 골프 클럽을 통해 대략 연장되는 수직 라인을 구성 및 디스플레이하는 것이 유용할 수 있다. 다시 이를 실현하기 위해 적절한 물체 검출 알고리즘이 사용될 수 있다. 이는 스윙 경로에 걸쳐 이 라인에 대해 골퍼의 헤드의 움직임을 확인하는데 유용할 수 있다.

발명의 일 실시예에서, 프레임 차이 측정치 DRatio만을 이용하여 스윙 상태와, 따라서 핵심 프레임 위치를 식별할 수 있다. 다른 실시예에서, 수직 방향으로 운동의 양은 스윙 상태 및 따라서 핵심 프레임 위치를 식별하는데 사용되는 프레임 차이 측정치일 수 있다. 서로 다른 측정치가 스포츠 모션 식별에 있어 서로 다른 장점을 제공할 수 있고, 따라서, 서로 다른 상황에서 유용할 수 있다. 다른 실시예에서, 2개 이상의 프레임 차이 측정치가 사용되고 측정치간 상호-비준이 모션 분석법의 정확도를 증가시킬 수 있다. 서로 다른 스윙 상태 및 핵심 위치를 식별하기 위한 규정은 어떤 측정치가 사용되느냐에 따라 변화될 필요가 있을 수 있다.

앞서 설명한 바와 같이, 프레임 차이 측정치는 지정 임계치를 넘는 차이 프레임 내 화소들의 수직 및 수평 분포인 HDPrctile(p) 및 VDPrctile(p)를 각각 포함할 수 있다. 일부 경우에, 움직임 변화가 캡처되는 모션을 더욱 정확하게 예측하도록, 회전 각도를 따라 이러한 분포를 연산하는 것이 더욱 유익할 수 있다. 예를 들어, 골프 스윙의 경우에, 어드레스 위치에서 클럽 평면에 평행한 방향으로의 분포가 연산될 수 있다. 어드레스 위치에서 클럽 평면에 수직인 방향으로의 분포는 이러한 방향으로 골프 클럽의 최소 움직임이 나타날 것이기 때문에 최적 결과를 생성하지 않을 수 있다.

앞서 논의한 예는 스윙 상태가, 따라서 핵심 위치가, 후방으로부터 캡처되는 골프 스윙의 비디오 데이터에서 어떻게 식별될 수 있는 지를 설명한다. 상기 스윙 상태 및 핵심 위치를 식별하기 위한 규정들은 이러한 특정 각도로부터 이러한 타입의 스포츠 모션을 보여주는 비디오로 제한된다. 그러나, 그 원리는 프레임 차이 측정치의 적정 패턴이 식별되면 다른 각도로부터 그리고 다른 스포츠에 대해서 모션 상태 및 핵심 위치를 인지하기 위해 이 방법을 연장하도록 쉽게 적응될 수 있다.

앞서 논의한 예에서, 프레임 차이 측정치로부터 스윙 상태 및 핵심 위치를 식별하는데 규정-기반 모델이 사용된다. 다른 실시예에서, 데이터의 분류, 인지, 및 회귀를 위한 다른 예측 및/또는 기계 학습 모델이 사용될 수 있고, 그 예로는 히든 마르코프 모델(Hidden Markov Model), 상태-공간 모델(State-Space Model), 유한 상태 기계(Finite State Machine), 회귀법(regression methods), 지원 벡터 기계(Support Vector Machine), 신경망(Neural Networks) 및 퍼지 로직(Fuzzy Logics)이 있다. 기계-학습 기술을 이용하는 방법은 서로 다른 많은 종류의 스포츠 모션을 학습 및 분류하는 작업을 만날 때 특히 유리하다.

발명의 대안의 실시예에서, 이미지 프레임들 사이의 운동 속도의 측정치인 프레임 차이 측정치의 연산을 이용하여, 스포츠 모션 비디오를 분석할 수 있다. 예를 들어, 이미지 프레임들 사이의 화소 움직임의 속도(속력 및 방향 모두를 포함함)가 연산된다.

인접한 프레임들 사이의 모든 화소에 대한 화소 움직임의 속도는 발명의 일 실시예에서 광학적 유동 기술을 이용하여 연산될 수 있다. 이미지 프레임 내 화소 또는 화소 그룹에 임의의 알려진 광학적 유동 기술이 적용될 수 있고, 화소 움직임 속도의 값을 도출하기 위해 이웃 상관 기능을 이용한다. 이러한 속도는 프레임 차이 측정치로서, 시간에 대해 도표화될 수 있고, 이를 분석하여, 설명한 바와 유사한 방식으로 스윙 상태 및 핵심 위치 이미지 프레임을 식별할 수 있다.

광학적 유동 기술이 사용되는 발명의 실시예에서, 광학적 유동 벡터가 (예를 들어, H. Farid 및 J.B. Woodward. Video Stabilization and Enhancement. TR2007-605, Departement of Computer Science, Dartmouth College, September 2007에서 설명되는 바와 같이) 이미지 안정화 알고리즘의 일부분으로 연산될 수 있기 때문에 이미지 안정화 알고리즘을 적용하는 것이 유리할 수 있고, 이는 나중에 분석 방법에 사용될 수 있고, 따라서, 이미지 안정화 알고리즘을 이용하는 장점을 얻을 수 있고 프로세싱 속도를 개선시킬 수 있다.

광학적 유동 기술은, 광학적 유동 기술이 관심 대상인 각각의 화소/화소 그룹에 대해 화소/화소 그룹 속도의 국부 추정치를 연산하기 때문에, 위에서 도 4와 관련하여 논의한 방법보다 훨씬 연산-집약적일 수 있다.

발명의 일부 실시예에서, 발명의 방법을 구체화하는 컴퓨터 프로그램 프로덕트가 제공된다. 예를 들어, 비디오 데이터에 대한 발명의 분석을 실행할 수 있는 프로그램은 이동 전화 또는 태블릿과 같은 컴퓨터 또는 연산 장치 상에 설치될 수 있다. 일 실시예에서, 컴퓨터 프로그램 프로덕트는 장치 상에 설치될 수 있는 다운로드가능한 프로덕트로 가용하다. 예를 들어, 컴퓨터 프로그램 프로덕트는 이동 전화 상의 앱으로 공급될 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 상기 각각의 실시예는 필요에 따라 서로 조합되어 운용할 수 있다.

이와 같이, 본 발명의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM)와, 랜덤-접속 메모리(random access memory: RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 발명의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 발명이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.

또한 본 발명의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 다양한 실시예들에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 발명의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.

따라서, 본 발명은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고, 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 발명에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims (1)

1. 비디오 분석 시스템에 있어서, 상기 비디오의 적어도 일부분은 스포츠 모션을 디스플레이하고, 상기 시스템은,
   T개의 이미지 프레임을 나타내는 데이터를 수신하는 수단과,
   Tc개의 이미지 프레임 각각에 대해, 이미지 프레임과 다른 이미지 프레임 사이의 하나 이상의 프레임 차이 측정치를 연산하는 수단과,
   각각 스포츠 모션의 핵심 위치를 보여주는 복수의 이미지 프레임을 식별하도록 상기 프레임 차이 측정치를 분석하는 수단을 포함하는
   비디오 분석 시스템.

Images