KR102055146B1

KR102055146B1 - 이벤트 기반 비전 센서를 이용한 운동 자세 점검 방법 및 운동 자세 점검 장치

Info

Publication number: KR102055146B1
Application number: KR1020180079731A
Authority: KR
Inventors: 임상혁; 임재섭
Original assignee: 주식회사 베어그라운드
Priority date: 2018-07-10
Filing date: 2018-07-10
Publication date: 2019-12-12

Abstract

본 발명의 일 실시예에 따른 운동 자세 점검 방법 및 운동 자세 점검 장치가 개시된다. 본 발명의 일 실시예에 따른 운동 자세 점검 방법은 이벤트 기반 비전 센서에 의해 출력되는 이벤트 신호로부터 미리 설정된 자세 점검 영역 내의 사용자 동작의 발생을 감지하는 단계, 상기 감지한 사용자 동작이 미리 정의된 자세 점검 영역에 대응하는 유효한 동작인지 판단하는 단계, 상기 판단결과 유효한 동작이라면, 상기 자세 점검 영역 내의 상기 사용자 동작의 정적 패턴을 추출하는 단계, 상기 정적 패턴에서 관심 객체를 식별하는 단계, 상기 정적 패턴 내의 관심 객체와 미리 선정된 모델 패턴 내의 대응하는 관심 객체의 유사여부를 비교하여, 상기 비교 결과를 기초로 상기 사용자 동작의 적합성을 판단하는 단계를 포함하여 구성된다.

Description

이벤트 기반 비전 센서를 이용한 운동 자세 점검 방법 및 운동 자세 점검 장치{METHOD FOR CHECKING OUT SPORTS MOTION USING EVENT-BASED VISION SENSOR AND APPARATUS FOR THE SAME}

본 발명은 운동 자세 점검 방법에 관한 것으로, 더욱 상세하게는 이벤트 기반 비전 센서를 이용한 운동 자세 점검 방법 및 운동 자세 점검 장치에 관한 것이다.

종래의 골프 스윙분석 장치는 고가의 고속 카메라나 속도센서를 사용하여 사용자의 스윙폼을 분석하거나, 별도로 준비된 공간에 조명과 적외선 센서 등을 설치하여 스윙 모션이나 클럽 스피드를 측정하는 방법을 사용하는데, 고속 카메라나 별도의 장소를 이용하는 경우에는 높은 비용에 장소적 제약을 감수해야 하는 문제가 있다.

또한, 골프는 좋은 자세에서 좋은 결과가 나올 수 있음에도 종래의 골프 스윙 분석 방법은 클럽 헤드의 속도, 접촉 각도나 볼의 구질을 분석하는 데에 집중되어 있다. 예를 들면, 등록특허(10-0664482)는 스윙 순간을 포착하여 골프 스윙 분석기에 관한 것으로, 센싱용 빔과 반사판을 이용하여 특정 구간의 스윙 동작을 검출하는 방법을 개시하고 있지만, 스윙 속도만을 측정하는 문제가 있다. 한편, 동영상을 촬영하여 스윙 폼을 분석하는 방법의 경우에는, 고속 카메라로 촬영을 하더라도 블러 현상 때문에 움직이는 동작을 적절한 시점별로 포착하여 정확하게 분석하기도 어렵고, 분석결과를 자세 교정에 사후적으로 적용해야 하므로 즉시성이 떨어질뿐만아니라, 누군가가 옆에서 자세를 점검해주지 않는다면 효과가 떨어지는 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 장소적 제약이나 비용의 부담없이 실시간으로 자세를 점검할 수 있는 운동 자세 점검 방법을 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 장소적 제약이나 비용의 부담없이 실시간으로 자세를 점검할 수 있는 운동 자세 점검 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명은, 이벤트 기반 비전 센서에 의해 출력되는 이벤트 신호로부터 미리 설정된 자세 점검 영역 내의 사용자 동작의 발생을 감지하는 단계, 상기 감지한 사용자 동작이 미리 정의된 자세 점검 영역에 대응하는 유효한 동작인지 판단하는 단계, 상기 판단결과 유효한 동작이라면, 상기 자세 점검 영역 내의 상기 사용자 동작의 정적 패턴을 추출하는 단계, 상기 정적 패턴에서 관심 객체를 식별하는 단계 및 상기 정적 패턴 내의 관심 객체와 미리 선정된 모델 패턴 내의 대응하는 관심 객체의 유사여부를 비교하여, 상기 비교 결과를 기초로 상기 사용자 동작의 적합성을 판단하는 단계를 포함하는 운동 자세 점검 방법을 제공한다.

여기서, 상기 유효한 동작인지 판단하는 단계는, 상기 운동의 연결 동작이 기록된 동영상을 부분 동작에 따라서 복수의 단계와 단계별 점검 영역으로 구분하여 미리 학습한 동작 패턴 분류기를 기초로 상기 자세 점검 영역 내의 사용자 동작이 유효한 동작인지 판단하는 것을 특징으로 한다.

여기서, 상기 정적 패턴 추출 단계는, 상기 유효한 동작을 감지한 시간 범위 내의 미리 정해진 임계시간 범위 내에 발생한 이벤트 신호에 기초하여 상기 사용자 동작의 정적 패턴을 추출하되, 상기 모델 패턴의 사용자 동작에 가장 매칭하는 정적 패턴을 추출하는 것을 특징으로 한다.

여기서, 상기 관심 객체를 식별하는 단계는, 상기 동작 패턴 분류기나 상기 모델 패턴을 이용하여 상기 정적 패턴에서 추출할 관심 객체를 결정하는 단계 및 상기 결정된 관심 객체를 기초로 상기 정적 패턴에서 상기 관심 객체를 식별하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 관심 객체는 상기 사용자의 신체의 일부 또는 운동 도구 중 적어도 하나를 포함하는 것을 특징으로 한다.

여기서, 상기 적절성 판단 이후에 상기 판단 결과를 사용자에게 표현하는 단계를 더 포함하고, 상기 판단하는 단계는, 상기 비교결과 상기 두 관심 객체가 미리 정해진 임계치 범위내의 유사도를 갖는 경우 상기 사용자 동작이 적합하다고 판단하는 것을 특징으로 한다.

여기서, 상기 감지하는 단계 이전에 상기 자세 점검 영역이 설정되면 상기 사용자의 신체조건이나 운동 요건을 기초로, 모델 패턴 데이터베이스로부터 상기 자세 점검 영역에 대응하는 상기 모델 패턴이 선정되는 단계를 더 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명은, 이벤트 기반 비전 센서와 연결되어, 상기 이벤트 기반 비전 센서에 의해 출력되는 이벤트 신호로부터 미리 설정된 자세 점검 영역 내의 사용자 동작의 발생을 감지하는 동작 감지부, 상기 감지한 사용자 동작의 유효성 여부를 판단하되, 상기 운동의 연결 동작이 기록된 동영상을 부분 동작에 따라서 복수의 단계와 단계별 점검 영역으로 구분하여 미리 학습한 동작 패턴 분류기를 기초로 상기 자세 점검 영역 내의 사용자 동작이 유효한 동작인지 판단하는 동작 유효성 판단부, 상기 판단결과 유효한 동작이라면, 상기 자세 점검 영역 내의 상기 사용자 동작의 정적 패턴을 추출하는 정적 패턴 추출부, 상기 정적 패턴에서 관심 객체를 식별하는 관심 객체 식별부 및 상기 정적 패턴 내의 관심 객체와 미리 선정된 모델 패턴 내의 대응하는 관심 객체의 유사여부를 비교하여, 상기 비교 결과를 기초로 상기 사용자 동작의 적합성을 판단하는 적합성 판단부를 포함하는 운동 자세 점검 장치를 제공한다.

여기서, 상기 정적 패턴 추출부는, 상기 유효한 동작을 감지한 시간 범위 내의 미리 정해진 임계시간 범위 내에 발생한 이벤트 신호에 기초하여 상기 정적 패턴을 추출하되, 상기 모델 패턴에 가장 매칭하는 정적 패턴을 추출하는 것을 특징으로 한다.

여기서, 상기 관심 객체 식별부는, 상기 동작 패턴 분류기나 상기 모델 패턴을 이용하여 상기 정적 패턴에서 추출할 관심 객체를 결정하는 관심 객체 결정 유닛 및 상기 결정된 관심 객체를 기초로 상기 정적 패턴에서 상기 관심 객체를 식별하는 관심 객체 식별 유닛을 포함하는 것을 특징으로 한다.

여기서, 상기 사용자의 신체조건이나 운동 요건을 기초로, 모델 패턴 데이터베이스로부터 상기 자세 점검 영역에 대응하는 상기 모델 패턴을 선정하는 모델 패턴 선정부를 더 포함한다.

상기 목적을 달성하기 위한 본 발명의 다른 측면은, 상기의 운동 자세 점검 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상기 목적을 달성하기 위한 본 발명의 또 다른 측면은, 상기의 운동 자세 점검 방법을 실행하는 프로그램이 어플리케이션으로 제작되어 저장된 기록 매체를 제공한다.

상기와 같은 본 발명에 따른 운동 자세 점검 방법 및 장치를 이용하면, 이벤트 기반 센서를 이용하여 사용자의 운동 동작을 촬영하면서 실시간으로 현 시점의 스윙을 프로의 자세나 본인의 최적의 자세(예를 들면, 코치로부터 교정 받은 자세)와 비교함으로써 잘못된 자세를 점검할 수 있는 장점이 있다. 또한, 종래의 카메라를 이용한 촬영방식이 아닌 동작의 이벤트를 감지하여 변화가 일어난 픽셀의 정보만을 전송해주는 동적 비전 센서를 이용하여, 운동 자세를 빠르고 정확하게 점검하여, 사용자에게 실시간으로 문제가 되는 부분을 알려주는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 운동 자세 점검 방법이 수행되는 과정을 보여주는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 자세 점검 영역을 지정하는 예를 보여주는 도면이다.
도 3a는 본 발명의 일 실시예에 따른 자세 점검 영역 내의 정적 패턴을 도출하는 예를 보여주는 도면이다.
도 3b는 본 발명의 일 실시예에 따른 정적 패턴에서 관심 객체를 식별하는 예를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 운동 자세 점검 장치의 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 일 실시예에 따른 자세 점검 방법과 운동 자세 점검 장치는 이벤트 기반의 비전 센서, 예를 들면 동적 비전 센서(dynamic vision sensor, DVS)로부터 출력되는 이벤트 신호를 기초로 사용자의 운동 자세를 분석한다. 여기서 운동이란 골프, 테니스, 야구, 탁구, 배구 등과 같은 스포츠 종목이나 체력 향상이나 취미 활동을 위해 하는 각종 활동을 의미할 수 있다.

종래의 비전 센서는 동영상 이미지를 프레임 시퀀스로서 장면을 수집하며, 한 프레임 내에 픽셀을 포함하는 모든 사진 요소가 포함된다. 프레임 시퀀스는 앞뒤의 연속되는 프레임이 일정 시간 단위로 수집된 것으로, 변화가 없는 중복된 픽셀 정보가 존재한다. 이와 같이, 중복된 픽셀 정보를 프레임마다 저장하고, 처리하는 것은 저장 공간, 처리 시간 및 배터리 전력을 낭비하는 것이다.

본 발명의 일 실시예에서 이용하는 이벤트 기반 비전 센서는 움직임이 발생된 오브젝트의 일부를 감지하여 적어도 하나의 이벤트 신호를 생성하는 장치이다. 예를 들면, 동적 비전 센서(Dynamic vision sensor)는 상용화된 이벤트 기반 센서로서, 정지 영상의 연속적인 신호인 프레임 시퀀스를 전송하는 것이 아니라, 빛의 세기 변화를 감지하여 이벤트가 발생한 때의 장면 내의 특정 위치에서 화소의 휘도(예를 들어, 이벤트)의 변화만을 송신한다. 즉 동적 비전 센서의 출력은 각 이벤트가 특정 스테이트와 연관된 이벤트들의 스트림이다.

따라서 동적 비전 센서로부터 출력되는 이벤트 신호는 사용자의 움직임에 의해서 변화가 감지된 픽셀의 정보만을 실어 보내기 때문에 초당 수천 프레임을 전송하는 종래의 카메라에 비하여 훨씬 빠르고 정확하게 이미지를 분석할 수 있다.

도 1은 본 발명의 일 실시예에 따른 운동 자세 점검 방법이 수행되는 과정을 보여주는 순서도이다.

도 2는 본 발명의 일 실시예에 따른 자세 점검 영역을 지정하는 예를 보여주는 도면이다.

도 3a는 본 발명의 일 실시예에 따른 자세 점검 영역 내의 정적 패턴을 도출하는 예를 보여주는 도면이다.

도 3b는 본 발명의 일 실시예에 따른 정적 패턴에서 관심 객체를 식별하는 예를 보여주는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 운동 자세 점검 방법은 이벤트 기반의 비전 센서, 예를 들면 동적 비전 센서를 통해 획득한 이벤트 신호를 기초로 사용자의 동작을 분석하도록 구성된다.

또한, 도 1을 참조하면, 본 발명의 일 실시예에 따른 운동 자세 점검 방법은 자세 점검 영역 설정 단계(S110), 모델 패턴 선정 단계(S120), 동작 감지 단계(S130), 유효성 판단 단계(S140), 정적 패턴 추출 단계(S150), 관심 객체 식별 단계(S160), 적합성 판단 단계(S170) 및 사용자 피드백 단계(S180)를 포함하여 구성될 수 있다.

이하, 도 1, 도 2, 도 3a 및 도 3b를 참조하여 본 발명의 일 실시예에 따른 운동 자세 점검 방법의 각 과정에 대하여 골프 스윙의 예를 들어서 좀 더 상세하게 설명한다.

본 발명의 일 실시예에 따른 운동 자세 점검 방법에서, 사용자는 자신의 운동 동작 중에 특히 점검하고 싶은 부분 동작을 설정할 수 있다(S110). 예를 들면, 골프 스윙동작을 7개의 부분 동작이나 단계(어드레스, 백스윙, 탑오브스윙, 다운스윙, 임팩트, 팔로스루, 피니시)로 나누어서, 각 단계별로 스윙자세를 점검할 수 있다. 만일, 사용자가 백스윙 자세를 정면에서 점검하고 싶다면, 도 2에 도시된 것처럼 모바일 단말(10)을 통해서 "정면"과"백스윙"을 지정할 수 있다.

또한, 자세 점검 영역은 각 단계별 스윙 동작 시, 주요 점검대상이 되는 영상 내 자세 점검 위치, 즉, 위치 정보를 포함할 수 있는데, 예를 들면 영상 내 픽셀의 범위(픽셀의 일부 또는 전부)를 포함할 수 있다. 예를 들면, 도 3a의 스윙 영상(300)은 이벤트 기반 비전 센서로부터 출력 받은 이벤트 신호를 기초로 추출한 정적 패턴을 나타내는데, "백스윙" 단계의 자세 점검 위치(310)를 보여주고 있다. 자세 점검 위치(310)는 각 스윙 단계별로 영상 내 픽셀의 범위를 포함할 수 있으며, 픽셀의 범위는 각 단계별로 일정부분 오버랩될 수 있다. 예를 들면, 점검대상영역이 "백스윙"이라면 해당 동작에서 영상 내 손이나 클럽이 자리 잡고 있을 위치가 자세 점검 위치(130)로 설정될 수 있다. 자세 점검 위치(130)는 유효한 동작인지 여부와 자세의 적합성을 판단하기 위한 기초가 될 수 있다.

자세 점검 영역이 설정되면, 모델 패턴 데이터베이스로부터 앞에서 설정된 자세 점검 영역에 대응하는 모델 패턴이 선정될 수 있다(S120). 모델 패턴은 다양한 프로 골퍼들의 스윙 영상에서 정적 영상을 추출하여 각 스윙 단계별로 분류한 영상일 수 있으며, 이벤트 기반 비전 센서로부터 출력된 영상일 수 있고, 종래의 카메라로 촬영된 영상이거나 변환된 영상일 수도 있다. 모델 패턴은 또한 모델의 신체조건, 스윙 스타일 및 구질(드로우, 페이드 등) 등의 정보를 포함할 수 있다. 또한, 모델 패턴 데이터베이스에는 스윙을 점검하고자 하는 사용자 본인의 베스트 영상이 모델 패턴으로 포함될 수 있다.

또한, 모델 패턴은 사용자의 키, 몸무게, 나이와 같은 신체조건을 기초로 선정될 수 있다. 또는 사용자의 운동요건, 예를 들면, 정타, 비거리, 숏게임 등의 개인적인 요구사항을 기초로 선정될 수도 있고, 드라이버, 우드, 아이언 등과 같은 클럽의 종류나 구질을 고려하여 선정될 수도 있다.

자세 점검 영역과 모델 패턴이 선정되고, 사용자가 스윙 동작을 시작하게 되면, 이벤트 기반의 비전센서, 예를 들면, 동적 비전 센서에 의해 출력되는 이벤트 신호로부터 지정된 자세 점검 영역, 즉 자세 점검 위치(310) 내의 사용자 동작의 발생을 감지할 수 있다(S130). 즉, 이벤트 비전 센서가 대상 객체의 움직임을 감지하여 이벤트 신호를 수집하여 장치로 전송하면, 장치는 이벤트 기반 센서로부터 전송받은 신호를 분석하여 자세 점검 위치(310) 내에 사용자 동작이 발생했다고 판단하면 다음 단계(S140)를 진행한다.

자세 점검 영역 내의 사용자 동작의 발생이 감지되면 감지된 동작이 유효한 동작인지 판단할 수 있다(S140). 유효성 판단은 특정 운동(예를 들면, 골프 스윙)의 연결 동작이 기록된 여러 사용자의 다양한 동영상을 부분 동작에 따라서 복수의 단계와 단계별 점검 영역으로 구분하여 미리 학습한 동작 패턴 분류기를 이용하여 판단할 수 있다. 이때, 동작 패턴 분류기는 각 점검 영역별 관심 객체 등에 대한 정보를 포함할 수 있다. 영상 학습 및 패턴 분류는 이미 알려진 방법이므로 자세한 설명을 생략한다.

즉, 동작 패턴 분류기를 이용하여 자세 점검 영역, 즉, 영상의 자세 점검 위치(310) 내에서 감지된 동작이 앞서 설정한 점검 대상 동작(예를 들면, 백스윙)에 해당하는지 판단한다. 만일 사용자의 동작이 아직 어드레스 상태이거나 다운스윙이라고 판단한다면 유효하지 않은 동작으로 판단하여 다음 단계가 진행되지 않는다. 자세 점검 위치(310)는 영상 내 일부 픽셀 또는 전체 픽셀을 포함할 수 있다.

판단결과(S140) 유효한 동작이라면, 자세 점검 위치(310) 내의 사용자 동작의 정적 패턴을 추출할 수 있다(S150). 정적 패턴 추출은 유효한 동작을 감지한 시간 범위 내의 움직임 중 미리 정해진 임계시간 동안 발생한 이벤트 신호에 기초하여 사용자 동작의 정적 패턴을 추출하되, 모델 데이터베이스에서 추출한 모델 패턴의 사용자 동작에 가장 매칭하는 정적 패턴을 추출하는 것이 좋다. 여기서 정적 패턴은 동영상으로부터 추출된 정적 영상에 대응할 수 있으며, 정적 영상 내의 객체의 정보(예를 들면, 객체의 형상이나 영상 내 위치 등)를 포함할 수 있다.

사용자 동작에서 정적 패턴이 추출되면(S150), 추출된 정적 패턴 내의 관심 객체를 식별할 수 있다(S160). 이때, 동작 패턴 분류기나 모델 패턴을 이용하여 정적 패턴에서 추출할 관심 객체가 결정할 수 있다. 또는 사용자 본인이 직접 관심 객체를 결정할 수도 있다. 관심 객체(311)는 사용자의 신체의 일부, 예를 들면, 손, 팔, 어깨, 다리 등을 포함할 수 있고, 스윙 도구, 예를 들면, 클럽헤드, 샤프트 등을 포함할 수도 있다. 관심 객체는 스윙의 단계에 따라서 동작 패턴 분류기 내에 미리 지정된 것을 이용할 수도 있고, 스윙 점검포인트에 따라서 사용자가 임의로 지정할 수도 있으며, 본 실시예에 한정되지 않는다. 도 3b에 도시된 것처럼, 관심 객체가 결정되면, 결정된 관심 객체를 기초로 사용자 동작에서 추출한 정적 패턴에서 관심 객체(311)를 식별할 수 있다. 영상 내 관심 객체(311)를 식별하는 것은 알려진 방법이므로 설명을 생략한다.

사용자 동작에서 추출한 정적 패턴에서 관심 객체(311)가 식별되면, 모델 패턴 내의 관심 객체와 유사성을 비교하여, 사용자 동작(예를 들면, 백스윙 자세)의 적합성을 판단할 수 있다(S170). 도 3b를 참조하면 자세 점검 영역(310) 내의 관심 객체인 양손(311)의 형태와 모델 패턴 내의 양손의 형태가 비교될 수 있다. 사용자의 관심 객체(311)와 모델 패턴의 관심 객체를 비교하여, 형태적 유사도가 일정한 임계치 범위에 있는지 여부에 따라서 적합한 동작인지 여부를 판단할 수 있다. 모델 패턴 내의 관심 객체는 모델 데이터베이스 구축 시 미리 추출된 것일 수 있다.

관심 객체 간 유사성 판단 결과는 단말의 사용자 인터페이스를 통해서 사용자에게 피드백될 수 있다(S180). 예를 들면, 적합한 동작이 아니라고 판단된 순간 실시간으로 단말을 통해서 경고음을 발하고, 올바른 동작이라고 판단되는 순간 실시간으로 단말을 통해서 알리고(예, 딩동), 스윙 영상을 단말(10)의 화면에 리플레이할 수 있다.

도 4는 본 발명의 일 실시예에 따른 운동 자세 점검 장치의 블록도이다.

이하 도4를 참조하여 본 발명의 일 실시예에 따른 운동 자세 점검 장치의 구성을 설명한다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 운동 자세 점검 장치(100)는 이벤트 기반 비전 센서, 예를 들면 동적 비전 센서(30) 및 모델 패턴 데이터베이스(20)와 연결되어, 비전 센서(30)에 의해 출력되는 이벤트 신호로부터 사용자의 동작을 감지하고, 감지한 사용자 동작을 모델의 동작과 비교하여 적합한지를 판단하고 사용자 단말(10)을 통해서 피드백하도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 운동 자세 점검 장치 (100)는 스마트폰, 노트북 컴퓨터, 태블릭 컴퓨터, 데스크톱 컴퓨터 등과 같은 사용자 단말(10)에 구비되어 실행될 수도 있다. 또한, 비전 센서(30)는 사용자 단말(10)과 유무선 통신으로 연결되거나, USB와 같은 직렬연결수단을 통해 연결되거나 또는 단말(100)에 직접 장착될 수 있다. 비전 센서(30)와 단말(100)의 연결되어 데이터를 전송하는 방식은 본 발명의 실시예에 의해 한정되지 않는다.

또한, 도 4를 참조하면, 본 발명의 일 실시예에 따른 운동 자세 점검 장치 (100)는 자세 점검 영역 설정부(110), 모델 패턴 선정부(120), 동작 감지부(130), 동작 유효성 판단부(140), 정적 패턴 추출부(150), 관심 객체 식별부(160), 동작 적합성 판단부(170), 사용자 피드백부(180)를 포함하여 구성될 수 있다.

이하, 도 4와 도 2, 도 3a 및 도 3b를 참조하여 본 발명의 일 실시예에 따른 운동 자세 점검 장치(100)의 각 구성을 골프 스윙을 예로 들어 좀 더 상세하게 설명한다.

먼저, 사용자는 자세 점검 영역 설정부(110)를 통해 자신의 운동 동작 중에 특히 점검하고 싶은 부분 동작을 설정할 수 있다. 예를 들면, 도 2에 도시된 것처럼 모바일 단말(10)을 통해서 자신의 골프 스윙동작 중 점검하고 싶은 부분을 선택할 수 있다.

이때, 자세 점검 영역은 각 단계별 스윙 동작 시, 주요 점검대상이 되는 영상 내 자세 점검 위치, 즉 위치정보를 포함할 수 있다. 예를 들면 영상 내 픽셀의 범위(일부 또는 전부)를 포함할 수 있다. 예를 들면, 도 3a의 스윙 영상(300)에서 자세 점검 위치(310)는 백스윙 단계에서의 영상 내 픽셀의 범위를 포함할 수 있다. 픽셀의 범위는 각 단계, 즉 부분동작별로 일정부분 오버랩될 수 있다. 예를 들면, 점검대상영역이 "백스윙"이라면 해당 동작에서 영상 내 손이나 클럽이 자리 잡고 있을 위치가 자세 점검 위치(130)로 설정될 수 있다. 자세 점검 위치(130)는 유효한 동작인지 여부와 자세의 적합성을 판단하기 위한 기초가 될 수 있다.

자세 점검 영역이 설정되면, 모델 패턴 선정부(120)는 모델 패턴 데이터베이스(20)로부터 자세 점검 영역에 대응하는 모델 패턴을 선정할 수 있다. 모델 패턴은 다양한 프로 골퍼들의 스윙 영상에서 정지 영상을 추출하여 각 스윙 단계별로 분류한 영상일 수 있으며, 동적 비전 센서(30)로부터 출력된 영상일 수 있고, 종래의 카메라로 촬영된 영상이거나 변환된 영상일 수도 있다. 모델 패턴은 또한 모델의 신체조건, 스윙 스타일 및 구질(드로우, 페이드 등) 등의 정보를 포함할 수 있다. 또한, 모델 패턴 데이터베이스(20)에는 스윙을 점검하고자 하는 사용자 본인의 베스트 영상이 모델 패턴으로 포함될 수 있다.

동작 감지부(130)는 사용자가 스윙 동작(40)을 시작하게 되면, 이벤트 기반의 비전센서(30), 예를 들면, 동적 비전 센서(30)에 의해 출력되는 이벤트 신호로부터 지정된 자세 점검 영역 내의 사용자 동작의 발생을 감지할 수 있다.

동작 유효성 판단부(140)는 자세 점검 영역 내의 사용자 동작의 발생이 감지되면 감지된 동작이 유효한 동작인지 판단할 수 있다.

즉, 동작 유효성 판단부(140)는 특정 운동(예를 들면, 골프 스윙)의 연결 동작이 기록된 동영상을 부분 동작에 따라서 복수의 단계와 단계별 점검 영역으로 구분하여 미리 학습한 동작 패턴 분류기를 기초로 자세 점검 영역 내의 사용자 동작이 유효한 동작인지 판단하게 된다. 예를 들면, 도 3a에 도시된 것처럼, 자세 점검 위치(310) 내에서 감지된 동작이 앞서 설정한 자세 점검 영역에 대응하는 부분 동작(예를 들면, 백스윙)에 해당하는지 판단한다. 만일 사용자의 동작이 백스윙에 해당한다고 판단되면, 유효한 동작으로 판단하고 다음 단계를 진행한다.

정적 패턴 추출부(150)는 자세 점검 위치(310) 내의 사용자 동작의 정적 패턴을 추출할 수 있다. 정적 패턴 추출은 유효한 동작을 감지한 시간 범위 내의 움직임 중 미리 정해진 임계시간 동안 발생한 이벤트 신호에 기초하여 사용자 동작의 정적 패턴을 추출하되, 모델 데이터베이스(10)에서 추출한 모델 패턴의 사용자 동작에 가장 매칭하는 정적 패턴을 추출하는 것이 좋다. 여기서 정적 패턴은 동영상으로부터 추출된 정적 영상에 대응할 수 있으며, 정적 영상 내의 객체의 정보(예를 들면, 객체의 형상이나 영상 내 위치 등)를 포함할 수 있다.

관심 객체 식별부(160)는 추출된 정적 패턴 내의 관심 객체를 식별할 수 있다. 예를 들면, 관심 객체 식별부(160)는 동작 패턴 분류기나 모델 패턴을 기초로 정적 패턴에서 추출할 관심 객체를 결정할 수 있다. 또는 사용자가 직접 관심 객체를 결정할 수도 있다. 관심 객체(311)는 사용자의 신체의 일부, 예를 들면, 손, 팔, 어깨, 다리 등을 포함할 수 있고, 스윙 도구, 예를 들면, 클럽헤드, 샤프트 등을 포함할 수도 있다. 관심 객체는 스윙의 단계에 따라서 동작 패턴 분류기 내에 미리 지정된 것을 이용할 수도 있고, 스윙 점검포인트에 따라서 사용자가 임의로 지정할 수도 있으며, 본 실시예에 한정되지 않는다.

다음으로, 동작 적합성 판단부(170)는 식별한 관심 객체(311)와 모델 패턴 내의 대응하는 관심 객체와 유사성을 비교하여, 사용자 동작의 적합성을 판단할 수 있다. 사용자의 관심 객체(311)와 모델 패턴의 대응하는 관심 객체를 비교한 결과 형태적 유사도가 일정한 임계치 범위에 있는지 여부에 따라서 동작이 적합한지 여부를 판단할 수 있다.

사용자 피드백부(180)는 단말(10)의 사용자 인터페이스를 통해서 사용자에게 결과를 피드백할 수 있다. 예를 들면, 적합한 동작이 아니라고 판단된 순간 실시간으로 단말을 통해서 경고음을 발하고, 올바른 동작이라고 판단되면 스윙동작을 영상을 단말(10)의 화면에 리플레이할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

사용자의 특정 운동의 자세를 점검하기 위한 운동 자세 점검 장치에서 수행되는 운동 자세 점검 방법에 있어서,
이벤트 기반 비전 센서에 의해 출력되는 이벤트 신호로부터 미리 설정된 자세 점검 영역 내의 사용자 동작의 발생을 감지하는 단계;
상기 감지한 사용자 동작이 미리 정의된 자세 점검 영역에 대응하는 유효한 동작인지 판단하는 단계;
상기 판단결과 유효한 동작이라면, 상기 자세 점검 영역 내의 상기 사용자 동작의 정적 패턴을 추출하는 단계;
상기 정적 패턴에서 관심 객체를 식별하는 단계; 및
상기 정적 패턴 내의 관심 객체와 미리 선정된 모델 패턴 내의 대응하는 관심 객체의 유사 여부를 비교하여, 상기 비교 결과를 기초로 상기 사용자 동작의 적합성을 판단하는 단계를 포함하고, 또한
상기 정적 패턴을 추출하는 단계는
상기 유효한 동작을 감지한 시간 범위 내의 미리 정해진 임계시간 범위 내에 발생한 이벤트 신호에 기초하여 상기 사용자 동작의 정적 패턴을 추출하되, 상기 모델 패턴의 사용자 동작에 가장 매칭하는 정적 패턴을 추출하는 것을 특징으로 하는 운동 자세 점검 방법.
제 1항에 있어서, 상기 유효한 동작인지 판단하는 단계는,
상기 운동의 연결 동작이 기록된 동영상을 부분 동작에 따라서 복수의 단계와 단계별 점검 영역으로 구분하여 미리 학습한 동작 패턴 분류기를 기초로 상기 자세 점검 영역 내의 사용자 동작이 유효한 동작인지 판단하는 것을 특징으로 하는 운동 자세 점검 방법.
삭제
제 1항 또는 제 2항에 있어서, 상기 관심 객체를 식별하는 단계는,
상기 동작 패턴 분류기나 상기 모델 패턴을 이용하여 상기 정적 패턴에서 추출할 관심 객체를 결정하는 단계; 및
상기 결정된 관심 객체를 기초로 상기 정적 패턴에서 상기 관심 객체를 식별하는 단계를 포함하는 것을 특징으로 하는 운동 자세 점검 방법.
제 4항에 있어서, 상기 관심 객체는
상기 사용자의 신체의 일부 또는 운동 도구 중 적어도 하나를 포함하는 것을 특징으로 하는 운동 자세 점검 방법.
제1항 또는 제2항 있어서,
상기 적합성 판단 이후에 상기 판단 결과를 사용자 인터페이스를 통해 사용자에게 표현하는 단계를 더 포함하고,
상기 적합성을 판단하는 단계는, 상기 비교 결과를 기초로 상기 정적 패턴 내의 관심 객체와 미리 선정된 모델 패턴 내의 대응하는 관심 객체가 미리 정해진 임계치 범위 내의 유사도를 갖는 경우 상기 사용자 동작이 적합하다고 판단하는 것을 특징으로 하는 운동 자세 점검 방법.
제 1항 또는 제 2항에 있어서, 상기 감지하는 단계 이전에
상기 자세 점검 영역이 설정되면 상기 사용자의 신체조건이나 운동 요건을 기초로, 모델 패턴 데이터베이스로부터 상기 자세 점검 영역에 대응하는 상기 모델 패턴이 선정되는 단계를 더 포함하는 것을 특징으로 하는 운동 자세 점검 방법.
사용자의 특정 운동의 자세를 점검하기 위한 운동자세 점검 장치에 있어서,
이벤트 기반 비전 센서와 연결되어, 상기 이벤트 기반 비전 센서에 의해 출력되는 이벤트 신호로부터 미리 설정된 자세 점검 영역 내의 사용자 동작의 발생을 감지하는 동작 감지부;
상기 감지한 사용자 동작의 유효성 여부를 판단하되, 상기 운동의 연결 동작이 기록된 동영상을 부분 동작에 따라서 복수의 단계와 단계별 점검 영역으로 구분하여 미리 학습한 동작 패턴 분류기를 기초로 상기 자세 점검 영역내의 사용자 동작이 유효한 동작인지 판단하는 동작 유효성 판단부;
상기 판단 결과 유효한 동작이라면, 상기 자세 점검 영역 내의 상기 사용자 동작의 정적 패턴을 추출하는 정적 패턴 추출부;
상기 정적 패턴에서 관심 객체를 식별하는 관심 객체 식별부; 및
상기 정적 패턴 내의 관심 객체와 미리 선정된 모델 패턴 내의 대응하는 관심 객체의 유사여부를 비교하여, 상기 비교 결과를 기초로 상기 사용자 동작의 적합성을 판단하는 적합성 판단부를 포함하고, 또한
상기 정적 패턴 추출부는
상기 유효한 동작을 감지한 시간 범위 내의 미리 정해진 임계시간 범위 내에 발생한 이벤트 신호에 기초하여 상기 정적 패턴을 추출하되, 상기 모델 패턴에 가장 매칭하는 정적 패턴을 추출하는 것을 특징으로 하는 운동 자세 점검 장치.
삭제
제 8항에 있어서, 상기 관심 객체 식별부는,
상기 동작 패턴 분류기나 상기 모델 패턴을 이용하여 상기 정적 패턴에서 추출할 관심 객체를 결정하는 관심 객체 결정 유닛; 및
상기 결정된 관심 객체를 기초로 상기 정적 패턴에서 상기 관심 객체를 식별하는 관심 객체 식별 유닛을 포함하는 것을 특징으로 하는 운동 자세 점검 장치.
제 8항에 있어서,
상기 사용자의 신체조건이나 운동 요건을 기초로, 모델 패턴 데이터베이스로부터 상기 자세 점검 영역에 대응하는 상기 모델 패턴을 선정하는 모델 패턴 선정부를 더 포함하는 운동 자세 점검 장치.
제 1항 또는 제 2항에 기재된 운동 자세 점검 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체.
제 1항 또는 제 2항에 기재된 운동 자세 점검 방법을 실행하는 프로그램이 어플리케이션으로 제작되어 저장된 기록 매체.