KR20210123177A

KR20210123177A - 압력을 이용한 운동 자세 구분 방법 및 장치

Info

Publication number: KR20210123177A
Application number: KR1020200066993A
Authority: KR
Inventors: 장세윤; 이상훈; 이은호
Original assignee: 주식회사 마이다스에이치앤티
Priority date: 2020-04-02
Filing date: 2020-06-03
Publication date: 2021-10-13
Also published as: KR20210123193A; KR102369945B1; KR102421325B1

Abstract

일 실시예에 따른 운동 자세 구분 방법은, 복수의 압력 감지 셀들의 각각에 가해지는 압력을 복수의 샘플링 포인트들에서 센싱함으로써, 압력 센싱 데이터를 획득하고, 획득된 압력 센싱 데이터에 기초하여 복수의 샘플링 포인트들 별로 사용자 양발에 대한 무게 밸런스를 산출하며, 무게 밸런스에 기초하여 압력 센싱 데이터로부터 후보 입력 데이터를 추출하고, 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정할 수 있습니다.

Description

압력을 이용한 운동 자세 구분 방법 및 장치{DEVICE AND METHOD TO DISCRIMINATE EXCERSICE STANCE USING PRESSURE}

이하, 압력을 이용한 운동 시퀀스 구분 기술이 제공된다.

일반적으로 골프는 다양한 지형으로 이루어진 각각의 필드에서 홀 컵 안에 적은 타수로 공을 집어넣는 스포츠 분야이며, 필드는 그린, 페어웨이, 벙커, 등으로 구분하고 있다. 이러한 골프 스포츠는 필드의 상황에 맞는 골프채와 스윙동작으로 원활하게 공을 보내기 위해서는 정확한 스윙자세 및 동작을 많이 연습이 이루어진다. 하지만, 다양한 필드 상황에 맞춰 개별적인 자세 및 스윙은 연습하기 위해서는 전문가가 옆에서 자세 및 스윙 동작을 교정하지 않는 이상 사용자가 직접적으로 자세를 교정하기 어렵다.

사용자의 자세 교정을 보조하기 위하여, 스윙시 연속되는 자세 별로 전문가의 자세와 사용자의 자세를 구간 별로 비교하여 피드백이 제공될 필요가 있다.

일 실시예에 따른 운동 자세 구분 장치는 기계 학습 모델을 이용하여 양발의 무게를 추정하고, 무게 밸런스를 산출할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 잠재적인 자세 구분 지점인 후보 포인트를 무게 밸런스에 기초하여 추출할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 운동 자세 구간 사이의 자세 구분 지점을 식별할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 자세 구분 지점에 기초하여 사용자 및 전문가의 운동 기록을 조정할 수 있다.

일 실시예에 따른 프로세서에 의해 수행되는 운동 자세 구분 방법은, 복수의 압력 감지 셀들의 각각에 가해지는 압력을 복수의 샘플링 포인트들에서 센싱함으로써, 압력 센싱 데이터를 획득하는 단계; 상기 획득된 압력 센싱 데이터에 기초하여 상기 복수의 샘플링 포인트들 별로 사용자 양발에 대한 무게 밸런스를 산출하는 단계; 상기 무게 밸런스에 기초하여 상기 압력 센싱 데이터로부터 후보 입력 데이터를 추출하는 단계; 및 상기 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정하는 단계를 포함할 수 있다.

상기 압력 센싱 데이터를 획득하는 단계는, 상기 복수의 샘플링 포인트들 별로 상기 복수의 압력 감지 셀들의 각각에 가해지는 압력 값들을 검출함으로써 압력 센싱 벡터를 생성하는 단계; 및 상기 복수의 샘플링 포인트들에 대한 압력 센싱 벡터들을 수집함으로써 상기 압력 센싱 데이터를 획득하는 단계를 포함할 수 있다.

상기 압력 센싱 데이터를 획득하는 단계는, 상기 복수의 압력 감지 셀들 중 제1 영역에 속하는 압력 감지 셀을 이용하여 제1 측 압력 데이터를 획득하는 단계; 및 상기 복수의 압력 감지 셀들 중 제2 영역에 속하는 압력 감지 셀을 이용하여 제2 측 압력 데이터를 획득하는 단계를 포함할 수 있다.

상기 제1 측 압력 데이터를 획득하는 단계는, 상기 복수의 압력 감지 셀들에 의해 감지되는 압력 분포에 기초하여 상기 제1 영역을 결정하는 단계를 포함하고, 상기 제2 측 압력 데이터를 획득하는 단계는, 상기 압력 분포에 기초하여 상기 제2 영역을 결정하는 단계를 포함할 수 있다.

상기 무게 밸런스를 산출하는 단계는, 제1 영역에 대한 제1 무게 및 제2 영역에 대한 제2 무게를 산출하는 단계; 및 상기 제1 무게 및 상기 제2 무게의 합산 무게 대비 상기 제1 무게 및 상기 제2 무게 중 한 무게의 비율을 상기 무게 밸런스로서 산출하는 단계를 포함할 수 있다.

상기 제1 영역에 대한 제1 무게 및 제2 영역에 대한 제2 무게를 산출하는 단계는, 상기 압력 센싱 데이터로부터 개별 샘플링 포인트마다 상기 제1 영역에 대해 복수의 제1 무게 관련 입력 값들 및 상기 제2 영역에 대해 복수의 제2 무게 관련 입력 값들을 산출하는 단계; 및 무게 추정 모델을 이용하여 상기 복수의 제1 무게 관련 입력 값들로부터 상기 제1 무게를 추정하고, 상기 무게 추정 모델을 이용하여 상기 복수의 제2 무게 관련 입력 값들로부터 상기 제2 무게를 추정하는 단계를 포함할 수 있다.

상기 제1 영역에 대해 복수의 제1 무게 관련 입력 값들 및 상기 제2 영역에 대해 복수의 제2 무게 관련 입력 값들을 산출하는 단계는, 상기 제1 영역에서 감지된 압력 값들의 제1 총합, 상기 제1 총합의 제곱근, 상기 제1 총합의 변화량, 및 상기 제1 영역 내 관심 영역에서 감지된 압력 값들의 제1 합산 값 중 적어도 둘을 상기 복수의 제1 무게 관련 입력 값들로서 산출하는 단계; 및 상기 제2 영역에서 감지된 압력 값들의 제2 총합, 상기 제2 총합의 제곱근, 상기 제2 총합의 변화량, 및 상기 제2 영역 내 관심 영역에서 감지된 압력 값들의 제2 합산 값 중 적어도 둘을 상기 복수의 제2 무게 관련 입력 값들로서 산출하는 단계를 포함할 수 있다.

상기 무게 밸런스를 산출하는 단계는, 대상 샘플링 포인트에서 산출된 무게 밸런스 값 및 상기 대상 샘플링 포인트의 이전 샘플링 포인트에서 산출된 무게 밸런스 값 간의 차이가 최소 밸런스 차이 미만인 경우에 응답하여, 상기 대상 샘플링 포인트의 데이터를 배제하는 단계를 포함할 수 있다.

상기 후보 입력 데이터를 추출하는 단계는, 상기 무게 밸런스에 기초하여 상기 복수의 샘플링 포인트들 중 후보 포인트를 결정하는 단계; 및 상기 후보 포인트에 기초하여 상기 압력 센싱 데이터로부터 상기 후보 입력 데이터를 추출하는 단계를 포함할 수 있다.

상기 후보 포인트를 결정하는 단계는, 인접한 샘플링 포인트들에서의 무게 밸런스 값들 간의 차이에 기초하여 상기 후보 포인트를 결정하는 단계를 포함할 수 있다.

상기 후보 포인트를 결정하는 단계는, 대상 샘플링 포인트에서의 무게 밸런스 값 및 상기 대상 샘플링 포인트의 이전 샘플링 포인트에서의 무게 밸런스 값 간의 차이가 임계 밸런스 차이를 초과하는 경우에 응답하여, 상기 대상 샘플링 포인트를 후보 포인트로 결정하는 단계를 포함할 수 있다.

상기 후보 포인트를 결정하는 단계는, 상기 복수의 샘플링 포인트들에서의 무게 밸런스 값의 변화율에 기초하여 상기 후보 포인트를 결정하는 단계를 포함할 수 있다.

상기 후보 포인트를 결정하는 단계는, 상기 무게 밸런스 값의 기울기를 상기 복수의 샘플링 포인트들에 대해 산출하는 단계; 및 이전 샘플링 포인트에서의 기울기 부호에 반대되는 기울기 부호가 나타나는 대상 샘플링 포인트를 상기 후보 포인트로 결정하는 단계를 포함할 수 있다.

상기 후보 포인트에 기초하여 상기 압력 센싱 데이터로부터 상기 후보 입력 데이터를 추출하는 단계는, 상기 압력 센싱 데이터에서, 상기 후보 포인트를 포함하는 샘플링 구간 내의 압력 센싱 벡터를 상기 후보 입력 데이터로서 추출하는 단계를 포함할 수 있다.

상기 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정하는 단계는, 상기 자세 구분 모델을 이용하여, 후보 포인트에 대응하는 상기 후보 입력 데이터 및 상기 후보 포인트에서의 무게 밸런스로부터, 복수의 자세 구분 지점들의 각각에 대해 상기 후보 포인트가 해당 자세 구분 지점에 속할 가능성을 지시하는 점수를 산출하는 단계; 및 상기 산출된 점수에 기초하여 상기 후보 포인트가 복수의 자세 구분 지점들 중 한 구분 지점인 지 여부를 결정하는 단계를 포함할 수 있다.

상기 후보 포인트가 해당 자세 구분 지점에 속할 가능성을 지시하는 점수를 산출하는 단계는, 상기 후보 입력 데이터로부터 특징 추출 레이어를 이용하여 특징 데이터를 추출하는 단계; 및 상기 특징 데이터를 추출한 결과 및 상기 무게 밸런스로부터 상기 후보 포인트가 상기 복수의 자세 구분 지점들의 각각에 속할 가능성을 지시하는 점수를 산출하는 단계를 포함할 수 있다.

운동 자세 구분 방법은 상기 결정된 자세 구분 지점에 기초하여 생성된 운동 기록 컨텐츠를 사용자에게 제공하는 단계를 더 포함할 수 있다.

상기 운동 기록 컨텐츠를 사용자에게 제공하는 단계는, 상기 결정된 자세 구분 지점을 기준으로 상기 사용자의 운동 기록 컨텐츠의 자세 구간 및 기준 운동 컨텐츠의 자세 구간 중 적어도 하나의 길이를 조정하는 단계; 및 상기 자세 구간의 조정에 의해 동기화된 상기 운동 기록 컨텐츠 및 상기 기준 운동 컨텐츠를 재생하는 단계를 포함할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는, 복수의 압력 감지 셀들을 포함하고, 사용자의 양발에 의해 각 압력 감지 셀에 가해지는 압력을 센싱하는 압력 센서; 복수의 샘플링 포인트들에 대해 각 압력 감지 셀에 의해 감지된 압력 값으로부터 생성된 압력 센싱 벡터들을 포함하는 압력 센싱 데이터를 획득하고, 상기 획득된 압력 센싱 데이터에 기초하여 상기 양발에 대한 무게 밸런스를 상기 복수의 샘플링 포인트들 별로 산출하며, 상기 무게 밸런스에 기초하여 상기 복수의 샘플링 포인트들 중 후보 포인트를 결정하고, 상기 후보 포인트에 기초하여 상기 압력 센싱 데이터로부터 후보 입력 데이터를 추출하며, 상기 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정하는 프로세서; 및 상기 자세 구분 모델을 저장하는 메모리를 포함할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 기계 학습 모델을 이용하여 양발의 무게를 추정함으로써 센서 드리프트 및 포화에 의한 오차를 최소화하고 보다 정확한 무게 밸런스를 산출할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 잠재적인 자세 구분 지점인 후보 포인트를 무게 밸런스에 기초하여 추출함으로써, 무게 중심 이동에 의한 자세 전환의 후보군을 정확하게 검출할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 운동 자세 구간 사이의 자세 구분 지점을 기계 학습 모델을 이용하여 식별함으로써, 운동 자세의 전환 지점을 정확하게 결정할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 자세 구분 지점에 기초하여 사용자 및 전문가의 운동 기록을 조정함으로써, 무게 중심 이동을 기준으로 보다 직관적인 자세 교정 피드백을 제공할 수 있다.

도 1은 일 실시예에 따른 운동 자세 구분 장치의 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 운동 자세 구분 방법을 도시한 흐름도이다.
도 3은 일 실시예에 따른 압력 센서로부터 획득되는 압력 센싱 데이터를 설명한다.
도 4는 일 실시예에 따른 압력 센싱 데이터의 시각적 피드백을 설명한다.
도 5는 일 실시예에 따른 무게 추정을 설명한다.
도 6a 및 도 6b는 도 5에서 설명한 무게 추정에 의한 센서 보정을 설명한다.
도 7은 일 실시예에 따른 영역 별 무게 추정 및 무게 밸런스를 설명한다.
도 8은 일 실시예에 따른 후보 포인트 추출 및 자세 구분을 설명한다.
도 9는 일 실시예에 따른 자세 구분 모델을 설명한다.
도 10은 일 실시예에 따른 자세 구분 결과에 따른 운동 기록 데이터의 제공을 설명한다.
도 11 및 도 12는 일 실시예에 따른 자세 구분 결과에 따른 운동 기록 데이터의 조정 및 조정된 운동 기록 데이터의 출력을 설명한다.
도 13은 일 실시예에 따른 압력 센싱 데이터 및 이미지를 이용한 자세 구분을 설명한다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것 이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.

도 1은 일 실시예에 따른 운동 자세 구분 장치의 구성을 도시한 블록도이다.

일 실시예에 따른 운동 자세 구분 장치(100)는 사용자(190)의 운동 시퀀스를 따른 운동 자세를 구분할 수 있다. 본 명세서에서, 운동 시퀀스는 사용자(190)의 운동 행위를 단계 별로 구별한 시퀀스로서, 연속되는 일련의 운동 자세들을 포함할 수 있다. 예를 들어, 운동 시퀀스는 골프의 스윙 시퀀스로서, 스윙 시퀀스는 준비 자세(address stance), 스윙 자세(swing stance), 타격 자세(impact stance), 및 마무리 자세(finish stance)를 포함할 수 있다. 다만, 스윙 시퀀스의 자세 구분을 상술한 바로 한정하는 것은 아니고, 설계에 따라 달라질 수 있다. 아울러, 운동 행위는 골프의 스윙 행위 뿐만 아니라, 테니스의 스윙 행위, 스쿼시의 스윙 행위, 요가 포즈, 필라테스 포즈, 자세 교정, 및 발판(예를 들어, 매트)을 이용한 리듬 게임 수행 등 신체를 이용한 다양한 행위를 포함할 수 있다.

운동 자세 구분 장치(100)는 압력 센서(110), 프로세서(120), 메모리(130), 통신부(140), 및 입출력 인터페이스(150)를 포함할 수 있다. 도 1에 도시된 바와 같이 운동 자세 구분 장치(100)는 매트 형태의 하우징 내에 수용될 수 있고, 매트의 상판은 사용자(190)를 지지하며, 매트의 하판은 지면에 접할 수 있다. 다만, 이는 설명의 편의를 위한 것으로 이로 한정하는 것은 아니다.

압력 센서(110)는 복수의 압력 감지 셀들을 포함하고, 각 압력 감지 셀에 의해 감지되는 압력 값을 출력할 수 있다. 예를 들어, 압력 센서(110)는 매트 내에 수용될 수 있고, 매트의 상판에 가해지는 압력을 감지할 수 있다. 따라서 사용자(190)가 압력 센서(110) 상에 위치되는 경우, 사용자(190)의 무게가 압력 감지 셀 별로 분산되어 측정될 수 있다. 압력 센서(110)는 사용자(190)의 양발에 의해 가해지는 압력을 구분하여 감지할 수도 있다. 따라서 압력 센서(110)는 사용자(190)의 운동 행위 동안 양발에 의해 가해지는 압력의 변화를 모니터링할 수 있다. 압력 센서(110)는 하기 도 3에서 상세히 설명한다.

프로세서(120)는 압력 센서(110)에 의해 감지되는 압력 값에 관한 압력 센싱 데이터를 이용하여 사용자(190)의 양발의 무게 밸런스를 추정하고, 추정된 무게 밸런스 및 압력 센싱 데이터를 이용하여 자세 구분 지점을 결정할 수 있다. 자세 구분 지점은 상술한 운동 시퀀스에서 운동 자세들이 구분되는 지점을 나타낼 수 있다. 프로세서(120)에 의한 무게 밸런스 추정은 하기 도 7에서, 자세 구분 지점의 결정은 하기 도 8에서 설명한다.

메모리(130)는 운동 자세 구분 방법을 수행하기 위해 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(130)는 무게 추정 모델 및 자세 구분 모델을 저장할 수 있다. 무게 추정 모델은 압력 센싱 데이터로부터 무게를 추정하도록 설계된 모델을 나타낼 수 있다. 자세 구분 모델은 무게 밸런스 및 압력 센싱 값을 이용하여 자세 구분 지점을 추정하도록 설계된 모델을 나타낼 수 있다. 또한, 메모리(130)는 압력 센서(110)에 의해 센싱되는 일련의 압력 값들(예를 들어, 후술하는 압력 센싱 벡터 및 압력 센싱 데이터 등)을 저장할 수도 있다.

통신부(140)는 외부 장치로 운동 기록 컨텐츠를 유선 또는 무선 통신을 통해 전달할 수 있다. 운동 기록 컨텐츠는 압력 센싱 데이터, 무게 밸런스, 압력 피드백 데이터(예를 들어, 무게 분포를 시각화한 컨텐츠 데이터 등), 및 운동 영상 데이터(예를 들어, 운동 행위 동안 사용자(190)를 촬영한 영상 등)를 포함할 수 있다. 출력부로서 예를 들어, 디스플레이를 갖는 외부 장치는, 수신된 운동 기록 컨텐츠를 시각화할 수 있다.

입출력 인터페이스(150)는 사용자(190)로부터 입력을 수신하고, 사용자(190)에게 출력을 제공하는 모듈을 나타낼 수 있다. 예를 들어, 입출력 인터페이스(150)는 디스플레이를 포함할 수 있고, 운동 기록 컨텐츠를 시각화할 수 있다.

도 2는 일 실시예에 따른 운동 자세 구분 방법을 도시한 흐름도이다.

우선, 단계(210)에서 프로세서는 복수의 압력 감지 셀들의 각각에 가해지는 압력을 복수의 샘플링 포인트들에서 센싱함으로써, 압력 센싱 데이터를 획득할 수 있다. 예를 들어, 압력 센서는 복수의 압력 감지 셀들의 각각에 가해지는 압력 값을 감지할 수 있다. 프로세서는 복수의 샘플링 포인트들마다 복수의 압력 감지 셀들의 각각에 대응하는 압력 값들을 수신할 수 있다. 샘플링 포인트는 샘플링 레이트(sampling rate)에 따라 결정되는 시간 간격마다 압력 값이 주기적으로 샘플링되는 시점(time point)을 나타낼 수 있다. 샘플링 포인트는 샘플링 시점이라고도 나타낼 수 있다. 샘플링 레이트가 예를 들어, 10 Hz이면, 프로세서는 압력 센서의 각 압력 감지 셀에 대해 초당 10번 압력 값을 수신할 수 있다. 프로세서는 시간 흐름에 따라 압력 값들을 수집함으로써 압력 센싱 데이터를 생성할 수 있다. 압력 센싱 데이터는 하기 도 3에서 설명한다.

그리고 단계(220)에서 프로세서는 획득된 압력 센싱 데이터에 기초하여 양발에 대한 무게 밸런스를 복수의 샘플링 포인트들 별로 산출할 수 있다. 프로세서는 일측 발(예를 들어, 왼쪽 발)에 의한 무게 및 타측 발(예를 들어, 오른쪽 발)에 의한 무게를 추정하고, 양발의 밸런스를 지시하는 무게 밸런스를 산출할 수 있다. 무게 밸런스는 예시적으로 전체 무게 대비 왼쪽 발에 의한 무게의 비율일 수 있으나, 이로 한정하는 것은 아니다. 무게 밸런스는 하기 도 7에서 설명한다.

이어서 단계(230)에서 프로세서는 무게 밸런스에 기초하여 압력 센싱 데이터로부터 후보 입력 데이터를 추출할 수 있다. 일 실시예에 따르면 프로세서는 무게 밸런스에 기초하여 복수의 샘플링 포인트들 중 후보 포인트를 결정할 수 있다. 프로세서는 후보 포인트에 기초하여 압력 센싱 데이터로부터 후보 입력 데이터를 추출할 수 있다. 후보 포인트는 자세 구분 지점일 잠재적인 가능성이 있는 샘플링 포인트를 나타낼 수 있다. 자세 구분 지점은 운동 시퀀스에 따라 한 운동 자세로부터 다음 운동 자세로 전환되는 지점을 나타낼 수 있다. 후보 입력 데이터의 추출은 하기 도 8에서 설명한다.

그리고 단계(240)에서 프로세서는 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정할 수 있다. 프로세서는 후보 입력 데이터 및 대응하는 무게 밸런스에 대해 자세 구분 모델에 따른 연산을 수행함으로써, 자세 구분 결과를 산출할 수 있다. 자세 구분 결과는 후보 입력 데이터에 의해 지시되는 후보 포인트가 각 자세 구분 지점에 속할 가능성에 관한 정보를 포함할 수 있다. 예를 들어, 자세 구분 결과는 후보 포인트가 복수의 자세 구분 지점들의 각각에 속할 가능성을 지시하는 점수들을 포함할 수 있다. 프로세서는 각 후보 포인트에 대해 산출된 자세 구분 결과에 기초하여, 해당 후보 포인트가 속하는 자세 구분 지점을 식별할 수 있다. 자세 구분 지점의 결정은 하기 도 8에서 설명한다.

도 3은 일 실시예에 따른 압력 센서로부터 획득되는 압력 센싱 데이터를 설명한다.

일 실시예에 따른 압력 센서는 사용자에 의한 압력 발생이 감지되는 경우에 응답하여, 지속적으로 압력을 모니터링할 수 있다. 도 3에 도시된 바와 같이 압력 센서는 단위 영역 별로 압력 값들을 개별적으로 감지할 수 있다. 압력 센서(310)는 복수의 압력 감지 셀들(319)을 포함할 수 있다. 예를 들어, 복수의 압력 감지 셀들(319)은 매트(mat) 내에 수용되고, 매트의 평면을 따라 배치될 수 있다. 압력 감지 셀들(391)의 각각은 단위 영역마다 배치될 수 있다. 단위 영역에 배치된 개별 압력 감지 셀(391)을 단위 압력 감지 셀이라고도 나타낼 수 있다. 도 3에서 압력 감지 셀들(319)이 그리드 패턴으로 매트 평면에 평행하게 2차원 평면을 따라 배치되는 것을 도시하였으나, 이로 한정하는 것은 아니다. 압력 감지 셀들(319)은 매트의 길이 축을 따라 1차원으로 나열될 수도 있다. 압력 감지 셀(319)이 배치되는 단위 영역도 정사각형으로 도시되었으나, 이로 한정하는 것은 아니고, 설계에 따라 단위 영역의 형상은 달라질 수 있다.

압력 센서(310)는 복수의 영역들로 분류될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 압력 센서(310)는 제1 영역(311)에 속하는 압력 감지 셀들 및 제2 영역(312)에 속하는 압력 감지 셀들을 포함할 수 있다. 제1 영역(311)은 제1 측 발에 대응하는 영역으로서 압력 센서(310)에서 기준선을 기준으로 제1 측에 대응하는 영역을 나타낼 수 있다. 제2 영역(312)은 제2 측 발에 대응하는 영역으로서 기준선을 기준으로 제1 측의 반대편인 제2 측에 대응하는 영역을 나타낼 수 있다. 사용자는 제1 영역(311)에 제1 측 발(예를 들어, 왼쪽 발)을 위치시키고, 제2 영역(312)에 제2 측 발(예를 들어, 오른쪽 발)을 위치시킬 수 있다.

다만, 제1 영역(311) 및 제2 영역(312)의 결정을 이로 한정하는 것은 아니고, 제1 영역 및 제2 영역은 압력 센서에서 검출되는 압력 센싱 분포에 따라 동적으로 결정될 수도 있다. 일 실시예에 따르면 프로세서는 복수의 압력 감지 셀들에 의해 감지되는 압력 값들의 분포(이하, '압력 분포')에 기초하여 제1 영역 및 제2 영역을 결정할 수 있다. 예를 들어, 프로세서는 압력 센서(310)에 가해지는 압력 분포를 검출하고, 압력 분포에 기초하여 서로 인접한 위치(position)에서 압력 값이 센싱된 셀들을 클러스터링할 수 있다. 압력 분포는 압력 값이 검출된 압력 감지 셀(319)의 공간적 위치들(예를 들어, 압력 센서(310)에 대응하는 평면 상의 위치) 및 각 위치에서의 압력 세기(예를 들어, 압력 값)를 나타낼 수 있다. 사용자가 압력 센서(310) 상에 위치할 경우, 압력 분포에서 2개의 발에 의한 2개의 압력 그룹들이 나타날 수 있다. 압력 그룹은 압력이 검출되는 위치들 중 서로 인접한 위치의 압력 값들의 집합을 나타낼 수 있다. 프로세서는 각 압력 그룹의 평면상 중심 위치를 기준으로 각각 제1 영역(311) 및 제2 영역(312)을 동적으로 결정할 수 있다. 또한, 본 명세서에서는 설명의 편의를 위하여 압력 센서(310)가 2개의 영역들로 구분되는 예시를 설명하였으나, 이로 한정하는 것은 아니고, 2개 이상의 영역들로 분류될 수도 있다.

압력 감지 셀(319)은 매트에 가해지는 압력을 센싱함으로써 압력 데이터를 생성할 수 있다. 개별 압력 감지 셀(319)은 매시간 프레임마다 미리 결정된 샘플링 레이트로 압력 값을 센싱할 수 있다. 압력 센서(310)는 압력 감지 셀(319)의 각각 감지되는 압력 값들을 프로세서로 전달할 수 있다.

일 실시예에 따른 프로세서는 복수의 샘플링 포인트들 별로 복수의 압력 감지 셀들(319)의 각각에 가해지는 압력 값들을 검출함으로써 압력 센싱 벡터를 생성할 수 있다. 프로세서는 복수의 샘플링 포인트들에 대한 압력 센싱 벡터들을 수집함으로써 압력 센싱 데이터를 획득할 수 있다. 압력 센싱 데이터는 복수의 샘플링 포인트들에서의 압력 센싱 벡터들을 포함할 수 있다. 예를 들어, 압력 센싱 데이터는 T개의 샘플링 포인트들에 대한 압력 센싱 벡터들을 포함할 수 있다. T는 사용자에 의한 일련의 행위가 수행되는 동안 압력 센서(310)에 의해 수집되는 샘플링 포인트들의 총 개수로서, 예를 들어, T는 1이상의 정수일 수 있다. T는 압력 값 수집 시간 및 샘플링 레이트에 따라 결정될 수 있다. 복수의 샘플링 포인트들 중 한 샘플링 포인트에 대한 압력 센싱 벡터는 해당 샘플링 포인트에서 복수의 압력 감지 셀들(pressure detecting cells)에 의해 센싱된 압력 값들(압력 샘플링 값들)을 포함할 수 있다. 예시적으로 일측 발에 대한 압력 센싱 벡터는 아래와 같이 나타낼 수 있다.

[수학식 1]

X_t는 t번째 샘플링 포인트에 대한 압력 센싱 벡터로서, N x M 차원의 벡터일 수 있다. N, 및 M은 각각 1이상의 정수일 수 있다. t는 1이상 T이하의 정수일 수 있다. x^(t) _ij는 t번째 샘플링 포인트에서 i번째 행의 j번째 열에 배치된 압력 센싱 셀에 의해 센싱된 압력 값을 나타낼 수 있다. i는 1이상 N이하의 정수, j는 1이상 M이하의 정수일 수 있다. 압력 센싱 데이터는 T개의 압력 센싱 벡터들을 포함하고, 각 압력 센싱 벡터는 N x M개의 압력 값들을 포함할 수 있다. 압력 센싱 데이터는 총 T x N x M개의 압력 값들을 포함할 수 있다.

도 3은 제1 측의 압력 센싱 데이터(321) 및 제2 측의 압력 센싱 데이터(322)를 도시한다. 프로세서는 복수의 압력 감지 셀들(319) 중 제1 영역(311)에 속하는 압력 감지 셀을 이용하여 제1 측의 압력 데이터(321)를 획득할 수 있다. 프로세서는 복수의 압력 감지 셀들(319) 중 제2 영역(312)에 속하는 압력 감지 셀을 이용하여 제2 측 압력 데이터(322)를 획득할 수 있다. 제1 측의 압력 센싱 데이터(321)는 제1 영역(311)의 압력 감지 셀들로부터 감지된 압력 값들에 관한 제1 압력 센싱 벡터들(X_L,1 내지 X_L,T)을 포함할 수 있다. 제2 측의 압력 센싱 데이터(322)는 제2 영역(312)의 압력 감지 셀들로부터 감지된 압력 값들에 관한 제2 압력 센싱 벡터들(X_R,1 내지 X_R,T)을 포함할 수 있다. 제1 압력 센싱 벡터들(X_L,1 내지 X_L,T) 및 제2 압력 센싱 벡터들(X_R,1 내지 X_R,T)은 상술한 수학식 1과 같이 표현될 수 있다. 제1 압력 센싱 벡터들(X_L,1 내지 X_L,T)은 사용자의 왼쪽 발에 의한 압력 값들, 제2 압력 센싱 벡터들(X_R,1 내지 X_R,T)은 사용자의 오른쪽 발에 의한 압력 값들을 나타낼 수 있으나, 사용자의 발 위치에 따라 달라질 수도 있다.

참고로, 압력 센서(310) 및/또는 프로세서는 모든 샘플링 포인트에서 압력 센싱 벡터를 수집하는 대신, 일부 샘플링 포인트의 압력 센싱 벡터를 배제할 수도 있다. 예를 들어, 압력 센서(310) 및/또는 프로세서는 직전 및/또는 이전 샘플링 포인트에서의 압력 센싱 벡터(예를 들어, 이전 압력 벡터)와 현재 샘플링 포인트에서의 압력 센싱 벡터(예를 들어, 현재 압력 벡터)가 동일 및/또는 유사한 경우 현재 압력 벡터의 수집을 스킵(skip)할 수 있다. 예를 들어, 프로세서는 이전 압력 벡터 및 현재 압력 벡터 간의 차이가 임계 벡터 차이 미만인 경우에 응답하여, 현재 압력 벡터의 수집을 스킵할 수 있다. 프로세서는 이전 압력 벡터 및 현재 압력 벡터 간의 벡터 거리(예를 들어, 유클리드 거리)를 상술한 차이로서 산출할 수 있다. 다만, 벡터 간의 차이를 상술한 바로 한정하는 것은 아니고, 설계에 따라 변경될 수도 있다. 따라서 운동 자세 판별 장치는 압력 센싱 데이터에 의해 차지되는 메모리 크기를 절감하고, 연산량을 감소시킬 수도 있다.

도 4는 일 실시예에 따른 압력 센싱 데이터의 시각적 피드백을 설명한다.

일 실시예에 따르면 프로세서는 통신부 및/또는 입출력 인터페이스로 압력 센싱 데이터 및/또는 무게 밸런스를 제공할 수 있다. 운동 자세 구분 장치는 압력 센싱 데이터, 무게 밸런스, 및 운동 가이드 정보를 함께 사용자에게 제공할 수 있다. 운동 자세 구분 장치는 압력 센싱 데이터에 기초하여 매 샘플링 포인트 별로 압력 분포를 지시하는 그래픽 객체(410)를 생성할 수 있다. 또한, 운동 자세 구분 장치는 해당 샘플링 포인트에 대응하는 무게 밸런스를 지시하는 그래픽 객체(420)도 생성할 수 있다. 무게 밸런스는 도 4에서 백분율(예를 들어, 왼쪽 발에 의한 무게 49.5%, 오른쪽 발에 의한 무게 50.5%)로 도시되었으나, 이로 한정하는 것은 아니고, 0이상 1이하의 값을 갖는 실수로 표현될 수도 있다. 운동 자세 구분 장치는 해당 타이밍에서 요구되는 밸런스에 관한 그래픽 객체(430)를 같이 제공할 수 있다. 운동 자세 구분 장치의 입출력 인터페이스가 디스플레이를 포함하는 경우, 디스플레이가 상술한 그래픽 객체들(410, 420, 430)를 시각화하여 출력할 수 있다.

또한, 통신부는 외부 장치로 압력 센싱 데이터 및/또는 무게 밸런스를 송신할 수 있다. 외부 장치의 디스플레이는 압력 센싱 데이터에 기초하여 양발의 압력 분포를 시각화하여 출력할 수 있다. 외부 장치의 디스플레이는 무게 밸런스를 시각화하여 출력할 수도 있다. 예를 들어, 외부 장치의 프로세서가 압력 분포를 지시하는 그래픽 객체(410), 무게 밸런스를 지시하는 그래픽 객체(420), 및 각 타이밍에서 요구되는 밸런스에 관한 그래픽 객체(430)를 생성하고, 디스플레이를 통해 출력할 수 있다.

압력 분포를 지시하는 그래픽 객체(410)는 압력 센서 상의 위치들에 대응하는 칸들(spaces)을 포함할 수 있다. 예를 들어, 압력 센서가 2 x N x M개의 압력 감지 셀들을 포함하는 경우, 그래픽 객체(410)는 2 x N x M개의 칸들을 포함할 수 있다. 도 4에서 개별 칸은 사각형으로 도시되었으나, 이로 한정하는 것을 아니다. 그래픽 객체(410)에 지정된 그래픽 영역 내에서 개별 칸의 그래픽 위치는 압력 감지 셀의 압력 센서 상 공간적 위치에 대응하고, 개별 칸에 할당된 색상은 해당 압력 감지 셀에 의해 감지된 압력 세기에 대응할 수 있다. 압력 감지 셀의 압력 감지 범위는 복수의 세기 구간들로 분류될 수 있고, 각 세기 구간에 색상이 매핑될 수 있다. 세기 구간에는 해당 세기 구간의 크기에 비례하는 채도를 갖는 색상이 매핑될 수 있다. 다만, 세기 구간 별 매핑되는 색상의 채도, 명도, 휴(hue)는 설계에 따라 달라질 수 있다. 예를 들어, 압력 감지 셀에 의해 감지된 압력 세기가 압력 감지 범위의 한 세기 구간에 속하는 경우, 프로세서는 해당 압력 감지 셀에 대응하는 칸에 대해 해당 세기 구간에 대응하는 색상을 결정할 수 있다. 프로세서는 복수의 압력 감지 셀들의 각각에 대응하는 칸에 세기 구간 별 색상을 결정함으로써 그래픽 객체(410)를 생성할 수 있다.

무게 밸런스를 지시하는 그래픽 객체(420)는 해당 샘플링 구간에서 사용자의 무게 밸런스 값을 나타낼 수 있다. 예를 들어, 그래픽 객체(420)는 전체 무게 대비 제1 측 발에 의한 제1 무게의 비율 및 전체 무게 대비 제2 측 발에 의한 제2 무게의 비율을 포함할 수 있다.

밸런스에 관한 그래픽 객체(430)는 각 자세 구간 별 전문가의 밸런스 값을 포함할 수 있다.

도 5는 일 실시예에 따른 무게 추정을 설명한다.

프로세서는 압력 센싱 데이터로부터 양발에 의한 무게를 각각 추정할 수 있다. 도 5에서는 일측 발에 의한 무게 추정을 우선 설명한다.

일 실시예에 따르면 프로세서는 압력 센싱 데이터를 전처리하여 복수의 무게 관련 입력 값들을 생성할 수 있다. 프로세서는 생성된 복수의 무게 관련 입력 값들로부터 무게 추정 모델(520)에 기초하여 무게를 추정할 수 있다. 예를 들어, 프로세서는 무게를 추정하도록 설계된 무게 추정 모델(520)(예를 들어, 뉴럴 네트워크로서, 복수의 히든 레이어를 포함하는 다층 퍼셉트론 모델 등)에 의한 연산을 복수의 입력 데이터에 대해 시행함으로써 무게 추정 결과를 산출할 수 있다.

프로세서는 복수의 입력 데이터로서, 일측 발에 의한 압력 값들의 총합(511), 총합의 제곱근(512), 총합의 변화량(513), 및 관심 영역 별 합산 값(514) 중 적어도 하나를 생성할 수 있다. 총합의 변화량(513)은 임의의 샘플링 포인트에서 일측 발에 의한 압력 값들의 총합 및 그 이전 샘플링 포인트(예를 들어, 직전 샘플링 포인트)에서 일측 발에 의한 압력 값들의 총합 간의 차이일 수 있다. 총합의 변화량(513)은 변화량이 매우 크거나 0이 되는 경우 배제될 수 있다.

관심 영역은 일측 발에 대응하는 영역의 중심부를 기준으로 정의되는 영역일 수 있으나, 이로 한정하는 것은 아니다. 관심 영역은 한 개일 수도 있지만 여러 개일 수도 있다. 일측 영역에 포함된 압력 감지 셀들이 개수가 N x M개(예를 들어, 16x8)이면 중앙에 위치된 일부 셀들로 설정될 수 있다. 관심 영역은 사람의 발 형상의 윤곽을 가지는 영역일 수 있으나, 이로 한정하는 것은 아니다. 압력 센서(510) 상의 영역 별로 센싱되는 압력 값에 차이가 발생할 수 있는데, 운동 자세 구분 장치는 관심 영역 내의 압력 값의 합산을 산출하여 무게 추정 모델(520)에 입력함으로써 공간적 위치 별 센싱 값 차이를 무게 추정에 반영할 수 있다. 따라서 운동 자세 구분 장치는 사용자 발에 의한 직접적인 압력 외 압력 센서(510)의 상하판에 의한 간접적인 압력을 구분할 수 있다. 참고로, 일측 영역(예를 들어, 왼쪽 발 영역) 내에서 관심 영역은 단일 영역일 수 있으나, 이로 한정하는 것은 아니고, 복수로 구성될 수도 있다. 관심 영역이 복수인 경우, 관심 영역 별로 합산 값이 산출될 수도 있다.

운동 자세 구분 장치는 무게 추정 모델(520)에 기초하여, 복수의 입력 데이터로부터 추정된 무게(590)를 산출할 수 있다. 무게 추정 모델(520)은 복수의 입력 데이터로부터 무게를 추정하도록 설계된 모델로서, 예를 들어, 기계 학습 구조일 수 있고, 뉴럴 네트워크(500)를 포함할 수 있다.

뉴럴 네트워크(neural network)(500)는 딥 뉴럴 네트워크(DNN, deep neural network)의 예시에 해당할 수 있다. DNN은 완전 연결 네트워크(fully connected network), 딥 컨볼루셔널 네트워크(deep convolutional network) 및 리커런트 뉴럴 네트워크(recurrent neural network) 등을 포함할 수 있다. 뉴럴 네트워크(500)는 딥 러닝에 기반하여 비선형적 관계에 있는 입력 데이터 및 출력 데이터를 서로 매핑함으로써 다양한 작업(예를 들어, 무게 추정, 자세 분류 등)을 수행할 수 있다. 딥 러닝은 빅 데이터 세트로부터 기계 학습 기법으로 지도식(supervised) 또는 비지도식(unsupervised) 학습을 통해 입력 데이터 및 출력 데이터를 서로 매핑할 수 있다. 도 5를 참조하면, 뉴럴 네트워크(500)는 입력 레이어(501), 히든 레이어(502) 및 출력 레이어(503)를 포함한다. 입력 레이어(501), 히든 레이어(502) 및 출력 레이어(503)는 각각 복수의 인공 노드들을 포함한다. 도 9에 도시된 자세 구분 모델은 컨볼루셔널 네트워크를 포함할 수 있다.

도 5에는 설명의 편의를 위해 히든 레이어(502)가 3개의 레이어를 포함하는 것으로 도시되었나, 히든 레이어(502)는 다양한 수의 레이어들을 포함할 수 있다. 예를 들어, 히든 레이어(502)는 2개의 레이어를 포함할 수도 있다. 또한, 도 5에서 뉴럴 네트워크(500)는 입력 데이터를 수신하기 위한 별도의 입력 레이어를 포함하는 것으로 도시되었으나, 입력 데이터가 히든 레이어(502)에 직접 입력될 수 있다. 뉴럴 네트워크(500)에서 출력 레이어(503)를 제외한 레이어들의 인공 노드들은 출력 신호를 전송하기 위한 링크들을 통해 다음 레이어의 인공 노드들과 연결될 수 있다. 링크들의 수는 다음 레이어에 포함된 인공 노드들의 수에 대응할 수 있다.

히든 레이어(502)에 포함된 각각의 인공 노드에는 이전 레이어에 포함된 인공 노드들의 가중된 입력들(weighted inputs)에 관한 활성 함수(activation function)의 출력이 입력될 수 있다. 가중된 입력은 이전 레이어에 포함된 인공 노드들의 입력에 가중치(weight)가 곱해진 것이다. 가중치는 뉴럴 네트워크(500)의 파라미터로 지칭될 수 있다. 활성 함수는 시그모이드(sigmoid), 하이퍼볼릭 탄젠트(hyperbolic tangent; tanh) 및 렐루(rectified linear unit; ReLU)를 포함할 수 있고, 활성 함수에 의해 뉴럴 네트워크(500)에 비선형성이 형성될 수 있다. 출력 레이어(503)에 포함된 각각의 인공 노드에는 이전 레이어에 포함된 인공 노드들의 가중된 입력들이 입력될 수 있다.

일 실시예에 따르면 뉴럴 네트워크(500)는 입력 데이터가 주어지면 히든 레이어(502)를 거쳐 출력 레이어(503)에서 회귀 값을 출력할 수 있다. 예를 들어, 도 5에 도시된 무게 추정 모델(520)은 출력 레이어(503)에서 추정된 무게(590)에 대응하는 회귀 값을 출력할 수 있다. 참고로, 아래 도 9에서 후술하는 자세 구분 모델은 식별하고자 하는 클래스의 수에 따라 함수 값을 계산하고, 이들 중 가장 큰 값을 갖는 클래스를 식별할 수 있다.

뉴럴 네트워크(500)의 폭과 깊이가 충분히 크면 임의의 함수를 구현할 수 있을 만큼의 용량(capacity)을 가질 수 있다. 뉴럴 네트워크(500)가 적절한 트레이닝 과정을 통해 충분히 많은 트레이닝 데이터를 학습하면, 최적의 인식 성능을 달성할 수 있다. 무게 추정 모델(520)에 포함된 뉴럴 네트워크(500)의 파라미터(예를 들어, 연결 가중치)는 미리 트레이닝될 수 있다. 예를 들어, 트레이닝 입력 및 트레이닝 출력(예를 들어, 참값(ground truth))의 쌍으로 된 트레이닝 데이터에 기초하여 뉴럴 네트워크(500)의 파라미터가 업데이트될 수 있다. 트레이닝 도중의 뉴럴 네트워크(500)는 임시 네크워크로 지칭될 수 있다. 임시 네트워크는 트레이닝 입력을 각 레이어에 전파시켜 임시 출력을 산출할 수 있고, 임시 네트워크의 파라미터는 임시 출력 및 트레이닝 출력 간의 손실이 감소되도록 업데이트될 수 있다. 상술한 트레이닝의 반복에 의해 손실이 목표에 도달하면 트레이닝이 종료될 수 있다.

도 6a 및 도 6b는 도 5에서 설명한 무게 추정에 의한 센서 보정을 설명한다.

도 6a는 압력 센서에서 발생 가능한 센서 드리프트 오차를 설명한다. 압력 센서의 동작 시간이 증가할 수록, 압력 센서의 센싱 값에 편향이 발생할 수 있다. 일 실시예에 따른 운동 자세 구분 장치는 시간에 따른 센싱 값 변화율을 매 시점마다 계산하여 무게 추정 모델에 반영함으로써 오차를 개선할 수 있다. 예를 들어, 운동 자세 구분 장치는 도 5에서 설명한 총합의 변화량(513)을 무게 추정 모델에 입력함으로써, 시간에 따른 편향에 의한 오차(615)가 발생한 센싱 값(610)을 보정한 결과(620)를 산출할 수 있다.

도 6b는 압력 센서에서 발생 가능한 센싱 값 포화 현상을 설명한다. 이상적으로는 무게 값에 비례하여 센싱 값이 선형적으로 증가해야 한다. 센싱되는 무게 값이 증가할수록, 센싱 값의 편차가 감소할 수 있다. 일 실시예에 따른 운동 자세 구분 장치는 도 5에서 설명한 총합의 제곱근(502) 및 무게 추정 모델의 비선형 활성 함수를 통해 센싱 값 포화에 의한 오차(635)가 발생한 센싱 값(630)을 보정한 결과(640)를 산출할 수 있다.

도 7은 일 실시예에 따른 영역 별 무게 추정 및 무게 밸런스를 설명한다.

일 실시예에 따른 운동 자세 구분 장치는 제1 영역(711)에 대한 제1 무게(731) 및 제2 영역(712)에 대한 제2 무게(732)를 산출할 수 있다. 예를 들어, 운동 자세 구분 장치는 압력 센싱 데이터로부터 개별 샘플링 포인트마다 제1 영역(711)에 대해 복수의 제1 무게(731) 관련 입력 값들 및 제2 영역(712)에 대해 복수의 제2 무게(732) 관련 입력 값들을 산출할 수 있다. 프로세서는 제1 영역(711)에서 감지된 압력 값들의 제1 총합, 제1 총합의 제곱근, 제1 총합의 변화량, 및 제1 영역(711) 내 관심 영역에서 감지된 압력 값들의 제1 합산 값 중 적어도 둘을 복수의 제1 무게(731) 관련 입력 값들로서 산출할 수 있다. 프로세서는 제2 영역(712)에서 감지된 압력 값들의 제2 총합, 제2 총합의 제곱근, 제2 총합의 변화량, 및 제2 영역(712) 내 관심 영역에서 감지된 압력 값들의 제2 합산 값 중 적어도 둘을 복수의 제2 무게(732) 관련 입력 값들로서 산출할 수 있다. 운동 자세 구분 장치는 무게 추정 모델(720)을 이용하여 복수의 제1 무게(731) 관련 입력 값들로부터 제1 무게(731)를 추정하고, 무게 추정 모델(720)을 이용하여 복수의 제2 무게(732) 관련 입력 값들로부터 제2 무게(732)를 추정할 수 있다. 무게 추정은 도 5에서 상술하였으므로 자세한 설명은 생략한다.

일 실시예에 따르면 운동 자세 구분 장치는 제1 무게(731) 및 제2 무게(732)의 합산 무게 대비 제1 무게(731) 및 제2 무게(732) 중 한 무게의 비율을 무게 밸런스(740)(weight balance)로서 산출할 수 있다. 예를 들어, 프로세서는 제1 측 발에 의한 제1 무게(731) 및 제2 측 발에 의한 제2 무게(732)를 각각 추정하고, 제1 무게(731) 및 제2 무게(732)의 합산 무게 대비 제1 무게(731) 및 제2 무게(732) 중 한 무게의 비율을 무게 밸런스(740)로서 산출할 수 있다. 예를 들어, 프로세서는 합산 무게에 대한 왼쪽 발에 의한 무게의 비율을 무게 밸런스(740)로서 산출할 수 있다. 무게 밸런스(740)는 0이상 1이하의 실수 값을 나타낼 수 있다. 무게 밸런스(740)가 1이면 제1 측 발(예를 들어, 왼쪽 발)에 체중이 쏠린 상태일 수 있고, 무게 밸런스(740)가 0이면 제2 측 발(예를 들어, 오른쪽 발)에 체중이 쏠린 상태를 나타낼 수 있다. 다만, 무게 밸런스(740)를 0이상 1 이하의 실수 값의 비율로 표시하는 것으로 한정하는 것은 아니고, 무게 밸런스 값은 백분율로 표현될 수도 있다.

예시적으로 프로세서는 이전 샘플링 포인트에서 산출된 무게 밸런스 값(예를 들어, 이전 무게 밸런스) 및 현재 샘플링 포인트에서 산출된 무게 밸런스 값(예를 들어, 현재 무게 밸런스)이 동일 또는 유사하면, 현재 무게 밸런스의 수집을 스킵할 수 있다. 예를 들어, 프로세서는 이전 무게 밸런스 및 현재 무게 밸런스 간의 차이가 최소 밸런스 차이 미만인 경우에 응답하여, 현재 무게 밸런스의 수집을 스킵할 수 있다. 프로세서는 현재 무게 밸런스에 대응하는 샘플링 포인트에서의 압력 센싱 벡터도 배제할 수 있다. 따라서, 운동 자세 판별 장치는 압력 센싱 데이터에 의해 차지되는 메모리 크기를 절감하고, 이후 자세 분류 모델을 이용한 연산에서의 연산량을 감소시킬 수도 있다.

도 8은 일 실시예에 따른 후보 포인트 추출 및 자세 구분을 설명한다.

일 실시예에 따른 프로세서는 무게 밸런스(810)에 기초하여 복수의 샘플링 포인트들 중 후보 포인트를 결정할 수 있다.

예를 들어, 프로세서는 인접한 샘플링 포인트들에서의 무게 밸런스(810) 값들 간의 차이에 기초하여 후보 포인트를 결정할 수 있다. 프로세서는 대상 샘플링 포인트에서의 무게 밸런스(810) 값 및 대상 샘플링 포인트의 이전 샘플링 포인트에서의 무게 밸런스(810) 값 간의 차이(예를 들어, 절대값 차이)가 임계 밸런스 차이를 초과하는 경우에 응답하여, 대상 샘플링 포인트를 후보 포인트로 결정할 수 있다. 다시 말해, 프로세서는 인접한 샘플링 포인트에 대해 무게 밸런스(810) 값들 간 차이가 최소 밸런스 차이 이상인 샘플링 포인트들 중에서, 임계 밸런스 차이를 초과하는 샘플링 포인트를 후보 샘플링 포인트로 결정할 수 있다. 최소 밸런스 차이는 0에 가까운 값일 수 있고, 임계 밸런스 차이는 최소 밸런스 차이보다 클 수 있다.

다른 예를 들어, 프로세서는 복수의 샘플링 포인트들에서의 무게 밸런스(810) 값의 변화율에 기초하여 후보 포인트를 결정할 수 있다. 프로세서는 무게 밸런스(810) 값의 기울기를 복수의 샘플링 포인트들에 대해 산출할 수 있다. 프로세서는 이전 샘플링 포인트에서의 기울기 부호에 반대되는 기울기 부호가 나타나는 대상 샘플링 포인트를 후보 포인트로 결정할 수 있다. 다시 말해, 프로세서는 무게 밸런스(810) 값의 기울기의 부호가 전환되는 샘플링 포인트를 후보 포인트로 결정할 수 있다. 이 때, 프로세서는 무게 밸런스(810) 값들의 기울기에 대해 이동 평균 필터(moving average filter) 연산을 적용할 수 있다. 프로세서는 산출된 기울기의 부호가 전환되는 샘플링 포인트를 후보 포인트로 결정할 수 있다. 예를 들어, 기울기의 부호가 음에서 양으로 전환되는 지점 또는 양에서 음으로 전환되는 지점일 수 있다. 이동 평균 필터가 적용된 기울기들에 있어서, 특정 길이만큼 같은 값을 가지는 구간이 발생할 수 있다. 무게 밸런스(810) 값이 감소했다가 증가하는 경우, 이동 평균 필터를 통과한 기울기는 예시적으로 샘플링 포인트들마다 다음과 같이 나타날 수 있다. 이동 평균 필터를 통과한 기울기들=[-24, 0, 0, 0, -12, 0, 0, 0, -5, 0, 0, 0, 5, 0, 0, 0, 11, 0, 0, 0, 21, 0, 0] 이 경우, 프로세서는 음수였던 기울기 부호가 처음으로 양(positive)이 되는 되는 '5' 값을 갖는 13번째 샘플링 포인트를 변곡점으로서 후보 포인트로 결정할 수 있다.

일 실시예에 따른 프로세서는 상술한 바와 같이 결정된 후보 포인트에 기초하여 압력 센싱 데이터로부터 후보 입력 데이터(820)를 추출할 수 있다. 프로세서는 선별된 후보 포인트를 기준으로 압력 센싱 벡터를 압력 센싱 데이터로부터 추출할 수 있다. 예를 들어, 프로세서는 압력 센싱 데이터에서, 후보 포인트를 포함하는 샘플링 구간 내의 압력 센싱 벡터를 후보 입력 데이터(820)로서 추출할 수 있다. 프로세서는 후보 포인트 및 후보 포인트에 인접한 샘플링 포인트들에서 센싱된 압력 센싱 벡터들을 후보 입력 데이터(820)로서 추출할 수 있다. 프로세서는 복수의 후보 포인트 별로 후보 입력 데이터(820)를 추출할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 프로세서는, 후보 포인트인 k번째 샘플링 포인트에서, 샘플링 구간 2G+1(여기서, G는 1이상의 정수)에 대해, X_L,K-G 내지 X_L,K+G의 압력 센싱 벡터들 및 X_R,K-G 내지 X_R,K+G의 압력 센싱 벡터들을 후보 입력 데이터(820)로서 추출할 수 있다. 도 8에서는 예시적으로 제1 후보 포인트 내지 제9 후보 포인트(811 내지 819)에 대해 후보 입력 데이터(820)가 추출될 수 있다.

일 실시예에 따른 프로세서는 임의의 후보 포인트에서의 무게 밸런스(810) 및 후보 입력 데이터(820)로부터, 자세 구분 모델(830)에 기초하여 자세 구분 결과(840)를 산출할 수 있다. 자세 구분 결과(840)는 복수의 자세 구분 지점들의 각각에 대해 후보 포인트가 해당 자세 구분 지점에 속할 가능성을 지시하는 점수를 포함할 수 있다. 자세 구분 지점에 속할 가능성을 지시하는 점수는 해당 후보 포인트가 해당 자세 구분 지점일 확률로서, 예를 들어, 0이상 1이하의 값을 나타낼 수 있다. 자세 구분 지점에 속할 가능성을 지시하는 점수가 0에 가까울 수록 해당 지점에 속하지 않을 가능성이 높고, 자세 구분 지점에 속할 가능성을 지시하는 점수가 1에 가까울수록 해당 지점에 속할 가능성이 높을 수 있다.

프로세서는 산출된 점수에 기초하여 후보 포인트가 복수의 자세 구분 지점들 중 한 구분 지점인 지 여부를 결정할 수 있다. 예를 들어, 프로세서는 후보 포인트에 대해 복수의 자세 구분 지점들에 대한 점수들을 산출하고, 복수의 자세 구분 지점들에 대한 점수들 중 가장 높은 점수가 임계 점수를 초과하는 지 여부를 판단할 수 있다. 가장 높은 점수가 임계 점수를 초과하는 경우, 프로세서는 해당 후보 포인트가 가장 높은 점수에 대응하는 자세 구분 지점인 것으로 결정할 수 있다. 후보 포인트에 대해 산출된 점수들이 모두 임계 점수 이하인 경우, 프로세서는 해당 후보 포인트가 자세 구분 지점이 아닌 것으로 판단하여 배제할 수 있다.

예시적으로 도 8에서 프로세서는, 자세 구분 모델(830)에 기초한 자세 구분 결과(840)를 이용하여, 제1 후보 포인트(811)를 제1 자세 구분 지점(851), 제3 후보 포인트(813)를 제2 자세 구분 지점(853), 제8 후보 포인트(818)를 제3 자세 구분 지점(858)으로 결정할 수 있다. 프로세서는 각 자세 구분 지점 사이의 샘플링 포인트들을 자세 구간으로 결정함으로써 운동 기록 컨텐츠(850)를 생성할 수 있다. 예를 들어, 프로세서는 제1 자세 구분 지점(851) 이전의 샘플링 포인트들을 제1 자세 구간(861)(예를 들어, 준비 자세 구간), 제1 자세 구분 지점(851) 및 제2 자세 구분 지점(853) 사이의 샘플링 포인트들을 제2 자세 구간(862)(예를 들어, 스윙 자세 구간), 제2 자세 구분 지점(853) 및 제3 자세 구분 지점(858) 사이의 샘플링 포인트들을 제3 자세 구간(863)(예를 들어, 타격 자세 구간), 및 제3 자세 구분 지점(858) 이후의 샘플링 포인트들을 제4 자세 구간(864)(예를 들어, 마무리 자세 구간)으로 분류할 수 있다. 프로세서는 샘플링 포인트의 자세 구간 분류 결과에 따라 압력 센싱 데이터, 무게 밸런스(810), 및 운동 영상 데이터 등을 조정함으로써 운동 기록 컨텐츠(850)를 생성할 수 있다.

도 9는 일 실시예에 따른 자세 구분 모델을 설명한다.

일 실시예에 따른 자세 구분 모델(910)은 한 샘플링 포인트(예를 들어, 후보 포인트)를 기준으로 결정된 후보 입력 데이터(901) 및 해당 샘플링 포인트에서의 무게 밸런스로부터 해당 샘플링 포인트가 개별 자세 구분 지점일 가능성을 지시하는 점수를 출력하도록 설계될 수 있다. 자세 구분 모델(910)은 뉴럴 네트워크를 포함할 수 있다. 자세 구분 모델(910)은 트레이닝 데이터에 기초하여 트레이닝된 파라미터(예를 들어, 연결 가중치)를 가질 수 있다. 예를 들어, 트레이닝 데이터는 임의의 샘플링 포인트의 트레이닝용 후보 입력 데이터(901)(예를 들어, 해당 샘플링 포인트를 포함하는 구간의 트레이닝용 압력 센싱 벡터들 및 해당 샘플링 포인트의 트레이닝용 무게 밸런스 값) 및 트레이닝 출력(예를 들어, 참값으로서 해당 샘플링 포인트가 속하는 자세 구분 지점의 클래스)의 쌍일 수 있다. 트레이닝 중의 자세 구분 모델(910)은 임시 모델로서, 트레이닝용 후보 입력 데이터(901)를 전파시켜 임시 출력을 산출하고, 임시 출력 및 트레이닝 출력 간의 손실이 최소화되도록 임시 모델의 파라미터가 업데이트될 수 있다. 손실이 목표치에 도달하는 경우, 트레이닝이 종료되고 트레이닝된 파라미터가 저장될 수 있다.

자세 구분 결과(909)는 후보 포인트가 개별 자세 구분 지점에 속할 가능성을 지시하는 점수로서, 자세 구분 결과(909)=[score₁, score₂, ..., score_K]로 표현될 수 있다. 제1 스코어 score₁는 후보 포인트가 제1 자세 구분 지점일 가능성을 지시하는 스코어(예를 들어, 확률)를 나타내고, 제K 스코어 score_K 는 후보 포인트가 제K 자세 구분 지점일 가능성을 지시하는 스코어를 나타낼 수 있다. 여기서, K는 1이상의 정수일 수 있다. 본 명세서에서 K는 3인 예시를 설명한다. 예를 들어, 운동 행위로서 골프 스윙은 준비 동작 자세 구간, 스윙 자세 구간, 타격 자세 구간, 및 마무리 자세 구간으로 구분될 수 있다. 자세 구분 지점은 준비-스윙 구분 지점(예를 들어, 제1 자세 구분 지점), 스윙-타격 구분 지점(예를 들어, 제2 자세 구분 지점), 및 타격-마무리 구분 지점(예를 들어, 제3 자세 구분 지점)을 포함할 수 있다. 다만, 이로 한정하는 것은 아니고, 운동 행위 별로 자세 구분의 기준이 달라질 수 있다.

일 실시예에 따르면 자세 구분 모델(910)은 입력 레이어, 특징 추출 레이어, 및 출력 레이어를 포함할 수 있다. 예를 들어, 프로세서는 입력 레이어에 후보 입력 데이터(901)를 입력할 수 있다. 입력 레이어에 입력된 후보 입력 데이터(901)는 특징 추출 레이어로 전파될 수 있다. 프로세서는 후보 입력 데이터(901)로부터 특징 추출 레이어를 이용하여 특징 데이터(904)를 추출할 수 있다. 프로세서는 추출된 특징 데이터(904) 및 후보 포인트에서의 무게 밸런스 값을 출력 레이어로 전파시킴으로써 자세 구분 결과(909)를 산출할 수 있다. 예를 들어, 프로세서는 특징 데이터(904)를 추출한 결과 및 무게 밸런스로부터 후보 포인트가 복수의 자세 구분 지점들의 각각에 속할 가능성을 지시하는 점수를 산출할 수 있다. 예시적으로, 특징 추출 레이어는 컨볼루션 레이어(911), 풀링 레이어(912), 및 덴스 레이어(913)(Dense layer)를 포함할 수 있고, 출력 레이어는 소프트맥스 레이어를 포함할 수 있다. 다만, 이는 순전히 예시적인 것으로서, 자세 구분 모델(910)의 레이어를 상술한 바로 한정하는 것은 아니다.

프로세서는 개별 후보 입력 데이터(901)에 대해 컨볼루션 레이어(911)에 의한 연산을 시행함으로써, 컨볼루션 특징을 추출할 수 있다. 후보 입력 데이터(901)는 2G+1개의 샘플링 포인트들마다 2N x M 차원의 압력 센싱 벡터를 포함할 수 있다. 후보 입력 데이터(901)의 차원은 (2G+1) x 2N x M일 수 있다. 예를 들어, 프로세서는 개별 후보 입력 데이터(901)에 대해 커널 필터(예를 들어, 복수의 2 x 2 필터)를 스윕하면서 컨볼루션 연산을 수행함으로써 컨볼루션 연산 결과(902)를 산출할 수 있다. 커널 필터의 크기 및 형태는 설계에 따라 달라질 수 있다. 프로세서는 풀링 레이어(912)를 통해 컨볼루션 연산 결과(902)에 대해 풀링 연산을 수행할 수 있다. 예를 들어, 프로세서는 맥스 풀링(max pooling) 연산을 수행할 수 있다. 프로세서는 풀링 연산을 수행한 결과(903)에 대해 컨볼루션 연산(예를 들어, 1개의 1 x 1 필터를 이용한 컨볼루션) 및 평탄화를 적용할 수 있다. 프로세서는 덴스 레이어(913)에서 컨볼루션 연산 및 평탄화 적용 결과에 대응하는 특징 데이터(904)를 해당 후보 포인트에서의 무게 밸런스(905)와 결합(concatenate)한 결합 벡터(concatenated vector)를 생성할 수 있다. 프로세서는 소프트맥스 함수(914)를 통해 결합 벡터로부터 자세 구분 지점별 점수(score)를 산출할 수 있다. 점수는 해당 샘플링 포인트가 복수의 자세 구분 지점 중 한 지점에 속할 가능성을 나타내는 값으로서, 예를 들어 ,0에서 1 사이의 실수일 수 있다. 프로세서는, 예를 들어, 해당 샘플링 포인트가 준비-스윙 구분 지점일 확률, 스윙-타격 구분 지점일 확률, 및 타격-마무리 구분 지점일 확률을 출력할 수 있다. 프로세서는 후보 포인트 별로 후보 입력 데이터(901) 및 무게 밸런스로부터 자세 구분 모델(910)에 기초하여 해당 후보 포인트가 자세 구분 지점일 가능성을 산출할 수 있다.

프로세서는 산출된 점수에 기초하여 후보 포인트가 복수의 자세 구분 지점들 중 한 구분 지점인 지 여부를 결정할 수 있다. 프로세서는 각 후보 포인트에서 복수의 자세 구분 지점들일 가능성을 지시하는 점수들을 산출할 수 있다. 프로세서는 해당 후보 포인트에서 가장 높은 점수가 임계 점수를 초과하는 지 여부를 판단할 수 있다. 프로세서는, 가장 높은 점수가 임계 점수를 초과하는 경우, 해당 가장 높은 점수에 대응하는 자세 구분 지점을 해당 후보 포인트의 구분 지점으로 결정할 수 있다.

도 10은 일 실시예에 따른 자세 구분 결과에 따른 운동 기록 데이터의 제공을 설명한다.

일 실시예에 따른 운동 자세 구분 장치는 운동 기록 컨텐츠를 사용자에게 제공할 수 있다. 도 10은 운동 기록 컨텐츠의 예시로서, 사용자 기록(1010) 및 전문가 기록(1020)이 매핑된 컨텐츠를 도시한다. 예를 들어, 운동 자세 구분 장치는 운동 자세 구간 별 사용자의 양발의 압력 분포(1011), 사용자의 무게 밸런스(1012)에 대해 기준이 되는 전문가의 무게 밸런스(1021)를 매핑하여 시각화할 수 있다. 예를 들어, 제1 자세 구간에서, 사용자의 무게 밸런스(1012)는 (좌측 무게, 우측 무게)=(49.5, 50.5)인데, 기준 무게 밸런스(1021)는 (좌측 무게, 우측 무게)=(50, 50)일 수 있다. 운동 자세 구분 장치는 상술한 바와 같이 사용자 기록(1010) 및 전문가 기록(1020)을 운동 자세 구간 별로 분류 및 매핑하여 출력함으로써, 사용자의 운동 자세 개선을 직관적으로 유도할 수 있다.

도 11 및 도 12는 일 실시예에 따른 자세 구분 결과에 따른 운동 기록 데이터의 조정 및 조정된 운동 기록 데이터의 출력을 설명한다.

일 실시예에 따르면 운동 자세 구분 장치는 결정된 자세 구분 지점에 기초하여 생성된 운동 기록 컨텐츠를 사용자에게 제공할 수 있다. 예를 들어, 운동 자세 구분 장치는 결정된 자세 구분 지점을 기준으로 사용자의 운동 기록 컨텐츠의 자세 구간 및 기준 운동 컨텐츠의 자세 구간 중 적어도 하나의 길이를 조정할 수 있다. 예를 들어, 프로세서는 결정된 자세 구분 지점을 기준으로 사용자의 운동 기록 데이터 및 기준 운동 데이터를 정렬할 수 있다. 운동 기록 데이터는 복수의 샘플링 포인트들을 기준으로 하는 압력 센싱 데이터, 무게 밸런스, 압력 피드백 데이터(예를 들어, 무게 분포를 시각화한 컨텐츠 데이터 등), 및 운동 영상 데이터(예를 들어, 압력 센서와 연관되어 운동 행위 동안 사용자를 촬영한 영상)를 포함할 수 있다. 프로세서는 압력 센싱 데이터, 무게 밸런스, 압력 피드백 데이터, 및 운동 영상 데이터 중 적어도 하나를 동기화할 수 있다.

프로세서는 사용자의 운동 기록 데이터에서 판단된 자세 구분 지점을 기준 운동 데이터에 미리 매핑된 자세 구분 지점에 매칭시킬 수 있다. 예를 들어, 프로세서는, 운동 기록 데이터에서 일부 구간을 증가 또는 감소시킴으로써, 운동 기록 데이터의 임의의 자세 구분 지점을 기준 운동 데이터에서 대응하는 자세 구분 지점에 매칭시킬 수 있다. 다시 말해, 프로세서는 운동 기록 데이터의 임의의 자세 구간의 길이(예를 들어, 시간 길이, 및 샘플링 포인트 개수 등)를 기준 운동 데이터에서 해당 자세 구간의 길이에 동기화시킬 수 있다. 예를 들어, 프로세서는 사용자의 운동 기록 데이터에서 한 운동 자세 구간에 대응하는 샘플링 포인트들의 개수 및 기준 운동 데이터(예를 들어, 사용자에 의해 선택된 전문가에 대해 수집된 운동 데이터)에서 대응하는 운동 자세 구간에 대응하는 샘플링 포인트들의 개수가 다른 경우, 운동 기록 데이터 및 기준 운동 데이터 중 한 데이터의 샘플링 포인트 개수를 조정할 수 있다. 프로세서는 같은 운동 자세 구간에 대해 적은 샘플링 포인트 개수를 가지는 데이터에 대해 보간(interpolation)을 수행하여 해당 구간을 연장할 수 있다.

도 11에서는 사용자 무게 밸런스 데이터(1110) 및 전문가 무게 밸런스 데이터(1120)의 동기화를 설명한다. 예를 들어, 사용자 무게 밸런스 데이터(1110)의 준비 자세 구간(1111)은 전문가 무게 밸런스 데이터(1120)의 준비 자세 구간(1121)에 비해 짧을 수 있다. 프로세서는 사용자 무게 밸런스 데이터(1110)의 제1 자세 구분 지점(1181)이 전문가 무게 밸런스 데이터(1120)의 제1 자세 구분 지점(1191)에 매칭할 때까지, 준비 자세 구간(1111)을 연장(1151)할 수 있다. 반대로, 사용자 무게 밸런스 데이터(1110)의 스윙 자세 구간(1112)은 전문가 무게 밸런스 데이터(1120)의 스윙 자세 구간(1122)에 비해 길 수 있다. 프로세서는 사용자 무게 밸런스 데이터(1110)의 제2 자세 구분 지점(1182)이 전문가 무게 밸런스 데이터(1120)의 제2 자세 구분 지점(1192)에 매칭할 때까지, 스윙 자세 구간(1122)을 연장(1152)할 수 있다. 유사하게 프로세서는 나머지 자세 구분 지점(1183, 1193)이 매칭하게 타격 자세 구간들(1113, 1123) 중 하나를 연장(1153)하고, 마무리 자세 구간들(1114, 1124) 중 하나를 연장(1154)할 수 있다.

일 실시예에 따르면 운동 자세 구분 장치는 사용자 입력에 응답하여 전문가를 선택하고, 선택된 전문가의 기준 운동 데이터에 사용자의 운동 기록 데이터의 길이를 동기화할 수 있다. 따라서, 운동 자세 구분 장치는, 개별 자세 구간에서 소요되는 시간이 사용자 및 전문가 별로 다르더라도, 각 자세에서의 무게 중심 이동의 진행 정도(progression level)의 싱크를 압력 샘플링 포인트에 기반하여 동기화함으로써 사용자에게 최적의 자세를 가이드할 수 있다.

일 실시예에 따른 운동 자세 구분 장치는 자세 구간의 조정에 의해 동기화된 운동 기록 컨텐츠 및 기준 운동 컨텐츠를 재생할 수 있다. 예를 들어, 운동 자세 구분 장치는 압력 변화를 데이터베이스에 저장하고, 사용자에 의해 지정된 시점의 데이터를 영상으로 재생할 수도 있다. 예를 들어, 운동 자세 구분 장치는 샘플링 포인트 별로 운동 기록 컨텐츠(1210) 및 기준 운동 컨텐츠(1220)의 타이밍이 동기화된 영상을 생성할 수 있다. 예를 들어, 도 12에서는 운동 자세 구분 장치가 상단 영역에서 사용자에 대해 촬영된 운동 영상를 포함하는 운동 기록 컨텐츠(1210), 디스플레이 하단에서 전문가에 의해 운동 자세 구간 별 무게 밸런스, 압력 분포, 및 각 샘플링 포인트에서의 무게 밸런스를 포함하는 기준 운동 컨텐츠(1220)를 동기화하여 재생할 수 있다. 예를 들어, 도 11에서 상술한 바와 같이 자세 구분 지점 및 운동 자세 구간을 기초로, 사용자 및 전문가의 압력 센싱 데이터, 무게 밸런스 데이터, 압력 분포 데이터, 및 운동 영상 등이 샘플링 포인트 단위로 동기화될 수 있다. 따라서, 사용자는 운동 자세의 진행 별로 사용자에 의해 지정된 전문가의 최적의 자세를 다양한 측면(예를 들어, 무게 중심 측면 및 영상 측면)에서 직관적인 피드백을 받을 수 있다. 사용자는 선호하는 전문가의 자세를 비교하여 스윙 단계 별 자세 교정, 골프채 종류 별 스윙 자세 교정, 체형 별 자세 교정 등을 제공받을 수 있다.

다만, 이로 한정하는 것은 아니고, 운동 자세 구분 장치는 디스플레이 상단 영역에서 사용자에 대해 촬영된 운동 영상, 디스플레이 하단 영역에서 사용자에 대해 생성된 압력 분포 및 무게 밸런스를 샘플링 포인트 단위로 동기화하여 운동 기록 컨텐츠를 생성할 수 있다. 컨텐츠는 시간 흐름(1230)을 따라 재생되도록 생성될 수 있다. 재생 속도는 샘플링 포인트의 개수에 따라 달라질 수 있으나, 이로 한정하는 것은 아니다. 운동 자세 구분 장치는 사용자에 의해 지정된 시점부터 운동 기록 컨텐츠를 재생할 수 있다.

도 13은 일 실시예에 따른 압력 센싱 데이터 및 이미지를 이용한 자세 구분을 설명한다.

일 실시예에 따른 운동 자세 구분 장치는 추가적으로 운동 영상 데이터에서 신체의 위치 및 관절의 각도를 분석하고, 분석한 결과에 기초하여 압력 센싱 데이터와 함께 이용하여 자세 구분 지점을 결정할 수 있다. 예를 들어, 운동 자세 구분 장치는 운동 도구(예를 들어, 골프채)(1332,1333)의 길이 방향 축이 사용자의 신체에 대해 형성하는 각도, 사용자의 신체 부위(1331, 1334)가 몸통 등에 대해 형성하는 각도 등을 분석할 수 있다. 운동 자세 구분 장치는 영상 분석 결과(1330)와 함께 무게 밸런스(1310) 및 후보 입력 데이터(1320)를 자세 구분 모델(1340)에 입력함으로써 자세 구분 결과(1350)를 산출할 수 있다. 무게 밸런스(1310), 후보 입력 데이터(1320), 및 자세 구분 결과(1350)는 상술하였으므로 자세한 설명을 생략하며, 자세 구분 모델(1340)은 영상 분석 결과(1330)를 추가로 입력 받을 수 있도록 설게 변경될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

프로세서에 의해 수행되는 운동 자세 구분 방법에 있어서,
복수의 압력 감지 셀들의 각각에 가해지는 압력을 복수의 샘플링 포인트들에서 센싱함으로써, 압력 센싱 데이터를 획득하는 단계;
상기 획득된 압력 센싱 데이터에 기초하여 상기 복수의 샘플링 포인트들 별로 사용자 양발에 대한 무게 밸런스를 산출하는 단계;
상기 무게 밸런스에 기초하여 상기 압력 센싱 데이터로부터 후보 입력 데이터를 추출하는 단계; 및
상기 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정하는 단계
를 포함하는 운동 자세 구분 방법.
제1항에 있어서,
상기 압력 센싱 데이터를 획득하는 단계는,
상기 복수의 샘플링 포인트들 별로 상기 복수의 압력 감지 셀들의 각각에 가해지는 압력 값들을 검출함으로써 압력 센싱 벡터를 생성하는 단계; 및
상기 복수의 샘플링 포인트들에 대한 압력 센싱 벡터들을 수집함으로써 상기 압력 센싱 데이터를 획득하는 단계
를 포함하는 운동 자세 구분 방법.
제1항에 있어서,
상기 압력 센싱 데이터를 획득하는 단계는,
상기 복수의 압력 감지 셀들 중 제1 영역에 속하는 압력 감지 셀을 이용하여 제1 측 압력 데이터를 획득하는 단계; 및
상기 복수의 압력 감지 셀들 중 제2 영역에 속하는 압력 감지 셀을 이용하여 제2 측 압력 데이터를 획득하는 단계
를 포함하는 운동 자세 구분 방법.
제2항에 있어서,
상기 제1 측 압력 데이터를 획득하는 단계는,
상기 복수의 압력 감지 셀들에 의해 감지되는 압력 분포에 기초하여 상기 제1 영역을 결정하는 단계
를 포함하고,
상기 제2 측 압력 데이터를 획득하는 단계는,
상기 압력 분포에 기초하여 상기 제2 영역을 결정하는 단계
를 포함하는 운동 자세 구분 방법.
제1항에 있어서,
상기 무게 밸런스를 산출하는 단계는,
제1 영역에 대한 제1 무게 및 제2 영역에 대한 제2 무게를 산출하는 단계; 및
상기 제1 무게 및 상기 제2 무게의 합산 무게 대비 상기 제1 무게 및 상기 제2 무게 중 한 무게의 비율을 상기 무게 밸런스로서 산출하는 단계
를 포함하는 운동 자세 구분 방법.
제5항에 있어서,
상기 제1 영역에 대한 제1 무게 및 제2 영역에 대한 제2 무게를 산출하는 단계는,
상기 압력 센싱 데이터로부터 개별 샘플링 포인트마다 상기 제1 영역에 대해 복수의 제1 무게 관련 입력 값들 및 상기 제2 영역에 대해 복수의 제2 무게 관련 입력 값들을 산출하는 단계; 및
무게 추정 모델을 이용하여 상기 복수의 제1 무게 관련 입력 값들로부터 상기 제1 무게를 추정하고, 상기 무게 추정 모델을 이용하여 상기 복수의 제2 무게 관련 입력 값들로부터 상기 제2 무게를 추정하는 단계
를 포함하는 운동 자세 구분 방법.
제6항에 있어서,
상기 제1 영역에 대해 복수의 제1 무게 관련 입력 값들 및 상기 제2 영역에 대해 복수의 제2 무게 관련 입력 값들을 산출하는 단계는,
상기 제1 영역에서 감지된 압력 값들의 제1 총합, 상기 제1 총합의 제곱근, 상기 제1 총합의 변화량, 및 상기 제1 영역 내 관심 영역에서 감지된 압력 값들의 제1 합산 값 중 적어도 둘을 상기 복수의 제1 무게 관련 입력 값들로서 산출하는 단계; 및
상기 제2 영역에서 감지된 압력 값들의 제2 총합, 상기 제2 총합의 제곱근, 상기 제2 총합의 변화량, 및 상기 제2 영역 내 관심 영역에서 감지된 압력 값들의 제2 합산 값 중 적어도 둘을 상기 복수의 제2 무게 관련 입력 값들로서 산출하는 단계
를 포함하는 운동 자세 구분 방법.
제1항에 있어서,
상기 무게 밸런스를 산출하는 단계는,
대상 샘플링 포인트에서 산출된 무게 밸런스 값 및 상기 대상 샘플링 포인트의 이전 샘플링 포인트에서 산출된 무게 밸런스 값 간의 차이가 최소 밸런스 차이 미만인 경우에 응답하여, 상기 대상 샘플링 포인트의 데이터를 배제하는 단계
를 포함하는 운동 자세 구분 방법.
제1항에 있어서,
상기 후보 입력 데이터를 추출하는 단계는,
상기 무게 밸런스에 기초하여 상기 복수의 샘플링 포인트들 중 후보 포인트를 결정하는 단계; 및
상기 후보 포인트에 기초하여 상기 압력 센싱 데이터로부터 상기 후보 입력 데이터를 추출하는 단계
를 포함하는 운동 자세 구분 방법.
제9항에 있어서,
상기 후보 포인트를 결정하는 단계는,
인접한 샘플링 포인트들에서의 무게 밸런스 값들 간의 차이에 기초하여 상기 후보 포인트를 결정하는 단계
를 포함하는 운동 자세 구분 방법.
제10항에 있어서,
상기 후보 포인트를 결정하는 단계는,
대상 샘플링 포인트에서의 무게 밸런스 값 및 상기 대상 샘플링 포인트의 이전 샘플링 포인트에서의 무게 밸런스 값 간의 차이가 임계 밸런스 차이를 초과하는 경우에 응답하여, 상기 대상 샘플링 포인트를 후보 포인트로 결정하는 단계
를 포함하는 운동 자세 구분 방법.
제9항에 있어서,
상기 후보 포인트를 결정하는 단계는,
상기 복수의 샘플링 포인트들에서의 무게 밸런스 값의 변화율에 기초하여 상기 후보 포인트를 결정하는 단계
를 포함하는 운동 자세 구분 방법.
제12항에 있어서,
상기 후보 포인트를 결정하는 단계는,
상기 무게 밸런스 값의 기울기를 상기 복수의 샘플링 포인트들에 대해 산출하는 단계; 및
이전 샘플링 포인트에서의 기울기 부호에 반대되는 기울기 부호가 나타나는 대상 샘플링 포인트를 상기 후보 포인트로 결정하는 단계
를 포함하는 운동 자세 구분 방법.
제9항에 있어서,
상기 후보 포인트에 기초하여 상기 압력 센싱 데이터로부터 상기 후보 입력 데이터를 추출하는 단계는,
상기 압력 센싱 데이터에서, 상기 후보 포인트를 포함하는 샘플링 구간 내의 압력 센싱 벡터를 상기 후보 입력 데이터로서 추출하는 단계
를 포함하는 운동 자세 구분 방법.
제1항에 있어서,
상기 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정하는 단계는,
상기 자세 구분 모델을 이용하여, 후보 포인트에 대응하는 상기 후보 입력 데이터 및 상기 후보 포인트에서의 무게 밸런스로부터, 복수의 자세 구분 지점들의 각각에 대해 상기 후보 포인트가 해당 자세 구분 지점에 속할 가능성을 지시하는 점수를 산출하는 단계; 및
상기 산출된 점수에 기초하여 상기 후보 포인트가 복수의 자세 구분 지점들 중 한 구분 지점인 지 여부를 결정하는 단계
를 포함하는 운동 자세 구분 방법.
제15항에 있어서,
상기 후보 포인트가 해당 자세 구분 지점에 속할 가능성을 지시하는 점수를 산출하는 단계는,
상기 후보 입력 데이터로부터 특징 추출 레이어를 이용하여 특징 데이터를 추출하는 단계; 및
상기 특징 데이터를 추출한 결과 및 상기 무게 밸런스로부터 상기 후보 포인트가 상기 복수의 자세 구분 지점들의 각각에 속할 가능성을 지시하는 점수를 산출하는 단계
를 포함하는 운동 자세 구분 방법.
제1항에 있어서,
상기 결정된 자세 구분 지점에 기초하여 생성된 운동 기록 컨텐츠를 사용자에게 제공하는 단계
를 더 포함하는 운동 자세 구분 방법.
제17항에 있어서,
상기 운동 기록 컨텐츠를 사용자에게 제공하는 단계는,
상기 결정된 자세 구분 지점을 기준으로 상기 사용자의 운동 기록 컨텐츠의 자세 구간 및 기준 운동 컨텐츠의 자세 구간 중 적어도 하나의 길이를 조정하는 단계; 및
상기 자세 구간의 조정에 의해 동기화된 상기 운동 기록 컨텐츠 및 상기 기준 운동 컨텐츠를 재생하는 단계
를 포함하는 운동 자세 구분 방법.
제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
운동 자세 구분 장치에 있어서,
복수의 압력 감지 셀들을 포함하고, 사용자의 양발에 의해 각 압력 감지 셀에 가해지는 압력을 센싱하는 압력 센서;
복수의 샘플링 포인트들에 대해 각 압력 감지 셀에 의해 감지된 압력 값으로부터 생성된 압력 센싱 벡터들을 포함하는 압력 센싱 데이터를 획득하고, 상기 획득된 압력 센싱 데이터에 기초하여 상기 양발에 대한 무게 밸런스를 상기 복수의 샘플링 포인트들 별로 산출하며, 상기 무게 밸런스에 기초하여 상기 복수의 샘플링 포인트들 중 후보 포인트를 결정하고, 상기 후보 포인트에 기초하여 상기 압력 센싱 데이터로부터 후보 입력 데이터를 추출하며, 상기 추출된 후보 입력 데이터로부터 자세 구분 모델에 기초하여 자세 구분 지점을 결정하는 프로세서; 및
상기 자세 구분 모델을 저장하는 메모리
를 포함하는 운동 자세 구분 장치.