KR101980378B1

KR101980378B1 - 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치

Info

Publication number: KR101980378B1
Application number: KR1020190021050A
Authority: KR
Inventors: 최우원; 박대우; 하승준
Original assignee: (주)대우루컴즈
Priority date: 2019-02-22
Filing date: 2019-02-22
Publication date: 2019-08-28

Abstract

본 발명은 운동자의 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치에 관한 것이다.
이를 구현하기 위한 본 발명은 피트니스 운동시 바닥의 감압매트에 접촉되는 신체 부위의 압력을 감지하여 신체 밸런스를 인식함과 아울러, 피트니스 운동시 신체의 공간자세를 인식한 후, 신체 밸런스정보와 공간자세정보를 사전에 저장된 피트니스 전문가의 신체 밸런스 기준정보 및 공간자세 기준정보와 비교 융합하여 유사 정도를 알려 줌으로써 정확한 자세로 운동을 학습하여 수행할 수 있도록 유도하는 장치이다.

Description

동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치{EXERCISE MOTION GUIDANCE SYSTEM USING DYNAMIC MOTION AND BODY BALANCE}

본 발명은 피트니스 운동시 피트니스 전문가가 실행하는 정확한 자세로 운동을 학습할 수 있도록 유도하는 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치에 관한 것으로, 더욱 상세하게는 피트니스 운동시 바닥의 감압매트에 접촉되는 신체 부위의 압력을 감지하여 신체 밸런스를 인식함과 아울러, 피트니스 운동시 신체의 공간자세를 인식한 후, 신체 밸런스정보와 공간자세정보를 사전에 저장된 피트니스 전문가의 신체 밸런스 기준정보 및 공간자세 기준정보와 비교 융합하여 유사 정도를 알려 줌으로써 정확한 자세로 운동을 학습하여 수행할 수 있도록 유도하는 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치에 관한 것이다.

현대인은 최근 산업이 발달되어 자동화되고 기계화된 편리한 생활로 인해 신체활동이 점차 줄어들고 있다. 특히 교통수단의 발달은 운동부족 현상의 주범으로 간주된다. 인체는 활동이 부족하면 체력이 떨어지고, 이로 인해 신체기관의 기능도 저하된다. 기능 저하는 노화의 진행을 앞당길 뿐 아니라 성인병 등 각종 질병의 원인이 되기도 한다.

그리하여 현대인들은 최근 건강관리에 대한 관심이 증가하면서 각종 스포츠를 즐기기도 하지만, 밸런스가 잡힌 건강한 신체를 만들고자 하는 사람은 주로 피트니스 센터에 가서 전문가의 코치를 받으면서 운동을 하여왔다.

그런데 피트니스 센터에서 운동을 하면 전문가의 도움을 받아 체계적으로 운동을 하여 효과를 높일 수 있지만 소정의 등록료를 주기적으로 납부하여야 함에 따라 금전적인 부담이 따르고, 피트니스 센터가 직장이나 거주지 근처에 없고 원거리에 있는 경우 피트니스 센터까지 오가는데 많은 이동시간을 할애하여야 하므로 시간이 불규칙적이고 바쁜 사람은 이용하기 어렵다는 문제점이 있다.

이에 따라 최근 집에서 원하는 운동의 목적에 따라 자유롭게, 시간과 장소의 구애를 받지 않고 홀로 간단한 동작으로 운동할 수 있는 일명 홈트레이닝이 인기다. 특히 실내생활을 많이 하는 겨울철엔 운동부족을 초래하기 쉬운바, 홈트레이닝 만으로도 건강을 지키고 일상에서 필요한 근력을 기를 수 있는 것으로 알려져 있고, 정확한 운동자세 등을 모르는 초보자도 보고 따라 할 수 있다고 하는 홈트레이닝 관련 책은 물론 동영상도 많이 배포되고 있다.

그렇지만 홈트레이닝은 편리하게 집에서 체중 조절 효과와 함께 관절에 적당한 힘을 가해 근육을 잘 발달시킬 수 있다는 장점은 있지만, 보통 전문가의 피드백 없이 책이나 영상을 보고 따라 하는 경우가 많아 잘못된 동작을 고치기 어렵고 정확한 동작과 자세를 취하지 못하면 운동효과가 떨어질 뿐만 아니라 부상의 위험도 내포하고 있으므로 주의하여야 한다.

특허문헌 1의 ‘자세인식을 활용한 노인전용 운동안내 시스템’에는 도 1에 도시된 바와 같이 3차원 영상센서에서 수집된 깊이 영상 및 컬러영상을 이용하여 자세인식을 진행함으로써 노인들이 강사 표준영상을 시청하면서 실버요가, 건강체조, 전통 무술 등을 쉽게 따라 할 수 있고 자신의 동작이 표준영상과 얼마나 유사한지를 시각적으로 확인하면서 운동을 진행할 수 있도록 하는 기술이 개시되어 있다.

그러나 특허문헌 1은 관절그룹 사이의 거리 유사성을 토대로 강사 표준영상과의 자세 유사성을 판단하도록 이루어져 있어서 운동자가 서서 운동하는 자세가 아니라 엎드리거나 눕거나 앉아서 운동하는 자세인 경우 감지되지 않는 관절이 많아 강사와 운동자간의 자세 유사성 비교결과에 대한 신뢰성이 저하되는 문제점이 있었다.

국내특허공개공보 10-2018-0103280 (2018년09월19일 공개)

본 발명은 상기한 사정을 감안하여 발명한 것으로, 3D 카메라를 이용하여 피트니스 운동을 하는 운동자의 공간적 자세 변화를 연속적으로 인식함과 아울러, 감압센서가 설치된 감압매트를 이용하여 바닥에 접촉하는 운동자의 신체 부위에 대한 압력변화를 감지하여 신체 밸런스 변화를 연속적으로 인식하고, 상기 공간적 자세 변화와 신체 밸런스 변화에 대한 분석결과를 사전에 저장되어 있는 피트니스 전문가의 기준정보와 각각 비교하여 유사도를 각각 수치화 한 후, 상기 공간적 자세 변화에 따른 유사도와 신체 밸런스 변화에 따른 유사도를 융합하여 운동자의 운동자세에 대한 정확성을 판단하여 수치적이거나 특정 기호로 시각화 하여 운동자에게 디스플레이하여 줌으로써 정확한 운동자세를 취하게 유도할 수 있도록 된 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치를 제공함을 기술적 과제로 한다.

또한, 본 발명은 운동자의 공간적 자세 변화에 따른 유사도와 신체 밸런스 변화에 따른 유사도를 융합하여 운동자의 운동자세에 대한 정확성을 판단할 때 운동자의 공간적 자세 변화를 분석하는 과정에서 3D 카메라로 촬영한 연속된 영상으로부터 운동자의 관절들의 벡터 집단을 각각 저장하여 운동자세를 판단하되, 인체를 구성하는 주요 관절 중에서 확인되지 않는 관절의 수가 증가할수록 공간적 자세 변화에 따른 유사도에 대한 가중치를 낮게 정하여 운동자세의 정확성 판단에 대한 신뢰성을 향상시킬 수 있도록 된 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치를 제공함을 기술적 과제로 한다.

상기한 과제를 해결하기 위한 본 발명의 일실시예에 따른 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치는,

운동자가 피트니스 운동시 바닥에 접촉하는 신체부위의 위치와 압력변화를 감지하여 신체 밸런스 변화를 감지하도록 감압센서가 설치되어 있는 감압매트부;

피트니스 동작별로 피트니스 전문가가 실행하는 공간적 동작을 3D 카메라로 촬영하여 공간적 자세변화에 대한 기준정보로 저장하고 있는 공간자세 기준정보 데이터베이스;

피트니스 동작별로 피트니스 전문가가 운동을 실행할 때 감압매트부에 접촉하는 위치와 압력변화를 감지하여 신체 밸런스 변화에 대한 기준정보로 저장하고 있는 신체 밸런스 기준정보 데이터베이스;

운동자가 피트니스 운동할 때 상기 3D 카메라로 촬영한 영상을 수신하여 분석한 공간적 자세변화와 상기 공간자세 기준정보 데이터베이스에 저장되어 있는 피트니스 전문가의 공간자세 기준정보의 비교를 통해 공간자세 유사도를 수치화 함과 아울러, 상기 감압매트부를 통해 분석하는 신체 밸런스 변화와 상기 신체 밸런스 기준정보 데이터베이스에 저장되어 있는 피트니스 전문가의 신체 밸런스 기준정보의 비교를 통해 신체 밸런스 유사도를 수치화 한 후, 상기 공간 자세 유사도와 상기 신체 밸런스 유사도를 융합하여 운동자의 운동자세에 대한 정확성을 판단하는 주제어부;

운동자가 피트니스 운동할 때 동작별로 상기 3D 카메라로 촬영하는 운동자의 영상과 사전에 저장되어 있는 피트니스 전문가의 영상 및 상기 감압매트부에서 운동자의 신체 접촉부위를 각각 디스플레이 하는 모니터를 포함하여 이루어져 있다.

상기 신체 밸런스 기준정보 데이터베이스 또는 상기 공간자세 기준정보 데이터베이스에는 피트니스 전문가가 실행하는 동작에 의한 기준정보와 함께 피트니스 전문가가 실행하는 동작에 대한 영상도 함께 저장하고 있는 것을 특징으로 한다.

상기 신체 밸런스 기준정보 데이터베이스 및 상기 공간자세 기준정보 데이터베이스에 저장되는 피트니스 전문가가 실행하는 동작에 대한 기준정보는 운동레벨별로 구분 저장되어 선택가능하게 이루어진 것을 특징으로 한다.

상기 신체 밸런스 기준정보 데이터베이스 및 상기 공간자세 기준정보 데이터베이스에 저장되는 피트니스 전문가가 실행하는 동작에 대한 영상은 피트니스 운동 종류별로 저장되어 선택가능하게 이루어진 것을 특징으로 한다.

상기 주제어부는 공간적 자세 유사도와 신체 밸런스 유사도를 융합하여 운동자의 운동자세에 대한 정확성을 판단할 때 공간적 자세 유사도 판단 시 인체를 구성하는 주요 관절 중에서 확인되지 않는 관절의 수가 증가할수록 공간적 자세 변화에 따른 유사도에 대한 가중치를 낮추는 반면 신체 밸런스 유사도에 대한 가중치를 높여 판단하도록 이루어진 것을 특징으로 한다.

상기 주제어부에는 운동자의 주요 관절의 위치변화를 추출하여 공간적 자세변화를 감지하도록 운동자의 피트니스 동작을 3D로 연속적으로 촬영하여 전송하는 3D 카메라가 추가로 연결된 것을 특징으로 한다.

상기 감압매트부에는 BMI측정부와 체중측정부를 추가로 구비하고, 주제어부는 BMI측정부를 통해 체성분 측정정보가 입력되면 측정정보를 분석하여 운동이 필요한 부위를 판단하고, 운동자가 운동 종류 및 등급 선택 단계에서 운동자에게 적합한 운동 종류 및 등급을 공간자세 기준정보 데이터베이스와 신체 밸런스 기준정보 데이터베이스에서 독출하여 제공하도록 이루어진 것을 특징으로 한다.

상기한 본 발명은 피트니스 전문가가 실행하는 영상을 보면서 따라할 때 3D 카메라를 통해 분석하는 연속된 공간적 자세와 감압매트부를 통해 분석하는 연속된 신체 밸런스의 융합값에 대하여 피트니스 전문가의 동작으로부터 추출한 기준정보와의 비교를 통해 올바른 동작을 수행할 수 있도록 유도하되, 공간적 자세 분석 시 피트니스 운동 자세에 따라 인체를 구성하는 25개의 주요 관절 중에서 소정 개수 이상의 관절이 분석되지 않는 경우 상기 융합값에서 공간적 자세에 대한 가중치를 낮추고 신체 밸런스에 대한 가중치를 높여 유사도를 판단함으로써 운동자세의 유사성 판단에 대한 신뢰도를 높일 수 있는 효과가 있다.

도 1은 종래 기술의 구성도,
도 2는 본 발명의 구성도,
도 3은 본 발명에 따른 감압매트부의 부분 절개 사시도,
도 4는 본 발명에 따른 모니터의 화면표시예,
도 5는 인체를 구성하는 주요 관절의 위치를 나타내는 도면,
도 6은 관절의 위치정보를 설명하는 도면,
도 7은 본 발명에 따른 관절 추출 전용 소프트웨어가 관절정보를 추출하는 순서도,
도 8은 본 발명에 따라 두 정지된 화면의 유사도를 비교하는 순서도,
도 9는 본 발명에 따라 유사도의 비교에 의거 현재 운동자의 자세가 정확하지 실시간으로 표시하는 순서도,
도 10은 본 발명에 따른 운동시 관절의 비교결과 예시도,
도 11 내지 14는 본 발명에 따라 피트니스 전문가의 영상과 운동자의 영상을 비교하는 방법을 설명하는 도면,
도15는 본 발명에 따른 감압매트부에서 운동자의 신체접촉부위를 감지하여 정확한 자세를 유도방법을 설명하기 위한 도면이다.

본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것으로, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.

도 2는 본 발명의 구성도를 도시한 것으로, 본 발명에 따른 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치의 전반적인 동작을 제어하는 주제어부(10), 운동자가 피트니스 운동을 할 때 공간자세를 측정하는 3D 카메라 측정부(20), 운동자가 피트니스 운동을 할 때 공간자세를 측정하는 감압매트부(30), 공간자세 기준정보 데이터베이스부(41), 신체 밸런스 기준정보 데이터베이스부(42), 상기 3D 카메라 측정부(20)와 감압매트부(30)를 통해 감지하는 운동자의 운동정보가 저장되는 저장부(43), 운동자가 피트니스 운동을 할 때 피트니스 전문가의 영상과 운동자의 실시간 운동 영상 및 감압매트부(30)를 통해 감지되는 운동자의 감압매트 접촉부위 표시 영상을 디스플레이하는 모니터(50)를 포함하여 이루어져 있다. 아울러 3D 카메라 측정부(20)와 감압매트부(30)로부터 측정정보를 수신하기 위한 수단으로서, 예컨대 USB통신을 채용하는 경우 USB포트(60)가 구비될 수 있다.

이하에서는 도 2에 도시된 각 구성요소들의 구성 및 작용에 대해 보다 상세히 설명한다.

3D 카메라(30)는 일반적인 화면을 보여주는 RGB 카메라에 깊이(거리)를 측정하는 Depth센서가 추가되어, 촬영된 피사체의 이미지를 각 픽셀에 투사할 때 각 픽셀에 투사되는 피사체까지 거리값을 함께 저장하는 3D Depth Camera로서, 스테레오 방식이나 ToF(Time-of-Flight), Structured Pattern 방식을 채용하여 3D Depth를 인식하는 카메라가 적용될 수 있으나 본 발명의 기술사상을 벗어나지 않는 범위 내에서 임의의 3D 카메라가 채용될 수 있다.

상기 3D 카메라(30)는 운동자의 피트니스 동작을 3D로 연속적으로 촬영한 입체 영상을 전송하여 저장부(43)에 저장하는 역할을 한다. 이때 운동자의 피트니스 동작을 촬영하는 영상은 후술되는 바와 같이 피트니스 전문가의 영상과 비교하기 위하여 피트니스 동작별로 1회 이상 소정 횟수 또는 소정 시간 동안 촬영하여 저장하도록 함이 바람직하다.

감압매트부(30)는 감압측정부(30a)와 BMI측정부(30b) 및 체중측정부(30c)를 구비할 수 있다.

상기 감압측정부(30a)는 운동자가 피트니스 운동시 바닥에 접촉하는 신체부위의 위치와 압력변화를 감지하여 신체 밸런스 변화를 감지하도록 감압센서(32)가 설치되어 있는 것이다.

상기 감압센서(32)는 도 3에 도시된 바와 같이, 감압용 필름(32c)의 일측면에 수평방향으로 평행하게 다수의 감지도선이 결합된 제1 감지필름(32b)이 부착되는 한편 상기 감압용 필름(32c)의 다른 일측면에 수직방향으로 평행하게 다수의 감지도선이 결합된 제2 감지필름(32d)이 부착되고, 제1 감지필름(32b)과 제2 감지필름(32d)의 외측으로는 보호용 필름(32a)(32e)이 각각 부착되어 이루어진다.

상기 제1 감지필름(32b)과 제2 감지필름(32d)에 결합되는 감지도선은 예컨대 구리로 형성될 수 있고, 감압용 필름(32c)은 압력 변화에 따라 두께가 변하면 저항값이 변하도록 이루어진 것으로서, 제1 감지필름(32b)의 감지도선과 제2 감지필름(32d)의 감지도선은 격자 형태로 직교하고 있으므로 제1 감지필름(32b)의 감지도선과 제2 감지필름(32d)의 감지도선간의 교차점에서 압력변화를 감지할 수 있도록 이루어져 있다.

상기 감압센서(32)는 제1 감지필름(32b)의 감지도선과 제2 감지필름(32d)의 감지도선을 순차적으로 스캔하여 제1 감지필름(32b)의 감지도선과 제2 감지필름(32d)의 감지도선간의 모든 교차점에 대한 압력변화를 감지하게 되는데, 제1 감지필름(32b)의 감지도선과 제2 감지필름(32d)의 감지도선간의 모든 교차점에 대한 압력변화를 감지하면 감압센서(32)에 접촉하고 있는 운동자의 신체부위와 압력크기를 인식할 수 있다.

도 3에서 도면 부호 34는 BMI측정부(30b)에 구비되어 생체 임피던스 측정을 위한 체지방 전극을 나타내는 것으로, 상기 전극(34)에 운동자가 올라섰을 때 운동자의 발바닥으로 체성분 분석을 위한 전류를 인가하고 그로부터 전압을 감지하여 보조제어부(36)로 전송하면 보조제어부(36)가 측정된 생체 임피던스를 통해 체성분을 분석하여 주제어부(10)로 전송할 수 있도록 이루어진 것이다.

또한, 감압매트부(30)에는 운동자의 체중을 감지하기 위한 체중측정부(30c)가 구비되어 있으며, 상기 체중측정부(30c)는 도시되지 않은 하중감지센서를 구비하여 운동자의 체중을 측정하게 되는데, 이는 상기 BMI측정부(30b)에서 운동자의 체성 분석에 필요한 체중을 감지하기 위한 것이다.

공간자세 기준정보 데이터베이스(41)는 피트니스 동작별로 그리고 각 동작의 레벨별로 피트니스 전문가가 실행하는 공간적 동작을 3D 카메라로 촬영하여 공간적 자세변화에 대한 기준정보로 저장하고 있는 것이다. 공간자세 기준정보는 피트니스 전문가가 직접 실행하는 피트니스 운동 동작을 3D 카메라(20)를 이용하여 동영상으로 촬영하여 저장하고, 상기 동영상을 구성하는 일련의 각 이미지 프레임에 대하여 각각 인체를 구성하는 주요 관절인 25개의 관절의 3D 위치데이터를 추출하여 데이터베이스로 구축한 것으로, 이는 운동자가 운동을 실행하는 과정에서 상체와 하체, 손, 팔, 다리 등이 정확한 자세로 움직이고 있는지 여부를 판단하기 위한 기준정보로 활용된다.

신체 밸런스 기준정보 데이터베이스(42)는 피트니스 동작별로 그리고 각 동작의 레벨별로 피트니스 전문가가 감압센서(32) 위에서 실행할 때 감압센서(32)에 접촉하는 위치와 압력변화를 주기적으로 감지하여 신체 밸런스 변화에 대한 기준정보로 저장하고 있는 것이다. 신체 밸런스 기준정보는 운동자가 운동을 실행하는 과정에서 손, 팔, 다리, 발, 배, 등 등이 정확한 자세로 바닥에 접촉하고 있고 힘이 특정 부위로 쏠리지 않고 균형을 유지하고 있는지 여부를 판단하기 위한 기준정보로 활용된다.

상기 공간자세 기준정보 데이터베이스(41)나 상기 신체 밸런스 기준정보 데이터베이스(42)에는 피트니스 전문가가 실행하는 동작에 대한 영상도 함께 저장하고 있어서, 운동자가 운동할 때 모니터(50)에 디스플레이 하여 따라할 수 있도록 되어 있다.

또한, 상기 공간자세 기준정보 데이터베이스(41) 및 상기 신체 밸런스 기준정보 데이터베이스(42)에 저장되는 피트니스 전문가가 실행하는 동작에 대한 기준정보는 운동레벨별로 구분 저장되어 운동자가 운동을 할 때 자신의 수준에 맞는 운동레벨을 선택할 수 있다.

아울러, 상기 공간자세 기준정보 데이터베이스(41) 및 상기 신체 밸런스 기준정보 데이터베이스(42)에 저장되는 피트니스 전문가가 실행하는 동작에 대한 영상은 피트니스 운동 종류별로 저장되어 운동자가 운동을 할 때 자신에게 필요한 부위의 운동을 선택할 수 있다.

저장부(43)는 운동자가 피트니스 전문가에 의한 가이드 영상을 보면서 피트니스 운동을 실행하는 동안 3D 카메라(20)로 촬영하는 동영상과 감압센서(32)에 의해 감지되는 매트 접촉 정보(접촉 부위의 위치와 압력)를 저장하고 있는 것이다. 상기 저장부(43)에 저장된 동영상과 매트 접촉 정보는 주제어부(10)에 의해 공간자세 기준정보 데이터베이스(41)와 신체 밸런스 기준정보 데이터베이스(42)에 저장되어 있는 기준정보와 유사도가 비교되어 운동자가 정확한 자세로 운동하고 있는지 판단하기 위한 자료로 활용된다.

주제어부(10)는 운동자가 자신이 배우고자 하는 피트니스의 종류 및 레벨을 선택할 수 있도록 하고, 선택된 피트니스의 종류 및 레벨에 따른 피트니스 전문가의 실행 영상을 공간자세 기준정보 데이터베이스(41)와 신체 밸런스 기준정보 데이터베이스(42)에서 독출하여 모니터(50)에 출력하는 작용을 한다. 또한, 3D 카메라(20)에서 전송되는 영상과 감압매트부(30)의 감지데이터를 저장부(43)에 저장한 후 공간자세 기준정보 데이터베이스(41)와 신체 밸런스 기준정보 데이터베이스(42)에 저장되어 있는 기준정보와 비교분석하여 유사도를 판단하고 판단결과를 모니터(50)에 디스플레이 하는 작용을 한다.

모니터(50)에는 도 4에 도시된 바와 같이 화면의 좌측에 사전에 저장하고 있던 피트니스 전문가의 동영상을 디스플레이하고, 화면의 우측에 피트니스 전문가의 동영상을 보면서 동작을 따라 하는 운동자의 실시간 동영상을 상기 3D 카메라로 촬영하여 디스플레이하며, 화면의 중앙에 감압매트(30)에 접촉되어야할 신체부위의 기준정보와 운동자의 접촉상태를 표시할 수 있다.

이하에서는 주제어부(10)에서 3D 카메라(30)에서 촬영한 영상을 이용하여 운동자의 공간자세정보를 추출하고 유사도를 판단하는 동작에 대하여 보다 상세히 설명한다.

주제어부(10)에서 피트니스 전문가의 운동 동작을 3D 카메라로 촬영 및 분석하여 공간자세 기준정보 데이터베이스(41)를 구축할 때와 마찬가지로 운동자의 운동 동작을 3D 카메라(20)로 촬영하여 관절정보를 획득할 때 내부에 탑재된 관절 추출 전용 소프트웨어를 사용하여 스켈레톤을 추적한다.

도 5에 도시된 바와 같이 사람의 인체를 구성하는 주요 관절은 머리, 몸, 팔, 다리에 걸쳐 25개로 이루어진 것으로 알려져 있으며, 상기 관절 추출 전용 소프트웨어는 상기 25개의 관절에 대한 정보를 추출하도록 이루어져 있다.

관절정보는 3D 카메라(20)로 촬영한 동영상을 구성하는 연속된 정지화면에서 각 관절마다 획득하여 객체로 저장한 것이다. 예컨데, 도 6에 예시된 바와 같이 3D 카메라(20)와 관절 사이의 관절 정보를 저장할 때 벡터값으로 저장하는데, 3D 카메라(20)와 관절까지의 거리 Z는 실제 벡터를 사용하고, 수평거리 X와 수직거리 Y는 관절길이에 해당하는 부분이므로 크기는 고려하지 않고 단지 방향만 고려하는 정규화된 벡터를 사용하여 저장한다. 이는 관절길이는 비교대상의 사람마다 다르기 때문에 관절을 기준으로 피트니스 전문가와 운동자의 영상에서 정지화면을 대상으로 동작의 유사도를 비교할 때 유사도가 정확하지 않을 수 있기 때문이다.

상기 관절정보를 나타내는 관절데이터는 Type, Confidence, Real, Proj, Orient로 이루어져 있는데, Type은 관절의 종류로써 사람의 머리, 목, 왼쪽 팔꿈치, 오른쪽 팔꿈치, 왼쪽 무릎 등 주요 관절의 이름, Confidence는 얻어진 데이터가 믿을 수 있는지에 대한 척도인 데이터의 신뢰도, Real은 관절의 벡터값(x,y,z), Proj는 관절의 정규화된 벡터값, Orient는 관절의 방향성을 각각 나타낸다.

도 7은 본 발명에 따른 관절 추출 전용 소프트웨어가 관절정보를 추출하는 순서도를 나타낸다.

먼저, 사람의 관절을 추적하는 S71 단계를 수행하고, 사람의 관절이 3D 카메라(20)에 인식되는지 여부를 판단하는 S72 단계를 수행하여 3D 카메라(20)에 인식되는 것으로 판단되면 사용자의 관절정보를 객체화하여 획득하는 S73 단계를 수행한다.

이후, 관절을 모니터(50)의 화면에 점으로 표시하는 S74 단계를 수행하고, 이어 관절정보를 순차적으로 저장하는 S75 단계를 수행하며, 이러한 동작을 반복한다.

도 8은 피트니스 전문가와 운동자 두 사람으로부터 촬영된 2개의 정지된 화면, 즉 피트니스 전문가를 촬영하여 공간자세 기준정보 데이터베이스(41)에 저장되어 있는 기준정보와 현재 운동자가 피트니스 전문가의 동영상을 따라 할 때 촬영하는 동영상으로부터 획득되는 화면의 유사도를 비교하는 순서도를 나타낸다.

제어부(10)에서 관절정보를 비교하기 시작하면, 먼저 j와 k를 1로 설정하는 S81 단계를 수행한다. S81 단계에서 j와 k는 각각 두사람의 관절의 순서를 나타낸다.

이어, 두 사람의 계산된 모든 관절의 유사도의 합 S를 구하는 S82 단계를 수행한다. S82 단계에서 S는 앞에서 구한 모든 sim_pose의 합을 나타내고, sim_pose(A_j, B_k)는 두 사람중 A의 j번째 관절들과 두 사람중 B의 k번째의 관절의 유사도(앞에서 구한 하나의 sim_pose)를 나타낸다.

이어 j번째 화면이 마지막인지 여부를 판단하는 S83 단계를 수행하여 마지막 화면이 아닌 것으로 판단되면 n을 1로 설정하는 S84 단계를 수행한 후 tsA(j,j+1)≒tsB(k,k+n)인지 여부를 판단하는 S85 단계를 수행한다. 여기서 n은 B의 지금 화면과 다음 화면의 차이를 나타내는데, 화면간의 시간간격은 A가 더 크다고 가정한다. 프로그램 상으로 간격이 더 큰 것을 A에 두면 된다.

S85 단계에서 ≒는 완전히 같지는 않더라도 대략 비슷한 값인지를 의미내며, 시간 간격의 오차 허용범위를 예컨대 0.1초 이내와 같이 임의로 설정할 수 있는 것이다.

S85 단계에서의 판단결과가 부정인 경우 n을 1씩 증가시키는 S86 단계를 수행한 후 다시S85 단계로 돌아가 판단하며, 이어 S85 단계에서의 판단결과가 긍정이 되면 j를 j+1 설정하고 k를 k+n으로 설정하는 S87 단계를 수행한 후 다시 S82 단계로 돌아가 위 동작을 반복수행한다.

이후, 상기 S83 단계에서 j번째 화면이 마지막 화면인 것으로 판단되면 아래 식에 의거 연속된 자세의 유사도를 나타내는 sim_move를 구하는 S88단계를 수행하고 영상비교를 종료한다.

sim_move = (S*100)/(j*100) 이다.

도 9는 본 발명에 따라 유사도의 비교에 의거 현재 운동자의 자세가 정확하지 실시간으로 표시하는 순서도를 나타낸다.

먼저, 운동프로그램의 시작과 함께 사람의 3D 카메라(20)에서 전송되는 운동자의 동영상으로부터 관절을 추적하는 S91 단계를 수행하고, 상기 동영상으로부터 사람의 관절이 인식되는지 여부를 판단하는 S92 단계를 수행하여 3D 카메라(20)에서 촬영하고 있는 동영상 내에 관절이 인식되는 것으로 판단되면 사용자의 관절정보를 객체화하여 획득하는 S93 단계를 수행한다.

이후, 모니터(50)의 화면에 기준자세의 화면과 유사도의 비교결과에 따라 도 10에 도시된 바와 같이 해당 관절의 색상을 변경하여 표시하는 S94 단계를 수행하고, 이어 관절정보를 순차적으로 저장하는 S95단계를 수행하며, 이러한 동작을 인식되는 모든 관절에 대해 반복한다.

다음에는 피트니스 전문가의 영상과 운동자의 영상을 비교하는 방법에 대하여 보다 상세히 설명한다.

움직이는 두 영상을 비교하려면 서로 간에 대응된 정지된 한 화면을 순차적으로 각각 비교하면 되는데, 어떤 정지된 한 화면을 비교할지에 대한 경우는 아래와 같이 4가지 경우로 나뉠 수 있다. 이는 두 영상에 대해 각각 같은 시간동안 축적한 데이터라고 하더라도 운동자의 능력이나 3D 카메라의 차이(성능, 하드웨어 등)에 따른 프레임의 비대응, 허브의 차이(성능, 하드웨어 등)에 따른 프레임의 비대응, 소프트웨어의 차이(코딩, 알고리즘의 성능 등)에 따른 프레임의 비대응, 운동자가 피트니스 전문가의 영상을 보면서 따라할 때 촬영시간은 같으나 운동자가 동작을 늦게 시작하거나 빨리 시작함에 따라 피트니스 전문가의 자세와 운동자의 자세의 비대응에 따라 싱크의 조정 필요성이 있기 때문이다.

첫째, 순차적 비교방법으로서, 이는 비교 대상의 두 동영상을 비교할 때 두 동영상을 구성하는 각각의 프레임들에 대해 1:1로 순차적으로 비교하는 방법이며, 도 11에 도시된 바와 같이 두사람의 쌓여진 정지자세 데이터가 비슷하거나 같을 때 적용할 수 있다.

둘째, 모든 경우의 수에 대한 비교방법으로서, 이는 도 12에 도시된 바와 같이 두 사람의 쌓여진 정지된 자세 데이터의 수가 차이가 많을 경우 사용하며, 이때 유사도는 모든 구해진 비교값의 평균값으로 결정할 수 있다.

셋째, 비율을 사용하는 비교방법으로서, 이는 도 13에 도시된 바와 같이 두 사람의 쌓여진 정지된 자세 데이터의 수가 차이가 많거나 데이터를 늦게 쌓기 시작 했을 경우에 사용할 수 있다.

넷째, 시간간격을 사용하는 비교방법으로서, 이는 도 14에 도시된 바와 같이 두 사람의 쌓여진 정지된 자세 데이터의 수가 차이가 많을 시 사용할 수 있으며, 두 영상에서 운동시작 시점으로부터 동일 시간에 획득된 정지된 화면을 비교하는 방법이다.

도15는 본 발명에 따른 감압매트부에서 운동자의 신체접촉부위를 감지하여 정확한 자세를 유도방법을 설명하기 위한 도면으로서, 일례로 팔굽혀 펴기 동작시 유도방법을 설명하기 위한 도면이다.

감압측정부(30a)는 감압센서(32)에서 수신되는 데이터를 수집하여 압력분포를 분석하고, 현재 운동자의 자세에서 운동자의 손, 발, 팔, 무릎, 발끝 등 어느 신체부위가 감압센서(32)에 접촉되고 있고 또한 좌우 대칭된 운동의 경우 신체 밸런스값을 산출하여 적절한 운동자세를 유도할 수 있도록 한다.

운동자의 어느 신체부위가 감압센서(32)에 접촉되고 있는지 트랙킹하는 방법에 대해 설명한다.

먼저, 신체 밸런스 기준정보 데이터베이스(42)에 저장되어 있는 기준정보에 대해 설명하면, 감압센서를 이용하여 손, 발, 팔, 무릎, 발끝 등 신체 부위에 따른 감압데이터를 측정하고 이를 저장함과 아울러, 상기 감압데이터에 대해 외곽 추출 알고리즘을 통해 신체 부위의 외곽선을 추출하고 그 위치 데이터를 저장한다. 상기와 같이 추출된 외곽선 데이터를 바탕으로 인공 지능 알고리즘 (CNN, RNN 등)을 이용하여 데이터를 학습시킨다. 이는 매트를 사용할 시 감압되고 있는 신체부위(손, 발, 무릎, 발끝 등의 감압 데이터)에 대해 여러 사람들의 접촉에 따른 데이터를 학습시켜 기준정보로 활용함으로써 사용하는 사람마다 접촉부위의 크기나 형태, 압력 등이 다르더라도 정확한 자세인지 여부를 정확하게 판단하기 위함이다. 상기와 같이 학습된 신체부위의 모델파일은 기준정보로서 신체부위별로 분류되어 신체 밸런스 기준정보 데이터베이스(42)에 저장된다.

운동자가 운동을 시작하고자 특정 운동프로그램을 시작할 때에는 해당 운동 동작에 대응되어 신체 밸런스 기준정보 데이터베이스(42)에 저장되어 있는 위치데이터와 분류 데이터를 기반으로 운동자가 짚어야 할 위치를 모니터(50)에 디스플레이 하여 정확한 동작을 가이드 해준다.

도 15의 (a)는 운동자가 짚어야 할 손과 발끝의 위치를 UI로 표시한 예이며, 도 15의 (b)는 운동자가 운동을 시작하면 감압부위의 형상 및 위치를 트랙킹하여 모니터(50)에 표시한 예인데, 도시된 예에서 운동자의 손과 발끝의 위치가 부정확하고 밸런스도 맞지 않아 예컨대 적색 UI로 표시하고 있다. 도 15의 (c)는 운동자가 도 15의 (b)와 같은 부정확한 자세를 취하고 있다가 모니터(50)의 영상을 보고 자세를 변경하여 정확한 자세를 따라하게 되면 운동자의 손과 발끝의 위치를 녹색 UI로 표시한 화면예를 나타낸다.

주제어부(10)는 상기와 같이 3D 카메라(20)의 영상 분석 결과의 공간적 자세 유사도와 감압센서(32)의 감압데이터 분석 결과의 신체 밸런스 유사도를 산출한 후 최종적으로 상기 두 유사도를 융합하여 운동자의 운동자세에 대한 정확성을 판단하며, 예컨대 두 유사도의 평균값을 운동자의 유사도에 대한 점수로 결정할 수 있다.

나아가, 도 16 (a)의 닐링플랭크, 도 16 (b)의 버피 스탭, 도 16 (c)의 니벤딩 푸시업과 같은 운동 종목에서는 운동자가 서서 하는 동작이 아니기 때문에 보통 운동자의 전면에 배치되는 3D 카메라(20)로 운동자의 관절을 추출할 때 인체의 주요 관절을 구성하는 25개의 관절 중에서 많은 수가 확인되지 않아 공간적 자세 변화를 판단할 때 정확도가 떨어질 수 있다.

따라서 3D 카메라(20)에 의해 추출되는 관절 개수에 따라 공간적 자세 변화에 따른 유사도와 신체 밸런스 유사도에 대한 가중치를 조정하여 상보적으로 융합된 유사도를 판단할 수 있다.

예컨대, 확인되지 않는 관절의 수가 증가할수록 공간적 자세 변화에 따른 유사도에 대한 가중치를 낮추는 반면 신체 밸런스 유사도에 대한 가중치를 높여 판단할 수 있으며, 도 16에 도시된 예에 대하여는 공간적 자세 변화에 따른 유사도에 대해 가중치를 30%로 부여하는 한편 신체 밸런스 유사도에 대해 가중치를 70%로 부여할 수 있다.

한편, 제어부(10)는 BMI측정부(30b)를 통해 체성분 측정정보가 입력되면 측정정보를 분석하여 운동이 필요한 부위를 판단하고, 운동자가 운동 종류 및 등급 선택 단계에서 운동자에게 적합한 운동 종류 및 등급을 공간자세 기준정보 데이터베이스(41)와 신체 밸런스 기준정보 데이터베이스(42)에서 독출하여 제공할 수 있다.

10 -- 주제어부, 20 -- 3D 카메라 측정부,
30 -- 감압매트부, 30a -- 감압측정부,
30b -- BMI측정부, 30c -- 체중측정부,
32 -- 감압센서, 32c -- 감압용 필름,
32b -- 제1 감지필름, 32c -- 감압용 필름,
32d -- 제2 감지필름, 32a, 32e -- 보호용 필름,
34 -- 체지방 전극, 36 -- 보조제어부,
41 -- 공간자세 기준정보 데이터베이스부,
42 -- 신체 밸런스 기준정보 데이터베이스부,
43 -- 저장부, 50 -- 모니터,
60 -- USB포트.

Claims

운동자의 피트니스 동작을 3D로 연속적으로 촬영한 입체 영상에서 운동자의 주요 관절의 위치변화를 추출하여 공간적 자세변화를 감지하는 3D 카메라;
운동자가 피트니스 운동시 바닥에 접촉하는 신체부위의 위치와 압력변화를 감지하여 신체 밸런스 변화를 감지하도록 감압센서가 설치되어 있는 감압매트부;
피트니스 동작별로 피트니스 전문가가 실행하는 공간적 동작을 3D 카메라로 촬영하여 공간적 자세변화에 대한 기준정보로 저장하고 있는 공간자세 기준정보 데이터베이스;
피트니스 동작별로 피트니스 전문가가 운동을 실행할 때 감압매트부에 접촉하는 위치와 압력변화를 감지하여 신체 밸런스 변화에 대한 기준정보로 저장하고 있는 신체 밸런스 기준정보 데이터베이스;
운동자가 피트니스 운동할 때 상기 3D 카메라로 촬영한 영상을 수신하여 분석한 공간적 자세변화와 상기 공간자세 기준정보 데이터베이스에 저장되어 있는 피트니스 전문가의 공간자세 기준정보의 비교를 통해 공간자세 유사도를 수치화 함과 아울러, 상기 감압매트부를 통해 분석하는 신체 밸런스 변화와 상기 신체 밸런스 기준정보 데이터베이스에 저장되어 있는 피트니스 전문가의 신체 밸런스 기준정보의 비교를 통해 신체 밸런스 유사도를 수치화 한 후, 상기 공간 자세 유사도와 상기 신체 밸런스 유사도를 융합하여 운동자의 운동자세에 대한 정확성을 판단하되, 주제어부는 공간적 자세 유사도와 신체 밸런스 유사도를 융합하여 운동자의 운동자세에 대한 정확성을 판단할 때 공간적 자세 유사도 판단 시 인체를 구성하는 주요 관절 중에서 확인되지 않는 관절의 수가 증가할수록 공간적 자세 변화에 따른 유사도에 대한 가중치를 낮추는 반면 신체 밸런스 유사도에 대한 가중치를 높여 판단하도록 이루어진 주제어부;
운동자가 피트니스 운동할 때 동작별로 상기 3D 카메라로 촬영하는 운동자의 영상과 사전에 저장되어 있는 피트니스 전문가의 영상 및 상기 감압매트부에서 운동자의 신체 접촉부위를 각각 디스플레이 하는 모니터;
를 포함하여 이루어진 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치.
제1항에 있어서,
상기 신체 밸런스 기준정보 데이터베이스 또는 상기 공간자세 기준정보 데이터베이스에는 피트니스 전문가가 실행하는 동작에 의한 기준정보와 함께 피트니스 전문가가 실행하는 동작에 대한 영상도 함께 저장하고 있는 것을 특징으로 하는 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치.
제1항에 있어서,
상기 신체 밸런스 기준정보 데이터베이스 및 상기 공간자세 기준정보 데이터베이스에 저장되는 피트니스 전문가가 실행하는 동작에 대한 기준정보는 운동레벨별로 구분 저장되어 선택가능하게 이루어진 것을 특징으로 하는 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치.
제1항에 있어서,
상기 신체 밸런스 기준정보 데이터베이스 및 상기 공간자세 기준정보 데이터베이스에 저장되는 피트니스 전문가가 실행하는 동작에 대한 영상은 피트니스 운동 종류별로 저장되어 선택가능하게 이루어진 것을 특징으로 하는 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치.
삭제
제1항에 있어서, 상기 주제어부에는 운동자의 주요 관절의 위치변화를 추출하여 공간적 자세변화를 감지하도록 운동자의 피트니스 동작을 3D로 연속적으로 촬영하여 전송하는 3D 카메라가 연결된 것을 특징으로 하는 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치.
제1항에 있어서,
상기 감압매트부에는 BMI측정부와 체중측정부를 추가로 구비하고, 주제어부는 BMI측정부를 통해 체성분 측정정보가 입력되면 상기 측정정보를 분석하여 운동이 필요한 부위를 판단하고, 운동자가 운동 종류 및 등급 선택 단계에서 운동자에게 적합한 운동 종류 및 등급을 공간자세 기준정보 데이터베이스와 신체 밸런스 기준정보 데이터베이스에서 독출하여 제공하도록 이루어진 것을 특징으로 하는 동적 움직임과 신체 밸런스를 이용한 운동자세 유도장치.