KR20200094915A

KR20200094915A - 운동 자세 교정 시스템 및 이를 이용한 교정 방법

Info

Publication number: KR20200094915A
Application number: KR1020190012327A
Authority: KR
Inventors: 김은경; 박주환; 서정현; 이창석
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2020-08-10

Abstract

본 발명은 운동 자세 교정 시스템 및 이를 이용한 운동 자세 교정 방법에 관한 것으로, 더욱 사용자 단말기에 설치된 카메라를 통해 사용자의 운동 패턴을 인식하고, 사용자의 단말기 내 설치된 앱을 통해 전문가와의 비교를 통해 운동 자세를 교정하는 교정 시스템 및 이를 이용한 운동 자세 교정 방법에 관한 것이다.

Description

운동 자세 교정 시스템 및 이를 이용한 교정 방법{Exercise Posture Correction System and Correction Method using it}

최근 사람들이 자기의 건강에 대해 관심이 많아지면서 자연스럽게 운동에도 관심이 많아지고 있다. 또 이러한 관심으로 올바른 운동 자세를 배우기 위해 전문 헬스 트레이너들에게 퍼스널 트레이닝을 받는 사람들이 증가하고 있다. 하지만 퍼스널 트레이닝 같은 경우 비용이 바싸, 큰 금액을 지출해야하기 때문에 이 고비용을 감당하기 어렵다는 문제점이 있다.

따라서, 그 대안으로, 최근 사람들은 혼자 운동을 하는 경우, 블로그와 Youtube 등을 통해 운동방법을 배운다. 온라인을 통해 운동방법을 배우는 경우. 올바른 운동 자세를 알 수는 있지만 그 운동을 따라할 시, 영상속 전문가와 같은 자세가 나오지 않아 잘못된 운동을 하는 경우가 있다.

또한, 운동을 할 수 없는 이유는 다양하지만 일이 바빠서 운동을 하지 못하는 경우가 큰 비중을 차지한다. 이처럼 일이 바빠 운동할 시간이 없어서 운동을 하지 못하는 문제점이 있는데 이런 문제점을 가진 사람들은 시간을 비교적 많이 투자해야하는 퍼스널 트레이닝 같은 경우는 도전할 엄두도 못내는 것이 현실이다. 최근 스마트 밴드와 같은 개인 운동을 지원하는 기기들이 사용되고 있긴 하지만 운동 자세에 대한 피드백 서비스까지는 지원하지 않기 때문에 사용자가 자신이 운동을 정확하게 하고 있는지는 파악하기 어렵다는 문제점이 있다.

국내등록특허 제10-1492779호(웨어러블 스마트 밴드, 2015.02.05. 공고)

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 운동을 진행하는 사용자가 본인의 운동자세가 정확한지 확인 할 수 없어 제대로 운동을 진행할 수 없는 문제를 해결하고자 한다.

또한, 운동하는 사용자의 자세에 대한 피드백을 제공하고자 한다.

사용자의 운동 모습을 촬영하고 확인하기 위한 운동 자세 교정 시스템에 있어서, 사용자 단말기, 사용자 단말기에 구비되어, 사용자의 움직임을 인식하는 카메라, 사용자 단말기 하단에 탈착 가능하게 형성된 구동 거치대, 상기 카메라로부터 인식된 움직임을 전송하는 서버 및 사용자의 정보 및 상기 카메라에 의한 촬영영상을 저장하는 데이터베이스를 포함하는 것을 특징으로 한다.

상기 카메라는 촬영된 사용자의 신체의 팔목, 손목, 어깨, 무릎, 발목의 위치를 추출하고, 추출된 위치를 좌표를 이용하여 골격을 만들어, 신체 그림으로 나타내는 것을 특징으로 한다.

상기 운동 자세 교정 시스템은 전문가의 영상과 신체 그림을 비교하는 비교부를 더 포함하는 것을 특징으로 한다.

사용자의 운동 모습을 촬영하고 확인하는 운동 자세 교정 방법에 있어서, 사용자의 운동 모습을 단말기 내 카메라를 이용하여 영상 및 사진을 촬영하는 단계, 상기 촬영된 영상 및 사진을 데이터베이스에 저장하는 단계, 상기 촬영된 사진의 사용자 신체의 팔목, 손목, 어깨, 무릎, 발목의 위치를 추출하고, 추출된 위치를 좌표를 이용하여 골격을 만들어, 신체 그림으로 나타내는 단계, 상기 신체 그림과 전문가의 영상을 비교하여 메시지를 생성하는 단계 및 상기 메시지를 사용자에게 제공하는 단계를 포함하는 것을 특징으로 한다.

상기 카메라는 영상 및 사진 촬영 시, 상기 카메라 하단에 결합되는 구동거치대에 의하여 좌우상하 이동이 가능한 것을 특징으로 한다.

본 발명에 따른 효과는, 적은 비용과 적은 시간으로 효과적인 운동을 할 수 있도록 도와주고, 간단한 사용방법으로 누구나 이용가능한 효과가 있다.

또한, 본 발명에 따른 효과는, 전문가의 도움없이도 전문가의 자세와 비교하여 운동을 진행할 수 있으며, 단말기를 이용하여 언제 어디서든 쉽게 접근가능하다는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 단말기를 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 운동 자세 교정 시스템을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 앱 작동 모습을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 운동 자세 교정 방법을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 구동 거치대를 나타낸 도면.

본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 도 1 내지 도 4에 도시된 도면을 참조하여, 본 발명의 일 실시예에 따른 운동 자세 교정 시스템 및 교정 방법에 대해 더욱 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 사용자 단말기를 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운동 자세 교정 시스템은 사용자 단말기를 통해 이루어진다. 상기 사용자 단말기는, 휴대폰, 패드 등과 같은 기기로서, 카메라를 구비하고 있는 것이면 무엇이든 가능하다. 또한, 상기 사용자 단말기는, 상기 사용자 단말기 하단에 탈착가능한 구동 거치대를 더 포함하게 된다. 상기 구동 거치대는 카메라가 사용자의 움직임을 인식하기 위하여, 카메라의 위치를 자동으로 조절되기 위해 구비된 것으로, 이에 대해서는 후술하기로 한다.

도 2는 본 발명의 일 실시예에 따른 운동 자세 교정 시스템을 나타낸 도면이다. 도 2에 도시된 바와 같이, 상기 운동 자세 교정 시스템은 크게 사용자 단말기, 데이터베이스, 서버로 구성된다.

상기 사용자 단말기는 카메라를 구비하고 있는데, 이때, 상기 카메라는 사용자의 움직임을 인식하게 된다. 상기 카메라로부터 인식된 사용자의 움직임은 서버로 전송되며, 상기 데이터베이스는 사용자의 정보 및 상기 카메라에 의한 촬영영상을 저장하게 된다.

이때, 상기 카메라는 촬영된 사용자의 신체의 팔목, 손목, 어깨, 무릎, 발목의 위치를 추출하고, 추출된 위치를 좌표를 이용하여 골격을 만들어, 신체 그림으로 나타내며, 상기 신체그림은, 비교부에 의해 전문가의 영상과 비교되어 사용자에게 그 결과를 알려주게 된다.

상기 서버는 리눅스(Linux), GCC, Python, C, Openpose, Caffe 등을 사용하며, 이는 일 실시예 일 뿐이며, 적절한 서버이면 무엇이든 사용 가능하다. 또한, 일 실시예에 따른 데이터베이스는 SQLite를 이용하며, 앱은 JAVA, Android Studio, Processing 등을 사용하며, 구동거치대는 C언어를 이용하며 아두이노를 이용할 수 있다. 이는 일 실시예에 따른 구성일 뿐이며, 적절한 데이터베이스, 앱, 구동거치대 이면 무엇이든 사용 가능하다.

도 3은 본 발명의 일 실시예에 따른 앱 작동 모습을 나타낸 도면이다. 도 3에 도시된 바와 같이, 상기 사용자 단말기는, 운동 자세 교정 시스템을 사용자에게 제공하기 위해 앱을 포함하고 있다. 상기 앱은 회원 정보에 따른 일일 운동 목록을 제공하고, 일일 운동 현황을 제공할 수 있도록, 운동 달력, 운동 동영상, 운동 자세 교정으로 구성되어 있으며, 회원 정보에 따른 일일 운동 목록을 제공하기 위하여, 회원 정보를 입력받아 데이터베이스 내에 저장시키고, 운동 달력의 데이터 또한 데이터베이스에 저장시키게 된다.

또한, 상기 사용자가 직접 제작한 운동 동영상을 인터넷 사이트에 업로드 가능하도록 구성되며, 또한, 앱을 이용하여 인터넷 사이트에 업로드 된 운동 동영상을 볼 수 있도록 구성하였다. 상기 인터넷 사이트는 유튜브 등과 같이 영상의 업로드, 다운로드가 가능한 사이트면 무엇이든 가능하다.

이때, 상기 사용자 단말기 내 앱은, 운동 자세를 교정하여 주기 위하여, 상기 앱에서 자세비교 기능 실행을 가능하도록 한다. 즉, 상기 사용자가 자세비교 기능을 실행 할 시, 상기 사용자 단말기와 탈착가능하게 결합된 구동거치대가 사용자의 위치에 따라 움직이게 되고, 사용자의 위치를 잡은 카메라는 운동 자세 촬영을 한 후 서버와의 통신을 통해 결과 사진과 메시지를 제공 받아 최종 피드백 결과를 제공한다.

도 5는 본 발명의 일 실시예에 따른 구동 거치대를 나타낸 도면이다. 도 5에 도시된 바와 같이, 상기 구동 거치대는, 사용자 단말기의 카메라를 통해 사람의 얼굴을 인식하고, 인식한 위치에 따라 미리 지정된 화면 위치에 사용자가 위치하도록 카메라를 움직이게 하기 위해 구비되어 있다. 즉, 카메라를 움직이기 위한 구성이며, 상기 구동거치대는 구동부를 더 포함하고 있다.

상기 구동거치대는 일 실시예에 따라 삼각대와 상하 움직임을 제어하는 서브모터1, 좌우 움직임을 제어하는 서브모터2 및 블루투스 모듈로 구성되어 있다.

상기 서브모터는 아두이노와 연결되어 있으며, 상기 아두이노는 상기 앱과 1:1 블루투스 통신을 통하여, 사용자의 얼굴을 인식하고 가져오는 위치 값을 받아 서브모터를 제어하게 된다. 상기 사용자의 얼굴을 통해 위치 값을 가져오는 경우, 프로세싱 IDE를 안드로이드 스튜디오에 적용시켜, 안드로이드 스튜디오에서 프로세싱의 기능을 사용할 수 있도록 하고, 상기 기능을 이용하여 얼굴을 인식하고 나면, 드로우 함수(Draw 함수)를 통해 얼굴에 사각형 테두리가 그려지도록 구성한다. 또한, 얼굴 인식의 경우, 센서, 카메라 및 네트워킹 하드웨어에 대한 직접적인 액세스를 제공함으로써 멀티 터치 동작, 장치 위치, UI 요소, 전면 및 후면 카메라, 얼굴 인식, 블루투스, 와이파이 연결, 근거리 통신 또는 데이터베이스 데이터를 사용한다.

즉, 상기 구동거치대는 상기 구동거치대의 상하 움직임을 제어하기 위한 서브모터1, 자동 무빙 거치대의 좌우 움직임을 제어하기 위한 서브모터2, 앱과 블루부트 통신을 통해 얼굴의 위치 값을 전송받는 블루투스 모듈로 구성되어 있다.

상기 구동거치대에 의하여 위치를 잡은 카메라는 상기 사용자의 자세를 촬영하게 된다. 상기 자세 촬영의 경우, 카메라 캡처를 통해 사진을 저장하는 방식으로 진행된다. 촬영된 사진은 앱을 통해 서버와 소켓 통신을 통해 주고 받게 되며, 결과 화면을 사용자에게 제공하게 된다.

서버는 리눅스 환경에서 python 언어를 사용하게 되며, 데이터베이스 내 Openpose, OpenCV 라이브러리를 활용하여 앱으로부터 전송받은 사진에서 인물의 주요 부분을 추출하게 된다. 이때, 상기 주요 부분은 팔목, 손목, 어깨, 무릎, 발목 등의 부분으로, 이에 한정하는 것은 아니며, 추출하고자 하는 부분을 설정하여 더 추출하는 것 또한 가능하다.

상기 주요 부분은 json 파일로 추출되게 되고, 해당 주요 부분의 좌표에 그림을 그려 대략적인 인물의 골격을 렌더링한 뒤 저장하게 된다. 이후 json 형태로 저장된 주요 키 포인트 들을 이용하여 사용자와 트레이너의 자세를 비교할 수 있는 알고리즘을 구현하고, 상기 앱으로부터 사진이 전송되면, 서버에서 Openpose 라이브러리를 실행하여 중간 단계의 결과물을 얻고, 구현한 알고리즘을 이용하여 사용자와 트레이너의 자세를 비교해서 피드백 메시지를 생성 할 수 있다. 상기 생성된 피드백 메시지는 렌더링 된 사진과 함께 앱으로 다시 전송된다.

이 때, 앱으로부터 전송받은 사진에 오류가 있는 경우가 있을 수 있다. 예를 들어, 사진의 화각안에 인물을 구분할 수 있는 전신이 정확하게 담기지 못했다던가, 사진의 화도/조도 등이 맞지 않아, 촬상된 인물의 구분이 어렵다던가 하는 경우이다.

이러한 경우, 인물의 주요 부분을 추출하여 자세를 확인하는 것에 오류가 발생할 수 있게 된다.

좀더 구체적으로, 상술한 것과 같은 오류에 대응하기 위해, Openpose와 같은 라이브러리의 함수 에러값을 확인해서, 인물의 주요 부분 추출 전에 서버에서는 사용자의 앱에게 '재촬영이 필요하다는' 메시지를 송신하고, 사용자의 앱에서는 이러한 '메시지'에 기반하여, 재촬영이 필요하다던가, 카메라 혹은 인물의 위치나 조명 등을 변경해야 한다는 메시지를 사용자에게 피드백할 수 있다.

이러한 피드백을 통해, 잘못된 사진에 대한 렌더링이나 중간 단계의 결과물을 생성시키는 서버의 컴퓨팅 파워를 절약하고, 사용자가 잘못된 자세를 촬상하느라 시간과 노력을 들이는 것을 방지하는 효과가 있다.

상술한 방식과 조금 다른 오류 대응 방법으로는, 서버에서 촬상된 이미지에 대해서 별도로 학습된 객체인식 알고리즘을 이용하여, 촬상된 이미지의 객체가 인물이 아니라고 판단하는 경우, 이를 서버에 먼저 피드백하여 상술한 것과 같이 사용자의 앱을 통해 피드백하는 방식을 사용할 수 있다. 이는 후술될 얼굴인식 라이브러리(Ketai 라이브러리)를 통한 사용자의 얼굴 인식 단계 이전에 실행되어, 상술한 것과 같이 서버의 컴퓨팅 파워를 절약하는 효과를 발생할 수 있게 된다.

즉, 자세에 대한 주요 부분들의 좌표를 json파일로 저장한 뒤, 팔의 각도, 다리의 각도, 허리의 각도 등을 확인하여, 사용자와 트레이너의 자세가 얼마나 차이나는지 확인 할 수 있다. 상기 좌표의 순서는 코, 목, 오른쪽 어깨, 오른쪽 팔꿈치, 오른쪽 손목, 왼쪽 어깨, 왼쪽 팔꿈치, 왼쪽 손목, 엉덩이 중간(척추 부근), 오른쪽 엉덩이 부분, 오른쪽 무릎, 오른쪽 발목, 왼쪽 엉덩이 부분, 왼쪽 무릎, 왼쪽 발목의 순서로 저장되며, 만약 어깨에서 손목까지의 각도를 구한다고 가정하면, 어깨의 좌표와 손목의 좌표의 기울기를 구하는 공식을 이용하여 각도를 구할 수 있다. 상기 방법을 이용하여 사용자와 트레이너의 비교해야 하는 부분의 각도를 구하여, 사용자의 자세가 올바른지, 올바르지 않은지를 알려주고, 얼마나 차이가 나는지 그 차이값을 알려줄 수 있다.

상기 사용자 단말기 내 앱은 일 실시예로 안드로이드 스튜디오로 제작 하였으나, 이에 한정하는 것은 아니며, 운동 자세 교정 시스템을 구현할 수 있는 앱을 제작 가능한 환경이면 무엇이든 가능하다.

도 4는 본 발명의 일 실시예에 따른 운동 자세 교정 방법을 나타낸 도면이다. 도 4에 도시된 바와 같이, 사용자의 운동 모습을 촬영하고 확인하는 운동 자세 교정 방법에 있어서, 사용자의 운동 모습을 단말기 내 카메라를 이용하여 영상 및 사진을 촬영하는 단계, 상기 촬영된 영상 및 사진을 데이터베이스에 저장하는 단계, 상기 촬영된 사진의 사용자 신체의 팔목, 손목, 어깨, 무릎, 발목의 위치를 추출하고, 추출된 위치를 좌표를 이용하여 골격을 만들어, 신체 그림으로 나타내는 단계, 상기 신체 그림과 전문가의 영상을 비교하여 메시지를 생성하는 단계 및 상기 메시지를 사용자에게 제공하는 단계로 이루어져 있다. 또한, 상기 카메라는 영상 및 사진 촬영 시, 상기 카메라 하단에 결합되는 구동거치대에 의하여 좌우상하 이동이 가능하다.

상기 사용자 단말기 내 카메라를 이용하여 촬영된 사진을 통해, 전문가와의 자세를 비교하기 위하여, 화면에 그림을 그릴수 잇는 Processing IDE를 사용하기 위하여 Processing 라이브러리를 안드로이드에 적용하게 된다. 그 뒤 Ketai 라이브러리에서 제공하는 언굴인식 라이브러리를 이용하여 얼굴의 위치값을 추출하게 되고, 상기 사용자 단말기 내 카메라를 호출하여, 얼굴 인식이 완료 될 경우, Processing을 이용하여 얼굴을 중심으로 사각형을 그리게 된다.

상기 사용자 단말기 내 앱은, 상기 카메라를 통해 촬영된 사진을 전송받아, OpenCV와 Openpose를 통해 사진에서 인물의 주요부분을 추출하여 json파일로 저장하게 된다. 그 뒤, 추출한 주요부분에 점과 선을 그려, 사용자의 골격을 렌더링 한 뒤 저장하게 되고, 개발한 운동 자세 비교 알고리즘을 통해 올바른 자세와 사용자의 자세를 비교하여, 그에 해당하는 피드백 메시지를 저장하게 된다. 상기 피드백 메시지는 사용자에게 앱에 다시 전송되게 된다.

본 발명의 일 실시예에 따른 Ketai 라이브러리, Open CV 라이브러리, Openpose 라이브러리는 일 실시예에 따른 라이브러리일 뿐이며, 실시예에 따라 다양한 라이브러리를 사용 가능하다.

즉, 구동 거치대는 사용자의 운동 모습이 사진에 담길 수 있도록, 사용자의 위치에 따라 움직이며, 사진을 촬영할 수 있도록 움직인다. 상기 앱은 상기 구동거치대와 연동되어, 상기 카메라에 사용자의 모습이 촬영되고 있는지를 판단하고, 거치대를 움직이는 데이터를 전송하게 된다.

또한, 촬영된 사진을 서버로 전송하고, 서버에서 Openpose 라이브러리 실행을 통해 얻어낸 결과물로, 결과 사진을 만드는 렌더링, 데이터 추출, 데이터 가공의 과정을 거쳐, 결과 사진과 피드백 메시지를 다시 앱으로 전송받아, 사용자에게 보여주게 된다.

이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.

100 : 단말기
110 : 카메라
200 : 구동거치대
210 : 구동부
300 : 서버
400 : 데이터베이스(DB)
500 : 인터넷사이트

Claims

사용자의 운동 모습을 촬영하고 확인하기 위한 운동 자세 교정 시스템에 있어서,
사용자 단말기(100);
사용자 단말기(100)에 구비되어, 사용자의 움직임을 인식하는 카메라(110);
사용자 단말기(100) 하단에 탈착 가능하게 형성된 구동 거치대(200);
상기 카메라(110)로부터 인식된 움직임을 전송하는 서버(300); 및
사용자의 정보 및 상기 카메라(110)에 의한 촬영영상을 저장하는 데이터베이스(400);를 포함하는 것을 특징으로 하는 운동 자세 교정 시스템.
제 1항에 있어서, 상기 카메라(110)는
촬영된 사용자의 신체의 팔목, 손목, 어깨, 무릎, 발목의 위치를 추출하고, 추출된 위치를 좌표를 이용하여 골격을 만들어, 신체 그림으로 나타내는 것을 특징으로 하는 운동 자세 교정 시스템.
제 2항에 있어서, 상기 운동 자세 교정 시스템은
전문가의 영상과 신체 그림을 비교하는 비교부를 더 포함하는 것을 특징으로 하는 운동 자세 교정 시스템.
사용자의 운동 모습을 촬영하고 확인하는 운동 자세 교정 방법에 있어서,
사용자의 운동 모습을 단말기 내 카메라를 이용하여 영상 및 사진을 촬영하는 단계(S100);
상기 촬영된 영상 및 사진을 데이터베이스에 저장하는 단계(S200);
상기 촬영된 사진의 사용자 신체의 팔목, 손목, 어깨, 무릎, 발목의 위치를 추출하고, 추출된 위치를 좌표를 이용하여 골격을 만들어, 신체 그림으로 나타내는 단계(S300);
상기 신체 그림과 전문가의 영상을 비교하여 메시지를 생성하는 단계(S400); 및
상기 메시지를 사용자에게 제공하는 단계(S500);
를 포함하는 것을 특징으로 하는 운동 자세 교정 방법.
제 4항에 있어서, 상기 카메라(110)는
영상 및 사진 촬영 시, 상기 카메라(110) 하단에 결합되는 구동거치대(200)에 의하여 좌우상하 이동이 가능한 것을 특징으로 하는 운동 자세 교정 방법.