KR20220096279A - 스마트 미러 기반의 자세 교정 시스템 - Google Patents

Abstract

본발명은 스마트 미러 기반의 자세 교정 시스템에 관한 것으로, 사용자의 움직임을 촬상하는 카메라 센서,
출력장치인 스마트미러;와
자세교정모듈;로 구성되되,
상기 자세교정제어모듈은 카메라 센서로부터의 입력영상을 데이터로 처리하는 영상처리부;
합성곱 신경망인 CNN 부;
실시간으로 사용자의 자세를 판별해주는 판별부;
및 제어부;로 이루어지는 것으로,
본발명은 홈트레이닝을 하는 사용자가 따라서 운동할 수 있는 영상을 틀어놓음과 동시에 자신의 운동하는 모습을 실시간으로 확인 가능한 스마트미러를 사용하므로 별도의 기기를 착용할 필요가 없어 운동 시에 움직임에 제한이 없으며 다양한 부위의 자세를 교정할 수 있는 현저한 효과가 있다.

Description

스마트 미러 기반의 자세 교정 시스템{Smart mirror-based posture correction system}

본발명은 스마트 미러 기반의 자세 교정 시스템에 관한 것으로, 보다 상세하게는 홈트레이닝을 하는 사용자가 따라서 운동할 수 있는 영상을 틀어놓음과 동시에 자신의 운동하는 모습을 실시간으로 확인 가능한 스마트미러를 사용하므로 별도의 기기를 착용할 필요가 없어 운동 시에 움직임에 제한이 없으며 다양한 부위의 자세를 교정할 수 있는 스마트 미러 기반의 자세 교정 시스템에 관한 것이다.

대중들은 자기관리에 많은 관심을 가지고 있어 운동하는 것을 도와주는 헬스장을 많이 찾는다. 코로나로 인해 실내운동에 대한 관심이 증가하였는데, 특히 시간과 장소에 구애받지 않고 집에서 편하게 운동할 수 있는 홈트레이닝을 하는 사람이 증가하고 있다.

운동을 할 ‹š는 바른 자세로 정확하게 운동을 해야 효율이 증가한다. 그러나 어떤 자세가 바른 자세인지, 자신이 운동을 정확하게 하고 있는지 확인하기 어렵다. 또한 운동을 정확한 자세로 하지 못하게 될 경우, 운동의 효과가 감소하고 부상의 위험에 노출되어 디스크나 관절에 무리가 오는 경우가 발생한다.

실시간 스마트폰과 웨어러블 디바이스가 점차 발전함에 따라 피트니스, 홈트레이닝 분야에도 영향을 주고 있다. 이 중 대부분의 업체들이 웨어러블 디바이스와 애플리케이션을 함께 제공하고 있으며, 사용자의 건강상태와 활동에 대한 데이터를 스스로 파악하여 실시간으로 교정할 수 있는 기능이 탑재되어 있다. 그러나 운동 중에 웨어러블 디바이스를 항상 착용하고 있어야 해서 이질감이 느껴지는 불편함이 있으며, 기기가 부착된 곳 이외의 부분은 판단할 수 없다는 단점이 있다.

종래 현대인들의 목 건강, 주로 거북목을 줄이고자 만든 자세교정 웨어러블 기기는 바른 목 자세로 생활하는 습관을 들이도록 하는 기기로서 사람마다 다른 자세임을 생각하여 맞춤형 코치 서비스가 있다. 제품을 귀에 걸고 목을 기울이면 진동을 주어 자세가 바르지 못함을 인지시킨다. 그러나 목의 자세 외에는 교정할 수 없고, 웨어러블 기기를 항상 착용하고 있어야 한다는 점으로 인하여 일상생활을 할 때의 움직임이 제한적이다.

그리고 종래특허기술의 일례로서 공개특허공보 공개번호 10-2017-0096909호에는 사용자가 일정범위 내에 위치하는지 여부를 감지하기 위한 초음파 센서부;

상기 사용자의 자세를 촬영하기 위한 카메라부; 및

상기 카메라부를 통해 감지된 사용자의 자세를 판단하여 상기 사용자에게 피드백을 주기 위한 제어부; 를 포함하는 것을 특징으로 하는 피드백을 통한 자세교정장치가 공개되어 있다.

또한 공개특허공보 공개번호 10-2014-0004320호에는 좌식(坐式)으로 앉아서 작업할 수 있도록 설치된 디스플레이부(100);

상기 디스플레이부의 상단부에 설치되어 있고, 상기 디스플레이부 이용자의 상반신을 일정한 시간간격을 두고 반복적으로 촬영하여 다수의 촬영정보를 생성하는 카메라부(200); 및

상기 디스플레이부 및 카메라부와 유·무선통신망을 통하여 연결되어 있어 상기 카메라부로부터 수신한 촬영정보를 저장하고, 다수개의 촬영정보를 비교분석하는 데이터처리부(300);

를 포함하여 구성되며, 상기 카메라부는 이용자의 설정에 따라 상기 디스플레이부 이용자의 상반신을 촬영을 개시하여 기본촬영정보를 생성하여 상기 데이터처리부로 송신하고, 상기 카메라부에 의해 일정시간간격으로 촬영된 다수의 후속 촬영정보를 실시간으로 상기 데이터처리부가 수신하면, 상기 데이터처리부는 상기 기본촬영정보 및 후속 촬영정보를 비교분석하고, 상기 후속 촬영정보와 상기 기본촬영정보의 불일치정도가 설정기준에 부적합한 경우에는 상기 디스플레이부에 경고정보를 송신하고, 상기 디스플레이부는 화면에 상기 경고정보를 현시하여 자세를 바로잡을 수 있도록 구성된 주기적 모니터링을 통한 자세교정 시스템이 공개되어 있다.

그러나 상기 종래기술들은 홈트레이닝을 하는 사용자가 따라서 운동하기 위해서는 별도의 기기를 착용하여야 하거나 운동 시에 움직임에 제한이 있거나 기기미착용시는 자세판단 및 교정이 부정확하며 다양한 부위의 자세를 교정할 수 없는 단점이 있었다.

따라서 본발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 홈트레이닝을 하는 사용자가 따라서 운동할 수 있는 영상을 틀어놓음과 동시에 자신의 운동하는 모습을 실시간으로 확인 가능한 스마트미러를 사용하므로, 별도의 웨어러블 기기가 필요 없이 스마트미러의 카메라에 신체 부위를 인식할 수 있는 CNN모델을 적용하여 자세를 판별하는 시스템을 제공하는 것이다.

본발명은 스마트 미러 기반의 자세 교정 시스템에 관한 것으로, 사용자의 움직임을 촬상하는 카메라 센서,

출력장치인 스마트미러;와

자세교정모듈;로 구성되되,

상기 자세교정제어모듈은 카메라 센서로부터의 입력영상을 데이터로 처리하는 영상처리부;

합성곱 신경망인 CNN 부;

실시간으로 사용자의 자세를 판별해주는 판별부;

및 제어부;로 이루어지는 것을 특징으로 한다.

따라서 본발명은 홈트레이닝을 하는 사용자가 따라서 운동할 수 있는 영상을 틀어놓음과 동시에 자신의 운동하는 모습을 실시간으로 확인 가능한 스마트미러를 사용하므로 별도의 기기를 착용할 필요가 없어 운동 시에 움직임에 제한이 없으며 다양한 부위의 자세를 교정할 수 있는 현저한 효과가 있다.

도 1은 본발명의 시스템 구성도(System configuration diagram)
도 2는 본발명의 시스템 UI (System UI)도
도 3은 본발명의 Keypoint detection model
도 4는 본발명의 CNN 모델 구성도(CNN model configuration)
도 5는 본발명의 a) 기본(Basic) b) 동작(Working out)자세도
도 6은 본발명의 운동시 정확비율도(Training accuracy rate)
도 7은 본발명의 운동시 에러 비율도( Training loss rate)

본발명은 스마트 미러 기반의 자세 교정 시스템에 관한 것으로, 사용자의 움직임을 촬상하는 카메라 센서,

출력장치인 스마트미러;와

자세교정모듈;로 구성되되,

상기 자세교정제어모듈은 카메라 센서로부터의 입력영상을 데이터로 처리하는 영상처리부;

합성곱 신경망인 CNN 부;

실시간으로 사용자의 자세를 판별해주는 판별부;

및 제어부;로 이루어지는 것을 특징으로 한다.

또한, 상기 자세교정모듈은 라즈베리 파이인 것을 특징으로 한다.

또한, 상기 카메라 센서와 스마트미러 및 자세교정모듈인 라즈베리 파이는 무선통신되는 것을 특징으로 한다.

또한, 상기 스마트미러에는 보고 따라 할 수 있는 비디오영상과 현재시각이 표시되는 것을 특징으로 한다.

본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다.

본발명에 적용되는 딥러닝은 머신러닝의 한 분야로 컴퓨터가 데이터를 이용하여 사람처럼 스스로 학습할 수 있도록 인공 신경망을 기반으로 한 기계학습 기술이다. 딥러닝의 종류에는 영상과 음성 등에 높은 성능을 보이는 컨볼루션을 이용한 CNN(Convolution Neural Network, 합성곱 신경망), 순차적인 시계열 데이터에 적합한 것으로 알려진 RNN(Recurrent Neural Network) 뿐만 아니라 DNN, LSTM, RBM, DBN, GAN, ResNet, DenseNet 등이 있다.

본 발명에서는 영상 데이터에 많이 사용되고 있는 CNN을 활용하여 신체 부위를 판별하는 모델을 구성하여 이를 통해 자세를 판별하였다.

본발명의 시스템 구성을 설명하면,

본 발명에서는 홈트레이닝을 할 때 바른자세로 운동하기 위하여 스마트미러 기반의 자세 교정 시스템을 구현하였다. 구현된 시스템의 계측부는 사용자의 움직임을 측정하기 위해 카메라 센서를 사용하였다. 계측부에서 측정된 데이터는 라즈베리 기반의 제어부로 전송하여 CNN 모델을 거친다. 이후 멀티 스레드를 통해 스마트미러로 전송되어 실시간으로 사용자의 자세를 판별해준다. 또한, 운동할 때 사용자가 보고 따라 할 수 있는 영상과 현재 시각을 모니터링 할 수 있다. 도 2에 구현된 전체 시스템 구성도를, 도 3에 전체적인 UI를 나타내었다.

또한, 다른 실시례로서, 제어부는 자세 판별 훈련모델 대신 사용자가 가장 잘한 경우의 스쿼트 자세를 저장하고, 이와 대비하여 스마트미러로 전송되어 실시간으로 사용자의 자세를 판별해줄 수 있다. 그리고 스쿼트 자세는 느리게 하는 것이 어려우므로, 일정높이에서부터 상승되거나 하강되는 속도를 추출하여, 제어부는 저장부에 저장된 설정데이타와 비교하여 사용자의 동작소요시간 적합성을 판별해줄 수 있다. 또한 가장낮은 자세에서의 자세유지시간도 마찬가지로 제어부는 저장부에 저장된 설정데이타와 비교하여 사용자의 유지시간 적합성을 판별해줄 수 있다

본발명의 자세 판별 훈련 모델을 설명하면, 영상에서 각 신체 부위를 추출하기 위하여 전이학습을 시키는 방식인 VGG-19 신경망을 활용하였다. VGG는 16개의 컨벌루션 계층과 3개의 완전 연결 계층으로 이루어진 CNN모델 중 하나이다. 이를 활용하여 이미지 판별에 필요한 특징들을 추출하였으며, 그것을 사용하는 2개의 병렬 레이어(branch)를 만들었다. 첫 번째 브랜치에서는 신체 각 부위의 2D 신뢰도 맵을 판별하는 CNN 레이어의 결합으로, 각 구역별로 신뢰도를 0~1사이의 실수로 표현한다. 두 번째 브랜치에서는 각 인체 부위 사이의 연관 정도를 신뢰도와 선호도 맵을 바탕으로 나타낸다. 이를 반복 수행함으로써 전체적인 결과를 도출해내었다.

그리고 본발명의 자세 교정 훈련 모델은 자세를 교정해주기 위하여 CNN 모델에 정확한 자세로 스쿼트를 하는 이미지를 학습시켰다. Convolution 계층에서 특징을 추출하여 Max-pooling 계층을 통해 사이즈를 줄이는 역할을 반복하였다.

그리고 본발명의 동작 인식 실험을 위해 성인 남녀 6명(남 2명, 여 4명)을 대상으로 동일한 방에서 차렷 자세와 스쿼트 자세를 취하여 동작 인식 실험을 진행하였다. 그 결과 평균 95.68%의 정확도가 측정되었으며, 사람 외의 것도 측정이 되어 오류가 검출된 것으로 판단하였다. 일부 특성만 반영된 언더피팅이 진행된 것으로 사료되어 더 많은 이미지 데이터를 학습시키는 중이다.

사용자를 인식하기 위해 모델을 학습시키는 과정에서 최대한 많은 이미지 데이터들이 필요하였고, 구글 검색을 통하여 약 10,000개의 이미지 데이터를 학습시켰다. 약 16,000번 학습했을 때 안정기에 도달한 것을 확인하였으며, 정제된 이미지로 검증을 해보았을 때, 97.8%의 정확도를 산출해내었다.

Claims (3)

1. 단말인 사용자의 움직임을 촬상하는 카메라 센서,
   출력장치인 스마트미러;와
   자세교정모듈;로 구성되되,
   상기 자세교정제어모듈은 카메라 센서로부터의 입력영상을 데이터로 처리하는 영상처리부;
   합성곱 신경망인 CNN 부;
   실시간으로 사용자의 자세를 판별해주는 판별부;
   및 제어부;로 이루어지는 것을 특징으로 하는 스마트 미러 기반의 자세 교정 시스템
2. 제1항에 있어서, 상기 자세교정모듈은 라즈베리 파이인 것을 특징으로 하는 스마트 미러 기반의 자세 교정 시스템
3. 제2항에 있어서, 상기 카메라 센서와 스마트미러 및 자세교정모듈인 라즈베리 파이는 무선통신되는 것을 특징으로 하는 스마트 미러 기반의 자세 교정 시스템

Images