KR101498498B1

KR101498498B1 - 골격 추적을 이용한 자세 교정 방법

Info

Publication number: KR101498498B1
Application number: KR20130123139A
Authority: KR
Inventors: 박준; 김혜리; 이규현
Original assignee: 홍익대학교 산학협력단
Priority date: 2013-10-16
Filing date: 2013-10-16
Publication date: 2015-03-05

Abstract

본 발명은 골격 추적을 이용한 자세 교정 방법에 관한 것으로, 본 발명은 동작 인식 장치를 이용하여 사용자의 자세를 인식하는 단계와, 상기 인식된 자세의 골격을 추출하고 그 추출된 골격의 깊이값을 추출하는 단계와, 상기 추출된 깊이값에 근거하여 상기 추출된 골격의 관절별 클러스터를 형성하는 단계와, 상기 형성된 관절별 클러스터의 평균 깊이값을 산출하여 기준 깊이값으로 설정하는 단계와, 상기 사용자의 현재 자세를 인식하고 그 현재 자세의 관절별 클러스터의 깊이값과 상기 설정된 관절별 클러스터의 기준 깊이값을 비교하는 단계와, 상기 비교결과, 현재 자세의 깊이값과 상기 설정된 기준 깊이값 사이의 오차가 일정 범위를 벗어나면 자세 교정을 지시하는 경고메시지를 출력하는 단계를 포함한다.

Description

골격 추적을 이용한 자세 교정 방법{Method for Postural Correction Using Skeleton Tracking}

본 발명은 동작 인식 장치를 이용하여 사용자의 골격을 추적하여 사용자 자세를 확인하고 사용자가 올바르지 않은 자세를 유지하면 자세 교정을 지시하는 경고메시지를 출력함으로써 사용자가 자세를 스스로 교정할 수 있게 하는 골격 추적을 이용한 자세 교정 방법에 관한 것이다.

인체의 각 관절은 주변 근육의 작용에 의해 움직이고 또 안정된 상태를 유지한다. 그러나, 장시간 동일한 자세를 유지하거나 잘못된 생활 습관 또는 작업환경 등으로 인해 근육의 기능이 감소하고 관절 주변의 연부 조직이 굳게 되면 관절의 균형 상태가 깨지고 자세 변화가 발생한다. 이러한 자세변화는 생체 스트레스로 인한 근골격계 통증을 유발하게 된다.

특히, 현대인들은 정보통신기술이 발달하면서 컴퓨터 또는 스마트폰 등을 사용시간이 증가함에 따라 허리 및 목, 손목, 손가락 관련 질병 및 척추 관련 질환을 앓고 있는 사람들이 눈에 띄게 증가하고 있다.

이에, 종래에는 잘못된 자세를 교정할 수 있는 의자 및 방석과 같은 보조기구를 제공하고 있으며, 카메라를 통해 촬영된 영상과 기준 영상을 비교하여 자세교정을 안내하는 시스템이 제안되고 있다.

KR

1020100138207

A

KR

1020110078009

A

KR

100430840

B1

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 동작 인식 장치를 이용하여 사용자의 골격을 추적하여 사용자 자세를 확인하고 사용자가 올바르지 않은 자세를 유지하면 자세 교정을 지시하는 경고메시지를 출력함으로써 사용자가 자세를 스스로 교정할 수 있게 하는 골격 추적을 이용한 자세 교정 방법을 제공하는데 있다.

상기한 과제를 해결하기 위하여, 본 발명에 따른 골격 추적을 이용한 자세 교정 방법은 동작 인식 장치를 이용하여 사용자의 자세를 인식하는 단계와, 상기 인식된 자세의 골격을 추출하고 그 추출된 골격의 깊이값을 추출하는 단계와, 상기 추출된 깊이값에 근거하여 상기 추출된 골격의 관절별 클러스터를 형성하는 단계와, 상기 형성된 관절별 클러스터의 평균 깊이값을 산출하여 기준 깊이값으로 설정하는 단계와, 상기 사용자의 현재 자세를 인식하고 그 현재 자세의 관절별 클러스터의 깊이값과 상기 설정된 관절별 클러스터의 기준 깊이값을 비교하는 단계와, 상기 비교결과, 현재 자세의 깊이값과 상기 설정된 기준 깊이값 사이의 오차가 일정 범위를 벗어나면 자세 교정을 지시하는 경고메시지를 출력하는 단계를 포함하는 것을 특징으로 한다.

상기 골격의 깊이값 추출 단계는, 상기 인식된 자세로부터 골격을 추출하는 단계와, 골격 추적을 이용하여 상기 추출된 골격의 각 관절에 대한 깊이값을 추출하는 단계를 포함하는 것을 특징으로 한다.

상기 관절의 깊이값 추출은, 팔꿈치부터 어깨까지의 관절, 척추 관절, 목에서 얼굴까지의 관절에 대한 깊이값을 추출하는 것을 특징으로 한다.

상기 클러스터 형성 단계는, 상기 각 관절의 깊이값을 기준으로 한 편차가 미리 설정된 기준 차이 이내인 상기 추출된 골격의 픽셀들을 모아 관절별 클러스터를 형성하는 것을 특징으로 한다.

상기 골격의 깊이값을 추출하는 단계는, 상기 동작 인식 장치에 의해 촬영된 영상에서 상기 추출된 골격에 대응되는 각 픽셀의 깊이값을 추출하는 것을 특징으로 한다.

본 발명은 동작 인식 장치를 이용하여 사용자의 골격을 추적하여 사용자 자세를 확인하고 사용자가 올바르지 않은 자세를 유지하면 자세 교정을 지시하는 경고메시지를 출력함으로써 사용자가 자세를 스스로 교정할 수 있게 한다.

또한, 본 발명은 사용자의 올바르지 않은 자세를 교정할 수 있게 함으로써 관절 및 척추 관련 질환을 예방할 수 있게 한다.

도 1은 본 발명에 따른 골격 추적을 이용한 자세 교정 장치의 설치도.
도 2는 본 발명에 따른 골격 추적을 이용한 자세 교정 장치의 블록구성도.
도 3은 본 발명에 따른 골격 추적을 이용한 자세 교정 방법을 도시한 흐름도.
도 4는 본 발명에 따른 각 관절의 클러스터 형성을 도시한 일 예.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.

도 1은 본 발명에 따른 골격 추적을 이용한 자세 교정 장치의 설치도이고, 도 2는 본 발명에 따른 골격 추적을 이용한 자세 교정 장치의 블록구성도를 도시한다.

도면을 참조하면, 자세 교정 장치는 동작 인식 장치(10)와 자세분석장치(20)를 포함한다.

동작 인식 장치(10)는 하나 이상의 깊이 센서(depth sensor), 카메라 모듈, 다중 배열 마이크, 장치(10)의 기울기를 조정하는 모터를 구비한다. 이러한 동작 인식 장치(10)는 사용자의 음성 및 골격을 인식하는 키넥트(kinect)로 구현될 수 있다.

동작 인식 장치(10)는 앞에 사용자가 나타나면 사용자의 자세를 인식한다. 다시 말해서, 동작 인식 장치(10)는 카메라 모듈을 통해 영상을 촬영하고, 깊이 센서를 통해 그 촬영된 영상의 각 픽셀에 대응되는 깊이값을 측정하여 출력한다. 즉, 동작 인식 장치(10)는 촬영된 영상, 각 픽셀의 위치 및 깊이값을 출력한다.

자세분석장치(20)는 동작 인식 장치(10)와 블루투스, 적외선 통신, 근거리 무선통신과 같은 통신방식을 통해 연결되거나 또는 USB(universal serial bus)와 같은 인터페이스를 통해 연결된다. 자세분석장치(20)는 동작 인식 장치(10)를 통해 사용자의 자세를 인식하고 인식된 사용자의 자세가 바른 자세와의 오차 범위를 벗어나면 자세 교정을 지시하는 경고메시지를 출력한다. 이러한 자세분석장치(20)는 제어부(21), 자세비교부(22), 메모리(23), 출력부(24)를 포함한다.

제어부(21)는 자세분석장치(20)를 구성하는 각 구성요소의 동작을 제어하며 메모리(23)에 기저장된 자세교정 프로그램을 백그라운드로 실행시켜 자세 교정을 안내한다.

제어부(21)는 동작 인식 장치(10)에 의해 인식된 사용자의 자세로부터 사용자의 골격을 추출한다. 즉, 제어부(21)는 동작 인식 장치(10)를 통해 사용자의 골격을 인식한다. 이때, 제어부(21)는 골격 추적(skeleton tracking)을 이용하여 추출된 골격을 구성하는 각 관절(joint)의 깊이값을 추출한다. 예를 들어, 동작 인식 장치(10)가 사용자의 앉은 자세를 인식한 경우, 제어부(21)는 앉은 자세에 대한 사용자의 골격에 대한 깊이값으로부터 팔꿈치부터 어깨까지의 관절, 척추 관절, 목에서 얼굴까지의 관절에 대한 각각의 깊이값을 추출한다.

제어부(21)는 사용자 골격의 깊이값 중 각 관절의 깊이값과의 차이가 미리 설정된 기준 차이 이내인 깊이값들을 모아 관절별 클러스터를 형성한다. 즉, 제어부(21)는 사용자 골격의 각 픽셀의 깊이값 중 관절의 깊이값을 기준으로 한 편차가 일정 수치 이내에 있는 픽셀들로 모아 관절별 클러스터를 형성한다.

그리고, 제어부(21)는 형성된 관절별 클러스터 안의 픽셀들의 깊이값들을 평균화하여 해당 클러스터의 기준 깊이값으로 설정한다. 여기서, 기준 깊이값은 바른 자세의 관절별 클러스터의 깊이값이다.

자세비교부(22)는 제어부(21)의 제어에 따라 동작 인식 장치(10)를 통해 인식되는 사용자의 현재 자세의 깊이값과 제어부(21)에 의해 설정된 기준 깊이값을 비교한다. 다시 말해서, 자세비교부(22)는 현재 자세의 관절별 클러스터 깊이값과 바른 자세의 관절별 클러스터의 깊이값을 각각 비교한다.

자세비교부(22)는 현재 자세의 깊이값과 설정된 기준 깊이값의 차이가 기설정된 오차 범위를 벗어나는지를 확인한다. 자세비교부(22)는 현재 자세의 깊이값과 설정된 기준 깊이값의 차이가 오차 범위를 벗어난 상태로 일정 시간 유지되면 그 비교결과를 출력한다. 다시 말해서, 자세비교부(22)는 오차 범위를 벗어난 관절 클러스터와 차이값(오차)을 출력한다. 예를 들어, 사용자가 앞으로 몸을 숙이거나 뒤로 젖히는 움직임이 감지되면, 자세비교부(22)는 인식된 골격의 척추 클러스터와 목 클러스터의 깊이값을 척추 클러스터와 목 클러스터의 기준 깊이값과 각각 비교한다.

제어부(21)는 자세비교부(22)로부터 출력되는 비교결과에 따라 자세교정을 지시하는 경고메시지를 생성한다.

메모리(23)는 자세분석장치(20)의 동작 제어에 필요한 제반 프로그램을 저장하고 있다. 또한, 메모리(23)에는 자세교정 프로그램이 저장되고, 동작 인식 장치(10)를 통해 획득되는 영상 및 깊이값, 음성 등의 데이터도 저장된다.

출력부(24)는 제어부(21)로부터 출력되는 경고메시지를 디스플레이 화면에 표시하거나 음성으로 변환하여 스피커를 통해 외부로 출력할 수 있다.

도 3은 본 발명에 따른 골격 추적을 이용한 자세 교정 방법을 도시한 흐름도이고, 도 4는 본 발명에 따른 각 관절의 클러스터 형성을 도시한 일 예를 도시한다. 본 실시예에서는 앉은 자세를 인식하는 경우를 예로 들어 설명한다.

먼저, 자세분석장치(20)는 동작 인식 장치(10)를 이용하여 사용자의 앉은 자세를 인식한다(S11). 여기서, 동작 인식 장치(10)는 사용자가 감지되면 카메라 모듈을 통해 영상을 촬영하고, 깊이 센서를 통해 촬영 영상의 각 픽셀에 대한 깊이값을 측정한다.

자세분석장치(20)는 상기 인식된 앉은 자세의 골격을 추출하고(S12), 그 추출된 골격의 깊이값을 추출한다(S13). 즉, 자세분석장치(20)는 촬영된 영상으로부터 사용자의 골격을 추출하고, 그 추출된 골격에 대응되는 각 픽셀의 깊이값을 추출한다. 이때, 자세분석장치(20)는 추출된 골격의 각 관절의 깊이값을 추출한다.

자세분석장치(20)는 상기 추출된 깊이값에 근거하여 클러스터를 형성한다(S14). 자세분석장치(20)는 상기 추출된 골격의 각 픽셀의 깊이값들 중에서 골격의 각 관절의 깊이값을 기준으로 한 편차가 미리 설정된 기준 차이 이내인 픽셀들을 모아 관절별 클러스터를 형성한다. 예를 들어, 도 4에 도신된 바와 같이 자세분석장치(20)는 목 클러스터(C1), 팔 클러스터(C2, C3), 척추 클러스터(C4)를 형성한다.

자세분석장치(20)는 상기 형성된 클러스터 안 픽셀들의 깊이값을 평균화하여 관절별 클러스터의 기준 깊이값으로 설정한다(S15). 즉, 기준 깊이값은 바른 자세의 관절별 클러스터의 깊이값이다.

자세분석장치(20)는 상기 사용자의 현재 자세를 인식하고 그 현재 자세의 깊이값과 상기 설정된 기준 깊이값을 비교한다(S16). 자세분석장치(20)는 동작 인식 장치(10)를 통해 사용자의 현재 자세를 인식하고, 그 인식된 현재 자세의 골격을 추출한다. 그리고, 자세분석장치(20)는 추출된 골격의 각 픽셀의 깊이값을 추출하여 그 추출된 깊이값에 근거하여 픽셀들 클러스터를 형성하고 그 형성된 클러스터 내 픽셀들의 평균 깊이값을 산출한다. 자세분석장치(20)의 자세비교부(22)는 산출된 현재 자세의 관절별 클러스터의 깊이값과 설정된 관절별 클러스터의 기준 깊이값을 각각 비교한다.

자세분석장치(20)는 상기 비교결과 현재 자세의 깊이값과 상기 설정된 기준값 사이의 차이가 오차 범위를 벗어나면 자세 교정을 지시하는 경고메시지를 출력한다(S17, S18). 자세비교부(22)는 오차 범위를 벗어난 관절 클러스터와 오차 범위를 벗어난 관절 클러스터의 깊이값과 기준 깊이값의 차이를 출력한다. 제어부(21)는 자세비교부(22)로부터 출력되는 비교결과에 근거하여 자세 교정을 안내하는 메시지를 생성하여 디스플레이 화면에 표시거나 또는 음성으로 출력한다.

10: 동작 인식 장치
20: 자세분석장치
21: 제어부
22: 자세비교부
23: 메모리
24: 출력부

Claims

동작 인식 장치를 이용하여 사용자의 자세를 인식하는 단계와,
상기 인식된 자세의 골격을 추출하고 그 추출된 골격의 깊이값을 추출하는 단계와,
상기 추출된 깊이값에 근거하여 상기 추출된 골격의 관절별 클러스터를 형성하는 단계와,
상기 형성된 관절별 클러스터의 평균 깊이값을 산출하여 기준 깊이값으로 설정하는 단계와,
상기 사용자의 현재 자세를 인식하고 그 현재 자세의 관절별 클러스터의 깊이값과 상기 설정된 관절별 클러스터의 기준 깊이값을 비교하는 단계와,
상기 비교결과, 현재 자세의 깊이값과 상기 설정된 기준 깊이값 사이의 오차가 일정 범위를 벗어나면 자세 교정을 지시하는 경고메시지를 출력하는 단계를 포함하여 이루어지며,
상기 골격의 깊이값을 추출하는 단계는 상기 동작 인식 장치에 의해 촬영된 영상에서 상기 추출된 골격에 대응되는 각 픽셀의 깊이값을 추출하는 것을 특징으로 하는 골격 추적을 이용한 자세 교정 방법.
제1항에 있어서,
상기 골격의 깊이값 추출 단계는,
상기 인식된 자세로부터 골격을 추출하는 단계와,
골격 추적을 이용하여 상기 추출된 골격의 각 관절에 대한 깊이값을 추출하는 단계를 포함하는 것을 특징으로 하는 골격 추적을 이용한 자세 교정 방법.
제2항에 있어서,
상기 관절의 깊이값 추출은,
팔꿈치부터 어깨까지의 관절, 척추 관절, 목에서 얼굴까지의 관절에 대한 깊이값을 추출하는 것을 특징으로 하는 골격 추적을 이용한 자세 교정 방법.
제2항 또는 제3항에 있어서,
상기 클러스터 형성 단계는,
상기 각 관절의 깊이값을 기준으로 한 편차가 미리 설정된 기준 차이 이내인 상기 추출된 골격의 픽셀들을 모아 관절별 클러스터를 형성하는 것을 특징으로 하는 골격 추적을 이용한 자세 교정 방법.
삭제