KR20180103280A

KR20180103280A - 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템

Info

Publication number: KR20180103280A
Application number: KR1020170029991A
Authority: KR
Inventors: 석원영
Original assignee: 석원영
Priority date: 2017-03-09
Filing date: 2017-03-09
Publication date: 2018-09-19

Abstract

자세인식을 활용한 노인전용 운동안내 시스템은, 적외선을 이용한 깊이영상과, 컬러영상을 촬영하는 3차원 영상센서; 상기 깊이영상을 처리하여 인체와 배경을 분리하고 인체의 자세를 인식하는 인체자세 인식처리를 수행함에 있어서, 상기 인체의 상체 왼쪽 관절그룹, 상체 오른쪽 관절그룹, 상체중심 관절그룹, 하체 왼쪽 관절그룹 및 하체 오른쪽 관절그룹 사이의 거리 유사성을 토대로 강사 표준영상과의 자세 유사성을 판단하는 동작 제어부; 상기 강사 표준영상과, 상기 동작 제어부에서 인식한 인체의 자세를 비교하여 표시하는 디스플레이부; 상기 동작 제어부와 데이터를 교환하는 데이터 서버; 및 상기 데이터 서버를 원격 제어하는 전용 애플리케이션이 설치되는 휴대용 단말기;를 포함하는 것을 특징으로 한다.

Description

관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템{An exercise guidance system for the elderly that performs posture recognition based on distance similarity between joints}

본 발명은 노인전용 운동안내 시스템에 관한 것으로서, 더 상세하게는 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템에 관한 것이다.

균형성 재활운동의 자세 교정은 대부분 재활 치료사나 재활 전문 트레이너의 도움을 받아 이루어지고 있다. 그러나 균형성 재활운동을 필요로 하는 사람의 수에 비해 재활 치료사나 재활 전문 트레이너의 수가 훨씬 부족한 관계로 균형성 재활운동이 적시에 이루어지지 못하는 문제가 발생하고 있다.

이를 해결하기 위해, 한국 등록특허 등록번호 "10-1545516"은 균형성 재활운동 자세 교정 시스템에 관한 것으로서,

재활자의 움직임을 감지하기 위해 상기 재활자의 신체 여러 부위들에 각각 장착되는 복수의 모션 인식 센서 모듈들; 균형성 재활운동의 안내 동작들 및 상기 안내 동작들 각각에 대한 평가 표준값을 저장하고 있는 저장 장치; 수신 신호를 시각적으로 표시하는 표시 장치; 및 상기 모션 인식 센서 모듈들이 감지한 재활자의 움직임을 상기 표시 장치의 제1섹션에 표시하고, 상기 안내 동작들을 상기 제1섹션의 일측에 위치하는 제2섹션에 순차적으로 표시하며, 상기 제2섹션에 표시된 안내 동작에 대한 평가 표준값과 상기 제1섹션에 표시된 재활자의 움직임에 대한 평가 실측값 간 차이값을 상기 재활자가 상기 제2섹션에 표시된 안내 동작을 반복할 때마다 상기 재활자에게 알려주는 컴퓨터;를 포함하는 균형성 재활운동 자세 교정 시스템을 제공한다.

하지만, 종래의 균형성 재활운동 자세 교정 시스템은 모션 인식 센서 모듈을 인체의 특정부위에 장착해야 하는 방식이다. 따라서 노인들과 같이 근력이 약한 사람의 경우, 인체에 장착하는 센서 자체를 부담스러워할 수 있으며, 센서가 부자연스러운 움직임을 유발하는 문제점이 있었다.

또한, 종래의 균형성 재활운동 자세 교정 시스템은, 재활운동에 중점을 둔 방식이므로 노인이 센서를 착용하여 일상적으로 운동하기에는 불편한 단점이 있다.

KR 10-1545516 B

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 3차원 영상센서에서 수집된 깊이영상 및 컬러영상을 이용하여 자세인식을 진행할 수 있는 노인전용 운동안내 시스템을 제공한다.

본 발명의 일 실시예에 따르면, 적외선을 이용한 깊이영상과, 컬러영상을 촬영하는 3차원 영상센서; 상기 깊이영상을 처리하여 인체와 배경을 분리하고 인체의 자세를 인식하는 인체자세 인식처리를 수행함에 있어서, 상기 인체의 상체 왼쪽 관절그룹, 상체 오른쪽 관절그룹, 상체중심 관절그룹, 하체 왼쪽 관절그룹 및 하체 오른쪽 관절그룹 사이의 거리 유사성을 토대로 강사 표준영상과의 자세 유사성을 판단하는 동작 제어부; 상기 강사 표준영상과, 상기 동작 제어부에서 인식한 인체의 자세를 비교하여 표시하는 디스플레이부; 상기 동작 제어부와 데이터를 교환하는 데이터 서버; 및 상기 데이터 서버를 원격 제어하는 전용 애플리케이션이 설치되는 휴대용 단말기;를 포함하는 것을 특징으로 하는 노인전용 운동안내 시스템이 제공된다.

또한, 상기 데이터 서버는 상기 동작 제어부에서 판단한 자세 유사성에 대한 데이터를 데이터베이스화하여 저장하고, 기존에 저장된 자세 유사성에 대한 데이터를 토대로 사용자를 자동식별하는 것을 특징으로 한다.

또한, 상기 동작 제어부는, 복수의 인체를 인지하여 각 인체와 상기 강사 표준영상과의 자세 유사성을 각각 판단하는 것을 특징으로 한다.

본 발명의 실시예에 따른 자세인식을 활용한 노인전용 운동안내 시스템은, 3차원 영상센서에서 수집된 깊이영상 및 컬러영상을 이용하여 자세인식을 진행할 수 있다.

따라서 노인들이 강사 표준영상을 시청하면서 실버요가, 건강체조, 전통무술 등을 쉽게 따라할 수 있으며, 자신의 동작이 강사 표준영상과 얼마나 유사한지를 시각적으로 확인하면서 운동을 진행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 노인전용 운동안내 시스템의 구성도
도 2는 본 발명의 다른 실시예 따른 노인전용 운동안내 시스템의 구성도
도 3은 자세 유사성을 판단하기 위한 25개의 관절 부위를 나타낸 도면
도 4는 관리자 설정화면을 나타낸 도면
도 5 내지 도 6은 노인전용 운동안내 시스템의 실행과정을 나타낸 도면
도 7 내지 도 9는 노인전용 운동안내 시스템의 다른 실행과정을 나타낸 도면

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 노인전용 운동안내 시스템의 구성도이다.

본 실시예에 따른 자세인식을 활용한 노인전용 운동안내 시스템은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.

도 1을 참조하면, 자세인식을 활용한 노인전용 운동안내 시스템은, 3차원 영상센서(100), 동작 제어부(200), 디스플레이부(300) 및 데이터 서버(400)를 포함하여 구성된다.

여기에서 3차원 영상센서(100)는 적외선 깊이센서(111,112)와, 영상 카메라(120)를 포함하여 구성될 수 있다.

상기와 같이 구성되는 노인전용 운동안내 시스템의 세부구성과 주요동작을 살펴보면 다음과 같다.

3차원 영상센서(100)는 RF 신호를 이용한 깊이영상과, 컬러영상을 촬영한다. 본 실시예에서 3차원 영상센서(100)는 적외선 깊이센서(111,112)와, 영상 카메라(120)를 포함하여 구성된다. 참고적으로 깊이센서는 라이더 또는 레이더를 이용하여 거리값을 측정하는 방식을 사용할 수도 있다.

적외선 깊이센서(111,112)는 촬영 대상(인체)의 거리값이 포함된 깊이영상을 파악할 수 있도록 구성된다. 적외선 깊이센서(111,112)는 적어도 하나 이상의 적외선 센서를 포함하며, 각 적외선 센서는 적외선 발신부 및 적외선 수신부를 포함하여 구성될 수 있다.

적외선 깊이센서(111,112)는 대상과의 거리를 측정하여 인체의 각 관절의 위치를 검출하도록 구성될 수 있다.

영상 카메라(120)는 컬러 이미지의 촬영영상으로 정의되는 컬러영상을 촬영하는데, 연속적인 영상을 촬영할 수 있도록 구성된다.

디스플레이부(300)는 강사 표준영상과, 현재 사용자의 영상과, 동작 제어부(200)에서 인식한 인체의 자세를 비교하여 표시한다. 참고적으로 디스플레이부(300)는 LCD 및 LED 패널로 구성되는 스마트 텔레비전 및 모니터 등으로 정의될 수 있다.

데이터 서버(400)는 동작 제어부(200)와 상호 간에 데이터를 교환할 수 있도록 구성된다.

데이터 서버(400)는 동작 제어부(200)에서 판단한 자세 유사성에 대한 데이터를 데이터베이스화하여 저장하고, 기존에 저장된 자세 유사성에 대한 데이터를 동작 제어부(200)에 제공하여 동작 제어부(200)가 기존 사용자를 자동식별할 수 있도록 제어할 수 있다.

한편, 동작 제어부(200)는 적외선 깊이센서(111,112)의 깊이영상을 처리하여 인체와 배경을 분리하고 인체를 인식하는 인체자세 인식처리를 수행할 수 있다. - 인체인식 처리 -

또한, 동작 제어부(200)는 영상 카메라(120)의 컬러영상의 이전 프레임과 현재 프레임의 픽셀 차이값을 토대로 인체의 움직임을 파악하는 픽셀 처리를 수행할 수도 있다. - 픽셀 처리 -

동작 제어부(200)는 영상 카메라(120)의 컬러영상의 이전 프레임과 현재 프레임의 픽셀 차이값을 토대로 인체의 움직임을 파악하는 픽셀 처리를 수행할 수 있는데, 픽셀 차이값이 기준값을 초과할 경우에 인체의 움직임이 진행되고 있다고 판단한다.

즉, 조명 등의 영향으로 컬러영상의 이전 프레임과 현재 프레임의 픽셀값이 완전히 동일할 수 없으므로, 예를 들 경우, 640 * 480 개의 픽셀 중 대략 0.2% ~ 1%의 픽셀이 다른 색상 정보를 가졌을 경우 인체가 움직였다고 판단할 수 있다. 이때 각 픽셀(RGB)의 색상값의 차이가 50이상일 경우에만 다른 색상 정보를 가졌다고 카운트 한다. - RGB의 각 색상값이 0 ~ 255 범위를 가진다고 가정함 -

즉, 동작 제어부(200)는 영상 카메라(120)의 인체 움직임 정보를 추가적으로 고려하여, 인체와 배경을 분리하고, 각 관절의 위치정보를 판단하는데 도움을 받는다.

적외선 깊이센서(111,112)는 대상과의 거리를 측정하고 그 대상과 유사한 거리값을 토대로 인체를 검출하고, 깊이영상을 출력할 수 있도록 구성된다. 즉, 깊이영상은 기본적으로 거리정보를 포함하며, 실루엣 영상 - 물체의 외곽선 영상 - 형태로 표시될 수 있다.

따라서 깊이영상은 인체를 구성하는 주요 관절 25개에 대한 위치 데이터를 제공해 줄 수 있으며, 동작 제어부(200)는 해당 관절 포인트를 이용해 골격에 해당하는 신체 부위의 정보를 쉽게 얻어낼 수 있다. 따라서 전방의 인체가 어떤 자세를 취하고 있는지를 판단할 수 있다.

적외선 깊이센서(111,112)는 TOF(Time of Flight) 방식의 사용으로 깊이 값의 추출과 25개의 관절점 추출이 상당히 안정적이어서 행동특징 추출에 사용될 수 있다. 또한, 물체인식 처리(오브젝트 단위 인식)는 적외선 센서를 이용하므로 조명이 약한 어두운 환경에서도 대상을 용이하게 추적할 수 있는 장점이 있다.

도 2는 본 발명의 다른 실시예 따른 노인전용 운동안내 시스템의 구성도이다.

도 2를 참조하면, 동작 제어부(200)는 복수의 인체를 인지하여 각각의 인체와 강사 표준영상과의 자세 유사성을 판단한 후 그 결과를 표시할 수 있도록 구성된다.

즉, 디스플레이부(300)가 강사 표준영상을 표시할 때, 복수의 사용자(사람)이 동시에 강사 표준영상을 따라할 경우, 동작 제어부(200)는 각각의 사용자(사람)의 인체 자세를 강사 표준영상과 비교하여 디스플레이부(300)에 표시한다.

도 3은 자세 유사성을 판단하기 위한 25개의 관절 부위를 나타낸 도면이다.

도 3을 참조하면, 동작 제어부(200)는 인체의 25개 관절의 위치를 토대로 현재자세를 실시간으로 판단한다.

동작 제어부(200)가 인체의 자세를 인식하는 인체자세 인식처리를 수행하는 과정에 대해서 자세히 살펴보기로 한다.

동작 제어부(200)는 인체의 상체 왼쪽 관절그룹, 상체 오른쪽 관절그룹, 상체중심 관절그룹, 하체 왼쪽 관절그룹 및 하체 오른쪽 관절그룹 사이의 거리 유사성을 토대로 강사 표준영상과의 자세 유사성을 판단한다.

적외선 깊이센서(111,112)는 25개의 관절의 위치정보를 감지하여 동작 제어부(200)에 제공하므로, 동작 제어부(200)는 25개의 관절을 상체 왼쪽 관절그룹, 상체 오른쪽 관절그룹, 상체중심 관절그룹, 하체 왼쪽 관절그룹 및 하체 오른쪽 관절그룹, 즉 5개의 관절그룹으로 구분한 후, 강사 표준영상과 각 관절그룹 사이의 거리 유사성을 토대로 자세 유사성을 판단한다.

즉, 강사 표준영상과, 사용자의 인체 자세를 비교할 때, 인체의 상체 왼쪽 관절그룹, 상체 오른쪽 관절그룹, 상체중심 관절그룹, 하체 왼쪽 관절그룹 및 하체 오른쪽 관절그룹 사이의 거리 유사성을 기준으로 하여 자세 유사성을 판단한다.

본 실시예에서 인체 25개 관절은 머리(HEAD), 목(NECK), 어깨(SHOULDER_RIGHT, SHOULDER_LEFT), 팔꿈치(ELBOW_RIGHT, ELBOW_LEFT), 손목(WRIST_RIGHT, WRIST_LEFT), 손가락(HAND_TIP_LEFT, HAND_TIP_RIGHT), 엄지손가락(THUMB_LEFT, THUMB_RIGHT), 손(HAND_LEFT, HAND_RIGHT), 척추상부(SPINE_SHOULDER), 척추중심(SPINE_MID), 척추베이스(SPINE_BASE), 허리(HIP_RIGHT, HIP_LEFT), 무릎(KNEE_RIGHT, KNEE_LEFT), 발목(ANKLE_RIGHT, ANKLE_LEFT), 발(FOOT_RIGHT, FOOT_LEFT)로 정의된다.

또한, 5개의 관절그룹은 상체 왼쪽 관절그룹(HAND_TIP_LEFT, THUMB_LEFT, HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT), 상체 오른쪽 관절그룹(HAND_TIP_RIGHT, THUMB_RIGHT, HIP_RIGHT, SHOULDER_RIGHT, WRIST_RIGHT, ELBOW_RIGHT, HAND_RIGHT), 상체중심 관절그룹(HEAD, NECK, SPINE_SHOULDER, SPINE_MID, SPINE_BASE), 하체 왼쪽 관절그룹(FOOT_LEFT, ANKLE_LEFT, KNEE_LEFT), 하체 오른쪽 관절그룹(FOOT_RIGHT, ANKLE_RIGHT, KNEE_RIGHT)으로 정의된다.

도 4는 관리자 설정화면을 나타낸 도면이다.

도 4를 참조하면, 3차원 영상센서(100)를 이용하여 강사 표준영상을 촬영할 경우, 동작 제어부(200)는 25개 관절, 즉 머리(HEAD), 목(NECK), 어깨(SHOULDER_RIGHT, SHOULDER_LEFT), 팔꿈치(ELBOW_RIGHT, ELBOW_LEFT), 손목(WRIST_RIGHT, WRIST_LEFT), 손가락(HAND_TIP_LEFT, HAND_TIP_RIGHT), 엄지손가락(THUMB_LEFT, THUMB_RIGHT), 손(HAND_LEFT, HAND_RIGHT), 척추상부(SPINE_SHOULDER), 척추중심(SPINE_MID), 척추베이스(SPINE_BASE), 허리(HIP_RIGHT, HIP_LEFT), 무릎(KNEE_RIGHT, KNEE_LEFT), 발목(ANKLE_RIGHT, ANKLE_LEFT), 발(FOOT_RIGHT, FOOT_LEFT)의 위치정보를 각각 파악한다.

또한, 25개의 관절을 5개의 관절그룹, 즉 상체 왼쪽 관절그룹(HAND_TIP_LEFT, THUMB_LEFT, HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT), 상체 오른쪽 관절그룹(HAND_TIP_RIGHT, THUMB_RIGHT, HIP_RIGHT, SHOULDER_RIGHT, WRIST_RIGHT, ELBOW_RIGHT, HAND_RIGHT), 상체중심 관절그룹(HEAD, NECK, SPINE_SHOULDER, SPINE_MID, SPINE_BASE), 하체 왼쪽 관절그룹(FOOT_LEFT, ANKLE_LEFT, KNEE_LEFT), 하체 오른쪽 관절그룹(FOOT_RIGHT, ANKLE_RIGHT, KNEE_RIGHT)으로 구분하여 관리한다.

동작 제어부(200)는 강사 표준영상을 제작할 때, 필요한 관절정보의 위치정보만을 파악하도록 선택할 수 있는 메뉴를 제공한다. 예를 들면, 강사 표준영상에서 상체에 해당하는 관절만을 선택할 경우, 선택된 관절의 위치정보만이 강사 표준영상에 대응되어 저장된다. 즉, 강사 표준영상이 상체의 움직임만 필요한 영상일 경우, 하체에 대한 관절의 정보는 추출되지 않도록 지정할 수 있다.

또한, 동작 제어부(200)는 강사 표준영상을 제작할 때, "운동 자세의 정확도를 채점하기 위해 필요한 관절 위치정보 선택 및 오차범위 지정과정"을 진행할 수 있는데, 관절 위치정보 선택은 총 25가지 관절정보에서 정확도에 측정할 관절정보만 선택하는 것을 의미한다.

이때, 각 관절 또는 관절그룹 별로 오차범위를 지정할 수 있다. 오차는 각 관절의 각도의 오차범위를 지정하는 방식이다. 오차범위는 1퍼센트(%) 단위로 1~100%까지 지정할 수 있다. 1%는 오차율이 가장 적은 것을 뜻하며, 100%는 운동 자세에서 중요하지 않은 관절 또는 관절그룹에 지정하게 되며 지정된 관절 또는 관절그룹의 위치는 무시하게 된다. 즉, 채점 기준정보는 5가지 관절그룹 중에서 선택한 관절그룹에 의해서만 진행된다. 이때, 채점 기준정보는 관절그룹이 아닌 개별적으로 선택된 각 관절에 의해서 진행될 수도 있다.

또한, 동작 제어부(200)는 강사 표준영상을 제작할 때, 강사의 체격, 나이, 성별, 몸의 유연성정보를 추가로 입력할 수 있다. 즉, 모든 강사에게 공통으로 적용될 수 있는 절대적인 표준 행동이 존재할 수 없으므로, 개인별 행동분석을 위해서는 체격, 나이, 성별, 몸의 유연성 등에 따라 강사들의 행동데이터(특징)를 수집하여 이들과의 상대적 비교에 의한 평가를 한다.

즉, 강사 표준영상이 유연성이 좋은 20대 여성에 의한 것이고, 사용자가 60대 여성일 경우, 표준적인 60대 여성이 취할 수 있는 유연성 등을 고려하여 자세 유사성을 판단한다.

따라서 노인전용 운동안내 시스템은 노인의 신체적 능력을 고려하여 자세 유사성을 판단하고 노인들이 가장 선호하는 동작 컨텐츠를 제공하고 정확한 동작을 유도함으로써 운동효과의 극대화할 수 있다.

또한, 동작 제어부(200)는 강사 표준영상을 제작할 때, "운동시간 및 운동 자세마다 난이도 설정과정"을 진행할 수 있는데, 운동시간은 사용자가 동작을 진행해야 하는 시간을 뜻한다. 만약, 10초로 지정하면 10초 이내에 강사와 똑같은 자세를 취해야 한다.

동작 제어부(200)는 상술한 바와 같은 방식으로 생성된 강사 표준영상을 디스플레이부(300)에 표시하는데, 사용자가 강사 표준영상을 따라할 경우, 3차원 영상센서(100)가 사용자의 인체의 동작을 감지하며, 동작 제어부(200)는 3차원 영상센서(100)가 감지한 깊이영상의 정보를 토대로 자세 유사성을 판단한다.

이때, 동작 제어부(200)는 인체의 상체 왼쪽 관절그룹, 상체 오른쪽 관절그룹, 상체중심 관절그룹, 하체 왼쪽 관절그룹 및 하체 오른쪽 관절그룹 사이의 거리 유사성을 토대로 강사 표준영상과의 자세 유사성을 판단한다. 만약, 강사 표준영상이 상체의 움직임만 있을 경우, 하체에 대한 관절의 정보는 추출되지 않고, 상체에 해당하는 관절의 위치정보만을 이용하여 자세 유사성을 판단한다.

자세 유사성을 판단하는 과정은 다음과 같이 이루어진다.

우선, 동작 제어부(200)는 인체 25개 관절, 즉 머리(HEAD), 목(NECK), 어깨(SHOULDER_RIGHT, SHOULDER_LEFT), 팔꿈치(ELBOW_RIGHT, ELBOW_LEFT), 손목(WRIST_RIGHT, WRIST_LEFT), 손가락(HAND_TIP_LEFT, HAND_TIP_RIGHT), 엄지손가락(THUMB_LEFT, THUMB_RIGHT), 손(HAND_LEFT, HAND_RIGHT), 척추상부(SPINE_SHOULDER), 척추중심(SPINE_MID), 척추베이스(SPINE_BASE), 허리(HIP_RIGHT, HIP_LEFT), 무릎(KNEE_RIGHT, KNEE_LEFT), 발목(ANKLE_RIGHT, ANKLE_LEFT), 발(FOOT_RIGHT, FOOT_LEFT)의 위치정보(x,y)를 수집한다.

다음으로, 하나의 관절 위치에서 다른 모든 관절 위치까지의 거리를 <수학식 1>을 이용하여 계산한다.

<수학식 1>

예를 들어, 첫 번째 관절 HAND_TIP_LEFT (x = 3, y = 4)이고, 두 번째 관절 THUMB_LEFT (x = 2, y = 11)이라고 할 때, <수학식 1>을 적용하면 다음과 같다.

산출된 유클리디안 거리(7.0710...)에 1을 더하고 역수를 취하여 항상 0 ~ 1 사이의 값이 나오도록 정규화 과정을 거치게 된다. 이때, 두 관절의 거리가 가까울수록 1에 가까운 수가 된다.

25개의 관절에 상술한 수학식 1을 모두 적용하면 총 300개의 거리정보가 산출되는데, 정규화된 수치가 사용자 동작에 대한 비교 및 분석 데이터로 사용된다.

이때, 25개의 관절을 상체 왼쪽 관절그룹(HAND_TIP_LEFT, THUMB_LEFT, HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT), 상체 오른쪽 관절그룹(HAND_TIP_RIGHT, THUMB_RIGHT, HIP_RIGHT, SHOULDER_RIGHT, WRIST_RIGHT, ELBOW_RIGHT, HAND_RIGHT), 상체중심 관절그룹(HEAD, NECK, SPINE_SHOULDER, SPINE_MID, SPINE_BASE), 하체 왼쪽 관절그룹(FOOT_LEFT, ANKLE_LEFT, KNEE_LEFT), 하체 오른쪽 관절그룹(FOOT_RIGHT, ANKLE_RIGHT, KNEE_RIGHT)으로 구분한 후, 각 관절그룹 내부의 거리정보를 산출하여 저장할 수도 있다.

한편, 동작 제어부(200)는 강사 표준영상과 사용자의 인체동작의 자세 유사성을 비교할 때, 25개의 관절에 상술한 수학식 1을 모두 적용하여 산출된 총 300개의 거리정보를 모두 비교한 후, 자세 유사성을 백분율로 표시할 수 있다.

또한, 연산량을 감소시키기 위해, 5개의 관절그룹 중 선택된 관절그룹만의 거리정보를 바탕으로 자세 유사성을 백분율로 표시할 수 있다.

예를 들면, 상체 왼쪽 관절그룹(HAND_TIP_LEFT, THUMB_LEFT, HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT)만이 선택된 경우,

강사 표준영상의 상체 왼쪽 관절그룹(HAND_TIP_LEFT, THUMB_LEFT, HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT)에 대한 거리정보와, 사용자의 상체 왼쪽 관절그룹(HAND_TIP_LEFT, THUMB_LEFT, HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT)에 대한 거리정보의 비교를 통해 자세 유사성을 백분율로 표시할 수 있다.

참고적으로, 강사 표준영상을 제작할 때, 상체 왼쪽 관절그룹(HAND_TIP_LEFT, THUMB_LEFT, HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT) 중 손가락 관절(HAND_TIP_LEFT, THUMB_LEFT)이 선택되지 않았다면,

손가락 관절(HAND_TIP_LEFT, THUMB_LEFT)를 제외한, 사용자의 상체 왼쪽 관절그룹(HIP_LEFT, SHOULDER_LEFT, ELBOW_LEFT, WRIST_LEFT, HAND_LEFT)에 대한 거리정보의 비교를 통해 자세 유사성을 백분율로 표시하도록 동작한다.

도 5 내지 도 6은 노인전용 운동안내 시스템의 실행과정을 나타낸 도면이다.

도 5 내지 도 6을 참조하면, 도면에 미도시되었으나, 동시에 운동을 진행할 사용자의 수를 입력하는 과정이 진행될 수 있다.

다음으로, 동작이 정상적으로 인식되는지 여부를 테스트하는 과정이 진행된다. 즉 간단히 양손을 머리 위로 드는 동작 등을 인식하여 정상동작 여부를 확인하는 과정이 진행된다.

참고적으로 사용자를 자동으로 인식하는 과정이 추가로 진행될 수 있다. 기본적으로 사용자의 이름을 입력하는 경우, 해당 사용자의 과거의 운동이력 및 개인정보가 자동으로 셋팅된다.

이때, 사용자가 자신의 얼굴 및 신체정보를 미리 등록해 둔 경우, 3차원 영상센서(100)의 영상인식을 통해 사용자가 자동인식 될 수 있다. 즉, 3차원 영상센서(100)가 사용자의 얼굴(눈, 코, 입, 귀) 및 신체정보를 바탕으로 사용자를 자동인식한 후, 해당 사용자의 과거의 운동이력 및 개인정보가 자동으로 셋팅될 수 있다.

다음으로, 사용자가 원하는 프로그램(실버요가, 전통무술, 건강체조, 스트레칭, 부위운동)을 선택할 수 있는 화면이 표시된다. 프로그램은 기본적으로 리모트 컨트롤러를 이용하여 선택할 수 있으나, 실시예에 따라 사용자 동작을 인식하여 선택할 수 있도록 구성될 수 있다.

예를 들면, 사용자가 팔을 아래로 움직이면 화살표가 아래로 움직이고, 팔을 위로 움직이면 화살표가 위로 움직인다. 최종선택은 사용자가 원하는 프로그램에 화살표를 옮긴 뒤 주먹을 쥐면 주먹을 인식하여 선택되도록 한다.

다음으로, 원하는 프로그램을 선택했다면, 사용자의 연령대를 선택할 수 있도록 한다. 이는 프로그램 진행에 있어 난이도를 선택하는 것이며, 난이도'상 중 하'와 같은 형식으로 표시될 수도 있다.

다음으로, 도 6에 도시된 바와 같이, 화면의 좌측에는 강사의 동작과, 진행 동작에 대한 간단한 설명이 음성 및 문자로 나오며, 우측에는 3차원 영상센서(100)에 의해 현재 촬영되고 있는 사용자의 모습이 나온다. 이때, 관절정보가 겹쳐져 표시되어 사용자가 자신의 관절 정보를 직접 볼 수 있도록 표시되는 것이 바람직하다.

사용자가 동작을 진행하면, 동작 제어부(200)는 강사 표준영상과 사용자의 동작을 비교하여, 일치율 정도를 파악하여 화면에 나타내 준다. 화면의 중앙에는 일치율의 정도에 따라 60%이상이면 성공이란 뜻의 초록불을, 59%이하면 빨간불을 나타내준다. 이 일치율은 노인의 신체능력을 고려하여 오차범위를 정한다. 약 10 ~ 15분 정도의 요가 코스가 끝나면, 코스 진행에 대한 종합적인 결과를 표시하고, 이 결과는 점수 혹은 등급으로 표시된다.

참고적으로, 노인전용 운동안내 시스템이 실행되는 과정에서, 디스플레이부(300)에 표시되는 강사와 사용자의 모습은 그래픽이 아닌 실제 모습으로 구현된다.

이때, 배경(숲, 실내 요가실, 바다 등)은 기본적으로 자동선택 되나 옵션 따로 두어 사용자가 선택할 수 있도록 구성될 수 있다. 또한, 배경음악의 경우 배경화면과 같이 콘텐츠와 어울리는 음악이 자동 선택되나 사용자가 원하는 음악으로 변경 가능할 수 있다.

각 프로그램은 한 코스 당 약 10 ~ 15분 정도의 진행시간을 가지며, 각 동작은 하나의 자세(예) 나무자세)를 약 3 ~ 5 단계 정도로 나눠서 진행될 것이며, 각 단계별로 강사 표준영상을 통해 사용자의 동작을 유도하며, 스피커가 구비되어 각 동작에 따른 음성안내가 출력될 수 있다.

즉, 제공되는 강사의 동작과 사용자의 동작이 일치할 수 있게 유도하는 안내가 음성 및 영상으로 표시될 수 있다. 예를 들면, 디스플레이부(300)의 화면에 정확한 동작의 스켈레톤(skeleton)이 덧씌워져 표현되거나, 음성으로 사용자의 자세를 유도할 수 있다. 즉, 사용자의 현재 스켈레톤(skeleton) 정보와, 강사 표준영상의 스켈레톤 정보와의 각도의 차이를 계산해서 음성으로 안내할 수 있다. 참고적으로 강사의 표준영상 데이터는 데이터 서버(400)에 의해 업데이트 될 수도 있다.

한편, 각 동작의 일치 여부(강사 표준영상 & 사용자 자세의 일치여부)는 연속적인 동작의 일치율을 비교 분석하여 이루어질 수 있으나,

각 동작마다 중요한 부분의 키 포인트를 설정하고 그 키포인트의 일치 여부만을 파악하여 자세 유사성을 판단할 수도 있을 것이다.

즉, 상술한 바와 같이, 노인전용 운동안내 시스템은, 강사가 구분동작을 유도 → 사용자(노인)가 동작을 따라함 → 동작을 따라하고 멈춘 시점으로부터 일정시간(3초)이 지나면 시스템이 동작 일치율을 측정 → 동작 일치여부를 통보(일치시:초록띠, 불일치시: 빨간띠) → 동작이 일치한 플레이어의 경우 원자세로 복귀, 불일치한 플레이어에게는 자세교정 안내시작(안내음성 및 자막)하는 과정을 진행하도록 구성된다.

즉, 노인전용 운동안내 시스템은 사용자 동작 영상을 수신하고, 수신된 동작 영상을 분석하여 사용자의 동작 정확도를 채점하고 동작 결과를 판단하여 채점 결과를 사용자에게 피드백할 수 있다.

또한, 노인전용 운동안내 시스템은 건강측정을 통해 신체나이, 유연성, 건강 이상 유무를 알 수 있는 건강측정모드 기능을 수행할 수 있다.

도 7 내지 도 9는 노인전용 운동안내 시스템의 다른 실행과정을 나타낸 도면이다.

도 7을 참조하면, 메인화면에서 사용자가 원하는 체조, 난이도, 배경음악 등을 설정할 수 있다.

다음으로, 운동 컨텐츠 선택화면이 표시되며, 실버요가, 전통무술, 스트레칭 등과 같이 다양한 운동 컨텐츠를 선택할 수 있다.

또한, 사용자 정보를 입력하는 화면이 표시될 때, 이름, 나이, 성별 등을 입력할 수 있다.

다음으로, 도 8을 참조하면, 복수의 사용자가 동시에 요가운동을 진행할 때 가장 낮은 점수를 획득한 사용자, 즉 특정 점수 미만을 획득한 동작 불일치자를 대상으로 개별 동작안내모드가 진행될 수 있다.

개별 동작안내모드에서는 어떤 동작을 취해야 하는지를 화면상에 문자로 표시할 뿐만 아니라 화면에 화살표 등과 같은 기호가 표시되어 시각적으로 신체의 교정방향을 알려줄 수도 있다.

마지막으로, 도 9를 참조하면, 사용자가 진행한 운동단계가 몇 단계인지가 표시되고, 운동과정을 통해 산출된 건강점수가 최종적으로 표시된다.

한편, 노인들의 집중력 향상 및 치매예방을 위한 게임모드가 실행될 경우, 화면상에 복수의 컵이 표시되고, 그 복수의 컵 중 어느 하나에 구슬이 삽입되는 화면이 표시된다.

이후, 복수의 컵의 배열순서가 무작위로 변경되는데, 사용자는 화면을 관찰하면서 구슬이 있는 컵을 맞추는 게임을 통해 두뇌운동을 진행한다. 참고적으로 난이도에 따라 컵 배열순서의 변화속도 및 컵의 수가 조정된다.

사용자가 프로그램을 이용하면서 축척된 데이터는 데이터 서버(400)에 저장된다. 이때, 노인전용 운동안내 시스템에 휴대용 단말기가 추가로 구비될 경우, 데이터 서버(400)는 저장된 정보를 휴대용 단말기에 제공할 수 있으며, 데이터 서버(400)와 휴대용 단말기는 유선 또는 무선 통신망을 통해 상호간에 데이터를 교환할 수 있도록 구성된다. 휴대용 단말기는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 휴대용 단말기로 가정하고 설명하기로 한다.

휴대용 단말기에는 전용 애플리케이션이 설치되어 있는데, 전용 애플리케이션은 사용자(노인)의 운동상태 및 관절상태를 표시할 수 있다.

즉, 전용 애플리케이션은 사용자(노인)가 지정한 보호자의 휴대용 단말기에 설치될 수 있으므로, 보호자는 사용자(노인)의 운동상태 및 관절의 상태를 확인할 수 있다. 이때, 보호자는 전용 애플리케이션을 이용하여 운동의 난이도를 원격에서 재설정할 수 있다. 즉, 노인의 경우 인지력이 떨어져서 운동의 난이도를 미숙하게 조절할 수 있으므로, 보호자가 전용 애플리케이션을 통해 운동의 난이도, 운동 시간 등을 원격조절 할 수 있다.

한편, 노인전용 운동안내 시스템에 휴대용 혈당 측정기가 추가로 구비될 경우, 데이터 서버(400)와 휴대용 혈당 측정기는 유선 또는 통신망을 통해 상호간에 데이터를 교환할 수 있도록 구성된다.

특히, 당뇨 등과 같은 생활 습관성 질환이 있는 노인의 경우, 휴대용 혈당 측정기를 이용하여 운동 전과 운동 후의 혈당을 측정할 수 있다. 또한, 미리 설정된 주기마다 혈당을 측정할 경우, 측정된 혈당은 데이터 서버(400)로 자동 전송된다.

데이터 서버(400)는 운동 전과 운동 후의 혈당수치와, 주기적(1 ~ 4시간 단위마다)으로 전송되는 혈당수치를 토대로 노인의 건강상태 및 피로도를 산출하여, 자동으로 운동 난이도 및 운동시간을 조절하도록 제어할 수 있다. 즉, 추천 운동 난이도 및 추천 운동시간이 자동으로 설정된다.

이때, 사용자(노인)는 자신의 휴대용 단말기에 설치된 전용 애플리케이션을 이용하여, 자신이 하루 중에 섭취한 음식물의 종류와 양과, 몸무게를 입력할 수 있는데, 사용자가 입력한 수치는 데이터 서버(400)로 전달된다. 데이터 서버(400)는 섭취한 음식물의 종류와 양을 토대로 섭취한 칼로리를 산출하며, 몸무게의 변화 및 휴대용 혈당 측정기를 통해 전달된 혈당수치를 모두 고려하여 자동으로 운동 난이도, 운동시간을 조절하도록 제어할 수 있다.

이때, 자동으로 설정된 추천 운동 난이도 및 추천 운동시간을 초과하거나 미달하는 난이도 및 시간을 사용자가 선택했을 경우, 데이터 서버(400)는 변경된 난이도 및 운동시간을 고려하여 추천식단(음식의 종류 및 양)을 제공할 수 있다.

참고적으로, 데이터 서버(400)는 사용자(노인)의 나이를 고려하여, 해당 나이대의 평균 소화율을 토대로 섭취한 칼로리를 계산하며, 일정 기간 동안 섭취한 칼로리, 운동량 및 몸무게 변화를 고려하여 개인별 소화율을 자동으로 보정할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 3차원 영상센서
111, 112 : 적외선 깊이센서
120 : 영상 카메라
200 : 동작 제어부
300 : 디스플레이부
400 : 데이터 서버

Claims

적외선을 이용한 깊이영상과, 컬러영상을 촬영하는 3차원 영상센서;
상기 깊이영상을 처리하여 인체와 배경을 분리하고 인체의 자세를 인식하는 인체자세 인식처리를 수행함에 있어서, 상기 인체의 상체 왼쪽 관절그룹, 상체 오른쪽 관절그룹, 상체중심 관절그룹, 하체 왼쪽 관절그룹 및 하체 오른쪽 관절그룹 사이의 거리 유사성을 토대로 강사 표준영상과의 자세 유사성을 판단하는 동작 제어부;
상기 강사 표준영상과, 상기 동작 제어부에서 인식한 인체의 자세를 비교하여 표시하는 디스플레이부;
상기 동작 제어부와 데이터를 교환하는 데이터 서버; 및
상기 데이터 서버를 원격 제어하는 전용 애플리케이션이 설치되는 휴대용 단말기;
를 포함하는 노인전용 운동안내 시스템.
제1항에 있어서,
상기 데이터 서버는,
상기 동작 제어부에서 판단한 자세 유사성에 대한 데이터를 데이터베이스화하여 저장하고, 기존에 저장된 자세 유사성에 대한 데이터를 토대로 사용자를 자동식별하는 것을 특징으로 하는 노인전용 운동안내 시스템.
제1항에 있어서,
상기 동작 제어부는,
복수의 인체를 인지하여 각 인체와 상기 강사 표준영상과의 자세 유사성을 각각 판단하는 것을 특징으로 하는 노인전용 운동안내 시스템.