KR20200095195A

KR20200095195A - Rgb-d 카메라를 이용한 재활훈련 시스템 및 방법

Info

Publication number: KR20200095195A
Application number: KR1020190012997A
Authority: KR
Inventors: 김진률; 원용태
Original assignee: (주)유인케어
Priority date: 2019-01-31
Filing date: 2019-01-31
Publication date: 2020-08-10
Also published as: JP6801028B2; US20200246660A1; JP2020126568A

Abstract

본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법은 (a) 재활 셋탑박스의 주제어부가 표시부를 통해 데이터 베이스부에 저장된 프로그램 화면을 유저에게 제공하는 단계; (b) 상기 주제어부가 터치방식의 상기 표시부를 통해 입력되는 프로그램 선택정보를 수신하는 단계; (c) 상기 재활 셋탑박스가 상기 표시부를 통해 유저정보 입력화면을 제공하고, 유저가 상기 정보입력 화면에 입력하는 유저정보를 수신하는 단계; (d) 상기 주제어부가 상기 유저정보를 바탕으로 상기 (b)단계에서 유저가 선택한 선택 프로그램을 실행할지 판단하는 단계; (e) 상기 (d)단계에서 판단에 따라 상기 주제어부가 이전 프로그램 또는 선택 프로그램을 실행하는 단계; 및 (f) 상기 주제어부가 이전 프로그램 또는 선택 프로그램 실행에 따라 실행 프로그램를 수행하는 유저를 RGB-D 카메라로 촬영하여 분석한 유저의 수행평가 결과를 제공하는 단계;를 포함하여 재활게임 컨텐츠를 제공하여 유저의 신체 움직임에 따라 게임이 수행되면서 게임 점수를 획득하도록 함으로써 재활의지를 극대화 시켜 재활훈련이 이루어지도록 함으로써, 재활효율을 향상시킬 수 있는 효과가 있다.

Description

RGB-D 카메라를 이용한 재활훈련 시스템 및 방법{REHABILITATION TRAINING SYSTEM AND METHOD USING RGB-D CAMERA}

본 발명은 RGB-D 카메라를 이용한 재활훈련 시스템 및 방법에 대한 것으로써, 더욱 상세하게는 유저의 전면에 위치한 RGB-D 카메라로 유저를 촬영하고, 촬영한 영상에서 유저의 관절부위마다 포인트를 대응시켜 대향하는 위치에 있는 디스플레이부에 표시하고, 특정 동작마다 바른 자세인 경우 위치하는 관절의 위치 포인트를 함께 표시하여, 실제 유저의 관절포인트와의 일치여부를 분석하고, 유저가 신체부위를 움직여 따라하도록 함으로써 재활훈련이 이루어지도록 하는 RGB-D 카메라를 이용한 재활훈련 시스템 및 방법에 관한 것이다.

물리치료 또는 재활치료는 기계 및 기구 치료를 이용하여 마사지, 기능훈련, 신체교정운동 및 재활훈련을 통해 환자의 움직임과 기능적인 신체능력을 최대한 회복, 증진시키고 정상화되도록 한다.

하지만, 상술한 물리치료 또는 재활치료는 주로 집보다는 병원에서 재활 또는 물리 치료가 이루어져, 재활이 필요한 환자가 치료를 위해 불편한 몸으로 반드시 병원을 방문해야 하는 번거로운 문제점이 있다.

또한, 종래 물리치료 또는 재활치료는 기계나 기구를 이용한 다소 딱딱하고 무미건조하게 이루어져 환자에게 재미를 제공할 수 없어 환자의 재활의지가 크지 않아 재활속도가 늦고 효율이 크지 않다는 문제점이 있다.

대한민국 등록특허공보 제10-1569848호(2015.11.11)

상술한 문제점을 해결하기 위해 본 발명은 유저의 전면에 위치한 RGB-D 카메라로 유저를 촬영하고, 촬영한 영상에서 유저의 관절부위마다 포인트를 대응시켜 대향하는 위치에 있는 디스플레이부에 표시하고, 특정 동작마다 바른자세인 경우 위치하는 관절의 위치 포인트를 함께 표시하여, 실제 유저의 관절포인트와의 일치여부를 분석하고, 유저가 신체부위를 움직여 따라 하도록 함으로써 가정에서도 용이하게 재활훈련이 이루어지도록 하고, 재활게임 컨텐츠를 제공하여 유저의 신체 움직임에 따라 게임이 수행되면서 게임 점수를 획득하도록 함으로써 재활의지를 극대화 시켜 재활훈련이 이루어지도록 하는 RGB-D 카메라를 이용한 재활훈련 시스템 및 방법을 제공하는데 목적이 있다.

상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법은 (a) 재활 셋탑박스의 주제어부가 표시부를 통해 데이터 베이스부에 저장된 프로그램 화면을 유저에게 제공하는 단계; (b) 상기 주제어부가 터치방식의 상기 표시부를 통해 입력되는 프로그램 선택정보를 수신하는 단계; (c) 상기 재활 셋탑박스가 상기 표시부를 통해 유저정보 입력화면을 제공하고, 유저가 상기 정보입력 화면에 입력하는 유저정보를 수신하는 단계; (d) 상기 주제어부가 상기 유저정보를 바탕으로 상기 (b)단계에서 유저가 선택한 선택 프로그램을 실행할지 판단하는 단계; (e) 상기 (d)단계에서 판단에 따라 상기 주제어부가 이전 프로그램 또는 선택 프로그램을 실행하는 단계; 및 (f) 상기 주제어부가 이전 프로그램 또는 선택 프로그램 실행에 따라 실행 프로그램를 수행하는 유저를 RGB-D 카메라로 촬영하여 분석한 유저의 수행평가 결과를 제공하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법은 상기 (d) 단계에서 상기 주제어부가 (d-1) 상기 (c)단계에서 유저정보를 수신한 후, RGB-D 카메라를 이용한 재활훈련 시스템을 이용한 이력이 있는지 판단하는 단계; (d-2) 상기 (d-1)단계에서 이용한 이력이 있는 경우 이전 수행 프로그램이 존재하는지 판단하는 단계; 및 (d-3) 상기 (d-2)단계에서 이전 수행 프로그램이 존재하는 경우 해당 이전 수행 프로그램을 이어서 계속해서 수행할지 유저로부터 확인하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법은 상기 (e)단계에서 상기 주제어부가 상기 (d-1)단계에서 RGB-D 카메라를 이용한 재활훈련 시스템을 이용한 이력이 없거나, 상기 (d-2)단계에서 이전 수행 프로그램이 존재하지 않거나, 또는 상기 (d-3)단계에서 이전 수행 프로그램을 유저가 계속하지 않을 것으로 확인되면, 상기 (b)단계에서 수신한 선택 프로그램을 실행하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법은 상기 (e)단계에서 상기 주제어부가 상기 (d-3)단계에서 이전 수행 프로그램을 유저가 계속할 것으로 확인되면 선택 프로그램에 선행되어 이전 프로그램을 실행하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법 중 상기 (b)단계에서 수신한 유저의 선택 프로그램이 동작평가 프로그램인 경우 상기 (e)단계는 (e-1) 상기 재활 셋탑박스의 주제어부가 RGB-D 카메라를 이용한 재활훈련 시스템의 위치를 세팅하거나 상기 표시부를 통해 유저를 가이드하는 단계; (e-2) 상기 주제어부가 훈련동작을 수행하기 위한 영상을 상기 동작DB에서 업로드하여 상기 표시부에 제공하는 단계; (e-3) 상기 RGB-D 카메라가 상기 훈련동작을 따라 수행하는 유저의 동작을 촬영하는 단계; (e-4) 상기 주제어부가 상기 (e-3)단계에서 촬영된 유저의 영상에 관절부위마다 포인트를 대응시켜 상기 표시부에 디스플레이하는 단계; (e-5) 상기 주제어부가 제공한 영상과 촬영한 영상간 동작 일치 여부 를 판단하고, 설정된 동작의 유지시간을 판단하는 단계; (e-6) 상기 주제어부가 동작 일치 여부 및 유지시간 만족 여부에 따라 합격 및 불합격을 결정하고 상기 합격 및 불합격 횟수를 카운팅하는 단계; (e-7) 상기 주제어부가 카운팅한 합격 및 불합격 횟수를 취합하고, 해당 횟수와 유저가 수행해야 하는 수행횟수와의 일치 여부를 판단하는 단계; 및 (e-8) 상기 (e-7)단계에서 상기 합격 및 불합격 횟수와 상기 수행횟수가 불일치하면 상기 (e-5)단계 이후 단계를 반복수행하고, 일치하면 정확도와 완료도를 포함한 결과 레포트를 제공하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법 중 상기 (b)단계에서 수신한 유저의 선택 프로그램이 건강훈련 프로그램인 경우 상기 (e)단계는 (e-21) 상기 재활 셋탑박스의 주제어부가 유저의 건강훈련 프로그램 선택을 수신하는 단계; (e-22) 상기 주제어부가 상기 재활 훈련 컨텐츠 DB에 저장된 건강훈련 프로그램에 해당하는 서브 프로그램을 상기 표시부(를 통해 제공하고 입력하는 건강훈련 프로 그램을 수신하는 단계; (e-23) 상기 주제어부가 상기 표시부에 수신한 건강훈련 프로그램에 대한 주의사항을 제공하는 단계; (e-24) 상기 주제어부가 건강훈련 프로그램의 주의사항에 대해 유저로부터 확인을 받았는지 판단하는 단계; (e-25) 상기 주제어부가 상기 주의사항을 확인받은경우 상기 RGB-D 카메라로 유저를 인식하고 상기 건강훈련 프로그램 수행에 맞는 위치로 보정하는 단계; (e-26) 상기 주제어부가 선택한 건강훈련 프로그램에 대한 운동동작을 설명하는 단계; (e-27) 상기 주제어부가 운동동작 설명에 대해 유저로부터 확인을 받았는지 판단하는 단계를 수행하고, 확인을 받은경우, 유저가 수행하는 운동동작을 수신하고 분석하여 결과를 제공하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법 중 상기 (e-24)단계에서 훈련 프로그램의 주의사항에 대해 유저로부터 확인을 받지 못한 경우 상기 주제어부가 상기 (e-23)단계를 반복 수행하고, 상기 (e-27)단계에서 훈련 프로그램의 운동동작 설명에 대해 유저로부터 확인을 받지 못한 경우 상기 (e-26)단계를 반복 수행하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법 중 상기 (b)단계에서 수신한 유저의 선택 프로그램이 건강게임 프로그램인 경우 상기 (e)단계는 (e-31) 상기 재활 셋탑박스의 주제어부가 유저의 건강게임 프로그램 선택을 수신하는 단계; (e-32) 상기 주제어부(320)가 상기 (e-31)단계에서 유저의 건강게임 프로그램 선택에 따라 복수의 게임목록을 제공하는 단계; (e-33) 상기 주제어부가 상기 게임목록에서 유저가 선택한 게임을 수신하는 단계; (e-34) 상기 주제어부가 선택한 게임에 대한 게임난이도 설정화면 및 게임설명을 제공하는 단계; (e-35) 상기 주제어부가 상기 표시부를 통해 입력되는 게임시작신호에 따라 게임설정을 반영하여 게임을 실행하는 단계; 및 (e-36) 상기 주제어부가 유저의 실행 게임 수행에 따른 결과를 산출하는 제공하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 상기 주제어부가 상기 (e-35) 단계 전에 상기 표시부에 마주하여 위치한 유저를 인식하고 선택한 게임 수행에 맞는 자세 또는 위치로 유저의 자세와 위치를 보정하는 단계가 선행되는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법 중 상기 (b)단계에서 수신한 유저의 선택 프로그램이 체력 평가 프로그램(SFT)인 경우, 상기 (e)단계는 (e-41) 상기 주제어부가 상기 표시부에 시범동작을 제공하는 단계; (e-42) 상기 주제어부가 상기 시범동작을 유저가 따라할 때, 필요한 조건을 제시하는 단계; (e-43) 상기 RGB-D카메라가 상기 시범동작을 따라하는 유저의 인체를 촬영하는 단계; (e-45) 상기 주제어부가 상기 시범동작을 따라한 유저의 인체 촬영영상을 분석하여 결과를 취합하는 단계; (e-46) 상기 주제어부가 취합된 결과로 신체 기능에 해당하는 하체근력, 상체 근력, 무릎 관절 유연성, 어째 관절 유연성, 동적균형, 및 지구력 중 상기 시범동작이 미치는 어느 하나를 평가하는 단계; 및 (e-47) 상기 주제어부가 평가결과도표를 제공하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법 중, 상기 (e-45)단계 전에 (e-44) 상기 주제어부가 상기 (S543)단계에서 상기 RGB-D카메라가 촬영한 인체관절인식을 통해 평가동작을 인식하고, 그에 따른 시간, 각도, 횟수를측정할 수 있도록 유저의 관절부위마다 점(DOT)을 대응시켜 해당 점을 연결시키는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법 중 (e-48) 상기 주제어부가 상기 (e-47) 단계 이후에, 상기 평가결과도표에 근거하여, 연령대와 신체부위에 따라 테이블 형식으로 저장된 운동 데이터베이스에서, 하체근력, 상체 근력, 무릎 관절 유연성, 어째 관절 유연성, 동적균형, 및 지구력 기능 중, 유저에게 부족한 기능을 강화하기 위한 운동을 추천하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상술한 목적을 달성하기 위한 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 상기 주제어부는 상기 평가결과도표에서 남·여 건강체력 나이를 각각 "Y(건강체력나이:남)=45.5+7.4×X₁-2.6×X₂"와 "Y(건강체력나이:여)=120+0.1×X₁-5×X₂"로 계산하는 것을 특징으로 한다.

본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템 및 방법은 가정에서도 재활이 가능하도록 함으로써, 재활이 필요한 환자가 치료를 위해 불편한 몸으로 반드시 병원을 방문해야 하는 번거로움을 해소할 수 있는 효과가 있다.

또한, 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템 및 방법은 재활게임 컨텐츠를 제공하여 유저의 신체 움직임에 따라 게임이 수행되면서 게임 점수를 획득하도록 함으로써 재활의지를 극대화 시켜 재활훈련이 이루어지도록 함으로써, 재활효율을 향상시킬 수 있는 효과가 있다.

도 1은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템 장비의 두 가지 실시예를 도시한 도면이다.
도 2는 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템의 재활 셋탑박스 상세 블록도 이다.
도 3은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법의 플로우챠트이다.
도 4는 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 선택 프로그램 수행여부 판단 상세 플로우챠트이다.
도 5는 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 동작평가 프로그램 수행 상세 플로우챠트이다.
도 6은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에 따라 유저가 실제 동작평가 프로그램을 수행하고 있는 상태 도면이다.
도 7은 동작의 일치 및 불일치를 파란색과 빨간색으로 그래프 상으로 표시한 도면이다.
도 8은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 건강훈련 프로그램 수행 상세 플로우챠트이다.
도 9는 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 건강게임 프로그램 수행 상세 플로우챠트이다.
도 10은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 체력 평가 프로그램(SFT)을 수행하기 위한 상세 플로우챠트 이다.
도 11은 도 10은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 체력 평가 프로그램(SFT)에서 제공하는 시범동작의 일예이다.
도 12는 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 체력 평가 프로그램(SFT)을 수행한 후의 평가결과도표이다.
도 13은 건강체력나이를 남·여로 구분하여 산출하는 것을 설명하기 위한 도표이다.
도 14는 신체기능아니를 남·여로 구분하여 산출하는 것을 설명하기 위한 도표이다.
도 15는 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템에서 추천운동을 테이블 방식으로 데이터베이스화한 구조를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템 장비를 도시한 도면이다.

도 1a에 도시된 바와 같이 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템은 이동식 스탠드 거치대(100), RGB-D 카메라(200), 재활 셋탑박스(300), 및 표시부(400)를 포함한다.

참고로, 도 1a에 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템 장비의 상기 RGB-D 카메라(200)와 재활 셋탑박스(300)가 분리된 것으로 도시되어 있지만, 도 1b에 도시된 바와 같이 상기 RGB-D 카메라(200)와 재활 셋탑박스(300)를 일체형으로 구성할 수도 있다.

더 나아가, 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템 장비는 이에 한정되지 않고, 상기 RGB-D 카메라(200)와 재활 셋탑박스(300)가 상기 표시부(400)에 포함되어 올인원으로 구성될 수도 있다.

상기 이동식 스탠드 거치대(100)는 내부에 펄스 신호에 의하여 회전하는 스테핑 모터 등을 포함하여 극성이 상이한 펄스신호의의 인가로 상·하로 이동 가능하여, 유저가 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템 장비 앞에 마주서면 해당 유저의 신장에 맞게 상·하로 이동하여 적당한 높이로 세팅된다.

상기 RGB-D 카메라(200)는 상기 재활 셋탑박스(300), 또는 표시부(400) 상부에 형성되어, 대향하고 있는 유저를 촬영한다.

상기 재활 셋탑박스(300)는 상기 RGB-D 카메라(200)가 촬영한 영상에 대한 신호처리를 통해 유저의 동작과 저장된 표준 동작과의 일치도를 도출하여 현재 유저의 상태를 파악하고, 현재 유저의 상태에 맞는 재활운동을 제공하거나 게임을 제공한다.

상기 표시부(400)는 상기 RGB-D 카메라(200)가 촬영한 영상 및 상기 재활 셋탑박스(300)가 제공하는 게임 화면 등을 디스플레이한다.

도 2를 참조하여 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템의 재활 셋탑박스(300)에 대해 보다 구체적으로 설명한다.

도 2에 도시된 바와 같이 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템의 재활 셋탑박스(300)는 영상 수신부(310), 주제어부(320), 거치대 제어부(330), 통신부(340), 데이터 베이스부(350)를 포함한다.

상기 영상 수신부(310)는 상기 RGB-D카메라(200)와 연결되어, 해당 RGB-D카메라(200)에서 깊이를 고려하여 촬영한 유저의 3차원 영상을 수신한다.

상기 주제어부(320)는 상기 영상 수신부(310)가 수신한 유저의 3차원 영상에 대하여 관절부위를 검출하고, 검출된 관절부위에 포인트를 대응시킨다.

상기 거치대 제어부(330)는 상기 이동식 스탠드 거치대(100)와 연결되어 상기 RGR-D카메라(200)와 마주한 유저의 신장에 맞게 상기 이동식 스탠드 거치대(100)를 상·하로 이동하여 알맞은 높이로 세팅시킨다.

상기 통신부(340)는 인터넷 통신망과 연결되어 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템에 의한 재활훈련결과 또는 평가결과를 유저가 소지한 단말기 또는 병원서버 등으로 송신하여 유저의 주치의 등에게 제공될 수 있도록 한다.

상기 데이터 베이스부(350)는 유저정보DB(351), 동작 분석평가DB(352), 재활 훈련 컨텐츠DB(353), 및 재활 게임 컨텐츠DB(354)를 포함한다.

상기 유저정보DB(351)는 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템을 이용하는 유저의 모든 정보를 저장하고 관리한다.

상기 동작 분석평가DB(352)는 유저에게 제공하여 따라할 수 있도록 하는 상지, 하지, 균형 등 총 30여 종의 기본동작이 저장되어 있으며, 유저의 동작수행에 따른 분석 및 평과 결과를 저장하고 관리한다.

상기 재활 훈련 컨텐츠DB(353)는 Shoulder, Cervical, Lumbar, Hip, Knee, Ankle, Elbow, Wrist 등의 전신에 대응하는 300여 종의 전문 재활 훈련 컨텐츠를 저장하고 관리한다.

상기 재활 게임 컨텐츠DB(354)는 다양한 재활치료에 활용할 수 있도록 상지, 하지, 전신, 균형, ADL, 인지 등 다양한 재활에 대응하는 의학적으로 디자인된 복수의 Full3D 재활 게임 훈련 컨텐츠를 저장하고 관리한다.

본 발명에 따른 다른 실시예로써, 상술한 바와 같은 구성을 갖는 RGB-D 카메라를 이용한 재활훈련 시스템에 의한 재활훈련 방법에 대해, 도 3을 참조하여 설명한다.

먼저, 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템에 유저가 마주서면, 상기 재활 셋탑박스(300)의 주제어부(320)는 상기 표시부(400)를 통해 상기 데이터 베이스부(350)에 저장된 프로그램 화면을 유저에게 제공하는 단계를 수행한다(S100).

보다 구체적으로, 상기 주제어부(320)는 상기 표시부(400)에 동작평가 프로그램, 건강훈련 프로그램, 건강게임 프로그램 중, 어느 하나의 프로그램을 선택할 수 있도록 프로그램 화면을 유저에게 제공한다.

상기 주제어부(320)는 터치방식의 상기 표시부(400)를 통해 입력되는 유저의 프로그램 선택정보를 수신하는 단계를 수행한다(S200).

한편, 상기 유저의 프로그램 선택은 터치방식에 한정되지 않고, 리모컨과 같은 입력장치에 의해 선택될 수도 있다.

상기 재활 셋탑박스(300)는 상기 표시부(400)를 통해 유저정보입력화면을 제공하고, 유저가 상기 정보입력화면에 입력하는 유저정보를 수신하는 단계를 수행한다(S300).

상기 재활 셋탑박스(300)의 주제어부(320)는 상기 (S200)단계에서 유저가 선택한 프로그램을 수행할지 판단하는 단계를 수행한다(S400).

상기 유저가 선택한 프로그램을 수행할지 판단하는 (S400)단계에 대해, 도 4를 참조하여 보다 상세하게 설명한다.

먼저, 상기 재활 셋탑박스(300)의 주제어부(320)는 상기 (S300)단계에서 수신한 유저정보를 바탕으로 과거에 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템을 이용한 이력이 있는지 판단하는 단계를 수행한다(S410).

상기 (S410)단계에서, 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템을 이용한 이력이 없는 경우 상기 주제어부(320)는 상기 (S200)단계에서 유저가 선택한 프로그램을 수행하는 단계(S500b)가 진행되도록 한다.

본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 시스템을 이용한 이력이 있는 경우 상기 주제어부(320)는 이전 수행 프로그램이 존재하는지 판단하는 단계를 수행한다(S420).

상기 (S420)단계에서, 상기 주제어부(320)는 이전 수행 프로그램이 존재하지 않을 경우 상기 (S200)단계에서 유저가 선택한 프로그램을 수행하는 단계(S500b)가 진행되도록 한다.

상기 주제어부(320)는 이전 수행 프로그램이 존재하는 경우 해당 이전 수행 프로그램을 이어서 계속해서 수행할지 판단하는 단계를 수행한다(S430).

상기 (S430)단계에서, 상기 주제어부(320)는 유저가 이전 수행 프로그램을 이어서 수행하는 경우 이전 프로그램을 수행하고, 유저가 이전 수행 프로그램을 이어서 수행하지 않을 경우 상기 (S200)단계에서 유저가 선택한 프로그램을 수행하는 단계(S500b)가 진행되도록 한다.

상술한 바와 같이 상기 (S400)단계에서 선택 프로그램 수행 여부에 따라 상기 재활 셋탑박스(300)의 주제어부(320)는 이전 프로그램을 수행하는 단계(S500a)를 진행하거나, 또는 상기 (S200)단계에서 유저가 선택한 프로그램을 수행하는 단계(S500b)를 진행한다.

상기 재활 셋탑박스(300)의 주제어부(320)는 상기 이전 프로그램을 수행하는 단계(S500a), 또는 선택한 프로그램을 수행하는 단계(S500b) 진행에 따른 유저를 상기 RGB-D 카메라로 촬영하여 분석함으로써 수행평가 결과를 상기 표시부(400)에 제공하거나, 상기 통신부(340)를 통해 유저의 단말기 또는 병원서버 등으로 제공하는 단계를 수행한다(S600).

또한, 상기 (S600)단계 이후, 상기 주제어부(320)는 상기 수행평가 결과와 상기 S300 단계에서 수신한 유저정보 중, 연령정보를 가지고 상기 데이터 베이스(350)에 저장된 복수의 운동 중, 해당 유저에게 적합한 운동을 추천 하는 단계를 더 수행할 수도 있다.

좀 더 구체적으로, 상기 데이터 베이스(350)는 도 15에 도시된 바와 같이 세로방향의 연령대와 가로방향의 신체부위를 배치하고 이들의 조합된 위치마다 상이한 레벨 또는 종류의 추천운동이 테이블 형식으로 저장하고 있다.

이때, 상기 주제어부(320)는 상기 수행평가 결과와 연령정보를 가지고 운동을 추천해 주는데, 예를 들어 수행평가 결과 하체근력이 약하고, 유저정보 중 연령정보가 70대인 경우, 상기 주제어부(320)는 오른쪽 어덩이 관절운동, 하체 기본 운동, 양쪽 무릎 강화운동 등 하체를 강화시킬 수 있는 운동을 추천해 줄 수 있는 것이 바람직하다.

다음으로, 상기 (S200)단계에서 유저가 동작평가 프로그램, 건강훈련 프로그램, 건강게임 프로그램 중, 동작평가 프로그램을 선택한 경우 선택한 동작평가 프로그램을 수행하는 단계(S510b)에 대해 도 5를 참고하여 상세히 설명한다.

상기 재활 셋탑박스(300)의 주제어부(320)는 유저가 상기 표시부(400)와 정면으로 위치하면, 상기 RGB-D카메라(200)로 촬영된 유저를 인식하고 위치를 파악하여 상기 이동식 스태드 거치대를 제어함으로써 프로그램을 수행하기 알맞은 위치로 시스템을 세팅하거나, 유저를 가이드 하는 단계를 수행한다(S511b).

유저가 상기 (S511b)단계를 통해 상기 동작평가 프로그램을 수행하기 위한 적합한 위치로 위치한 경우, 올바른 훈련동작을 수행하기 위한 상기 동작DB(352)에 저장된 교육 영상을 제공하는 단계를 수행한다(S512b).

상기 동작DB(352)에는 허벅지가 무릎과 수평이 될 때까지 앉았다 섰다를 15C초간 반복하는 하체 근력 평가동작, 팔꿈치를 굽혔다 팔꿈치를 최대한 폈다를 15초간 반복하는 상체 근력 평가동작, 최대한 무릎을 핀 상태에서 띵 소리가 날 때까지 유지하고, 무릎을 최대한 굽혀 띵 소리가 날 때까지 유지하는 고관절 유연성 평가동작, 팔뚝을 바깥쪽으로 최대한 끝까지 돌린 채로 띵 소리가 날 때까지 유지하고, 팔뚝을 안쪽으로 최대한 끝까지 돌린 채로 띵 소리가 날 때까지 유지하는 어깨 관절 유연성 평가동작, 2.4m 정도 앞으로 갔다 돌아오는 동적 균형 평가동작, 및 최대한 제자리 걸음을 30초간 걸어 지구력 평가도악이 저장되어 있다.

상기 (S512b)단계에서 훈련동작 제공 후, 훈련동작을 수행하는 유저의 동작을 상기 RGB-D카메라(200)가 촬영하는 단계를 수행한다(S513b).

상기 주제어부(320)는 상기 RGB-D카메라(200)가 촬영한 영상에서 유저의 관절부위마다 포인트를 대응시켜 대향하는 위치에 있는 표시부에 디스플레이하는 단계를 수행한다(S514b).

상술한 바와 같이 상기 (S514b)단계에서 유저의 관절부위마다 포인트를 대응시켜는 것은 유저의 훈련동작이 정확하게 이루어질 수 있도록 하고, 상기 주제어부(320)가 유저의 훈련동작을 좀 더 정확하게 분석할 수 있도록 하기 위한 것이다.

상기 재활 셋탑박스(300)의 주제어부(320)는 동작 일치 여부 및 유지시간을 판단하는 단계를 수행한다(S515b).

즉, 상기 (S515b)단계에서 주제어부(320)는 상기 (S512b)단계에서 제공한 제공동작과 상기 (S513b)단계에서 유저가 수행한 수행동작의 일치여부 및/또는 설정한 유지시간을 만족하는지 여부에 따라 수행동작의 합격여부를 판단한다.

다시 말해, 상기 주제어부(320)는 동작일치도(agreement of movement) 또는 소프트웨어를 통해 설정된 유지시간를 가지고 수행동작의 합격여부를 판단한다.

상기 (S515b)단계에서 상기 주제어부(320)는 상기 수행동작이 동작 일치여부 및/또는 설정한 유지시간을 만족한 경우 합격으로 카운팅하는 단계를 수행하고(S516b), 동작 일치여부 및/또는 설정한 유지시간을 만족하지 않은 경우 불합격으로 카운팅하는 단계를 수행한다(S516b`).

예를 들어, 도 6에 도시된 바와 같이 어깨를 90°(Shoulder abduction to 90°)로 외전하는 훈련동작 1을 수행하는 경우, 상기 주제어부(320)는 아래의 [수학식 1]을 이용하여 설정된 목표 관절 각도 90°에 따라 측정된 어깨관절의 각도가 0°일 경우 일치도를 0%, 90°일 경우는 일치도를 100%로 계산한다.

또 다른 예로, 엉덩이를 35°번(Hip abduction to 35°)로 외전하는 훈련동작 2을 수행하는 경우, 상기 주제어부(320)는 상기 [수학식 1]을 이용하여 일치도를 계산하고, (agreement > 80 %)을 적용하여 동작의 합격여부를 결정한다.

참고로, 이와 같은 설정은 소프트웨어 개발에 참여한 의료진들의 판단에 의거하여 설정되었다.

상기 주제어부(320)는 첫번째 조건(일치도)을 만족함과 동시에 설정된 두번째 조건인 유지시간(프로그램 내 운동 수행 설정 값, default = 2 sec) 동안 동작을 유지하는지에 따라 합격여부를 판별한다.

도 7에 도시된 바와 같이 훈련 결과 레포트에는 동작일치도에 따른 그래프를 표시하며, 일치 동작의 경우 파란색 그래프를 불일치 동작의 경우 빨간색 그래프로 나타낸다.

상기 주제어부(320)는 상기 합격 카운팅 단계(S516b)와 상기 불합격 카운팅 단계(S516b`)에서 모든 카운팅 회수를 취합하는 단계를 수행(S517b)하고, 취합한 카운팅 횟수가 유저가 수행해야 하는 수행횟수와 일치하는지 판단하는 단계를 수행(S518b)하여, 일치한 경우 결과 레포트를 제공하는 단계를 수행한다(S519b).

상기 (S518b)단계에서 카운팅 횟수가 유저가 수행해야 하는 수행횟수와 불일치하는 경우, 상기 주제어부(320)는 일치할 때까지 상기 (S515b)단계를 반복수행한다.

한편, 상기 (S519b)단계에서 상기 주제어부(320)는 상기 결과 레포트에 합격 동작 횟수를 전체 동작횟수(Total repetition)와 비교하여 배분율로 나타내며, 정확도를 “Accuracy”[performance metrics : uincare_protocol_result_Accuracy]로 결과 레포트에 표기하고 아래의 [수학식 2]을 이용하여 계산한다.

또한, 상기 주제어부(320)는 합격/불합격 동작 횟수의 총합을 통해 유저의 동작 완료도를 “Completion”[performance metrics : uincare_protocol_result_Completion]로 표기하고 아래의 [수학식 3]을 이용하여 계산한다.

상기 (S519b)단계 이후에, 상기 주제어부(320)는 상기 결과 레포트에 따라 운동은 추천해 주는 단계를 더 포함할 수 있다.

다음으로, 상기 (S200)단계에서 유저가 동작평가 프로그램, 건강훈련 프로그램, 건강게임 프로그램 중, 건강훈련 프로그램을 선택한 경우 선택한 건강훈련 프로그램을 수행하는 단계(S520b)에 대해 도 8을 참고하여 상세히 설명한다.

한편, 이하의 설명에서 상술한 동작평가 프로그램 수행과정에서 중복되는 내용들에 대한 설명은 가능한한 생략한다.

상기 재활 셋탑박스(300)의 주제어부(320)는 유저의 건강훈련 프로그램 선택을 수신하는 단계를 수행한다(S521b).

상기 주제어부(320)는 상기 재활 훈련 컨텐츠 DB(353)에 저장된 근력, 유연성, 균형, 및 지구력 건강훈련 프로그램에 대한 선택화면을 상기 표시부(400)에 제공하고, 유저가 터치방식으로 상기 표시부(400)를 통해 입력하는 선택 훈련 프로그램을 수신하는 단계를 수행한다(S522b).

상기 주제어부(320)는 상기 표시부(400)에 선택한 건강훈련 프로그램에 대한 주의사항을 제공하는 단계를 수행한다.(S523b).

이후, 상기 주제어부(320)는 건강훈련 프로그램의 주의사항에 대해 유저로부터 확인을 받았는지 판단하는 단계(S524b)를 수행하고, 확인을 받은경우, 상기 주제어부(320)는 상기 표시부(400)에 마주하여 위치한 유저를 인식하고 위치를 보정하는 단계를 수행한다(S525b).

상기 (S524b)단계에서 훈련 프로그램의 주의사항에 대해 유저로부터 확인을 받지 못한 경우 상기 주제어부(320)는 주의사항을 제공하는 상기 (S523b)단계를 반복 수행한다.

상기 주제어부(320)는 선택한 건강훈련 프로그램에 대한 운동동작을 설명하는 단계를 수행한다(S526b).

이후, 상기 주제어부(320)는 훈련 프로그램의 운동동작 설명에 대해 유저로부터 확인을 받았는지 판단하는 단계(S527b)를 수행하고, 확인을 받은경우, 상기 주제어부(320)는 유저가 수행하는 운동동작을 수신하여 분석하고 결과를 제공하는 단계를 수행한다(S528b).

상기 (S527b)단계에서 훈련 프로그램의 운동동작 설명에 대해 유저로부터 확인을 받지 못한 경우 상기 주제어부(320)는 운동동작을 설명하는 상기 (S526b)단계를 반복 수행한다.

마지막으로, 상기 (S200)단계에서 유저가 동작평가 프로그램, 건강훈련 프로그램, 건강게임 프로그램 중, 건강게임 프로그램을 선택한 경우 선택한 건강게임 프로그램을 수행하는 단계(S530b)에 대해 도 9을 참고하여 상세히 설명한다.

상기 재활 셋탑박스(300)의 주제어부(320)는 유저의 건강게임 프로그램 선택을 수신하는 단계를 수행한다(S531b).

상기 주제어부(320)는 상기 (S531)단계에서 유저의 건강게임 프로그램 선택에 따라 복수의 게임목록을 제공하는 단계를 수행한다(S532b).

보다 상세히, 상기 주제어부(320)는 건강훈련 게임(레이싱, 저리가저리가, 제자리 걷기, 뿌셔뿌셔, 잡아라 잡아 등)과 인지게임(그림기억하기, 짝맞추기, 패턴기억하기, 빠르게터치, 공따라잡기 등)을 제공한다.

상기 주제어부(320)는 제공한 게임목록에서 유저가 선택한 게임을 수신하는 단계를 수행하고(S533b), 유저에게 선택한 게임에 대한 게임난이도 설정화면 및 게임설명을 제공하는 단계를 수행한다(S534b).

상기 주제어부(320)는 상기 표시부(400)를 통해 입력되는 게임시작신호에 따라 상기 게임설정을 반영하여 게임을 실행하는 단계를 수행한다(S535b).

이때, 상기 주제어부(320)는 상기 게임실행 단계(S535b) 전에 상기 표시부(400)에 마주하여 위치한 유저를 인식하고 위치 또는 자세를 보정하는 단계가 선행될 수 있다.

상기 유저의 게임 완료 후, 운동시간, 게임점수 성공률 등, 게임결과를 제공하는 단계를 수행한다(S536b).

추가적으로, 상기 (S200)단계에서 고령자를 대상으로 하는 체력 평가 프로그램(SFT)을 수행하는 단계(S540b)에 대해 도 10 및 11를 참조하여 더욱 상세히 설명한다.

도 10은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 체력 평가 프로그램(SFT) 수행 상세 플로우챠트 이다.

도 11은 도 10은 본 발명에 따른 RGB-D 카메라를 이용한 재활훈련 방법에서 체력 평가 프로그램(SFT)에서 제공하는 시범동작의 일예이다.

상기 주제어부(320)는 상기 표시부(400)에 고령자의 6가지 기능 즉, 하체근력, 상체 근력, 무릎 관절 유연성, 어째 관절 유연성, 동적균형, 및 지구력을 평가할 수 있는 시범동작을 제공하는 단계를 수행한다(S541b).

동시에, 상기 주제어부(320)는 상기 표시부에 상기 시범동작을 따라할 때, 필요한 조건을 제시하는 단계를 수행한다(S542b).

상기 RGB-D카메라(200)는 조건에 따라 상기 시범동작을 따라하는 유저의 인체를 촬영하는 단계를 수행한다(S543b).

상기 (S543)단계에서 상기 RGB-D카메라(200)가 촬영한 인체관절인식을 통해 평가동작을 인식하고, 그에 따른 시간, 각도, 횟수 등을 용이하게 측정할 수 있도록 상기 주제어부(320)는 촬영한 영상에서 유저의 관절부위마다 점(DOT)을 대응시켜 해당 점을 연결시키는 단계를 수행한다(S544b)

상기 주제어부(320)는 유저의 상기 시범동작을 따라하는 결과를 취합하는 단계를 수행하고(S545b), 이후 상기 시범동작이 미치는 6가지 신체 기능 중 어느 하나를 평가하는 단계를 수행한다(S546b).

예를 들어, 도 11의 좌측에 도시된 바와 같이 30초간 의자에서 서있기를 시범동작으로 제공하고(S541b), 양측 무릎관절이 앉은 자세에서 100°이하 선자세에서 150°이상으로 조건을 제시하고(S542b), 조건에 따라 시범동작을 따라하는 유저를 상기 RGB-D카메라(200)가 촬영한(S543b) 영상을 수신하여, 30초간 앉았다 서는 횟수를 카운팅한 결과를 취합(S545b)한 후, 상기 시범동작으로 인해 영향을 주는 6가지 신체 기능 중 Lower strength를 평가하는 단계를 수행한다(S546).

마찬가지로, 도 11의 우측에 도시된 팔 회전을 시범동작으로 제공하고, 팔꿈치를 펼때 140°이상으로 펴고, 팔꿈치를 구부릴 때 20°이하까지로 조건을 제시하고, 30초간 팔의 회전수를 카운팅한 결과를 취합한 후, 팔 회전 동작으로 인해 영향을 주는 6가지 신체 기능 중 Upper strength를 평가하는 단계를 수행한다.

상기 평가 단계(S546b) 이후, 도 12에 도시된 바와 같이 평가결과도표를 제공하는 단계를 수행한다(S547b).

상기 주제어부(320)는 도 12에 도시된 평가결과도표에서 건강체력 나이를 도 13에 도시된 바와 같이 남·여로 구분하여, 아래의 [수학식 4] X₁과 X₂에 하지근력(Lower Strength), 동적균형성(up and go tet)의 측정치가 입력으로 사용되어 그에 따른 연령대 결과를 계산하는 것이 바람직하다.

상기 주제어부(320)는 도 12에 도시된 평가결과도표에서 6가지 기능에 대한 각 연령대를 남·여로 구분하고, 도 14의 수식(Equation)에 측정치를 입력으로 하여 그에 따른 백분율(%)로 환산하여 표시(ex>20세->100%, 85세->50%)하는 것이 바람직하다.

상기 주제어부(320)는 도 12에 도시된 상기 평가결과도표에 근거하여 6가지 기능 즉, 하체근력, 상체 근력, 무릎 관절 유연성, 어째 관절 유연성, 동적균형, 및 지구력 중, 유저에게 필요한 운동을 도 15와 같이 테이블 방식으로 데이터베이스화하여 저장된 운동을 추천하는 단계를 수행한다(S548b).

즉, 상기 주제어부(320)는 세로방향의 연령대와 가로방향의 신체부위를 배치하고 이들의 조합된 위치마다 상이한 레벨 또는 종류의 추천운동이 테이블 형식으로 저장된 데이터베이스에서 선택하여 추전한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 이동식 스탠드 거치대
200 : RGB-D 카메라
300 : 재활 셋탑박스
310 : 영상 수신부
320 : 주제어부
330 : 거치대 제어부
340 : 통신부
350 : 데이터 베이스부
400 : 표시부

Claims

(a) 재활 셋탑박스의 주제어부가 표시부를 통해 데이터 베이스부에 저장된 프로그램 화면을 유저에게 제공하는 단계;
(b) 상기 주제어부가 터치방식의 상기 표시부를 통해 입력되는 프로그램 선택정보를 수신하는 단계;
(c) 상기 재활 셋탑박스가 상기 표시부를 통해 유저정보 입력화면을 제공하고, 유저가 상기 정보입력 화면에 입력하는 유저정보를 수신하는 단계;
(d) 상기 주제어부가 상기 유저정보를 바탕으로 상기 (b)단계에서 유저가 선택한 선택 프로그램을 실행할지 판단하는 단계;
(e) 상기 (d)단계에서 판단에 따라 상기 주제어부가 이전 프로그램 또는 선택 프로그램을 실행하는 단계; 및
(f) 상기 주제어부가 이전 프로그램 또는 선택 프로그램 실행에 따라 실행 프로그램를 수행하는 유저를 RGB-D 카메라로 촬영하여 분석한 유저의 수행평가 결과를 제공하는 단계;를 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 1항에 있어서,
상기 (d) 단계에서
상기 주제어부는
(d-1) 상기 (c)단계에서 유저정보를 수신한 후, RGB-D 카메라를 이용한 재활훈련 시스템을 이용한 이력이 있는지 판단하는 단계;
(d-2) 상기 (d-1)단계에서 이용한 이력이 있는 경우 이전 수행 프로그램이 존재하는지 판단하는 단계; 및
(d-3) 상기 (d-2)단계에서 이전 수행 프로그램이 존재하는 경우 해당 이전 수행 프로그램을 이어서 계속해서 수행할지 유저로부터 확인하는 단계;를 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 2항에 있어서,
상기 (e)단계에서 상기 주제어부는
상기 (d-1)단계에서 RGB-D 카메라를 이용한 재활훈련 시스템을 이용한 이력이 없거나, 상기 (d-2)단계에서 이전 수행 프로그램이 존재하지 않거나, 또는 상기 (d-3)단계에서 이전 수행 프로그램을 유저가 계속하지 않을 것으로 확인되면, 상기 (b)단계에서 수신한 선택 프로그램을 실행하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 2항에 있어서,
상기 (e)단계에서 상기 주제어부는
상기 (d-3)단계에서 이전 수행 프로그램을 유저가 계속할 것으로 확인되면 선택 프로그램에 선행되어 이전 프로그램을 실행하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 3항에 있어서,
상기 (b)단계에서 수신한 유저의 선택 프로그램이 동작평가 프로그램인 경우
상기 (e)단계는
(e-1) 상기 재활 셋탑박스의 주제어부가 RGB-D 카메라를 이용한 재활훈련 시스템의 위치를 세팅하거나 상기 표시부를 통해 유저를 가이드하는 단계;
(e-2) 상기 주제어부가 훈련동작을 수행하기 위한 영상을 상기 동작DB에서 업로드하여 상기 표시부에 제공하는 단계;
(e-3) 상기 RGB-D 카메라가 상기 훈련동작을 따라 수행하는 유저의 동작을 촬영하는 단계;
(e-4) 상기 주제어부가 상기 (e-3)단계에서 촬영된 유저의 영상에 관절부위마다 포인트를 대응시켜 상기 표시부에 디스플레이하는 단계;
(e-5) 상기 주제어부가 제공한 영상과 촬영한 영상간 동작 일치 여부 를 판단하고, 설정된 동작의 유지시간을 판단하는 단계;
(e-6) 상기 주제어부가 동작 일치 여부 및 유지시간 만족 여부에 따라 합격 및 불합격을 결정하고 상기 합격 및 불합격 횟수를 카운팅하는 단계;
(e-7) 상기 주제어부가 카운팅한 합격 및 불합격 횟수를 취합하고, 해당 횟수와 유저가 수행해야 하는 수행횟수와의 일치 여부를 판단하는 단계; 및
(e-8) 상기 (e-7)단계에서 상기 합격 및 불합격 횟수와 상기 수행횟수가 불일치하면 상기 (e-5)단계 이후 단계를 반복수행하고, 일치하면 정확도와 완료도를 포함한 결과 레포트를 제공하는 단계;를 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 3항에 있어서,
상기 (b)단계에서 수신한 유저의 선택 프로그램이 건강훈련 프로그램인 경우
상기 (e)단계는
(e-21) 상기 재활 셋탑박스의 주제어부가 유저의 건강훈련 프로그램 선택을 수신하는 단계;
(e-22) 상기 주제어부가 상기 재활 훈련 컨텐츠 DB에 저장된 건강훈련 프로그램에 해당하는 서브 프로그램을 상기 표시부(를 통해 제공하고 입력하는 건강훈련 프로그램을 수신하는 단계;
(e-23) 상기 주제어부가 상기 표시부에 수신한 건강훈련 프로그램에 대한 주의사항을 제공하는 단계;
(e-24) 상기 주제어부가 건강훈련 프로그램의 주의사항에 대해 유저로부터 확인을 받았는지 판단하는 단계;
(e-25) 상기 주제어부가 상기 주의사항을 확인받은경우 상기 RGB-D 카메라로 유저를 인식하고 상기 건강훈련 프로그램 수행에 맞는 위치로 보정하는 단계;
(e-26) 상기 주제어부가 선택한 건강훈련 프로그램에 대한 운동동작을 설명하는 단계;
(e-27) 상기 주제어부가 운동동작 설명에 대해 유저로부터 확인을 받았는지 판단하는 단계를 수행하고, 확인을 받은경우, 유저가 수행하는 운동동작을 수신하고 분석하여 결과를 제공하는 단계;를 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 6항에 있어서,
상기 (e-24)단계에서 훈련 프로그램의 주의사항에 대해 유저로부터 확인을 받지 못한 경우 상기 주제어부가 상기 (e-23)단계를 반복 수행하고, 상기 (e-27)단계에서 훈련 프로그램의 운동동작 설명에 대해 유저로부터 확인을 받지 못한 경우 상기 (e-26)단계를 반복 수행하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 3항에 있어서,
상기 (b)단계에서 수신한 유저의 선택 프로그램이 건강게임 프로그램인 경우
상기 (e)단계는
(e-31) 상기 재활 셋탑박스의 주제어부가 유저의 건강게임 프로그램 선택을 수신하는 단계;
(e-32) 상기 주제어부(320)가 상기 (e-31)단계에서 유저의 건강게임 프로그램 선택에 따라 복수의 게임목록을 제공하는 단계;
(e-33) 상기 주제어부가 상기 게임목록에서 유저가 선택한 게임을 수신하는 단계;
(e-34) 상기 주제어부가 선택한 게임에 대한 게임난이도 설정화면 및 게임설명을 제공하는 단계;
(e-35) 상기 주제어부가 상기 표시부를 통해 입력되는 게임시작신호에 따라 게임설정을 반영하여 게임을 실행하는 단계; 및
(e-36) 상기 주제어부가 유저의 실행 게임 수행에 따른 결과를 산출하는 제공하는 단계;를 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 3항에 있어서,
상기 주제어부가
상기 (e-35) 단계 전에 상기 표시부에 마주하여 위치한 유저를 인식하고 선택한 게임 수행에 맞는 자세 또는 위치로 유저의 자세와 위치를 보정하는 단계가 선행되는 RGB-D 카메라를 이용한 재활훈련 방법.
제 3항에 있어서,
상기 (b)단계에서 수신한 유저의 선택 프로그램이 체력 평가 프로그램(SFT)인 경우, 상기 (e)단계는
(e-41) 상기 주제어부가 상기 표시부에 시범동작을 제공하는 단계;
(e-42) 상기 주제어부가 상기 시범동작을 유저가 따라할 때, 필요한 조건을 제시하는 단계;
(e-43) 상기 RGB-D카메라가 상기 시범동작을 따라하는 유저의 인체를 촬영하는 단계;
(e-45) 상기 주제어부가 상기 시범동작을 따라한 유저의 인체 촬영영상을 분석하여 결과를 취합하는 단계;
(e-46) 상기 주제어부가 취합된 결과로 신체 기능에 해당하는 하체근력, 상체 근력, 무릎 관절 유연성, 어째 관절 유연성, 동적균형, 및 지구력 중 상기 시범동작이 미치는 어느 하나를 평가하는 단계; 및
(e-47) 상기 주제어부가 평가결과도표를 제공하는 단계;를 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 10항에 있어서,
상기 (e-45)단계 전에
(e-44) 상기 주제어부가 상기 (S543)단계에서 상기 RGB-D카메라가 촬영한 인체관절인식을 통해 평가동작을 인식하고, 그에 따른 시간, 각도, 횟수를측정할 수 있도록 유저의 관절부위마다 점(DOT)을 대응시켜 해당 점을 연결시키는 단계;를 더 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 11항에 있어서,
(e-48) 상기 주제어부가 상기 (e-47) 단계 이후에, 상기 평가결과도표에 근거하여, 연령대와 신체부위에 따라 테이블 형식으로 저장된 운동 데이터베이스에서, 하체근력, 상체 근력, 무릎 관절 유연성, 어째 관절 유연성, 동적균형, 및 지구력 기능 중, 유저에게 부족한 기능을 강화하기 위한 운동을 추천하는 단계;를 더 포함하는 RGB-D 카메라를 이용한 재활훈련 방법.
제 12항에 있어서,
상기 주제어부는
상기 평가결과도표에서 남·여 건강체력 나이를 각각
"Y(건강체력나이:남)=45.5+7.4×X₁-2.6×X₂"와
"Y(건강체력나이:여)=120+0.1×X₁-5×X₂"로 계산하되 상기 X₁은 하지근력의 측정치X₂는 동적균형성의 측정치인 RGB-D 카메라를 이용한 재활훈련 방법.