KR20120017948A - 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법 - Google Patents

Abstract

재활 장치 및 그에 따른 재활 방법이 제공된다.
반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법은 반사체에 복수 개의 제1 마커가 부착된 상태에서 카메라가 반사체를 촬영하여, 카메라의 위치 및 자세를 추정하는 단계, 복수 개의 제2 마커가 부착된 재활 대상이 압력 센서 보드 상에 위치하면, 카메라를 이용하여 재활 대상을 촬영하는 단계, 재활 대상을 촬영한 이미지 및 압력 센서 보드의 출력 신호를 이용하여 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계 및 분석 결과를 출력하는 단계를 포함한다.

Description

모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법{rehabilitation device using motion analysis based on motion capture and method thereof}

본 발명은 재활 장치 및 재활 방법에 관한 것으로, 더욱 상세하게는 모션캡쳐를 기반으로 자세를 분석하는 재활 장치 및 재활 방법에 관한 것이다.

하지운동은 인간이 이동을 위한 가장 효율적인 방법이며, 또한 가장 많이 사용되는 방법이다. 이러한 하지운동에 어려움이 있는 사람을 치료하기 위해 하지 자세를 분석하는 것이 연구되고 있다.

하지자세분석은 주로 인체 여러 부분의 동작을 운동 형상학적 정보, 운동역학적 정보, 동적 근전도 정보와 같은 방법을 이용하여 수행한다. 과거 임상에서는 신경 근 골격계 질환 환자의 보행을 의사가 육안으로 반복 관찰하는 것이 사실상 유일한 보행분석 방법이었으나, 이는 비정상적인 보행양상을 초래할 수 있는 많은 요인들과 보행양상의 변화를 객관적으로 밝혀내기가 불가능하다는 한계가 존재했다.

이에 따라, 비정상적인 보행에 관련된 객관적인 정보를 얻어내어 정확한 치료가 가능하도록 하기 위한 시스템의 도입이 요구된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 재활 대상이 운동을 수행할 때, 양 하지의 무릎 각도, 위치등의 데이터를 3차원 공간상에서 실시간으로 측정하여 피드백해줌으로서, 훈련과 분석이 가능한 재활 장치 및 그에 따른 방법을 제공하기 위함이다.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법은 상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여, 상기 카메라의 위치 및 자세를 추정하는 단계, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계 및, 상기 분석 결과를 출력하는 단계를 포함한다.

여기서, 상기 카메라의 위치 및 자세를 추정하는 단계는 상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하는 단계, 상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하는 단계, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 단계 및 상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 단계를 포함할 수 있다.

한편, 상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고, 상기 재활 대상을 촬영하는 단계는 상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계를 포함할 수 있다.

여기서, 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는 상기 재활 대상을 촬영한 이미지로부터 상기 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하는 단계, 상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하는 단계 및 상기 추정된 배치 상태 및 배치 간격에 기초하여, 상기 재활 대상의 자세를 추정하는 단계를 포함할 수 있다.

한편, 상기 분석된 결과를 상기 재활 시스템에 등록하는 단계를 더 포함하고, 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는 상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석할 수 있다.

한편, 본 발명의 다른 실시 예에 따르면, 재활 시스템의 재활 방법은 반사체에 복수 개의 제1 마커가 부착된 상태에서 카메라로 상기 반사체를 촬영하여, 상기 제1 마커 부분을 검출하는 전처리 단계 및 상기 검출된 제1 마커 부분에 의해 훈련 공간이 초기화되어, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라로 상기 재활 대상을 촬영하여 상기 재활 대상의 보행 동작을 분석하는 후처리 단계를 포함한다.

여기서, 상기 전처리 단계는 상기 반사체를 촬영하여, 기준 영상 및 비교 영상을 생성하는 단계, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 단계 및 상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 단계를 포함할 수 있다.

한편, 상기 후처리 단계는, 상기 제2 마커 부분을 검출하는 영상 처리 단계, 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계 및 상기 분석 결과를 출력하는 단계를 포함할 수 있다.

한편, 본 발명의 또 다른 실시 예에 따르면, 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 장치는 상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부, 상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부, 상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부 및 상기 분석 결과를 출력하는 디스플레이부를 포함한다.

여기서, 상기 영상 처리부는 상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하고, 상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하고, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출할 수 있다.

여기서, 상기 공간 제어부는 상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정할 수 있다.

한편, 상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고, 상기 자세 추정부는 상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영할 수 있다.

여기서, 상기 자세 추정부는 상기 재활 대상을 촬영한 이미지로부터 상기 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하고, 상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하여, 상기 재활 대상의 자세를 추정할 수 있다.

한편, 상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부를 더 포함하고, 상기 자세 추정부는 상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석할 수 있다.

한편, 본 발명의 또 다른 실시 예에 따른, 재활 시스템은 재활 대상의 옆에 배치되어 훈련 공간을 제공하는 반사체, 상기 반사체에 부착된 복수 대의 제1 마커 및 상기 재활 대상에 부착된 복수 개의 제2 마커를 촬상하는 카메라, 상기 재활 대상이 위치하여 상기 재활 대상 하지들 사이의 거리를 측정하는 압력 센서 보드, 상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부, 상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부, 상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부, 상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부 및 상기 분석된 결과를 출력하는 디스플레이부를 포함한다.

본 발명의 다양한 실시 예에 따른 재활 장치 및 재활 방법은 반사체와 하나의 카메라만으로 3차원 기하분석을 통해 재활 대상의 3차원 상태와 움직임을 측정할 수 있다. 이에 따라, 훈련 상황을 자유롭게 관찰할 수 있으며, 운동 상태를 실시간으로 측정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 재활 시스템을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 재활 장치의 구성을 도시한 블록도,
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 재활 장치가 기준 영상을 생성하는 일 예를 나타내는 도면,
도 4는 본 발명의 일 실시 예에 따른 재활 시스템의 훈련 공간을 나타낸 도면,
도 5는 본 발명의 일 실시 예에 따른 재활 장치에서, 재활 대상의 하지 위치를 추정하기 위한 구조도,
도 6은 본 발명의 일 실시 예에 따른 재활 장치의 블록도,
도 7a는 본 발명의 일 실시 예에 따른 재활 장치에서 재활 대상의 자세를 추정하여 소프트웨어를 이용해 3차원 상에 표현한 도면,
도 7b는 본 발명의 일 실시 예에 따른 재활 장치에서 카메라를 통해 얻은 실제 훈련 영상을 나타낸 도면,
도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 훈련 과정에서의 자세를 추정한 결과를 나타낸 도면, 그리고
도 9는 본 발명의 일 실시 예에 따른 재활 방법을 설명하기 위한 흐름도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 재활 시스템을 나타내는 도면이다.

도 1에서와 같이, 본 재활 시스템(100)은 복수 개의 제1 마커(미도시), 복수 개의 제2 마커(50, 51), 카메라(110), 반사체(130), 압력 센서 보드(150) 및 재활 장치(200)로 구현될 수 있다.

복수 개의 제1 마커(미도시)는 반사체(130)에 부착되고, 복수 개의 제2 마커(50, 51)는 재활 대상에 부착되어, 부착된 곳의 위치 정보를 카메라(110)에 전송할 수 있다.

여기서, 복수 개의 제1 마커 및 제2 마커(50, 51)는 부착된 곳의 위치 정보를 전송하기 위해 적외선을 이용할 수 있다. 적외선을 직접 발산하거나 적외선을 반사하여, 카메라(110)에 적외선 신호를 전송하여 마커들이 부착된 곳의 위치 정보를 전송하는 적외선 마커들로 구현될 수 있다.

여기서, 반사체(130)에 부착된 복수 개의 제1 마커(미도시)는 재활 대상이 없는 경우 자동적으로 턴온(turn-on)되고, 재활 대상이 재활 시스템(100) 내로 입장하면 자동적으로 턴오프(turn-off)되는 방식으로 동작하여, 재활 시스템에 카메라의 자세추정에 이용될 수 있다. 이러한, 카메라의 자세 추정에 대해서는 첨부된 도 4와 함께 상세히 후술한다. 또한, 재활 대상의 하지에 부착된 복수 개의 제2 마커(50, 51)는 재활 대상이 재활 시스템(100)에 입장하면 자동적으로 턴온(turn-on)되어, 재활 대상의 자세를 추정하는 데 이용될 수 있다. 재활 대상의 자세를 추정하는 과정에 대해서는 첨부된 도 5와 함께 상세히 후술하기로 한다.

카메라(110)는 재활 대상을 촬상하는 역할을 한다. 구체적으로는, 반사체(130)에 부착된 복수의 제1 마커(미도시) 및 재활 대상에 부착된 복수의 제2 마커(50, 51)를 촬상한다.

한편, 복수의 제1 마커(미도시) 및 재활 대상에 부착된 복수의 제2 마커(50, 51)가 적외선을 이용하여 위치 정보를 전송하기 때문에, 카메라(110)는 가시광선 영역 외에 적외선 영역도 함께 촬상할 수 있다.

반사체(130)는 재활 대상에 부착된 복수의 제2 마커(50, 51) 중 일부를 반사시켜 상을 맺는 역할을 한다. 도 1을 참조하면, 재활 대상의 왼쪽 하지에 부착된 마커(51)는 왼쪽 하지의 바깥쪽에 부착되므로, 카메라(110)에 의해 직접 촬상될 수 없다. 이에 따라, 반사체(130)는 카메라(110)에 의해 직접 촬상될 수 없는 마커(51)들의 상을 맺어, 카메라(110)에 의해 촬상될 수 있도록 한다. 때문에, 반사체(130)는 카메라(110)의 반대편에 위치할 수 있다.

압력 센서 보드(150)는 재활 대상을 감지하는 역할을 한다. 구체적으로, 압력 센서 보드(150)는 재활 대상을 감지하여, 복수 개의 제2 마커(50, 51)들이 부착된 재활 대상의 하지 사이의 거리 정보를 제공할 수 있다. 이하에서, 수학식 1 및 2를 이용해 압력 센서 보드(150)가 하지 사이의 거리를 추정하는 방법을 구체적으로 살펴본다.

압력 센서 보드(150)는 각 모서리에 부착된 압력 센서를 이용하여, 재활 대상의 하지 사이의 거리를 측정할 수 있다. 이때 사용된 압력 센서는 압력 센서 보드(150)의 각 모서리에 부착되어 있으며, 각 센서에서 측정되는 압력 값은 무게 중심과 거리에 반비례하는 값을 가진다는 점을 이용하여 아래 수학식 1에 의해 한쪽 발을 올렸을 때 무게 중심 좌표

를 먼저 구한다.

그 후에 다음 발을 올려 위치를 계산한 후 양 발 사이의 거리를 계산하여 이를 하지 사이의 거리로 사용한다.

여기서,

는 오른쪽 압력 센서로부터 얻은 값이고,

은 왼쪽 압력 센서로부터 얻은 값이다.

는 양쪽 압력 센서 간의 거리를 나타낸다.

다음 발을 압력 센서 보드(150)에 올려놓으면, 양쪽 발에 가해지는 무게 비율이 동일하다는 가정 하에 양 발을 모두 올린 상태의 무게 중심을 구한 후 수학식 2에 의해 한 발을 올렸을 때 얻은 값과 양 발을 올렸을 때 얻을 값의 차이에 의하여 양 발의 좌표를 구한다.

여기서,

는 나중에 올린 발의 좌표이고,

는 처음 한 발을 올렸을 때 무게 중심이며,

는 양 발을 올렸을 때의 무게 중심을 나타낸다.

상술한 바와 같이, 압력 센서 보드(150)는 재활 대상의 하지 사이의 거리를 측정할 수 있으며, 압력 센서 보드(150)는 반사체(130)에서 일정한 거리에 떨어진 위치에 배치될 수 있다.

도 2는 도 1의 재활 장치의 구체적인 구성을 도시한 블록도 이다.

본 발명의 일 실시 예에 따른 재활 장치는 카메라에 입력된 영상을 이용해 재활 대상의 자세를 추정하여 보행 동작을 분석하는 기능을 수행한다.

도 2에 도시된 바와 같이, 이러한, 재활 장치(200)는 영상 처리부(210), 공간 제어부(230), 자세 추정부(250) 및 디스플레이부(270)를 포함한다. 또한, 본 재활 장치(200)는 도 1에서와 같이, 카메라, 반사체, 압력 센서 보드, 복수 개의 제1 마커 복수 개의 제2 마커와 함께 재활 시스템을 구현할 수 있다.

영상 처리부(210)는 재활 시스템의 기준 영상을 생성한다. 구체적으로, 영상 처리부(210)는 재활 대상 없이 카메라에 의해 재활 시스템을 촬상한 영상을 이진화(binarize)하여 기준 영상을 생성할 수 있다. 이러한 기준 영상을 생성하는 과정은 첨부된 도 3a 및 도 3b를 참조하여 상세히 설명한다.

도 3a 및 도 3b는 본 재활 장치(200)가 기준 영상을 생성하는 일 예를 나타낸다. 본 발명의 일 실시 예에 따른 영상 처리부는 재활 대상 없이 재활 시스템을 촬상한 영상에서, 각 픽셀 별로 밝기 분포를 계산하고, 계산된 밝기 분포를 기 설정된 값과 비교하여 기준영상을 생성할 수 있다. 여기서 기 설정된 값이란 촬영된 영상을 이진화(binarize)하여 0, 1로 이루어진 흑백 이미지를 생성할 때, 흰색과 검은색을 구분하는 경계가 되는 값을 의미한다. 일 예로, 기 설정된 값이 200이라면, 밝기가 200이 이상인 픽셀은 흰색으로, 밝기가 200이 미만인 픽셀에서는 검은색으로 처리되어 배경 영상을 흑백 이미지로 생성할 수 있다. 도 3a과 같이, 영상 처리부(210)는 n개의 배경 영상을 입력받아, 도 3b와 같이, 배경 영상을 이진화하여 흑백 이미지를 생성할 수 있다.

이러한 기준 영상을 생성하는 것은 적외선 마커는 카메라에 의해 촬상된 영상에서 하얗게 인식되기 때문에, 적외선 마커 외에 흰색으로 촬영된 영역은 노이즈로 작용할 수 있어 이들을 제외하기 위함이다.

도 2로 돌아가서, 영상 처리부(210)는 복수 개의 제1 마커가 부착된 반사체가 포함된 영상이 들어오면, 반사체에 부착된 복수 개의 제1 마커를 인식하는 역할을 한다. 구체적으로, 영상 처리부(210)는 기준 영상을 이용하여, 복수 개의 제1 마커를 부착한 반사체가 포함된 영상에서 배경 영상을 분리하여 복수 개의 제1 마커를 검출할 수 있다.

공간 제어부(230)는 카메라의 자세를 추정하는 역할을 한다. 여기서, 카메라의 자세를 추정한다는 것은 거울과 카메라 사이의 상대적인 위치 정보를 산출하는 것을 의미한다. 즉, 카메라가 거울에서부터 떨어진 거리를 포함하는 거리 정보 및 카메라와 거울 사이의 각도를 포함하는 회전 정보를 산출하는 것을 의미한다. 이를 통해 거울과 카메라와의 상대적인 위치 관계를 정의할 수 있다. 이러한, 공간 제어부(230)의 역할을 도 4를 이용하여 보다 상세히 설명한다.

도 4는 본 발명의 일 실시 예에 따른 재활 시스템의 훈련 공간을 나타낸다.

도 4에서, 공간 제어부는 영상 처리부에 의해 검출된 복수 개의 제1 마커를 이용하여, 카메라의 자세를 추정할 수 있다. 구체적으로, 공간 제어부는 검출된 복수 개의 제1 마커에 네 점 기반 카메라 자세 추정 기법(4-point algorithm for camera pose determination)을 적용하여 카메라(410)의 자세를 추정할 수 있다. 네 점 기반 카메라 자세 추정 기법은 반사체의 네 꼭지점 간의 실제 길이 비율과 카메라에 의해 촬상된 영상에서 반사체의 네 꼭지점 간의 길이 비율을 이용하여 카메라의 자세를 추정하는 기법이다. 때문에, 복수 개의 제1 마커(52)는 4개로 구현될 수 있다. 이에 따라, 카메라(410)과 반사체(430)의 상대적인 위치 관계가 결정될 수 있다.

한편, 압력 센서 보드(450)는 반사체(430)에 기 정의된 또는 사용자에 의해 임의로 설정될 수 있으므로, 카메라(410)과 반사체(430)의 상대적인 위치 관계에 따라, 카메라(410)와 압력 센서 보드(450)의 위치 관계까지 결정될 수 있다.

도 2로 돌아가서, 한편, 공간 제어부(230)는 재활 시스템의 훈련 공간을 초기화하는 역할을 한다. 여기서, 훈련 공간을 초기화하는 것은 재활 시스템이 재활 대상의 자세를 추정하기 위한 준비가 완료되었다는 것을 의미한다. 따라서, 재활 시스템의 압력 센서 보드 상에 재활 대상이 위치하면, 공간 제어부(230)는 재활 대상의 하지들 사이의 거리 정보를 수신하여 재활 대상의 하지 위치 추정을 위한 준비를 완료할 수 있다. 하지 사이의 거리 정보를 산출하는 방법은 압력 센서 보드와 함께 상술한 바 있으므로, 여기서는 이에 대한 설명은 생략한다.

자세 추정부(250)는 재활 대상에 부착된 복수 개의 제2 마커들을 인식하는 역할을 한다. 구체적으로, 자세 추정부(250)는 기준 영상을 이용하여, 복수 개의 제2 마커를 부착한 재활 대상이 포함된 영상에서 배경을 분리하여 복수 개의 제2 마커를 검출할 수 있다.

또한, 자세 추정부(250)는 재활 대상의 자세를 추정하는 역할을 한다. 구체적으로, 자세 추정부(250)는 검출된 복수 개의 제2 마커와 압력 센서 보드의 출력 신호를 이용하여 재활 대상의 자세 및 위치를 추정할 수 있다. 도 5를 통해 이하에서 상술한다.

도 5는 본 발명의 일 실시 예에 따른 재활 장치에서, 재활 대상의 하지 위치를 추정하기 위한 구조도를 나타낸다.

도 5에서, 자세 추정부에 의해 검출된 복수 개의 제2 마커는 3차원 공간 상에서 두 선

및

에 놓일 것이다. 카메라(510)에 보이는 점

은

이 반사체(530)에 반사되어 보이는 점이다. 따라서,

은 실제로

선상에 존재하는 점이 아니라, 반사체(530)에 반사되어 나타나는

선상에 존재하게 된다. 이는 반사체(530) 뒷면에 있는 가상 카메라(550)가

을 바라보는 시선과 일치한다.

과

는 반사체(530) 면에 수직인 선 위에 존재하므로,

과

선 위의 점 중 압력 센서 보드(570)에 의해 추정된 하지 사이의 거리

와 일치하는 거리에 있는 두 점이 실제 3차원 상의 하지 위치가 되며, 이를 통해, 자세 추정부는 하지에 부착된 복수 개의 제2 마커들의 3차원 상 위치를 파악하고, 이를 통해 재활 대상의 위치 및 자세를 추정할 수 있다.

도 2로 돌아가서, 자세 추정부(250)는 소실되거나 잘못 검출된 마커를 추적하는 역할을 한다. 구체적으로, 자세 추정부(250)는 두 마커 사이의 거리가 일정하고 마커의 움직임이 급격하게 변하지 않는다는 가정하에, 소실된 마커가 포함되는 부분의 두 마커 거리와 그 마커의 움직임 변화를 나타내는 백터에 의해 마커가 있는 위치를 예측할 수 있다. 예를 들어, 반대편 하지에 가려져 마커가 보이지 않는 상황이 발생하면, 자세 추정부(250)는 마커 간의 거리와 움직임 변화를 나타내는 백터에 의해 소실된 마커의 위치를 예측하게 된다.

또한, 자세 추정부(250)는 재활 대상의 자세를 분석하는 역할을 할 수 있다. 구체적으로, 자세 추정부(250)는 추정된 재활 대상의 자세(재활 대상의 하지에 부착된 복수 개의 제2 마커들의 3차원 상 위치)를 이용하여 재활 대상이 움직이면서 생기는 관절의 각도를 측정할 수 있다. 자세 추정부(250)는 하지에 부착된 마커들을 좌측 하지에 부착된 4개의 마커와 우측 하지에 부착된 4개의 마커로 분류하고, 무릎을 기준으로 4개의 마커는 상부 2개, 하부 2개로 다시 분류할 수 있다. 이 후, 자세 추정부(250)는 마커 사이에서 백터를 정의하고 아래 수학식 3을 이용하여 상부 백터와 하부 백터가 이루는 각을 무릎의 각도 로 정의할 수 있다.

여기서, ㆍ 내적 기호를 의미하며,

는 무릎 하부의 2개 마커에 의해 정의된 백터로

이며,

는 무릎 상부의 2개 마커에 의해 정의된 백터로

이다.

이처럼, 자세 추정부(250)는 추정된 재활 대상의 위치와 자세를 통하여, 재활 대상의 무릎 각도를 산출하고, 이를 통해 하지의 운동 상태를 분석할 수 있다. 또한, 훈련자의 굽혀진 무릎 각도의 크기와 3차원 상의 위치를 분석하여 현재 재활 대상이 취하는 자세를 알 수 있다.

디스플레이부(270)는 재활 대상의 운동 상태를 표시한다. 구체적으로, 디스플레이부(270)는 자세 추정부(250)에서 산출된 재활 대상의 자세, 위치 및 무릎 각도에 대한 정보를 실시간으로 표시할 수 있다.

도 6은 본 발명의 다른 실시 예에 따른 재활 장치의 블록도이다.

도 6에서와 같이, 재활 장치(600)는 영상 처리부(610), 공간 제어부(630), 자세 추정부(650), 저장부(670) 및 디스플레이부(690)를 포함한다. 도 6에 도시된 구성요소들 중 도 2에 도시된 실시 예와 중복되는 부분에 대해서는 구체적인 세부 설명은 생략한다.

저장부(670)는 재활 대상의 운동 상태에 대한 데이터를 저장한다. 구체적으로, 저장부(670)는 재활 장치에 의해 측정된 재활 대상의 자세, 위치 및 무릎 각도에 대한 데이터를 날짜별로 저장할 수 있다.

또한, 저장부(670)는 정상인의 운동 상태에 대한 데이터를 저장한다. 구체적으로, 저장부(670)는 연령별, 성별 등으로 정상인의 자세, 위치 및 무릎 각도에 대한 데이터를 저장할 수 있다.

이에 따라, 본 재활 장치(600)는 자세 추정부(650)에서 산출된 재활 대상의 자세, 위치 및 무릎 각도의 변화량을 정상인과 비교하여, 재활 상대의 하지 운동 능력을 분석하는데 도움을 줄 수 있다.

도 7a 및 도 7b은 본 발명에 따른 재활 대상의 자세를 추정한 결과를 나타낸다.

도 7a는 재활 대상의 자세를 추정하여 소프트웨어를 이용해 3차원 상에 표현한 것이고, 도 7b는 카메라를 통해 얻은 실제 훈련 영상을 나타낸다. 카메라를 통해 얻은 실제 훈련 영상과 추정된 자세를 동시에 한 화면에 나타낼 수 있으므로, 재활 대상은 자신의 훈련 상황을 확인할 수 있다.

도 8a 내지 도 8c는 본 발명에 따른 훈련 과정에서의 자세를 추정한 결과를 나타낸다.

도 8a 내지 도 8c에서, 위에서 아래 방향으로 시간 변화에 따른 훈련자의 자세 변화를 나타낸 것으로, 도 8a는 재활 대상의 앞쪽에서 바라본 모습이고, 도 8b는 재활 대상 왼편에서 바라본 모습이고, 도 8c는 훈련자의 뒤편에서 바라본 모습이다. 이처럼, 복수 개의 제2 마커를 인식하여 3차원 상으로 표현할 수 있기 때문에, 카메라가 바라보는 방향과 다른 방향에서 재활 대상의 움직임을 관찰할 수 있다. 이에 따라, 카메라 영상에서 잘 보이지 않는 움직임을 관찰하는 경우에 유용하다.

도 9는 본 재활 장치에 따른 재활 방법을 설명하기 위한 흐름도이다. 도 9에 따르면, 재활 장치는 재활 시스템의 기준 영상을 생성한다(S910). 생성된 기준 영상은 반사체에 부착된 복수 개의 제1 마커 및 재활 대상에 부착된 제2 마커를 검출하기 위해 이용된다.

이 후, 재활 장치는 반사체에 부착된 복수 개의 제1 마커를 검출하여, 카메라의 자세를 추정하고, 재활 시스템의 훈련 공간을 초기화한다(S930).

이 후, 재활 장치는 재활 대상에 부착된 제2 마커를 검출하고, 재활 대상의 하지 사이의 거리를 이용해 재활 대상의 자세, 위치를 추정하고(S950), 재활 대상의 무릎 각도를 계산하여 재활 대상의 운동 상태를 분석한다(S970). 이 경우, 분석된 운동 상태를 정상인 또는 누적된 데이터와 함께 표시하여, 재활 대상의 운동 능력 상태를 분석할 수도 있다.

한편, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 재활 시스템 52 : 복수 개의 제1 마커
50, 51 : 복수 개의 제2 마커 110, 410, 510 : 카메라
130, 430, 530 : 반사체 150, 450, 570 : 압력 센서 보드
200 : 재활 장치 210 : 영상 처리부
230 : 공간 제어부 250 : 자세 추정부
270, 690 : 디스플레이부 670 : 저장부
550 : 가상 카메라

Claims (15)

1. 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 방법에 있어서,
   상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여, 상기 카메라의 위치 및 자세를 추정하는 단계;
   복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계;
   상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계; 및
   상기 분석 결과를 출력하는 단계;를 포함하는 재활 시스템의 재활 방법.
2. 제1항에 있어서,
   상기 카메라의 위치 및 자세를 추정하는 단계는,
   상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하는 단계;
   상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하는 단계;
   상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 단계; 및,
   상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 단계;를 포함하는 것을 특징으로 하는 재활 시스템의 재활 방법.
3. 제1항에 있어서,
   상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고,
   상기 재활 대상을 촬영하는 단계는,
   상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 단계;를 포함하는 것을 특징으로 하는 재활 시스템의 재활 방법.
4. 제3항에 있어서,
   상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는,
   상기 재활 대상을 촬영한 이미지로부터 상기 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하는 단계;
   상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하는 단계; 및,
   상기 추정된 배치 상태 및 배치 간격에 기초하여, 상기 재활 대상의 자세를 추정하는 단계;를 포함하는 것을 특징으로 하는 재활 시스템의 재활 방법.
5. 제1항에 있어서,
   상기 분석된 결과를 상기 재활 시스템에 등록하는 단계;를 더 포함하고,
   상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계는,
   상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석하는 것을 특징으로 하는 재활 시스템의 재활 방법.
6. 재활 시스템의 재활 방법에 있어서,
   반사체에 복수 개의 제1 마커가 부착된 상태에서 카메라로 상기 반사체를 촬영하여, 상기 제1 마커 부분을 검출하는 전처리 단계; 및,
   상기 검출된 제1 마커 부분에 의해 훈련 공간이 초기화되어, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라로 상기 재활 대상을 촬영하여 상기 재활 대상의 보행 동작을 분석하는 후처리 단계;를 포함하는 재활 시스템의 재활 방법.
7. 제6항에 있어서,
   상기 전처리 단계는,
   상기 반사체를 촬영하여, 기준 영상 및 비교 영상을 생성하는 단계;
   상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 단계; 및,
   상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 단계;를 포함하는 것을 특징으로 하는 재활 시스템의 재활 방법.
8. 제6항에 있어서,
   상기 후처리 단계는,
   상기 제2 마커 부분을 검출하는 영상 처리 단계;
   재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 단계; 및,
   상기 분석 결과를 출력하는 단계;를 포함하는 재활 시스템의 재활 방법.
9. 반사체, 압력 센서 보드 및 카메라를 포함하는 재활 시스템의 재활 장치에 있어서,
   상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부;
   상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부;
   상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부; 및,
   상기 분석 결과를 출력하는 디스플레이부;를 포함하는 재활 시스템의 재활 장치.
10. 제9항에 있어서,
    상기 영상 처리부는,
    상기 반사체에 상기 복수 개의 제1 마커가 동작하지 않는 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 기준 영상을 생성하고, 상기 반사체에 상기 복수 개의 제1 마커가 부착된 상태에서, 상기 카메라를 이용하여 상기 반사체를 촬영하여, 비교 영상을 생성하고, 상기 비교 영상으로부터 상기 기준 영상을 제외시켜, 상기 제1 마커 부분을 검출하는 것을 특징으로 하는 재활 시스템의 재활 장치.
11. 제10항에 있어서,
    상기 공간 제어부는,
    상기 검출된 상기 제1 마커 부분의 위치에 기초하여, 상기 카메라의 위치 및 자세를 추정하는 것을 특징으로 하는 재활 시스템의 재활 장치.
12. 제9항에 있어서,
    상기 복수 개의 제2 마커는 상기 재활 대상의 하지 부분에 부착되고,
    상기 자세 추정부는,
    상기 반사체로부터 상기 제1 마커가 제거되고, 상기 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치하면, 상기 카메라를 이용하여 상기 재활 대상을 촬영하는 것을 특징으로 하는 재활 시스템의 재활 방법.
13. 제12항에 있어서,
    상기 자세 추정부는,
    상기 재활 대상을 촬영한 이미지로부터 상기 기준 영상을 제외시켜 상기 복수 개의 제2 마커 부분을 검출하고, 상기 검출된 제2 마커 부분을 이용하여 상기 재활 대상의 하지 부분의 배치 상태를 추정하고, 상기 압력 센서 보드의 출력 신호에 기초하여 상기 재활 대상의 하지 부분 간의 배치 간격을 추정하여, 상기 재활 대상의 자세를 추정하는 것을 특징으로 하는 재활 시스템의 재활 장치.
14. 제9항에 있어서,
    상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부;를 더 포함하고,
    상기 자세 추정부는,
    상기 재활 대상의 동작 상태에 대한 누적 데이터를 분석하는 것을 특징으로 하는 재활 장치.
15. 재활 대상의 옆에 배치되어 훈련 공간을 제공하는 반사체;
    상기 반사체에 부착된 복수 대의 제1 마커 및 상기 재활 대상에 부착된 복수 개의 제2 마커를 촬상하는 카메라;
    상기 재활 대상이 위치하여 상기 재활 대상 하지들 사이의 거리를 측정하는 압력 센서 보드;
    상기 카메라를 이용하여, 복수 개의 제1 마커가 부착된 상기 반사체를 촬영하여, 상기 복수 개의 제1 마커를 인식하는 영상 처리부;
    상기 반사체에 복수 개의 제1 마커가 부착된 상태에서 상기 카메라가 상기 반사체를 촬영하여 상기 카메라의 위치 및 자세를 추정하고, 복수 개의 제2 마커가 부착된 재활 대상이 상기 압력 센서 보드 상에 위치시켜 훈련 공간을 초기화하는 공간 제어부;
    상기 카메라를 이용하여 상기 재활 대상을 촬영하고, 상기 재활 대상을 촬영한 이미지 및 상기 압력 센서 보드의 출력 신호를 이용하여 상기 재활 대상의 자세를 추정하고, 보행 동작을 분석하는 자세 추정부;
    상기 분석된 결과를 상기 재활 시스템에 등록하는 저장부; 및,
    상기 분석된 결과를 출력하는 디스플레이부;를 포함하는 재활 시스템.

Images