KR20090084035A - 실시간 동작 인식 방법 - Google Patents

Abstract

본 발명은 사용자에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 방법에 관한 것으로, 카메라가 상기 발광체들을 포함한 사용자의 모습을 촬영하는 단계와, 정보 처리 장치가 상기 카메라가 촬영한 영상정보를 전달받고, 전달받은 영상정보를 영상처리하여 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하여 복수의 발광체 위치에 관한 평면 패턴을 확보하여 사용자의 실시간 동작패턴을 확보하는 단계와, 확보된 사용자의 실시간 동작패턴과 모범동작대로 움직일 때 발광체들이 형성하여야 하는 모범동작상의 동작패턴과 비교하는 단계와, 사용자의 동작을 나타내는 동영상을 모범동작 동영상에 겹쳐서 디스플레이하되, 모범동작상의 정확한 위치를 겹쳐서 동시에 디스플레이하는 것을 그 특징으로 하는 실시간 동작 인식 방법에 관한 것이다.

영상, 카메라, 디스플레이, 동작,

Description

실시간 동작 인식 방법{A real time motion recognizing method}

도 1은 본 발명의 일 실시예에 사용되는 장치의 개략적 구성도이다.

도 2는 본 발명의 일 실시예의 순서도이다.

<도면의 주요 부호에 관한 설명>

10 : 발광 다이오드 밴드 12 : 적외선 발광 다이오드

20 : 카메라 30 : 정보 처리 장치

본 발명은 실시간 동작 인식 방법에 관한 것으로, 보다 구체적으로는 장애인, 환자, 노약자들의 재활 운동 등에 도움을 주기 위한 실시간 동작 인식 기술에 관한 것이다.

사람이 재활 체조 등 어떤 운동 동작을 수행할 때, 정확한 동작을 하는 것이 운동 효과상으로 중요하다. 하지만 눈으로 바른 동작을 보고 운동을 하더라도 자신 의 동작이 어떠한지를 동시에 눈으로 보면서 비교하지 못하기 때문에 자신의 동작이 정확한 동작인지 확인하지 못하게 되며 따라서 정확한 동작을 수행하지 못하는 경우가 많다. 센서 또는 실루엣을 이용한 기존의 동작 인식 방법은 고가의 장비를 이용하는 것에 비해 잘못된 동작으로 인식하는 결과가 나올 경우가 많다. 또한 실시간 처리가 어렵다는 데에 제한이 있다. 종래의 기술에서도 실시간으로 동작 인식을 하는 방법을 제시하고는 있으나, 장애인 재활 훈련 프로그램 등에 적용하기에는 부적합하다는 문제점이 있다.

본 발명은, 육안으로 바람직한 동작과 자신의 동작의 차이를 확인하면서 모범 동작을 따라할 수 있는 실시간 동작 인식 방법을 제공하는 것을 그 목적으로 한다.

본 발명은 사용자에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 방법에 관한 것으로, 카메라가 상기 발광체들을 포함한 사용자의 모습을 촬영하는 단계와, 정보 처리 장치가 상기 카메라가 촬영한 영상정보를 전달받고, 전달받은 영상정보를 영상처리하여 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하여 복수의 발광체 위치에 관한 평면 패턴을 확보하여 사용자의 실시간 동작패턴을 확보하는 단계와, 확보된 사용자의 실시간 동작패턴과 모범 동작대로 움직일 때 발광체들이 형성하여야 하는 모범동작상의 동작패턴과 비교하는 단계와, 사용자의 동작을 나타내는 동영상을 모범동작 동영상에 겹쳐서 디스플레이하되, 모범동작상의 정확한 위치를 겹쳐서 동시에 디스플레이하는 것을 그 특징으로 하는 실시간 동작 인식 방법에 관한 것이다.

여기서, 현재의 사용자의 동작은 점선으로 표시하고, 모범동작 상의 올바른 동작 위치는 실선으로 표시하여 주거나, 사용자의 팔 다리 등 각 부분의 현재 위치가 모범동작상의 올바른 위치에 접근하는 정도에 따라서 사용자의 동작을 표시하는 색을 점진적으로 변화시켜 표시하여 준다.

이하, 첨부된 도면에 의거하여 본 발명에 대하여 상세히 설명한다.

도 1에 의하면, 본 발명에 의한 실시간 동작 인식 방법을 구현하기 위한 장치는 카메라(20)와 정보 처리 장치(30)를 포함하여 구성된다. 카메라(20)는 동작을 인식하기 위한 대상자로서의 사용자의 모습을 촬영한다. 이때, 사용자의 신체(예를 들어, 머리, 양 손목, 양 발목의 5개 부위)에는 각각 발광체가 부착되는데, 본 실시예에서 그 발광체로서 적외선 발광 다이오드(12)를 장착한 발광 다이오드 밴드(10)를 사용한다. 카메라(20)는 적외선 발광 다이오드로부터의 적외선을 추출하기 위하여 적외선 필터(도시되지 아니함)를 구비함이 바람직하다. 따라서 카메라(20)는 적외선 필터를 이용하여 촬영된 영상으로부터 배경과 잡음을 제외하여 사 용자에 부착된 적외선 발광 다이오드(12)의 위치만이 추출된 영상을 생성한다.

정보 처리 장치(30)는 카메라(20)로부터 전송된 영상으로부터 사용자의 동작을 인식하는 장치로서, 하드웨어 및 소프트웨어의 결합체이다. 정보 처리 장치(30)는 기능적으로 카메라가 촬영한 영상정보로부터 발광체들의 위치 특징점들의 파악하는 영상처리부(31), 파악된 위치 특징점들로부터 사용자의 실시간 동작패턴을 획득하는 사용자 동작패턴 획득부(32), 디스플레이장치에서 표시되는 영상정보에 관한 제어동작을 수행하는 디스플레이제어부(33), 저장장치(36)에 사전 저장되어 있는 모범동작과 비교하는 패턴비교부(34)를 구비한다.

본 발명에 의한 실시간 동작 인식 방법은 도 2에 도시된 바와 같은 순서도에 의하여 진행된다. 사용자는 다수의 발광체 밴드를 착용하고 동작을 수행하며, 카메라가 발광체 밴드를 착용한 사용자의 모습을 촬영한다. 촬영된 영상 정보는 정보 처리 장치로 전송된다. 전송된 영상정보를 영상처리되며, 이 때 발광체가 발광하는 빛을 나타내는 특징점들을 인식하게 되어 이러한 특징점들의 좌표를 획득하게 된다. 물론 여기서 2차원 즉 평면 좌표를 획득한다.

한편, 획득한 평면 패턴은 두 가지 경로로 처리되는데 우선 디스플레이 장치를 통하여 디스플레이되도록 처리되며, 한편, 모범동작대로 움직일 때 발광체들이 형성하여야 하는 모범동작상의 동작패턴과 비교되게 된다. 비교 결과 양 손, 양 발, 머리 등의 위치가 모범동작상의 동작패턴과 어느 정도 차이가 나는지를 계량적으로 수치화할 수 있게 되며, 이를 토대로 다음과 같이 디스플레이에 반영하여 사용자는 자신의 동작 중 어느 부분이 어느 정도 틀렸는지를 즉각 인식하면서 바른 동작으로 자신의 동작을 교정해 나갈 수 있게 된다.

즉, 사용자의 동작을 나타내는 동영상과 모범동작의 동영상을 겹쳐서 디스플레이하여 줌으로써 사용자가 자신의 동작과 모범동작을 바로 비교하면서 틀린 사항을 파악하고 교정하게 된다.

여기서, 두 개의 영상을 겹쳐서 디스플레이되게 하면서 동시에 사용자의 동작의 정확도를 명확히 시각적으로 표시하여 준다. 예를 들어, 현재의 사용자의 동작은 점선으로 표시하고, 모범동작상의 올바른 동작 위치는 실선으로 표시하여 줌으로써 사용자의 동작과 모범동작을 구분하여 줄 수 있다. 한편, 시각적인 효과를 주기 위하여 패턴 비교를 수행한 결과를 이용하여, 사용자의 팔 다리 등 각 부분의 현재 위치가 모범동작상의 올바른 위치에 접근되어 있는 정도를 파악한 후 사용자의 동작을 표시하는 색이나 움직이는 중간 영역의 색을 변화시키되, 바른 위치에 가까울수록 색을 진하게 해주는 등의 방법으로 표시하여 줌으로써 사용자로 하여금 자신의 동작이 바른 동작에 가까와지는 것인지 멀어지는 것인지를 명확히 인지할 수 있게 해 주는 것이 바람직하다.

나아가 사용자의 동작패턴과 모범동작과의 비교에 있어서 일정한 임계치를 설정하여 그 임계치 이상으로 모범동작의 위치에 가까와지면 색을 바꾸거나 반짝이게 하여 목표에 도달하였음을 표시하여 줄 수도 있다.

이상에서 설명한 본 발명의 실시예는 본 발명의 실시 태양 중 하나의 예를 든 것으로 본 발명은 이에 한정되지 아니하고 이와 등가물, 균등물을 포함함을 밝혀 둔다.

본 발명은, 육안으로 바람직한 동작과 자신의 동작의 차이를 확인하면서 모범 동작을 따라할 수 있게 함으로써 재활 체조 등을 함에 있어 스스로 자신의 동작을 실시간으로 교정하면서 바른 동작을 수행하게 하는 효과를 갖는다.

Claims (4)

1. 사용자에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 방법에 있어서, 사용자에 부착된 다수의 발광체로부터 사용자의 동작을 실시간 인식하여 처리하는 방법에 있어서,

   카메라가 상기 발광체들을 포함한 사용자의 모습을 촬영하는 단계와,

   정보 처리 장치가 상기 카메라가 촬영한 영상정보를 전달받고, 전달받은 영상정보를 영상처리하여 표시된 발광체들의 위치로부터 특징점들의 평면 좌표를 획득하여 복수의 발광체 위치에 관한 평면 패턴을 확보하여 사용자의 실시간 동작패턴을 확보하는 단계와,

   확보된 사용자의 실시간 동작패턴과 모범동작대로 움직일 때 발광체들이 형성하여야 하는 모범동작상의 동작패턴과 비교하는 단계와,

   사용자의 동작을 나타내는 동영상을 모범동작 동영상에 겹쳐서 디스플레이하되, 모범동작상의 정확한 위치를 겹쳐서 동시에 디스플레이하는 것을 그 특징으로 하는

   실시간 동작 인식 방법
2. 제 1 항에 있어서,

   현재의 사용자의 동작은 점선으로 표시하고, 모범동작 상의 올바른 동작 위 치는 실선으로 표시하여 주는 것을 그 특징으로 하는

   실시간 동작 인식 방법.
3. 제 1 항에 있어서,

   사용자의 팔 다리 등 각 부분의 현재 위치가 모범동작상의 올바른 위치에 접근하는 정도에 따라서 사용자의 동작을 표시하는 색을 점진적으로 변화시켜 표시하여 주는 것을 그 특징으로 하는

   실시간 동작 인식 방법
4. 제 1 항에 있어서,

   사용자의 실시간 동작패턴과 모범동작의 동작패턴과의 비교에 있어서 일정한 임계치를 설정하여 그 임계치 이상으로 모범동작의 위치에 가까와지면 디스플레이장치에 표시하는 색을 바꾸거나 반짝이게 하여 목표에 도달하였음을 표시하여 주는 것을 그 특징으로 하는

   실시간 동작 인식 방법

Images