KR102013705B1

KR102013705B1 - 승마시뮬레이터에서 사용자 자세 인식 장치 및 방법

Info

Publication number: KR102013705B1
Application number: KR1020130097481A
Authority: KR
Inventors: 김계경; 강상승; 지수영; 이동진; 정연구; 한문성; 김재홍; 박종현
Original assignee: 한국전자통신연구원
Priority date: 2013-08-16
Filing date: 2013-08-16
Publication date: 2019-08-23
Also published as: US9420963B2; KR20150019963A; US20150051512A1

Abstract

본 발명에 따르면, 승마시뮬레이터에서 전문가를 대상으로 수집한 승마 자세 영상을 이용하여 표준 자세 모델을 생성한 후, 사용자 승마 영상으로부터 자세 특징점을 추출하여 표준 자세 모델과 정합하고, 표준 자세 모델과의 정합을 통해 사용자의 자세를 인식하여 사용자의 승마 수준을 판단한 후, 개인 수준별 교육에 적합한 단계별 표준 자세 모델을 제시함으로써 개인별 승마 수준을 고려한 교육이 가능하도록 한다.

Description

승마시뮬레이터에서 사용자 자세 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING USER'S POSTURE IN HORSE-RIDING SIMULATOR}

본 발명은 승마시뮬레이터에서의 사용자 자세를 인식하는 시스템으로서, 특히 전문가를 대상으로 수집한 승마(horse-riding) 자세 영상을 이용하여 표준 자세 모델(model)을 생성한 후, 사용자 승마 영상으로부터 자세 특징점을 추출하여 표준 자세 모델과 정합하고, 표준 자세 모델과의 정합을 통해 사용자의 자세를 인식하여 사용자의 승마 수준을 판단한 후, 개인 수준별 교육에 적합한 단계별 표준 자세 모델을 제시함으로써 개인별 승마 수준을 고려한 교육이 가능하도록 하는 승마시뮬레이터에서 사용자 자세 인식 장치 및 방법에 관한 것이다.

최근 개인 건강에 대한 관심은 노인이나 장애자뿐만 아니라 일반인에게도 큰 이슈가 되고 있다. 1950년대 미 국방부에서 병사들의 체력 테스트를 위해서 개발한 러닝 머신은 이후 일반인들을 위한 피트니스 센터의 체력관리용으로 수요가 증가되었다. 현재는 개인 건강관리가 단순히 운동 기기의 개념을 넘어서 첨단 IT기술, 로봇 기술 및 생체신호 측정 및 분석 기술 등이 접목되어 자동화 및 개인 맞춤형 건강 관리 형태로 혁신적인 발전을 이루어 가고 있다. 이 가운데 시각 센서 정보를 이용하여 개인의 건강을 모니터링하고 케어할 수 있는 영상 정보 처리 기술이 로봇 등의 다른 기술들과 접목되어 새로운 IT융합 솔루션 기술로 발전되고 있는 추세이다.

이러한 기술의 발전에 따라, 운동하는 사람의 운동 과정을 센서를 통하여 획득한 다음 모니터링하고 정보를 분석한 다음 운동 결과 및 효과를 다시 피드백하는 과정이 의료기기, 재활 기기, 고령친화기기 및 운동 기기 전반에 걸쳐서 실행되고 있다.

특히, 시각 센서를 이용한 영상 정보는 운동하는 사람의 자세 정보를 획득하여 분석하고 교정해주는 기능을 제공해 줄 수 있으므로 개인별로 운동 능력이나 체력 증진을 위한 목적으로 널리 활용되고 있는 실정이다. 또한, 운동하는 사람의 운동 과정을 획득한 영상으로부터 특정 객체 영역을 찾아내어 인식하거나 추적하는 IT 기술은 골프 및 스케이트에 활용되어 사용자의 자세 교정 및 개인별 맞춤형 코칭에 적용되어 왔다.

예를 들어, 골프에 적용되는 경우 시각 센서를 이용하여 사용자의 운동 자세 정보를 획득한 후 스윙 자세를 분석하여 교정해주거나, 센서를 몸에 부착하여 정밀한 수준의 운동 모션을 획득하여 자세 정보를 분석하고 교정하는 연구가 진행되어 왔다.

한편, 최근 승마에 대한 관심이 고조됨에 따라 승마 인구가 급격하게 늘어남에 따라 실내에서 승마 시뮬레이터를 이용하여 승마 자세를 교육시키고 사용자 맞춤형 서비스를 제공하기 위한 연구들이 진행되고 있다. 그러나, 비전 센서를 이용하여 사용자의 승마 자세를 인식하고 코칭해주는 연구는 현재까지 미비한 실정으로, 일반 사용자를 위한 교육용 자세 인식에 활용을 위해 비전 센서를 이용한 승마 자세 인식 기술에 대한 요구가 증대되고 있다.

(특허문헌)

대한민국 공개특허번호 10-2011-0133959호(공개일자 2011년 12월 14일)에는 승마운동 시뮬레이터에 관한 기술이 개시되어 있다.

따라서, 본 발명에서는 전문가를 대상으로 수집한 승마 자세 영상을 이용하여 표준 자세 모델을 생성한 후, 사용자 승마 영상으로부터 자세 특징점을 추출하여 표준 자세 모델과 정합하고, 표준 자세 모델과의 정합을 통해 사용자의 자세를 인식하여 사용자의 승마 수준을 판단한 후, 개인 수준별 교육에 적합한 단계별 표준 자세 모델을 제시함으로써 개인별 승마 수준을 고려한 교육이 가능하도록 하는 승마시뮬레이터에서 사용자 자세 인식 장치 및 방법을 제공하고자 한다.

상술한 본 발명은 승마시뮬레이터에서 사용자 자세 인식 장치로서, 전문가 데이터베이스로부터 자세 특징점을 선정하여 표준 자세 모델을 찾아내어 표준 자세 모델을 생성하는 표준 자세 모델 생성부와, 상기 승마 시뮬레이터에서 사용자의 자세를 획득한 후, 상기 표준 자세 모델 생성부에서 생성된 상기 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하고, 사용자의 수준에 부합되는 표준 자세 모델을 제시하는 사용자 자세 인식부를 포함한다.

또한, 상기 표준 자세 모델 생성부는, 전문가의 승마 자세 영상을 입력하는 자세 영상 집합 입력부와, 상기 자세 영상 집합 입력부로부터 입력되는 전문가의 승마 자세 영상으로부터 신체의 위치를 추출하여 자세 영상의 특징점을 선정하는 자세 특징점 선정부와, 상기 자세 영상 집합 입력부로부터 입력되는 전문가의 승마 자세 영상을 정규화하는 자세 영상 정규화부와, 상기 자세 특징점 선정부로부터 입력되는 자세 영상 특징점들의 평균 위치를 계산하고, 평균 위치로부터 자세 영상의 편차를 추출하는 평균위치 및 편자 추출부와, 사용자 수준별 또는 말의 보행 패턴에 따른 다양한 자세 영상으로부터 자세 편차 및 변화 유형을 분석하는 자세 편차 유형 분석부와, 상기 자세 편차 유형 분석부로부터 분석되는 자세 편차 및 변화 유형을 반영하여 표준 자세 모델을 생성하는 자세 모델 생성부를 포함하는 것을 특징으로 한다.

또한, 상기 자세 영상 집합 입력부는, 상기 전문가의 승마 자세 영상을 저장하고 있는 전문가 데이터베이스로부터 상기 전문가의 자세 영상들을 입력하는 것을 특징으로 한다.

또한, 상기 자세 특징점 선정부는, 상기 승마 자세 영상으로부터 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 자세 영상의 특징점을 선정하는 것을 특징으로 한다.

또한, 상기 사용자 자세 인식부는, 사용자 자세 영상을 획득하는 영상 획득부와, 상기 영상 획득부로부터 획득된 사용자 자세 영상로부터 사용자 자세 영역을 분할하여 사용자 자세를 검출하는 자세 검출부와, 상기 사용자 자세 영역에서 사용자의 신체의 위치를 추출하여 사용자 자세 특징을 검출하는 사용자 자세 특징 추출부와, 상기 사용자 자세 특징 검출부로부터 검출된 사용자 자세 특징을 정규화하는 특징 정규화부와, 사용자의 승마 자세와 표준 자세 모델의 정합을 통해 사용자의 승마 자세를 인식하는 인식부를 포함하는 것을 특징으로 한다.

또한, 상기 자세 검출부는, 상기 영상 획득부로부터 획득된 사용자 자세 영상에 대해 주변 환경 영향을 최소화하고 사용자 자세 영역 부분만을 정확하게 분할하여 사용자 자세를 검출하는 것을 특징으로 한다.

또한, 상기 사용자 자세 특징 추출부는, 상기 사용자 자세 영역에서 사용자의 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 사용자 자세 특징을 검출하는 것을 특징으로 한다.

또한, 상기 인식부는, 사용자의 자세를 상기 표준 자세 모델 생성부에서 생성된 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하고, 사용자의 수준에 부합되는 표준 자세 모델을 제시하는 것을 특징으로 한다.

또한, 상기 영상 획득부는, 비전 센서를 통해 상기 사용자의 자세 영상을 획득하는 것을 특징으로 한다.

또한, 본 발명은 승마시뮬레이터에서 사용자 자세 인식 방법으로서, 전문가 데이터베이스로부터 자세 특징점을 선정하여 표준 자세 모델을 찾아내어 표준 자세 모델을 생성하는 단계와, 상기 승마 시뮬레이터에서 사용자의 자세를 획득한 후, 상기 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하는 단계를 포함한다.

또한, 상기 표준 자세 모델 생성하는 단계는, 전문가의 승마 자세 영상을 입력하는 단계와, 상기 전문가의 승마 자세 영상으로부터 신체의 위치를 추출하여 자세 영상의 특징점들을 선정하는 단계와, 상기 전문가의 승마 자세 영상을 정규화하는 단계와, 상기 자세 영상 특징점들의 평균 위치를 계산하고, 평균 위치로부터 자세 영상의 편차를 추출하는 단계와, 사용자 수준별 또는 말의 보행 패턴에 따른 다양한 자세 영상으로부터 자세 편차 및 변화 유형을 분석하는 단계와, 상기 분석되는 자세 편차 및 변화 유형을 반영하여 표준 자세 모델을 생성하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 승마 자세 영상은, 상기 전문가의 승마 자세 영상을 저장하고 있는 전문가 데이터베이스로부터 입력되는 것을 특징으로 한다.

또한, 상기 자세 특징점은, 상기 승마 자세 영상으로부터 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 선정하는 것을 특징으로 한다.

또한, 상기 사용자의 승마 자세를 인식하는 단계는, 사용자 자세 영상을 획득하는 단계와, 상기 획득된 사용자 자세 영상로부터 사용자 자세 영역을 분할하여 사용자 자세를 검출하는 단계와, 상기 사용자 자세 영역에서 사용자의 신체의 위치를 추출하여 사용자 자세 특징을 검출하는 단계와, 상기 검출된 사용자 자세 특징을 정규화하는 단계와, 사용자의 승마 자세와 표준 자세 모델의 정합을 통해 사용자의 승마 자세를 인식하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 사용자 자세 특징을 검출하는 단계에서, 상기 사용자 자세 영역에서 사용자의 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 사용자 자세 특징을 검출하는 것을 특징으로 한다.

또한, 상기 사용자의 승마 자세를 인식한 후, 사용자의 수준에 부합되는 표준 자세 모델을 제시하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 따르면, 승마시뮬레이터에서 전문가를 대상으로 수집한 승마 자세 영상을 이용하여 표준 자세 모델을 생성한 후, 사용자 승마 영상으로부터 자세 특징점을 추출하여 표준 자세 모델과 정합하고, 표준 자세 모델과의 정합을 통해 사용자의 자세를 인식하여 사용자의 승마 수준을 판단한 후, 개인 수준별 교육에 적합한 단계별 표준 자세 모델을 제시함으로써 개인별 승마 수준을 고려한 교육이 가능한 이점이 있다.

도 1은 본 발명의 실시예에 따른 승마시뮬레이터에서 사용자 자세 인식 장치의 상세 블록 구성도,
도 2는 본 발명의 실시예에 따른 승마시뮬레이터에서 사용자 자세 인식을 위한 동작 제어 흐름도,
도 3은 본 발명의 실시예에 따른 승마시뮬레이터에서 자세 영상 예시도,
도 4는 본 발명의 실시예에 따른 승마시뮬레이터에서 자세 특징점 예시도,
도 5는 본 발명의 실시예에 따른 승마시뮬레이터에서 자세 특징점 추출 영상 예시도,
도 6은 본 발명의 실시예에 따른 승마시뮬레이터에서 사용자 자세 특징 정규화 예시도,
도 7은 본 발명의 실시예에 따른 승마시뮬레이터에서 자세 특징점 사이의 거리 산출 예시도,
도 8은 본 발명의 실시예에 따른 승마시뮬레이터에서 사용자 수준별 옆면 자세 특징점 예시도,
도 9는 본 발명의 실시예에 따른 승마시뮬레이터에서 자세 특징점의 평균 위치 및 편차 예시도,
도 10은 본 발명의 실시예에 따른 승마시뮬레이터에서 수준별 자세 영역 예시도.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 실시예에 따른 승마시뮬레이터에서 사용자 자세 인식 장치의 상세 블록 구성을 도시한 것이다.

도 1을 참조하면, 본 발명의 사용자 자세 인식장치는 크게 사용자 자세 인식부(100)와 표준 자세 모델 생성부(150)를 포함할 수 있다.

먼저, 표준 자세 모델 생성부(150)는 전문가 데이터베이스(database)로부터 자세 특징점을 선정하여 표준 자세 모델을 찾아내어 표준 자세 모델을 생성한다.

이러한 표준 자세 모델 생성부(150)는 자세 영상 집합 입력부(152), 자세 특징점 선정부(154), 자세영상 정규화부(156), 평균위치 및 편차 추출부(158), 자세편차 유형 분석부(160), 자세 모델 생성부(162) 등을 포함할 수 있다.

자세 영상 집합 입력부(152)는 전문가들의 승마 자세 영상을 저장하고 있는 전문가 데이터베이스로부터 전문가 자세 영상들을 입력한다.

자세 특징점 선정부(154)는 자세 영상 집합 입력부(152)로부터 입력되는 전문가의 승마 자세 영상으로부터 어깨, 팔꿈치, 손 및 발 등의 위치를 추출하여 자세 영상의 특징점을 선정한다.

자세 영상 정규화부(156)는 자세 영상 집합 입력부(152)로부터 입력되는 전문가의 승마 자세 영상을 정규화한다.

평균위치 및 편차 추출부(158)는 자세 특징점 선정부(154)로부터 입력되는 자세 영상 특징점들의 평균 위치를 계산하고, 평균 위치로부터 자세 영상의 편차를 추출한다.

자세 편차 유형 분석부(160)는 사용자 수준별 또는 말의 보행 패턴에 따른 다양한 자세 영상으로부터 자세 편차 및 변화 유형을 분석하고 생성한다.

자세 모델 생성부(162)는 자세 편차 유형 분석부(160)로부터 생성되는 자세 편차 및 변화 유형을 반영하여 표준 자세 모델을 생성한다.

다음으로, 사용자 자세 인식부(100)는 승마 시뮬레이터에서 사용자의 자세를 비전 센서로 획득한 후, 표준 자세 모델 생성부(150)에서 생성된 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하고, 사용자의 수준에 부합되는 표준 자세 모델을 제시한다.

이러한 사용자 자세 인식부(100)는 영상 획득부(102), 자세 검출부(104), 사용자 자세 특징 추출부(106), 특징 정규화부(108), 인식부(110) 등을 포함할 수 있다.

영상 획득부(102)는 비전 센서를 통해 사용자 자세 영상을 획득한다. 자세 검출부(104)는 영상 획득부(102)로부터 획득된 사용자 자세 영상에 대해 주변 환경 영향을 최소화하고 사용자 자세 영역 부분만을 정확하게 분할하여 사용자 자세를 검출한다. 사용자 자세 특징 추출부(106)는 사용자 자세 영역에서 사용자의 어깨, 팔꿈치, 손 및 발의 위치를 추출하여 사용자 자세 특징을 검출한다.

특징 정규화부(108)는 사용자 자세 특징 검출부(106)로부터 검출된 사용자 자세 특징을 정규화한다.

인식부(110)는 사용자의 승마 자세와 표준 자세 모델의 정합을 통해 사용자의 승마 자세를 인식한다. 즉, 인식부(110)는 사용자의 자세를 표준 자세 모델 생성부(150)에서 생성된 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하고, 사용자의 수준에 부합되는 표준 자세 모델을 제시한다.

도 2는 본 발명의 실시예에 따른 승마시뮬레이터에서 사용자 자세 인식 장치에서 사용자 자세를 인식하는 동작 제어 흐름을 도시한 것이다. 이하, 도 1 및 도 2를 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

먼저, 표준 자세 모델 생성부(150)에서의 동작을 살펴보면, 표준 자세 모델 생성부(150)는 사용자의 승마 자세를 인식하기 위하여 표준 자세 영상 데이터베이스를 대상으로 승마 자세 영상을 수집한다(S200).

이어, 표준 자세 모델 생성부(150)는 승마 자세 영상으로부터 표준 자세 모델의 구성 요소가 되는 자세 특징점을 선정한다(S202). 이때, 표준 자세 모델 생성부(150)는 자세 특징점을 선정함에 있어서, 표준 승마 자세 영상들을 선정하고, 선정된 승마 자세 영상에서 자세 특징점들을 선정할 수 있다.

또한, 이때 표준 승마 자세 영상은 도 3에서와 같이 다양한 전문가들로부터 승마 자세를 대표할 수 있는 영상들을 선택하여 말의 보행 패턴에 따른 자세 모델 영상들을 선택하여 구성할 수 있다. 도 3의 (a)는 옆면 자세 영상을 도시한 것이고, 도 3의 (b)는 뒷면 자세 영상을 도시한 것이다.

즉, 도 3에 도시된 승마 자세 영상을 참조하면, 자세 모델을 구성하는 특징점은 옆면 또는 뒷면 등에서 획득한 자세 영상으로부터 허리 펴짐, 고삐를 잡는 손의 위치 및 다리의 위치로 선정할 수 있다.

도 4는 승마 자세에서의 자세 특징점을 선정하는 예를 도시한 것으로, 옆면 자세 특징점 선정에 있어서는 도 4의 (a)에서 보여지는 바와 같이 허리 펴짐을 인식하기 위하여 어깨와 엉덩이 위치에 해당하는 특징점 01번과 04번을, 팔의 위치 인식을 위하여 팔꿈치와 손의 위치에 해당되는 특징점 02번과 03번을, 그리고 다리의 자세 인식을 위한 무릎과 발의 위치인 05번과 06번의 특징점을 포함하여 총 6개의 특징점을 선정할 수 있다.

또한, 뒷면 자세 특징점 선정에 있어서는 도 4의 (b)에서 보여지는 바와 같이 뒷면 자세 영상으로부터 머리, 엉덩이, 양쪽 어깨의 위치에 해당되는 4개의 특징점 즉, 07번, 09번, 10번, 11번의 특징점을 선정할 수 있으며 사용자의 상체 영역으로부터 최대 축을(maximum axis) 추출하고 영역의 중심점을 구하여 어깨, 엉덩이, 머리 위치 인식을 위한 기본 특징점으로 특징점 08번을 선정할 수 있다. 이상에서 옆면 및 뒷면 자세 인식을 위한 특징점으로 총 11개의 특징점을 도 4에서와 같이 선정하여 표준 자세 모델을 생성할 수 있다.

위와 같은 11개의 자세 특징점들은 도 4에 도시한 것처럼 어깨, 팔꿈치, 손과 같이 상부의 자세와 관련된 1번부터 3번까지의 점들과 엉덩이, 무릎, 발과 같이 하부의 자세와 관련된 4번부터 6번까지의 점들로 구성된 옆면 자세 특징점들과 머리, 어깨, 엉덩이의 뒷면 자세 특징점 7번부터 11번까지의 자세 특징점들로 구성될 수 있다. 또한 이와 같은 자세 특징점들은 사용자 신체의 윤곽선에서 일정 반경 떨어진 점들로 도 5의 (a), (b)에서와 같이 구성될 수 있다.

이어, 표준 자세 모델 생성부(150)는 자세 특징점들 사이의 수직 거리 및 각도 정보를 기준으로 도 6의 (a), (b)에서 보여지는 바와 같이 옆면과 뒷면 자세 특징점 좌표들의 정규화를 수행한다(S204). 이와 같은 다양한 자세 영상의 정규화는 자세 모델에 대한 일관성을 유지하면서 보다 정확한 자세 인식 결과 도출을 위하여 반드시 필요한 단계로써 먼저 자세 영상 특징점들의 위치를 정규화시키도록 한다. 이어, 자세 영상의 특징점들 사이의 수직 및 수평 방향으로의 거리가 도 7에서와 같이 일정한 값으로 유지되도록 자세 영상의 특징점들에 대하여 정규화를 수행할 수 있다.

고급 옆면 자세 특징점들에 대한 정규화는 특징짐 1을 기준점으로 수행하고 특징점 2를 중심점으로 하여 특징점들 사이의 각도를 계산했을 때 특징점 1과 특징점 2사이의 각도는 90도, 특징점 2와 3사이의 각도는 210도가 되도록 하였으며, 특징점 5를 중심점으로 하였을 때 특징점 4와 특징점 5가 이루는 각도는 50도, 특징점 5와 특징점 6이 이루는 각도는 300도가 되도록 선정할 수 있다. 이때, 특징점 1, 2, 4 및 6은 일직선상에 존재할 수 있다.

초급 옆면 자세 특징점들에 대한 정규화는 특징짐 2를 중심점으로 하였을 때 특징점 1과 특징점 2사이의 각도는 70도, 특징점 2와 3사이의 각도는 200도가 되도록 할 수 있으며, 특징점 5를 중심점으로 하였을 때 특징점 4와 특징점 5가 이루는 각도는 40도, 특징점 5와 특징점 6이 이루는 각도는 285도가 되도록 선정할 수 있다. 또한, 특징점 6의 x 좌표값은 특징점 2의 x 좌표값보다 작고 특징점 5보다 큰 좌표값을 가지는 위치에 존재하도록 할 수 있다. 이웃하는 특징점 사이, 즉 특징점 1과 2, 특징점 2와 3, 특징점 2와 4, 특징점 4와 5 및 특징점 5와 6사이의 거리는 일정한 거리로 정할 수 있다. 도 8에 수준별 옆면 자세의 특징점을 도시하였다.

뒷면 자세 특징점은 도 7 (b)와 같이 특징점 7과 9번이 수직 방향으로 일직선상에 위치하며 특징점 10번과 11번이 수평 방향으로 일직선 상에 존재하며 특징점 7번과 9번을 잇는 수직 직선의 좌표가 특징점 10번과 11번의 중간점 8번을 지나도록 구성될 수 있다. 특징점 9번과 10번 사이 수직 방향으로의 직선 거리는 특징점 7번과 10번 사이의 수평방향으로 직선거리의 두 배 크기로 정규화 하도록 한다.

이어, 표준 자세 모델 생성부(150)는 도 9에서와 같이 표준 자세 영상들의 각 특징점들로 부터 평균 위치와 편차를 구한다(S206). 이때, 평균위치와 편차를 구함에 있어서, 표준 자세 모델 생성부(150)는 표준 자세 영상 각각에 대해 자세 특징점들의 위치 값을 구하고, 평균 위치 정보로부터 편차를 구할 수 있다.

표준 자세 모델은 일반적으로 승마에서 정자세로 불리어지는 자세 모델을 나타내는 것으로, 일반적으로 말의 보행 패턴을 고려하면 정자세의 표준 자세 모델은 각 특징점에서 일정 범위내의 편차를 가지게 된다. 이러한 편차를 고려하여 표준 모델을 구성하기 위해 도 9에서와 같이 다양한 전문가의 승마 자세 영상 집합을 구성하여 자세 특징점들의 평균 좌표값을 구하고 각 자세 특징점에서의 편차를 계산하여 표준 자세 모델을 생성할 수 있다.

즉, 도 9를 참조하면, 표준 자세 모델의 특징점들에 대한 평균 위치는 N개의 자세 영상으로부터 수작업으로 지정한 자세 특징점들의 위치 정보를 이용해서 구할 수 있다. 자세 영상 집합들로부터 선정한 p번째 자세 특징점을 나타내는 벡터를 Zp라고 할때, Zp = {Z1p, Z2p, …, ZNp}T 로 나타낼 수 있다. 이때, N개의 자세 영상들에 대한 자세 모델 특징점들의 평균 위치

로 자세 특징점을 표현할 수 있으며 아래의 [수학식 1]과 같이 계산될 수 있다.

이때, 자세 영상들의 평균 위치에 대한 편차

는

로 구할 수 있다.

이어, 표준 자세 모델 생성부(150)는 자세 특징점들의 평균 위치와 편차에 대한 변화 유형들을 분석하고(S208), 사용자 수준에 따라 변형 가능한 평균 자세 모델을 생성한다(S210). 이때, 예를 들어 사용자의 승마 자세 모델과 표준 자세 모델과의 표준 편차가 일정 임계치를 초과할 경우 사용자의 자세 모델로부터 0∼5% 범위내 편차를 가지는 자세 모델을 계산하여 사용자 승마 자세를 교육시킬 수 있도록 할 수 있다. 이는 사용자의 승마 교육의 안전성 및 단계적 교육을 고려하여 설정한 값이 될 수 있다.

위와 같이 표준 자세 모델 생성부(150)로부터 표준 자세 모델이 생성되는 경우, 생성된 표준 자세 모델은 사용자 자세 인식부(100)로 제공될 수 있다.

다음으로, 사용자 자세 인식부(100)에서의 동작을 살펴보면, 사용자 자세 인식부(100)는 비전 센서로부터 사용자 자세 영상을 획득한다(S212)). 이때, 자세 영상은 옆면과 뒷면에 대한 사용자 승마 자세 영상이 될 수 있다.

이어, 사용자 자세 인식부(100)는 사용자 자세 영상에 대해 주변 환경 영향을 최소화하고 사용자 자세 영역 부분만을 정확하게 분할하여 사용자 자세를 검출한다(S214).

이때, 주변 조명 영향을 덜 받기 위하여 국소 적응 이진화 방법을 적용하여 사용자 영역을 검출할 수 있으며, 이차 미분을 적용하여 영상의 에지 성분을 추출한 다음 그 결과를 결합하여 사용자 영역을 검출할 수 있다. 이러한 국소 적응 이진화 방법은 실제 환경에서 저조도 조명이나 조명 변화가 심할 때 객체 영역 분할에 효과적이며, 이차 미분을 이용한 에지 추출 방법은 명도 차가 적은 영상에서 에지 성분을 찾아내기 위한 방법으로 이용될 수 있는 방법이다. 조명 영향이 많은 실제 환경에서 객체 영역을 제대로 분할하기 위하여 이 두 가지 방법의 장점을 결합하여 사용자의 자세 영역을 분할하도록 할 수 있다.

이어, 사용자 자세 인식부(100)는 사용자 자세 영역에서 사용자의 어깨, 팔꿈치, 손 및 발의 위치를 추출하여 사용자 자세 특징을 검출하고(S216), 검출된 사용자 자세 특징을 표준 자세 모델과의 정합을 위하여 정규화한다(S218).

이어, 사용자 자세 인식부(100)는 사용자 자세 영역에서 사용자의 어깨, 팔꿈치, 손 및 발의 위치를 추출하여 사용자 자세 특징 템플릿을 구성하고(S220), 표준 자세 모델 생성부(150)로부터 제공된 표준 자세 모델을 이용하여 사용자의 승마 자세와 표준 자세 모델의 정합을 수행한다(S222).

이어, 표준 자세 모델의 정합을 통해 사용자의 승마 자세를 인식하여 최고 유사도를 가지는 표준 자세 모델을 검출한다(S224). 이때, 사용자 자세 인식부(100)는 최고 유사도를 가지는 표준 자세 모델을 검출하는 경우, 검출된 표준 자세 모델에서 사용자의 수준별 부합되는 표준 자세 모델을 제시함으로서(S226) 단계별로 보다 안전하게 개별 승마 교육이 가능하도록 할 수 있다.

즉, 사용자 자세 인식부(100)는 수준별 표준 자세 모델 생성을 위하여 표준 기초 자세 모델을 기하학적으로 변형할 수 있다. 이때, 옆면 자세 모델의 구조적 변형을 위하여 6 차원의 매개 변수들을 설정할 수 있으며, 표준 자세 모델의 특징점들 사이의 거리, 자세 변형의 중심점, 전체 특징점 변형 스케일링 변수, 상체 변형 스케일링 변수, 하체 변형 스케일링 변수, 수준별 특징점에 대한 변형 가중치를 설정할 수 있다. 표준 자세 모델의 상체와 하체를 기준으로 자세 특징점의 스케일링 변수를 다르게 설정해서 자세 변형이 용이한 특징점은 자세 변형 가중치를 크게 설정하도록 할 수 있다.

또한 뒷면 자세 모델의 구조적 변형을 위하여 표준 자세 모델의 특징점들 사이의 거리, 자세 변형의 중심점, 전체 특징점 변형 스케일링 변수, 수준별 특징점에 대한 변형 가중치를 포함한 4 차원의 매개 변수들을 설정할 수 있다. 도 10은 수준별 표준 자세 모델의 변형을 위하여 각 수준별 자세 영역을 도시한 것이다.

상기한 바와 같이, 본 발명에 따르면, 승마시뮬레이터에서 전문가를 대상으로 수집한 승마 자세 영상을 이용하여 표준 자세 모델을 생성한 후, 사용자 승마 영상으로부터 자세 특징점을 추출하여 표준 자세 모델과 정합하고, 표준 자세 모델과의 정합을 통해 사용자의 자세를 인식하여 사용자의 승마 수준을 판단한 후, 개인 수준별 교육에 적합한 단계별 표준 자세 모델을 제시함으로써 개인별 승마 수준을 고려한 교육이 가능하도록 한다.

한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

100 : 사용자 자세 인식부 102 : 영상 획득부
104 : 자세 검출부 106 : 사용자 자세특징 추출부
108 : 특징 정규화부 110 : 인식부
150 : 표준 자세 모델 생성부 152 : 자세 영상 집합 입력부
154 : 자세특징정 선정부 156 : 자세영상 정규화부
158 : 평균위치 및 편차추출부 160 : 자세편차 유형분석부
162 : 자세모델 생성부

Claims

승마시뮬레이터에서 사용자 자세 인식 장치로서,
전문가 데이터베이스로부터 자세 특징점을 선정하여 표준 자세 모델을 찾아내어 표준 자세 모델을 생성하는 표준 자세 모델 생성부와,
상기 승마 시뮬레이터에서 사용자의 자세를 획득한 후, 상기 표준 자세 모델 생성부에서 생성된 상기 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하고, 사용자의 수준에 부합되는 표준 자세 모델을 제시하는 사용자 자세 인식부를 포함하고,
상기 표준 자세 모델 생성부는,
상기 전문가의 승마 자세 영상으로부터 추출된 자세 영상 특징점들의 평균 위치를 계산하고, 평균 위치로부터 자세 영상의 편차를 추출하는 평균위치 및 편자 추출부와,
사용자 수준에 따른 다양한 자세 영상으로부터 자세 편차 및 변화 유형을 분석하는 자세 편차 유형 분석부와,
상기 자세 편차 유형 분석부로부터 분석되는 자세 편차 및 변화 유형을 반영하여 상기 사용자 수준별 표준 자세 모델을 생성하는 자세 모델 생성부를 포함하는 것을 특징으로 하는
승마시뮬레이터에서 사용자 자세 인식 장치.
제 1 항에 있어서,
상기 표준 자세 모델 생성부는,
상기 전문가의 승마 자세 영상을 입력하는 자세 영상 집합 입력부와,
상기 자세 영상 집합 입력부로부터 입력되는 상기 전문가의 상기 승마 자세 영상으로부터 신체의 위치를 추출하여 상기 자세 영상의 특징점을 선정하는 자세 특징점 선정부와,
상기 자세 영상 집합 입력부로부터 입력되는 상기 전문가의 승마 자세 영상을 정규화하는 자세 영상 정규화부
를 포함하는 승마시뮬레이터에서 사용자 자세 인식 장치.
제 2 항에 있어서,
상기 자세 영상 집합 입력부는,
상기 전문가의 승마 자세 영상을 저장하고 있는 전문가 데이터베이스로부터 상기 전문가의 자세 영상들을 입력하는 승마시뮬레이터에서 사용자 자세 인식 장치.
제 2 항에 있어서,
상기 자세 특징점 선정부는,
상기 승마 자세 영상으로부터 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 자세 영상의 특징점을 선정하는 승마시뮬레이터에서 사용자 자세 인식 장치.
제 1 항에 있어서,
상기 사용자 자세 인식부는,
사용자 자세 영상을 획득하는 영상 획득부와,
상기 영상 획득부로부터 획득된 사용자 자세 영상로부터 사용자 자세 영역을 분할하여 사용자 자세를 검출하는 자세 검출부와,
상기 사용자 자세 영역에서 사용자의 신체의 위치를 추출하여 사용자 자세 특징을 검출하는 사용자 자세 특징 추출부와,
상기 사용자 자세 특징 검출부로부터 검출된 사용자 자세 특징을 정규화하는 특징 정규화부와,
사용자의 승마 자세와 표준 자세 모델의 정합을 통해 사용자의 승마 자세를 인식하는 인식부
를 포함하는 승마시뮬레이터에서 사용자 자세 인식 장치.
제 5 항에 있어서,
상기 자세 검출부는,
상기 영상 획득부로부터 획득된 사용자 자세 영상에 대해 주변 환경 영향을 최소화하고 사용자 자세 영역 부분만을 정확하게 분할하여 사용자 자세를 검출하는 승마시뮬레이터에서 사용자 자세 인식 장치.
제 5 항에 있어서,
상기 사용자 자세 특징 추출부는,
상기 사용자 자세 영역에서 사용자의 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 사용자 자세 특징을 검출하는 승마시뮬레이터에서 사용자 자세 인식 장치.
제 5 항에 있어서,
상기 인식부는,
사용자의 자세를 상기 표준 자세 모델 생성부에서 생성된 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하고, 사용자의 수준에 부합되는 표준 자세 모델을 제시하는 승마시뮬레이터에서 사용자 자세 인식 장치.
제 5 항에 있어서,
상기 영상 획득부는,
비전 센서를 통해 상기 사용자의 자세 영상을 획득하는 승마시뮬레이터에서 사용자 자세 인식 장치.
승마시뮬레이터에서 사용자 자세 인식 방법으로서,
전문가 데이터베이스로부터 자세 특징점을 선정하여 표준 자세 모델을 찾아내어 표준 자세 모델을 생성하는 단계와,
상기 승마 시뮬레이터에서 사용자의 자세를 획득한 후, 상기 표준 자세 모델과 정합하여 사용자의 승마 자세를 인식하는 단계를 포함하고,
상기 표준 자세 모델을 생성하는 단계는,
상기 전문가의 승마 자세 영상으로부터 추출된 자세 영상 특징점들의 평균 위치를 계산하고, 평균 위치로부터 자세 영상의 편차를 추출하는 단계와,
사용자 수준에 따른 다양한 자세 영상으로부터 자세 편차 및 변화 유형을 분석하는 단계와,
상기 자세 편차 유형 분석부로부터 분석되는 자세 편차 및 변화 유형을 반영하여 상기 사용자 수준별 표준 자세 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 승마시뮬레이터에서 사용자 자세 인식 방법.
제 10 항에 있어서,
상기 표준 자세 모델 생성하는 단계는,
상기 전문가의 승마 자세 영상을 입력하는 단계와,
상기 전문가의 승마 자세 영상으로부터 신체의 위치를 추출하여 상기 자세 영상의 특징점들을 선정하는 단계와,
상기 전문가의 승마 자세 영상을 정규화하는 단계를 포함하는 것을 특징으로 하는 승마시뮬레이터에서 사용자 자세 인식 방법.
제 11 항에 있어서,
상기 승마 자세 영상은,
상기 전문가의 승마 자세 영상을 저장하고 있는 전문가 데이터베이스로부터 입력되는 승마시뮬레이터에서 사용자 자세 인식 방법.
제 11 항에 있어서,
상기 자세 특징점은,
상기 승마 자세 영상으로부터 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 선정하는 승마시뮬레이터에서 사용자 자세 인식 방법.
제 10 항에 있어서,
상기 사용자의 승마 자세를 인식하는 단계는,
사용자 자세 영상을 획득하는 단계와,
상기 획득된 사용자 자세 영상로부터 사용자 자세 영역을 분할하여 사용자 자세를 검출하는 단계와,
상기 사용자 자세 영역에서 사용자의 신체의 위치를 추출하여 사용자 자세 특징을 검출하는 단계와,
상기 검출된 사용자 자세 특징을 정규화하는 단계와,
사용자의 승마 자세와 표준 자세 모델의 정합을 통해 사용자의 승마 자세를 인식하는 단계
를 포함하는 승마시뮬레이터에서 사용자 자세 인식 방법.
제 14 항에 있어서,
상기 사용자 자세 특징을 검출하는 단계에서,
상기 사용자 자세 영역에서 사용자의 어깨, 팔꿈치, 손 또는 발의 위치를 추출하여 사용자 자세 특징을 검출하는 승마시뮬레이터에서 사용자 자세 인식 방법.
제 14 항에 있어서,
상기 사용자의 승마 자세를 인식한 후, 사용자의 수준에 부합되는 표준 자세 모델을 제시하는 단계
를 더 포함하는 승마시뮬레이터에서 사용자 자세 인식 방법.