KR20030041034A - 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체 - Google Patents

Abstract

본 발명은 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법, 이 동작비교 방법을 저장한 기록매체에 관한 것으로, 에어로빅과 같이 동작의 학습을 주로 하는 운동에 있어서 모니터의 화면상에 나타나는 강사의 동작 모습과 촬영장치로 촬영된 사용자의 동작을 화면상에서 합성하고 이를 실시간으로 비교하여 잘못된 동작을 지적하고 점수화함으로써 사용자가 틀린 동작을 교정할 수 있게 하고, 이를 통해 실제 강사의 지도나 도움 없이 원하는 장소에서 실제 강습과 교육에 준하는 운동 효과를 얻을 수 있는 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법, 이 동작비교 방법을 저장한 기록매체에 관한 것이다.

본 발명은 동작비교 방법과, 운동강습 프로그램을 실행하여 화면상의 강사 영상을 통해 운동강습을 하는 동시에 강사의 표준영상과 사용자 영상을 비교하여 틀린 자세를 교정하도록 하는 동작비교를 통한 자세교정 운동 장치에 있어서, 사용자 영상을 촬영하는 촬영장치와; 강사의 표준영상 및 사용자 영상과 비교의 결과값인 점수를 출력하는 영상출력장치와; 틀린 자세를 교정하도록 지시하는 지시멘트를 출력하는 음향출력장치;를 포함하는 동작비교를 통한 자세교정 운동 장치를 제공한다.

Description

동작비교를 통한 자세교정 운동 장치 및 동작비교 방법, 이 동작비교 방법을 저장한 기록매체{Exercise apparatus correcting position through motion comparison, Method of motion comparison and Record medium saving this method of motion comparison}

본 발명은 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법, 이 동작비교 방법을 저장한 기록매체에 관한 것으로, 에어로빅과 같이 동작의 학습을 주로 하는 운동에 있어서 모니터의 화면상에 나타나는 강사의 동작 모습과 촬영장치로 촬영된 사용자의 동작을 화면상에서 합성하고 이를 실시간으로 비교하여 잘못된 동작을 지적하고 점수화함으로써 사용자가 틀린 동작을 교정할 수 있게 하고, 이를 통해 실제 강사의 지도나 도움 없이 원하는 장소에서 실제 강습과 교육에 준하는 운동 효과를 얻을 수 있는 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법, 이 동작비교 방법을 저장한 기록매체에 관한 것이다.

에어로빅이나 태권도, 검도 등과 같이 동작을 주로 하는 운동의 학습에 있어서 가장 많이 사용되는 방법은 실제 학원에서의 현장 강좌를 통한 방법이다. 실제 현장 강좌는 강사의 실제 동작 모습을 보고 배울 수 있다는 현장감이 있으며 다른 수강생들과 함께 비교하면서 배울 수 있다는 면에서 장점이 있다. 그러나, 현장 강좌는 강사의 동작에 집중하다 보면 사용자 본인의 동작확인이 어렵고 초급자의 경우 강좌의 진도를 따라가기 어려워 중도포기하게 되는 경우가 많았다. 또한, 일정한 시간에 학원에 가서 강습을 받아야 하는 시·공간상의 제약이 있으며 집체 교육으로 진행되므로 개별적 반복학습 등의 재현성이 부족하다는 단점이 있었다. 또한 강습료나 학원으로의 이동에 걸리는 부대시간 등에 대한 부담도 컸었다.

한편, 현장 강좌의 이러한 단점을 극복하기 위해 TV 강좌 프로그램이나 비디오 강좌 프로그램 등이 제공되고 있다. 그러나, TV 강좌 프로그램은 시간을 맞추어시청해야 하므로 역시 시간상의 제약을 극복하지 못하였고 일회성 프로그램으로 제작됨에 따라 반복연습이 불가했다. 그리고 비디오 강좌 프로그램은 시간상의 제약은 없고 반복연습도 가능하지만 TV 강좌 프로그램이나 비디오 강좌 프로그램 공히 일방적인 전달 교육 형태이므로 사용자 본인의 동작을 강사의 동작과 비교하여 잘못된 부분에 대한 지적을 함으로써 사용자로 하여금 자신의 동작을 교정할 수 있게 하거나 점수화하여 피드백을 줄 수는 없었다.

이러한 문제점을 해결하기 위한 발명으로서 '인공시각과 패턴인식을 이용한 체감형 게임 장치(대한민국등록실용신안 등록번호 : 20-0239844호)'가 있었다.

인공시각과 패턴인식을 이용한 체감형 게임 장치는 댄스 게임에 관한 것이지만 에어로빅이나 다른 스포츠 게임에도 응용될 수 있는 것으로서, 크로마키 스크린 안에 있는 인체의 동작을 촬영하는 카메라 앞에서 기본춤으로 설정된 동영상 캐릭터의 춤을 흉내내면 그 결과를 정지된 상태의 표준영상과 비교하여 점수를 채점하는 댄스 게임장치이다. 상기 장치는 표준영상을 출력용 모니터에 출력하고, 사용자의 동작을 광각 카메라로 촬영하여 음영을 추출한 입력영상을 표본동작 자료와 대조 판독하는 계측수단을 가진다. 또한 이를 통해 사용자가 입력한 신체사이즈에 맞춰 세부적인 표준모델을 화면상에 제시하고 내부적으로는 인공시각 및 패턴인식 원리를 이용하여 사용자 특정 패턴을 추출한 뒤 인식하고 평가한다.

여기에서 패턴 인식과 표준영상 및 사용자 입력영상의 비교계측은 두 가지 방법으로 이루어지는데, 첫번째는 3D 캐릭터의 음영만으로 이루어진 표준영상을 입력영상과 비교하여 일치하지 않는 영역의 면적을 산출하여 비교하는 것이고, 두번째는 표준영상에 해당하는 3D 캐릭터의 인체골격선의 정점위치를 입력영상에서 추출한 골격선과 비교하여 사각정점 이내에 포함되지 않는 외부영역을 검사하여 일치도를 측정하는 것이다.

그러나, 인공시각과 패턴인식을 이용한 체감형 게임 장치의 표준영상과 입력영상을 비교계측하는 상기 두 가지 방법은 결국은 모두 표준영상과 입력영상이 겹쳐지는 면적을 단순하게 비교함으로써 일치도를 평가하는 방법이었다. 따라서 면적이 겹쳐지기만 하면 동작이 틀리더라도 이를 인식할 수 없고 특히 어느 부위의 동작이 틀렸는지를 정확하게 지적해 낼 수가 없다는 문제점이 있었다.

또한, 동작의 비교에 의한 점수화만 가능할 뿐 틀린 부위를 정확하게 지적해 낼 수 없기 때문에 어떤 부위를 어떻게 교정하라는 지시멘트를 해 줄 수 없으므로 운동을 하면서 사용자 스스로 틀린 동작을 교정할 수 없다는 문제점이 있었다.

또한, 틀린 부위를 정확하게 지적해 낼 수 없기 때문에 어느 특정 부위의 운동을 강조하는 프로그램에 있어서 활용되기가 어렵다는 문제점이 있었다.

또한, 일치도의 점수화에 있어서도 각 부위별 일치도를 평가하여 점수화할 수 없다는 문제점이 있었다.

본 발명은 상기의 문제점을 해결하기 위하여, 운동 프로그램을 탑재하여 시·공간의 제약을 받지 않고 강습료나 부대시간에 대한 부담이 없이 반복적으로 동작연습을 할 수 있으면서도 동작이 틀린 부위를 정확하게 파악하여 점수화하고 교정 지시멘트를 함으로써 자세교정 및 운동효과를 높일 수 있는 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법을 제공함을 목적으로 한다.

또한, 본 발명은 어느 특정 부위의 운동을 강조하는 프로그램에 효과적으로 활용될 수 있는 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법을 제공함을 목적으로 한다.

또한, 본 발명은 동작의 일치도의 점수화에 있어서 각 부위별 점수평가가 가능한 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법을 제공함을 목적으로 한다.

또한, 본 발명은 강사의 표준영상 동작과 사용자의 입력영상 동작의 비교에 있어서 보다 정교한 비교 알고리즘을 사용하여 표준영상 동작과 입력영상 동작의 틀린 부위와 틀린 방향 및 정도를 정확하게 추출할 수 있는 동작비교 방법을 제공함을 목적으로 한다.

또한, 본 발명은 상기의 동작비교 방법을 저장한 기록매체를 제공함을 목적으로 한다.

도1은 본 발명의 일실시예에 따른 동작비교를 통한 자세교정 운동 장치의 구성도.

도2는 본 발명의 일실시예에 따른 동작비교를 통한 자세교정 운동 장치의 개념도.

도3은 본 발명의 일실시예에 따른 동작비교 방법의 흐름도.

도4는 도3의 영상분할단계에서 분할된 표준영상과 사용자 영상의 단위영역 테이블.

도5는 도3의 단위영역값 지정단계에서 지정된 단위영역값을 도4의 단위영역 테이블에 표시한 표준영상과 사용자 영상의 시그날 테이블.

도6은 도5의 시그날 테이블을 비교하여 생성한 임시테이블.

도7은 본 발명의 또다른 일실시예에 따른 동작비교 방법의 흐름도.

도8은 도7의 골격선 추출단계를 나타내는 그림.

도9는 도7의 벡터화 단계를 나타내는 그림.

도10은 도9의 벡터화된 특징점들을 픽셀 단위로 좌표화한 그림.

도11은 일치도 테이블에 의해 계산된 좌표값을 계수화하는 그림.

* 도면의 주요부분에 대한 부호의 설명

100 : 운동 장치102 : PC 카메라

104 : 모니터106 : 스피커

108 : CD110 : 본체

112 : 스크린114 : 매트

120 : 드라이버122 : 코덱

124 : 영상, 음향DB126 : 디지털 신호처리 프로세서

128 : 동작비교 엔진130 : 사용자 인터페이스

140 : 표준영상 단위영역 테이블142 : 사용자 영상 단위영역 테이블

144 : 표준영상 시그날 테이블146 : 사용자 영상 시그날 테이블

148 : 임시테이블

150 : 표준영상152 : 사용자 영상

154 : 표준영상 골격선156 : 사용자 영상 골격선

158a : 표준영상 벡터링158b : 표준영상 픽셀단위 벡터링

160a : 사용자 영상 벡터링160b : 사용자 영상 픽셀단위 벡터링

162, 164, 166 : 일치화 테이블

본 발명은 상기의 목적을 달성하기 위하여 화면상의 강사의 표준영상과 입력된 사용자 영상을 합성하고 이를 비교하여 자세의 정확도를 점수화하는 동작비교 방법에 있어서, 표준영상과 사용자 영상의 크기를 일치화하고 영상의 위치를 조정하는 영상크기 일치화 및 영상위치 조정단계와; 표준영상과 사용자 영상을 다수의 단위영역으로 논리적으로 분할하는 영상분할단계와; 단위영역의 시그날 유무를 판단하고 시그날에 해당하는 영역을 1로, 해당하지 않는 영역을 0으로 지정하는 단위영역값 지정단계와; 표준영상의 단위영역값과 사용자 영상의 단위영역값을 비교하여 일치하지 않는 부분을 1로, 일치하는 부분을 0으로 지정하여 임시테이블을 생성하는 임시테이블 생성단계와; 임시테이블의 디지털값의 합을 변수화하여 저장하고 이를 단위시간당 계수하는 변수화 및 계수화 단계와; 설정된 시간동안 상기 단계들을 반복하고 프로그램의 종료시간이 초과했는지를 판단하는 종료시간 판단단계와; 계수화한 값을 점수화하여 디스플레이하는 점수 디스플레이단계;를 포함하는 동작비교 방법을 제공한다.

또한, 본 발명은 임시테이블의 1이 표시된 영역과 표준영상에서 1이 표시된 단위영역이 중첩되는 부분을 추출하고, 종료시간까지의 반복연산동안 최다 빈도로 추출된 중첩영역을 교정부위로 지적하는 교정부위 지적단계를 추가로 포함하는 동작비교 방법을 제공한다.

또한, 본 발명은 화면상의 강사의 표준영상과 입력된 사용자 영상을 합성하고 이를 비교하여 자세의 정확도를 점수화하는 동작비교 방법에 있어서, 표준영상과 사용자 영상의 크기를 일치화하고 영상의 위치를 조정하는 영상크기 일치화 및 영상위치 조정단계와; 표준영상과 사용자 영상의 골격선을 추출하는 골격선 추출단계와; 골격선을 분석하여 특징점을 추출하고 이를 벡터화하는 벡터화단계와; 각 특징점들이 상호 인접한 다른 특징점들과 연관된 관계를 고려하여 각 특징점의 벡터합을 계산하는 벡터합 계산단계와; 표준영상과 사용자 영상의 각 특징점의 벡터합을 비교하고 차이를 연산하여 그 값으로 일치도 테이블을 생성하고 저장하는 일치도 테이블 생성 및 저장단계와; 일치도 테이블에 의해 계산된 좌표값으로 수평, 수직운동의 정확도를 변수화하여 계수화하는 정확도 계수화단계와; 설정된 프레임동안 상기 단계들을 반복하고 설정된 프레임 개수를 초과했는지를 판단하는 프레임개수 판단단계와; 계수화한 값을 점수화하여 디스플레이하는 점수 디스플레이단계;를 포함하는 동작비교 방법을 제공한다.

또한, 본 발명은 각 특징점들의 벡터합의 차이 중에서 최다 차이점의 값을 변수화하여 저장하는 최다 차이점 변수화단계와; 프레임 판단단계 이후에 최다 차이점의 최다 빈도값을 추출하여 이를 교정부위로 지적하는 교정부위 지적단계와; 일치도 테이블에 의해 계산된 좌표값으로 교정부위가 어디로 얼마만큼 교정되어야 하는지를 지적하는 교정방향 지적단계;를 추가로 포함하는 동작비교 방법을 제공한다.

또한, 본 발명은 상기의 동작비교 방법을 저장한 기록매체를 제공한다.

또한, 본 발명은 상기의 동작비교 방법과, 운동강습 프로그램을 실행하여 화면상의 강사 영상을 통해 운동강습을 하는 동시에 강사의 표준영상과 사용자 영상을 비교하여 틀린 자세를 교정하도록 하는 동작비교를 통한 자세교정 운동 장치에 있어서, 사용자 영상을 촬영하는 촬영장치와; 강사의 표준영상 및 사용자 영상과 비교의 결과값인 점수를 출력하는 영상출력장치와; 틀린 자세를 교정하도록 지시하는 지시멘트를 출력하는 음향출력장치;를 포함하는 동작비교를 통한 자세교정 운동 장치를 제공한다.

또한, 본 발명은 사용자 영상을 정확하게 추출하기 위해 배경을 차단하는 스크린과; 사용자의 운동 동작시 충격을 흡수하고 소음을 방지하는 매트;를 추가로포함하는 동작비교를 통한 자세교정 운동 장치를 제공한다.

또한, 본 발명은 사용자의 운동량을 계측된 칼로리값으로 표시하여 주는 것을 특징으로 하는 동작비교를 통한 자세교정 운동 장치를 제공한다.

Ⅰ. 동작비교를 통한 자세교정 운동 장치

이하, 도면을 참조하여 본 발명의 일실시예에 따른 동작비교를 통한 자세교정 운동 장치를 상세하게 설명한다.

도1은 본 발명의 일실시예에 따른 동작비교를 통한 자세교정 운동 장치의 구성도를, 도2는 본 발명의 일실시예에 따른 동작비교를 통한 자세교정 운동 장치의 개념도를 나타낸다.

도1을 참조하면, 본 발명의 일실시예에 따른 동작비교를 통한 자세교정 운동 장치(100, 이하 '운동장치'라 함)는 PC 카메라(102), 모니터(104), 스피커(106), 운동강습 프로그램과 동작비교 엔진(MCE, Motion Compare Engine)을 탑재한 CD(108)를 실행할 수 있는 본체(110), 스크린(112), 매트(114)를 포함한다.

PC 카메라(102)는 사용자의 동작 영상을 촬영하여 실시간으로 동작비교 엔진에 전달한다. 모니터(104)는 강사의 표준영상과 PC 카메라(102)를 통해 촬영되어 입력된 사용자 영상을 출력하고, 동작비교 엔진에 의해 비교된 표준영상과 사용자 영상의 비교 결과값인 점수를 출력한다.

스피커(106)는 운동강습 프로그램에서 사용되는 배경음악을 출력하고, 동작비교 엔진에 의해 비교된 표준영상과 사용자 영상의 차이값을 통해 틀린 자세를 교정하도록 지시하는 지시멘트를 출력한다.

CD(108)는 운동강습 프로그램과 동작비교 엔진을 탑재하는데, 본 실시예에서의 운동강습 프로그램은 에어로빅 강습 프로그램으로서, 4개의 초급 프로그램, 4개의 중급 프로그램, 2개의 미용체조 프로그램, 2개의 휴식 및 감상 프로그램 등 12개의 프로그램으로 구성되어 있다. 초, 중급 프로그램에는 동작비교가 행해지지만, 미용체조 프로그램에는 동작비교가 행해지지 않으며, 휴식 및 감상 프로그램에는 배경영상과 배경음악만 나온다. 동작비교 엔진은 후술할 동작비교 방법을 실행하게 된다.

본체(110)는 CD(108)를 실행할 수 있게 한다. 스크린(112)은 사용자 영상을 정확하게 추출하기 위해 배경을 차단하는 기능을 하며, 색깔은 청색이나 녹색 계통이고 형태는 스탠드 형식이나 커튼식, 벽걸이, 롤 스크린 등 다양하게 적용할 수 있다. 매트(114)는 사용자의 운동 동작시 충격을 흡수하고 소음을 방지하는 기능을 한다.

도2를 참조하면, 운동장치(100)를 개념적으로 볼 때 입력과정, 처리과정, 출력과정으로 나누어 볼 수 있다. CD(108)에 탑재된 운동강습 프로그램 중 동작비교가 행해지는 초, 중급 프로그램을 중심으로 살펴볼 때 입력과정은 배경영상과 배경음악이 모니터(104)와 스피커(106)로 나오고 배경영상 위에 크로마키로 추출된 강사의 표준영상이 합성된다. 또한 사용자의 동작이 PC 카메라(102)에 의해 촬영되어 입력되고 입력된 사용자 영상이 크로마키로 추출되어 배경영상과 실시간으로 합성된다.

합성된 사용자 영상, 강사의 표준영상, 배경영상이 드라이버(120)를 통해 코덱(CODEC, 122)으로 전달되어 디지털화되면 이것은 영상·음향DB(124)에 저장된다. 이것이 디지털 신호처리 프로세서(DSP, 126)와 동작비교 엔진(128)에 의해 비교연산처리되어 사용자 인터페이스(130)를 거쳐 모니터(104)로 출력된다.

운동장치(100)는 사용자의 운동량을 계측된 칼로리값으로 표시하여 모니터(104) 상에 출력할 수도 있다.

Ⅱ. 동작비교 방법

이하, 도면을 참조하여 본 발명의 일실시예에 따른 동작비교 방법을 상세하게 설명한다.

1. 실시예 1 : 논리적 영역분할에 의한 동작비교 방법

도3은 본 발명의 일실시예에 따른 동작비교 방법의 흐름도를, 도4는 도3의 영상분할단계에서 분할된 표준영상과 사용자 영상의 단위영역 테이블을, 도5는 도3의 단위영역값 지정단계에서 지정된 단위영역값을 도4의 단위영역 테이블에 표시한 표준영상과 사용자 영상의 시그날 테이블을, 도6은 도5의 시그날 테이블을 비교하여 생성한 임시테이블을 나타낸다.

도3을 참조하면, 본 발명의 일실시예에 따른 동작비교 방법은 하기의 단계들을 포함한다.

1) 영상크기 일치화 및 영상위치 조정단계

사용자의 영상이 PC 카메라(102)로 촬영되어 입력되면(S100), 사용자 영상및 강사의 표준영상과 배경영상은 실시간으로 합성된다(S102). 배경영상과 합성된 표준영상 및 사용자 영상은 강사의 영상크기를 기준으로 사용자 영상의 크기가 다르게 입력될 경우 일치화 작업을 거치며, 동작비교 엔진(MCE, 128)에서 사용하게 될 각종 테이블 상에 표준영상과 사용자 영상의 위치를 일치시키기 위하여 영상위치가 조정된다(S104).

2) 영상분할단계

도4를 참조하면, 표준영상과 사용자 영상은 다수의 단위영역으로 논리적으로 영상분할되어 단위영역 테이블로 표시된다(S106). 분할 영역수는 테이블당 가로×세로 = 48 ×48 = 2304 개이다. 강사의 표준영상 단위영역 테이블(Table A, 140)은 A1부터 A2304까지의 분할된 단위영역을 갖고, 사용자 영상 단위영역 테이블(Table B, 142)는 B1부터 B2304까지의 분할된 단위영역을 갖는다.

3) 단위영역값 지정단계

도5를 참조하면, Table A(140)와 Table B(142)에 대해 영상 시그날의 유무를 판단하여(S108) 시그날이 있는 영역의 값을 1로, 시그날이 없는 영역의 값을 0으로 지정하여 표준영상 시그날 테이블(Table A', 144)과 사용자 영상 시그날 테이블(Table B', 146)을 만든다(S110). 도5에 예시된 바에 의하면 Table A'에는 A100, A101, A147, A148, A149, A150, A196, A197, A198, A245, A246의 단위영역에시그날이 존재하여 1의 값으로 지정되었고, Table B'에는 B99, B100, B147, B148, B149, B196, B197, B244, B245, B246의 단위영역에 시그날이 존재하여 1의 값으로 지정되었다.

4) 임시테이블 생성단계

도6을 참조하면, Table A'와 Table B'의 단위영역값을 비교하여 XOR(Exclusive OR) 연산을 거치는데, 단위영역값이 일치하지 않는 부분을 1로, 단위영역값이 일치하는 부분을 0으로 지정하여 임시테이블(Table X, 148)을 생성한다(S112). 도6에 예시된 바에 의하면 Table A'와 Table B'에서 단위영역값이 일치하지 않는 영역인 X99, X101, X150, X198, X244의 단위영역이 일치하지 않아 1의 값으로 지정되었다. Table X(148)의 생성은 초당 24 프레임의 속도로 영상을 처리한다. 3분동안 처리할 경우에는 4320(24 ×180 초)회의 Table X(148)가 생성된다.

5) 변수화 및 계수화 단계

Table X(148)의 단위영역 중 그 값이 1인 단위영역의 개수를 변수화하여 Pn으로 저장한다. 상기의 예에서 P1은 5이다. n은 1부터 4320까지 4320개(전체 Table X의 개수)의 값을 갖고 Pn은 0부터 2304까지의 값을 갖는다. Table X(148)는 1 프레임 처리 후 Pn의 값을 저장한 다음 클리어한다. 변수 Pn을 생성한 후 이것을 단위시간당 계수화한다(S114).

Pn의 평균을 퍼센테이지화하면 전체 프레임에서 동작이 틀린 단위영역의 정도를 알 수 있으며, 이를 100점에서 빼면 동작의 정확도를 점수화할 수 있다. 만약 10초 단위로 계수하고 업데이트한다면 점수는 아래의 식과 같게 된다..

6) 종료시간 판단단계

설정된 시간동안 상기 1)내지 5)단계를 반복하고 운동강습 프로그램의 종료시간이 초과했는지를 판단한다(S116). 종료시간이 초과하지 않았으면 다시 1)단계로 돌아가 반복비교연산하고 종료시간이 초과했으면 교정부위 지적단계와 점수 디스플레이단계로 넘어간다.

7) 교정부위 지적단계

Table X(148)에서 1이 표시된 단위영역과 표준영상에서 1이 표시된 단위영역이 중첩되는 부분이 사용자 동작이 틀린 부분이 된다. 따라서 중첩부분을 추출하고 종료시간까지의 반복연산동안 최다 빈도로 추출된 중첩영역을 교정부위로 지적하고 이를 스피커(106)를 통해 음성으로 출력하게 된다(S118). 도6에 예시된 바에 의하면 X101, X150, X198의 단위영역이 사용자 동작이 틀린 부분이 된다.

8) 점수 디스플레이단계

프로그램의 종료시간이 초과했으면 동작비교의 결과를 점수화하여 디스플레이한다(S120). 만약 프로그램의 설정시간이 3분이라면 점수는 아래의 식과 같게 된다.

2. 실시예 2 : 벡터화에 의한 동작비교 방법

도7은 본 발명의 또다른 일실시예에 따른 동작비교 방법의 흐름도를, 도8은 도7의 골격선 추출단계를 나타내는 그림을, 도9는 도7의 벡터화 단계를 나타내는 그림을, 도10은 도9의 벡터화된 특징점들을 픽셀 단위로 좌표화한 그림을, 도11은 일치도 테이블에 의해 계산된 좌표값을 계수화하는 그림을 나타낸다.

도7을 참조하면, 본 발명의 또다른 일실시예에 따른 동작비교 방법은 하기의 단계들을 포함한다.

1) 영상크기 일치화 및 영상위치 조정단계

영상크기 일치화 및 영상위치 조정단계(S200, S202, S204)는 실시예 1과 같으므로 설명을 생략한다.

2) 골격선 추출단계

도8을 참조하면, 표준영상(A, 150)과 사용자 영상(B, 154)에서 그 골격선을 추출하여 표준영상 골격선(152)과 사용자 영상 골격선(156)을 만든다(S206). 이것을 세선화(Thinning)라고 한다.

3) 벡터화단계

도9를 참조하면, 추출된 표준영상 골격선(152)과 사용자 영상 골격선(156)을 분석하여 특징점을 추출한 후 이를 벡터값으로 연산하여 영상의 위치에 관계없이 벡터화한다(S208). 특징점의 차원은 해당 특징점에 작용하는 인접 특징점의 수에 의해 결정된다. 도9의 예에서 머리, 손끝, 발끝 등 시작점과 끝점은 1차원 벡터,팔꿈치, 무릎, 손목, 발목 등 굴절점은 2차원 벡터, 엉덩이 등 분기점은 3차원 벡터, 목 등 교차점은 4차원 벡터이다.

표준영상 벡터링(158a)은 각 특징점들을 x, y 축 상에 옮기고 이를 AV1(x1, y1), …, AV10(x10, y10)으로 벡터값을 생성한다. 사용자 영상 벡터링(158b)은 각 특징점들을 x, y 축 상에 옮기고 이를 BV1(x1, y1), …, BV10(x10, y10)으로 벡터값을 생성한다. 도10을 참조하면, x, y 평면을 픽셀 단위로 좌표분할하여 표준영상 픽셀단위 벡터링(158b)과 사용자 영상 픽셀단위 벡터링(160b)을 생성한다. 도10의 예에서 펙셀은 256 ×256 해상도를 기준으로 하여 원점을 중심으로 좌우 및 상하 각각 128개의 픽셀을 갖게 된다. 각 특징점은 픽셀에 특징적인 색상값을 지정함으로써 좌표상의 이동추적이 가능하다. 또한, 각 특징점들은 초기 벡터화 시에 인체부위명칭, 예를 들면 머리, 목, 엉덩이, 무릎, 발목 등으로 값을 지정해 둔다.

4) 벡터합 계산단계

벡터를 분석하고 비교할 때는 각 특징점에서의 벡터합을 계산하여 비교한다(S210). 벡터합은 해당 특징점의 벡터값과, 해당 특징점에 작용하는 인접 특징점들의 벡터값을 합산하여 계산한다. 여기에 사용되는 비교요소는 좌표값, 좌표간 각도, 좌표간 거리 등이다. 벡터의 비교를 단순 좌표위치 비교로 하는 것이 아니라 벡터합의 비교로 하는 것은 인체구조상 인접 부위의 동작 차이가 해당 부위에 미치는 실제 운동방향과 크기에 영향을 미치기 때문이다.

도10의 예에서, 표준영상 픽셀단위 벡터링(158b)에서 V2의 벡터합은 아래의 식과 같이 계산된다.

마찬가지 방법으로 A에서 V3의 벡터합은 (-1,-2)이고 V6의 벡터합은 (-12,-20)이며, B에서 V2의 벡터합은 (-90,41), V3의 벡터합은 (13,27), V6의 벡터합은 (2,8)이 된다.

5) 일치도 테이블 생성 및 저장단계

동작의 비교할 때는 각 특징점에서 표준영상과 사용자 영상의 벡터합의 차이를 연산한다(S212). 벡터합의 차이는 아래의 식으로 일반화될 수 있다.

따라서 V2에서 A와 B의 벡터합의 차이는 아래의 식과 같게 된다.

이것은, B의 특징점 V2는 A의 특징점 V2에 비해 x축 방향으로 7, y축 방향으로 9만큼의 운동량 차이가 난다는 것을 의미한다.

마찬가지 방법으로 계산하면 T(V3)는 (14,29)이며 T(V6)는 (14,28)이 된다.

도11을 참조하면, T(Vn)값을 Tx(Vn)과 Ty(Vn)으로 나누어 일치도 테이블(Table T, 162, 164, 166)를 생성하고 이를 저장한다(S214). Table T의 생성은 초당 24프레임의 속도로 영상을 처리한다.

6) 최다 차이점 변수화단계

도11을 참조하면, 프레임 1에서 생성된 Table T1(162)과 프레임 2에서 생성된 Table T2(164)의 Tx(Vn)값과 Ty(Vn)값을 합산하여 Table T3(166)을 생성한다. 여기서 T(Vn)값이 가장 큰 점을 최다 차이점으로 변수화하여 Cn으로 저장한다(S216). Cn에서 n값은 초당 프레임의 개수 즉 1에서 24까지의 값을 갖는다. 상기의 예에서는 T(V3)가 (14,29)로서 최다 차이점이 되며 이것은 표준영상과 사용자 영상의 동작 차이가 특징점 V3에서 y 축으로 29, 즉 위쪽으로 가장 많은 운동량의 차이를 보인다는 것을 나타낸다. 따라서 Cn에 저장되는 값은 3이 된다.

또한, T(V2)를 보면, A(V2)와 B(V2)는 단순 좌표위치상으로는 큰 차이를 느낄 수 없으나 벡터합은 상당한 수치상의 차이가 나는 것을 볼 수 있다. 이것은 앞에서 설명한 대로 인접 부위의 동작 차이에 따라 해당 부위에 미치는 실제 운동방향과 크기가 비례함을 증명하는 것이라 하겠다.

7) 정확도 계수화단계

정확도의 계수화 및 점수 업데이트는 10초 단위로 이루어진다. 일치도 테이블(Table T)에 의해 계산된 좌표값으로 Table Tn의 합을 240번째 프레임까지 누계하여 평균을 계산하여 정확도를 변수화한다(S218). 따라서 수평방향의 정확도 측정변수 H는 아래의 식과 같다.

또한, 수직방향의 정확도 측정변수 V는 아래의 식과 같다.

8) 프레임개수 판단단계

설정된 프레임동안 상기 1)내지 7)단계를 반복하고 프레임 개수가 초과했는지를 판단한다(S220). 프레임 개수가 초과하지 않았으면 다시 1)단계로 돌아가 반복비교연산하고 프레임 개수가 초과했으면 교정부위 지적단계, 교정방향 지적단계및 점수 디스플레이단계로 넘어간다.

9) 교정부위 지적단계

교정부위의 지적 및 교정방향의 지적은 1초 단위로 이루어진다. 최다 차이점 Cn값의 최다 빈도값을 추출하여 이를 교정부위로 지적한다(S222). 만약 Cn=3 값이 최다 빈도로 추출되었다면 V3에 해당하는 특징점, 즉 엉덩이를 교정부위로 지적한다.

10) 교정방향 지적단계

일치도 테이블(Table T)에 의해 계산된 좌표값으로 9)단계에서 지적한 교정부위가 어디로 얼마만큼 교정되어야 하는지를 지적한다(S224). 상기의 예에서 T(V3)의 값이 24 프레임당 평균적으로 (14,29)가 되었다면 V3 부위가 표준영상보다 y 축 양의 방향으로 29만큼 올라간 것이므로 교정은 y 축 음의 방향으로 29만큼, 즉 '엉덩이를 약간 아래로 내려주세요'라는 지시멘트를 출력한다.

11) 점수 디스플레이단계

설정된 프레임 개수가 초과했으면 동작비교의 결과를 점수화하여 디스플레이한다(S226). 점수 업데이트는 10초 단위로 이루어지며 이때 점수는 수평운동 점수와 수직운동 점수로 나누어 디스플레이한다. 상기의 예에서 좌우 상하의 픽셀이 각각 128이기 때문에 수평운동 점수는 아래의 식과 같게 된다.

또한, 수직운동 점수는 아래의 식과 같게 된다.

Ⅲ. 동작비교 방법을 저장한 기록매체

본 발명의 일실시예에 따른 기록매체에는 동작비교 방법이 저장된다. 상기 기록매체에 저장되는 동작비교 방법은 상기한 논리적 영역분할에 의한 동작비교 방법과 벡터화에 의한 동작비교 방법 중 하나를 포함한다.

본 발명은 운동 프로그램을 탑재하여 시·공간의 제약을 받지 않고 강습료나 부대시간에 대한 부담이 없이 반복적으로 동작연습을 할 수 있으면서도 동작이 틀린 부위를 정확하게 파악하여 점수화하고 교정 지시멘트를 함으로써 자세교정 및 운동효과를 높일 수 있다.

또한, 본 발명은 어느 특정 부위의 운동을 강조하는 프로그램에 효과적으로 활용될 수 있다.

또한, 본 발명은 동작의 일치도의 점수화에 있어서 각 부위별 점수평가가 가능하다.

또한, 본 발명은 강사의 표준영상 동작과 사용자의 입력영상 동작의 비교에 있어서 보다 정교한 비교 알고리즘을 사용하여 표준영상 동작과 입력영상 동작의 틀린 부위와 틀린 방향 및 정도를 정확하게 추출할 수 있다.

또한, 본 발명은 상기의 동작비교 방법을 저장한 기록매체를 제공한다.

Claims (8)

1. 화면상의 강사의 표준영상과 입력된 사용자 영상을 합성하고 이를 비교하여 자세의 정확도를 점수화하는 동작비교 방법에 있어서,

   상기 표준영상과 상기 사용자 영상의 크기를 일치화하고 영상의 위치를 조정하는 영상크기 일치화 및 영상위치 조정단계와;

   상기 표준영상과 상기 사용자 영상을 다수의 단위영역으로 논리적으로 분할하는 영상분할단계와;

   상기 단위영역의 시그날 유무를 판단하고 시그날에 해당하는 영역을 1로, 해당하지 않는 영역을 0으로 지정하는 단위영역값 지정단계와;

   상기 표준영상의 단위영역값과 상기 사용자 영상의 단위영역값을 비교하여 일치하지 않는 부분을 1로, 일치하는 부분을 0으로 지정하여 임시테이블을 생성하는 임시테이블 생성단계와;

   상기 임시테이블의 디지털값의 합을 변수화하여 저장하고 이를 단위시간당 계수하는 변수화 및 계수화 단계와;

   설정된 시간동안 상기 단계들을 반복하고 프로그램의 종료시간이 초과했는지를 판단하는 종료시간 판단단계와;

   상기 계수화한 값을 점수화하여 디스플레이하는 점수 디스플레이단계;를 포함하는 동작비교 방법.
2. 제 1항에 있어서,

   상기 임시테이블의 1이 표시된 영역과 상기 표준영상에서 1이 표시된 단위영역이 중첩되는 부분을 추출하고, 종료시간까지의 반복연산동안 최다 빈도로 추출된 중첩영역을 교정부위로 지적하는 교정부위 지적단계를 추가로 포함하는 동작비교 방법.
3. 화면상의 강사의 표준영상과 입력된 사용자 영상을 합성하고 이를 비교하여 자세의 정확도를 점수화하는 동작비교 방법에 있어서,

   상기 표준영상과 상기 사용자 영상의 크기를 일치화하고 영상의 위치를 조정하는 영상크기 일치화 및 영상위치 조정단계와;

   상기 표준영상과 상기 사용자 영상의 골격선을 추출하는 골격선 추출단계와;

   상기 골격선을 분석하여 특징점을 추출하고 이를 벡터화하는 벡터화단계와;

   상기 각 특징점들이 상호 인접한 다른 특징점들과 연관된 관계를 고려하여 상기 각 특징점의 벡터합을 계산하는 벡터합 계산단계와;

   상기 표준영상과 상기 사용자 영상의 각 특징점의 벡터합을 비교하고 차이를 연산하여 그 값으로 일치도 테이블을 생성하고 저장하는 일치도 테이블 생성 및 저장단계와;

   상기 일치도 테이블에 의해 계산된 좌표값으로 수평, 수직운동의 정확도를 변수화하여 계수화하는 정확도 계수화단계와;

   설정된 프레임동안 상기 단계들을 반복하고 설정된 프레임 개수를 초과했는지를 판단하는 프레임개수 판단단계와;

   상기 계수화한 값을 점수화하여 디스플레이하는 점수 디스플레이단계;를 포함하는 동작비교 방법.
4. 제 3항에 있어서,

   상기 각 특징점들의 벡터합의 차이 중에서 최다 차이점의 값을 변수화하여 저장하는 최다 차이점 변수화단계와;

   상기 프레임 판단단계 이후에 상기 최다 차이점의 최다 빈도값을 추출하여 이를 교정부위로 지적하는 교정부위 지적단계와;

   상기 일치도 테이블에 의해 계산된 좌표값으로 상기 교정부위가 어디로 얼마만큼 교정되어야 하는지를 지적하는 교정방향 지적단계;를 추가로 포함하는 동작비교 방법.
5. 제 1항 내지 제 4항 중 어느 하나의 동작비교 방법을 저장한 기록매체.
6. 제 1항 내지 제 4항 중 어느 하나의 동작비교 방법과, 운동강습 프로그램을 실행하여 화면상의 강사 영상을 통해 운동강습을 하는 동시에 강사의 표준영상과 사용자 영상을 비교하여 틀린 자세를 교정하도록 하는 동작비교를 통한 자세교정 운동 장치에 있어서,

   상기 사용자 영상을 촬영하는 촬영장치와;

   상기 강사의 표준영상 및 상기 사용자 영상과 상기 비교의 결과값인 점수를 출력하는 영상출력장치와;

   상기 틀린 자세를 교정하도록 지시하는 지시멘트를 출력하는 음향출력장치;를 포함하는 동작비교를 통한 자세교정 운동 장치.
7. 제 6항에 있어서,

   상기 사용자 영상을 정확하게 추출하기 위해 배경을 차단하는 스크린과;

   상기 사용자의 운동 동작시 충격을 흡수하고 소음을 방지하는 매트;를 추가로 포함하는 동작비교를 통한 자세교정 운동 장치.
8. 제 6항 또는 제 7항에 있어서,

   상기 사용자의 운동량을 계측된 칼로리값으로 표시하여 주는 것을 특징으로 하는 동작비교를 통한 자세교정 운동 장치.