KR20220150127A - 동작 평가 방법 - Google Patents

Abstract

본 발명은 동작 평가 방법에 관한 것으로, 본 발명의 일 실시예에 따른 동작 평가 방법은, 전문가의 가이드 동작이 촬영된 가이드 영상을 보며 따라하는 사용자 동작을 평가하는 동작 평가 방법에 있어서, 가이드 영상을 재생하고 사용자 동작을 촬영하여 사용자 영상을 수집하는 단계와, 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 전문가와, 사용자 영상의 프레임 중 제1 키 프레임에 대응하는 제2 키 프레임의 사용자 간의 비교에 따른 프레임 일치율을 판단하는 단계, 그리고 판단한 프레임 일치율에 기초하여 가이드 동작에 대한 사용자 동작의 동작 일치율을 판단하는 단계를 포함한다. 이를 통해, 본 발명은 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주어 사용자가 집에서도 올바른 동작으로 홈 트레이닝할 수 있도록 하며, 특히, 간소화된 과정을 통해 사용자의 동작을 평가함으로써, 실시간 사용자 동작 평가시 딜레이 없이 빠른 평가가 이루어질 수 있으며 상대적으로 저사양의 디바이스를 이용하여 동작 평가를 수행할 수 있다.

Description

동작 평가 방법{Method for motion evaluation}

본 발명은 동작 평가 방법에 관한 것으로, 더욱 상세하게는 가이드 영상 재생 중에 가이드 영상의 전문가 동작을 따라하는 사용자 영상을 수집하고 가이드 영상과 사용자 영상 간의 동작 일치율을 비교 판단하여 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주며, 특히, 가이드 영상의 전문가와 사용자 영상의 사용자를 비교시 모든 프레임을 비교하지 않고 각 동작별로 핵심 포즈가 촬영된 키 프레임의 비교를 통해 동작 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가할 수 있는 동작 평가 방법에 관한 것이다.

현대인들은 과학기술 문명이 고도로 발달하면서 생활환경이 윤택해지고 편리해진 반면 영양 과잉 및 운동 부족으로 인해 비만 및 과체중 인구가 점점 증가하고 있어 현대인의 건강관리 필요성이 점점 더 커지고 있다.

이에 따라 최근에는 건강한 일반인들도 자신의 건강에 대한 관심이 매우 높아지고 있으며, 사회 전반에 걸쳐 건강증진을 위한 운동의 필요성을 깊이 인식하게 되었고, 실제로 많은 사람들이 운동을 실시하고 있다.

대부분의 사람들은 건강관리를 위해 헬스장을 많이 이용하고 있는데, 일반적인 헬스장의 이용형태는 사용자가 연간회원, 월간회원 등의 방식으로 헬스장에 가입 후, 사용자가 이용 가능한 시간에 헬스장을 방문하여 헬스장에 구비되어 있는 운동 기구를 이용하여 운동한다. 또한, 운동 효과를 높이기 위하여 헬스장에 등록된 트레이너에 개인 레슨을 추가 등록하여 사용자는 트레이너의 도움으로 자신의 운동목적에 적합한 운동 계획을 세워 운동을 수행할 수 있다.

이와 같은 헬스장에서의 운동은 비용이 발생하고, 운동을 위해서는 반드시 가입한 헬스장까지 방문해야 한다는 한계가 존재한다. 특히, 개인 레슨을 받기 위해서는 비싼 추가 비용을 지불해야하기 때문에 경제적 부담이 더욱 크게 발생한다.

또한, 바이러스에 의한 전염병이 유행하는 경우 좁은 공간에서의 다수의 사람이 모이는 헬스장에서는 바이러스 전파의 위험성이 높다는 문제점 또한 존재한다.

이러한 헬스장 및 개인 레슨을 이용한 트레이닝의 한계와 문제점을 극복하고자 최근에는 각종 기기를 통해 재생되는 전문가의 운동 영상을 보며 각 가정에서 저렴하고 편리하게 운동할 수 있는 홈 트레이닝 콘텐츠가 제공되고 있다.

그런데 모든 운동은 정확한 동작으로 진행해야지만 부상 위험 없이 큰 효과를 볼 수 있어 정확한 동작으로 운동하는 것이 매우 중요하다. 하지만, 현재 제공되는 홈 트레이닝 서비스는 방송과 같이 일방적이고 단방향적으로 이루어지고 있어 사용자가 정확한 동작으로 운동 중인지 확인할 수 없다는 문제점이 존재한다.

대한민국 공개특허 제10-2020-0129327호 대한민국 등록특허 제10-2157322호

본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은, 가이드 영상 재생 중에 가이드 영상의 전문가 동작을 따라하는 사용자 영상을 수집하고 가이드 영상과 사용자 영상 간의 동작 일치율을 비교 판단하여 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주며, 특히, 가이드 영상의 전문가와 사용자 영상의 사용자를 비교시 모든 프레임을 비교하지 않고 각 동작별로 핵심 포즈가 촬영된 키 프레임 간의 비교를 통해 동작 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가할 수 있는 동작 평가 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은, 가이드 영상의 제1 키 프레임의 사용자 영상의 제2 키 프레임을 비교시, 프레임 상의 전문가와 사용자의 한정 지정된 일부 관절과 관절 간의 연결선에 기초하여 프레임 간의 일치율을 하여, 더욱 간단한 비교 과정을 통해 사용자의 동작을 평가할 수 있는 동작 평가 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 동작 평가 방법은, 전문가의 가이드 동작이 촬영된 가이드 영상을 보며 따라하는 사용자 동작을 평가하는 동작 평가 방법에 있어서, 가이드 영상을 재생하고 사용자 동작을 촬영하여 사용자 영상을 수집하는 단계와, 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 전문가와, 사용자 영상의 프레임 중 제1 키 프레임에 대응하는 제2 키 프레임의 사용자 간의 비교에 따른 프레임 일치율을 판단하는 단계, 그리고 판단한 프레임 일치율에 기초하여 가이드 동작에 대한 사용자 동작의 동작 일치율을 판단하는 단계를 포함한다.

이때, 프레임 일치율을 판단하는 단계에서 프레임 일치율은 제1 키 프레임 상의 전문가 골격 이미지와 제2 키 프레임 상의 사용자 골격 이미지 간의 골격 일치율에 따른 것이며, 전문가 골격 이미지와 사용자 골격 이미지는 전문가 또는 사용자 신체의 하나 이상의 관절과, 하나 이상의 관절을 연결하는 연결선이 포함될 수 있다.

또한, 프레임 일치율을 판단하는 단계에서 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 수는 하나 이상이고, 각각의 제1 키 프레임의 전문가 골격 이미지에는 제1 키 프레임별로 촬영된 포즈에서 핵심이 되는 신체 부위에 따라 한정 지정된 일부 관절과 연결선에 대한 골격 한정 정보가 부가되어 있으며, 골격 일치율은 골격 한정 정보에 따라 한정 지정된 일부 관절과 연결선을 기초로 판단한 것일 수 있다.

또한, 프레임 일치율을 판단하는 단계는 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영되어 수집된 사용자의 영상 프레임 중, 임의로 선택된 하나의 프레임을 제2 키 프레임으로 선택하는 단계와, 선택한 제2 키 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계와, 제1 키 프레임의 전문가 골격 이미지와 제2 키 프레임의 사용자 골격 이미지를 비교하여 제2 키 프레임의 골격 일치율을 판단하는 단계, 그리고 판단한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단하는 단계를 포함할 수 있다.

또한, 프레임 일치율을 판단하는 단계는 수집된 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영된 하나 이상의 후보 프레임을 선택하는 단계와, 선택한 하나 이상의 후보 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계와, 제1 키 프레임의 전문가 골격 이미지에 각각의 후보 프레임의 사용자 골격 이미지를 비교하여 각각의 후보 프레임의 골격 일치율을 판단하는 단계, 그리고 각각의 후보 프레임 중 판단한 골격 일치율이 가장 높은 후보 프레임을 제2 키 프레임으로 선택하고, 선택한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단하는 단계를 포함할 수 있다.

또한, 동작 평가 방법은 사용자 동작의 촬영을 위한 사용자 위치가 소정 위치 이내인지 여부, 사용자의 신체 정면이 촬영되는지 여부 중, 적어도 하나의 조건을 포함하는 촬영 조건이 충족되었는지 판단하는 단계를 더 포함하고, 사용자 영상을 수집하는 단계는 가이드 영상의 재생이 요청되면, 촬영 조건이 충족되었을 때 가이드 영상의 재생을 시작할 수 있다.

또한, 동작 평가 방법은 동작 일치율이 기준치 이상인 경우에만 카운트하여 사용자 동작 횟수를 카운트하는 단계를 더 포함할 수 있다.

본 발명에 의하면, 가이드 영상 재생 중에 가이드 영상의 전문가 동작을 따라하는 사용자 영상을 수집하고 가이드 영상과 사용자 영상 간의 동작 일치율을 비교 판단하여 사용자가 전문가의 동작을 제대로 따라하고 있는지 알려주어 사용자가 집에서도 올바른 동작으로 홈 트레이닝할 수 있도록 한다.

또한, 본 발명은 가이드 영상의 전문가와 사용자 영상의 사용자를 비교시 모든 프레임을 비교하지 않고 각 동작별로 핵심 포즈가 촬영된 키 프레임 간의 비교를 통해 동작 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가함으로써, 실시간 사용자 동작 평가시 딜레이 없이 빠른 평가가 이루어질 수 있으며 상대적으로 저사양의 디바이스를 이용하여 동작 평가를 수행할 수 있다.

또한, 본 발명은 가이드 영상의 제1 키 프레임의 사용자 영상의 제2 키 프레임을 비교시, 프레임 상의 전문가와 사용자의 한정 지정된 일부 관절과 관절 간의 연결선에 기초하여 프레임 간의 일치율을 하여, 더욱 간단한 비교 과정을 통해 사용자의 동작을 평가할 수 있다.

도 1은 본 발명의 일 실시예에 따른 동작 평가 방법이 적용된 동작 평가 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가이드 영상 생성부의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가이드 영상에서의 전문가 골격 이미지 생성 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상에서의 제1 키 프레임 지정 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동작 평가부의 기능 블록도이다.
도 6은 본 발명의 일 실시예에 따른 사용자 영상에서의 사용자 골격 이미지 생성 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 영상에서의 제2 키 프레임 선택 과정을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 전문가 골격 이미지와 사용자 골격 이미지의 비교 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 동작 평가 방법을 도시한 순서도이다.
도 10은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 일례를 도시한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 다른 예를 도시한 순서도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

이하 첨부한 도면을 참고로 본 발명에 따른 동작 평가 방법에 대해 보다 구체적으로 살펴본다.

도 1은 본 발명의 일 실시예에 따른 동작 평가 방법이 적용된 동작 평가 시스템을 개략적으로 도시한 도면이다.

본 발명은 재생되는 가이드 영상 상의 가이드 동작을 보고 따라하는 사용자가 동작을 올바르게 하고 있는지 판단하여 알려주기 위한 동작 평가 방법에 관한 것으로, 본 실시예에 따른 동작 평가 방법이 적용된 동작 평가 시스템은 전문가 영상을 수집하는 전문가 영상 수집부(10)와, 수집한 전문가 영상으로부터 가이드 영상을 생성하는 가이드 영상 생성부(30)와, 생성한 가이드 영상을 재생하는 가이드 영상 재생부(50)와, 사용자 영상을 수집하는 사용자 영상 수집부(70), 그리고 사용자의 동작을 평가하는 동작 평가부(90)를 포함하여 구성될 수 있다.

전문가 영상 수집부(10)는 전문가의 동작을 촬영하여 전문가 영상을 수집하며, 수집한 전문가 영상을 저장할 수 있다. 이때, 전문가 동작은 운동, 춤 등의 다양한 동작일 수 있다.

가이드 영상 생성부(30)는 전문가 영상 수집부(10)에서 제공한 전문가 영상을 가공하여 가이드 영상을 생성할 수 있다. 구체적으로 가이드 영상 생성부(30)는 저장된 전문가 영상을 제공받아 편집하여 한 동작 단위의 가이드 영상을 생성할 수 있다. 또한, 가이드 영상 생성부(30)는 생성한 가이드 영상에 전문가 골격 이미지 정보를 부가할 수 있다. 여기서 전문가 골격 이미지란 가이드 영상 상의 전문가 신체에 하나 이상의 관절과 관절 간의 연결선이 포함되는 이미지로 이에 관한 보다 구체적인 설명은 도 3을 참조하여 후술하기로 한다.

가이드 영상 생성부(30)에서 생성된 가이드 영상은 가이드 영상 재생부(50)와 동작 평가부(90)에 제공될 수 있다. 가이드 영상 재생부(50)는 가이드 영상 생성부(30)에서 생성한 가이드 영상을 제공받아 재생할 수 있다. 가이드 영상 재생부(50)는 하나의 가이드 영상을 반복하여 재생하거나 또는 서로 다른 종류의 가이드 영상을 서로 연결하여 재생할 수 있다. 예를 들면, 가이드 영상 재생부(50)는 가이드 영상 상의 가이드 동작을 30회 반복 재생하며, 사용자는 이를 보며 전문가의 가이드 동작을 따라 사용자 동작을 30회 반복 수행할 수 있다. 만약, 가이드 영상에 골격 이미지 정보가 부가된 경우, 가이드 영상 재생부(50)에서 재생하는 가이드 영상은 골격 이미지 정보가 삭제되거나 숨겨진 영상일 수 있다. 다른 예로, 두 개의 가이드 동작이 좌우 방향에 따라 서로 대응하는 동작이면, 가이드 영상 재생부(50)는 두 개의 가이드 동작을 순차적으로 반복하여 재생할 수 있다.

사용자는 가이드 영상 재생부(50)에 의해 재생되는 가이드 영상을 보며 전문가의 가이드 동작을 따라할 수 있다. 이때, 사용자가 가이드 영상을 보며 수행한 동작은 사용자 동작에 해당하며, 사용자 영상 수집부(70)는 가이드 동작을 따라하는 사용자를 촬영하여 사용자 영상을 수집할 수 있다.

바람직하게, 가이드 영상 재생부(50)는 사용자 영상 상의 사용자가 동작 평가를 위한 올바른 신체 방향 또는 위치(예를 들면 정면 또는 화면 중심부)에 위치하도록 사용자에게 가이드할 수 있다. 바람직하게, 사용자로부터 가이드 영상의 재생이 요청되면 가이드 영상 재생부(50)는 가이드 영상을 재생하기 전에 사용자의 올바른 신체 방향 또는 위치 등을 가이드하는 영상을 제공할 수 있다. 가이드 영상 재생부(50)에서 올바른 신체 방향 또는 위치를 가이드 하는 영상을 제공한 후, 사용자 영상 수집부(70)는 사용자를 향해 사전 영상을 수집한다. 가이드 영상 재생부(50)는 사용자 영상 수집부(70)에서 수집한 사전 영상에 기초하여 사용자의 신체 방향 또는 위치에 따른 촬영 조건이 충족되었는지 판단하고, 촬영 조건이 충족되었다면, 전문가의 가이드 동영상이 촬영된 가이드 영상의 재생을 시작할 수 있다.

구체적으로 가이드 영상 재생부(50)는 사용자 영상 수집부(70)로부터 제공받은 사전 영상에 기초하여 사용자 위치가 소정 위치 이내인지 여부, 사용자의 신체 정면이 촬영되는지 여부 중, 적어도 하나의 조건을 포함하는 촬영 조건이 충족되었는지 판단할 수 있다. 바람직하게, 가이드 영상 재생부(50)는 사용자 위치가 소정 위치 이내이며, 동시에 사용자의 신체 정면이 촬영되는 경우에만 촬영 조건이 충족된 것으로 판단할 수 있다. 이때의 사용자 위치 또는 신체 방향 판단은 딥 러닝(deep learning) 기술을 통해 이루어질 수 있다.

동작 평가부(90)는 가이드 영상 재생부(50)에서 재생한 가이드 영상과 사용자 영상 수집부(70)에서 수집한 사용자 영상을 비교하여 가이드 동작과 사용자 동작 간의 동작 일치율을 판단하여 사용자가 올바른 동작을 수행하였는지 평가하고 평가 결과는 사용자가 즉시 확인 가능하도록 가이드 영상 재생부(50)에 제공되어 출력될 수 있다. 이러한 사용자의 동작 평가 및 출력은 사용자가 사용자 동작을 수행할 때마다 즉시 이루어질 수 있으며, 동작 평가 결과는 가이드 영상 재생부(50)에 의해 가이드 영상의 반복 재생 중에 반복 재생되는 가이드 영상과 함께 출력될 수 있다. 따라서, 사용자는 자신이 올바른 자세로 동작을 수행 중인지 실시간으로 피드백 받으며 자세가 잘못된 경우 올바르게 수정해 가며 동작을 수행할 수 있다.

여기서, 본 실시예에 따른 가이드 영상 재생부(50)와 사용자 영상 수집부(70) 그리고 동작 평가부(90)는 스마트폰과 같은 하나의 디바이스로 구성될 수 있으며, 이에 한정하는 것은 아니다.

도 2는 본 발명의 일 실시예에 따른 가이드 영상 생성부의 기능 블록도이고, 도 3은 본 발명의 일 실시예에 따른 가이드 영상에서의 전문가 골격 이미지 생성 일례를 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 가이드 영상에서의 제1 키 프레임 지정 일례를 도시한 도면이다.

도 2를 참조하여 가이드 영상 생성부(30)에 관하여 보다 구체적으로 살펴보면, 가이드 영상 생성부(30)는 전문가 영상을 한 동작 단위로 편집하는 영상 편집부(31)와, 동작 단위로 편집한 영상에 전문가의 골격 이미지 정보를 생성하여 부가하는 제1 골격 이미지 생성부(33)와, 생성한 전문가의 골격 이미지 정보를 수정하는 골격 이미지 수정부(35)를 포함하여 구성될 수 있다.

영상 편집부(31)는 전문가 영상 수집부(10)로부터 제공받은 전문가 영상을 동작 한 동작 단위로 편집하여 가이드 영상을 제작할 수 있다. 예를 들어 전문가 영상이 팔 굽혀 펴기 동작을 촬영한 영상이라면 영상 편집부(31)는 팔 굽혀 펴기 1회 동작을 추출하여 하나의 가이드 영상을 제작할 수 있다. 여기서 한 동작 단위의 구분은 관리자 또는 전문가에 의해 판단될 수 있다. 물론, 전문가 영상 수집부(10)에서 수집된 전문가 영상이 한 동작 단위로 수집된 영상일 수 있으며, 이 경우에도 영상 편집부(31)에서는 전문가 영상에서의 필요 없는 프레임을 삭제할 수 있다.

제1 골격 이미지 생성부(33)는 영상 편집부(31)에서 편집하여 제작한 가이드 영상을 제공받고, 제공받은 가이드 영상 상에 전문가의 골격 이미지를 생성하여 부가할 수 있다.

도 3을 참조하여 구체적으로 설명하면, 제1 골격 이미지 생성부(33)는 제공받은 가이드 영상 상의 전문가 신체에서 하나 이상의 관절(jp1)을 추출하고, 추출한 관절을 신체의 구조에 따라 연결한 연결선(jl1)을 연결하여 전문가 골격 이미지(sk1)를 생성할 수 있다. 여기서, 제1 골격 이미지 생성부(33)에서의 골격 이미지 생성은 가이드 영상의 각 프레임 단위로 이루어질 수 있으며, 딥 러닝 기술을 통해 자동으로 이루어질 수 있다.

골격 이미지 수정부(35)는 제1 골격 이미지 생성부(33)에서 생성한 골격 이미지를 수정할 수 있다. 구체적으로 관리자는 딥 러닝 기술을 통해 전문가 골격 이미지가 부가된 가이드 영상을 확인하며, 전문가 골격 이미지가 잘못 부가된 프레임에서의 정확한 위치에 추출되지 못한 관절을 선택하여 정확한 위치로 이동시키는 요청을 할 수 있으며, 골격 이미지 수정부(35)는 관리자의 요청에 따라 관절의 위치를 이동시키고 이에 따른 연결선 위치를 이동시킴으로써 전문가 골격 이미지를 수정할 수 있다.

한편, 본 실시예에 따른 동작 평가 시스템은 가이드 영상과 사용자 영상의 비교시 모든 프레임을 비교하지 않고 각 운동별로 핵심 포즈가 촬영된 키 프레임의 비교를 통해 일치율을 판단하여 간소화된 과정을 통해 사용자의 동작을 평가할 수 있다.

이를 위해, 본 실시예에 따른 가이드 영상 생성부(30)는 편집한 영상에 하나 이상의 제1 키 프레임을 지정하는 제1 키 프레임 지정부(37), 그리고 각각의 제1 키 프레임에 골격 한정 정보를 설정하는 골격 한정 정보 설정부(39)를 포함하여 구성될 수 있다.

제1 키 프레임 지정부(37)는 도 4에 도시된 바와 같이 가이드 영상을 구성하는 다수개의 프레임 중, 해당 동작의 핵심 포즈가 촬영된 제1 키 프레임(k1)을 지정할 수 있다. 여기서 핵심 포즈란 해당 동작에서 가장 중요한 포즈로 핵심 포즈의 지정은 관리자 또는 전문가의 선택에 의해 지정될 수 있다. 예를 들어, 도 4의 가이드 동작과 같이 일측 무릎을 측면으로 높이 들어올리는 동작이라면 무릎이 가장 높이 들어 올려진 시점의 포즈가 가장 중요한 포즈일 것이며, 이를 핵심 포즈로 선택하여 지정할 수 있다.

이때, 제1 키 프레임(k1)으로 하나의 프레임이 지정될 수 있지만, 다수개의 프레임이 지정될 수도 있다. 제1 키 프레임(k1)의 수는 관리자 또는 전문가의 결정에 따라 달라질 수 있다. 예를 들어, 가이드 동작이 팔 굽혀 펴기 동작이라면 팔을 최대한 굽혀 상체가 지면에 가장 근접한 시점에서의 포즈와 팔을 최대한 펴 상체가 지면에서 가장 먼 시점에서의 포즈가 핵심 포즈가 될 수 있으며, 이 경우 두 개 또는 세 개의 키 프레임(k1)이 지정될 수 있다.

바람직하게, 제1 키 프레임 지정부(37)는 제1 키 프레임(k1)으로 다수개의 프레임이 추출되도록 설정될 수 있다. 이와 같이 제1 키 프레임(k1)으로 다수개의 프레임이 선택되어 추출되도록 설정된 경우, 관리자가 가이드 영상의 전체 프레임 중 최초 프레임과 최후 프레임을 제외한 하나 이상의 프레임을 선택하면 가이드 영상의 최초 프레임 또는 최후 프레임이 자동으로 선택되어 둘 이상의 제1 키 프레임(k1)을 지정할 수 있다. 이는 일반적으로 대부분의 운동 동작이 최초 또는 최후 시점의 포즈가 핵심 포즈에 포함되기 때문이며, 또한 대부분의 운동 동작에서 최초 또는 최후 시점의 포즈가 동일하므로 최초 또는 최후 시점의 포즈 중 하나의 포즈만 핵심 포즈로 포함시키는 것이 바람직하다.

이와 같이 추출된 제1 키 프레임(k1)은 동작 평가부(90)에서 가이드 영상과 사용자 영상의 동작 일치율 비교시 사용될 수 있는데, 이에 관한 보다 구체적인 설명은 도 5를 참조하여 후술하기로 한다.

바람직하게, 영상 편집부(31)에서 가이드 영상을 생성하면, 제1 골격 이미지 생성부(33)에서 전문가의 골격 이미지를 생성하기 전에 제1 키 프레임 지정부(37)에서 제1 키 프레임을 지정할 수 있다. 그리고 제1 골격 이미지 생성부(33)는 제1 키 프레임 지정부(37)에서 지정한 제1 키 프레임에 대해서만 전문가의 골격 이미지를 생성함으로써, 전문가의 골격 이미지 생성 과정을 최소화할 수 있다.

골격 한정 정보 설정부(39)는 제1 키 프레임 상에 촬영된 포즈에서 핵심이 되는 신체 부위에 따라 한정 지정된 일부 관절과 연결선에 대한 골격 한정 정보를 생성하여, 제1 키 프레임에 부가할 수 있다. 만약, 제1 키 프레임이 다수개 지정되었다면 골격 한정 정보 설정부(39)는 다수개의 제1 키프레임 각각에 대해 개별적으로 골격 한정 정보를 설정할 수 있다.

여기서, 골격 한정 정보는 제1 키 프레임 상의 전문가의 포즈에서 핵심이 되는 신체 부위를 이루는 관절과 연결선을 포함할 수 있다. 예를 들어 팔 굽혀 펴기 동작에 대한 가이드 영상에서 제1 키 프레임은 팔을 최대한 굽힌 포즈가 촬영된 프레임이라 하면, 팔을 최대한 굽힌 포즈에서 골격 한정 정보는 어깨 관절, 팔꿈치 관절, 손목 관절과 세 개의 관절을 연결하는 두 개의 연결선 일 수 있다. 이때, 팔을 최대한 굽힌 포즈에서 둔부의 위치 또한 중요하다 판단된다면 골격 한정 정보에 고관절을 추가하여 설정할 수 있다. 즉, 골격 한정 정보에 포함되는 관절은 꼭 서로 간에 연결된 관절일 필요는 없다.

이와 같이 지정된 제1 키 프레임 정보, 관리자 골격 이미지 생성 정보, 골격 한정 정보가 부가 또는 설정된 가이드 영상은 가이드 영상 재생부(50) 및 동작 평가부(90)로 제공될 수 있다.

도 5는 본 발명의 일 실시예에 따른 동작 평가부의 기능 블록도이고, 도 6은 본 발명의 일 실시예에 따른 사용자 영상에서의 사용자 골격 이미지 생성 일례를 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 사용자 영상에서의 제2 키 프레임 선택 과정을 설명하기 위해 도시한 도면이다.

도 5를 참조하여 동작 평가부(90)에 관하여 보다 구체적으로 살펴보면, 동작 평가부(90)는 사용자 영상에서 사용자 골격 이미지를 생성하는 제2 골격 이미지 생성부(91)와, 가이드 영상의 제1 키 프레임과 사용자 영상의 제2 키 프레임의 프레임 일치율을 판단하는 프레임 일치율 판단부(93)와, 가이드 영상과 사용자 영상 간의 동작 일치율을 판단하는 동작 일치율 판단부(95), 그리고 판단한 동작 일치율에 기초하여 사용자의 올바른 동작 횟수를 카운트하는 카운트부(97)를 포함하여 구성될 수 있다.

제2 골격 이미지 생성부(91)는 사용자 영상 수집부(70)에서 수집한 사용자 영상을 제공받고, 제공받은 사용자 영상 상에 사용자의 골격 이미지(jp2)를 생성하여 부가할 수 있다.

도 6을 참조하여 구체적으로 설명하면, 제2 골격 이미지 생성부(91)는 제공받은 사용자 영상 상의 사용자 신체에서 하나 이상의 관절(jp2)을 추출하고, 추출한 관절을 신체의 구조에 따라 연결한 연결선(jl2)을 연결하여 사용자 골격 이미지(sk2)를 생성할 수 있다. 여기서, 제2 골격 이미지 생성부(91)에서의 골격 이미지 생성은 사용자 영상의 각 프레임 단위로 이루어질 수 있으나, 선택된 특정 프레임에 한정하여 이루어질 수도 있다. 또한, 제2 골격 이미지 생성부(91)는 딥 러닝 기술을 통해 사용자 골격 이미지(sk2)를 생성할 수 있다.

프레임 일치율 판단부(93)는 사용자 영상의 제1 키 프레임과, 가이드 영상의 제2 키 프레임의 프레임 일치율을 판단할 수 있다. 이때, 프레임 일치율은 제1 키 프레임 상에서 전문가의 포즈와 제2 키 프레임 상에서 사용자의 포즈 간의 일치율을 의미한다. 구체적으로, 프레임 일치율 판단부(93)는 제1 키 프레임에 부가된 전문가 골격 이미지와 제2 키 프레임의 사용자 골격 이미지 간의 골격 일치율을 프레임 일치율로 판단할 수 있는데, 전문가 골격 이미지와 사용자 골격 이미지 간의 골격 일치율을 판단하는 과정에 대한 상세한 설명은 도 8을 참조하여 후술하기로 한다.

프레임 일치율 판단부(93)는 재생된 가이드 영상에 부가된 제1 키 프레임 지정 정보에 기초하여, 사용자 영상을 구성하는 프레임 중 제2 키 프레임을 선택할 수 있다. 이때, 제2 키 프레임은 가이드 영상의 제1 키 프레임과 대응하는 사용자 영상의 프레임으로, 구체적으로는 제1 키 프레임의 전문가 포즈를 따라하는 사용자 포즈가 촬영된 프레임일 수 있다. 따라서 가이드 영상에 포함된 제1 키 프레임의 개수에 따라 사용자 영상에서의 제2 키 프레임의 개수가 정해질 수 있으며, 선택된 각각의 제2 키 프레임은 각각의 제1 키 프레임과 1:1 대응한다.

프레임 일치율 판단부(93)는 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점에 촬영된 사용자 영상의 프레임을 해당 제1 키 프레임에 대응하는 제2 키 프레임으로 선택할 수 있다. 그런데 사용자가 가이드 동작을 이미 숙지한 상태에서 사용자 동작을 하는 경우에는 제1 키 프레임이 재생되는 시점에서 동시에 제1 키 프레임 상의 포즈를 수행할 수 있겠지만(즉, 가이드 동작과 사용자 동작의 싱크가 맞겠지만), 사용자가 가이드 동작을 보며 따라하는 경우에는 사용자가 제1 키 프레임 상의 포즈를 보고 따라하기까지는 소정의 시간차가 발생할 것이다. 따라서, 프레임 일치율 판단부(391) 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점에서 수집된 프레임을 제2 키 프레임으로 선택할 수 있지만, 제1 키 프레임이 재생된 시점보다 이후 시점에 수집된 프레임을 제2 키 프레임으로 선택할 수도 있다.

도 7을 참조하여 보다 구체적으로 설명하면, 프레임 일치율 판단부(391)는 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점(t1)으로부터 소정의 시간이 지난 시점(t2)까지 촬영된 사용자 영상의 프레임 중 하나의 프레임을 제1 키 프레임으로 선택할 수 있다.

바람직하게, 프레임 일치율 판단부(93)는 가이드 영상 재생부(50)에서 제1 키 프레임이 재생된 시점(t1)으로부터 기준 시간이 지난 시점에 촬영된 프레임을 제1 키 프레임으로 선택할 수 있다. 이때 기준 시간은 사용자의 동작 숙련도에 따라 설정될 수 있으며, 사용자의 동작 숙련도는 가이드 동작 별로 사용자에 의해 선택될 수 있다. 예를 들어, 사용자가 팔 굽혀 펴기 동작에 대한 동작 숙련도를 초보 단계로 선택하였다면, 기준 시간은 2.0초로 설정될 수 있다. 반면에, 사용자가 팔 굽혀 펴기 동작에 대한 동작 숙련도를 고급 단계로 선택하였다면, 기준 시간은 0.5초로 설정될 수 있다. 이때, 임의의 시간에는 0.0초도 포함될 수 있다. 예를 들어 사용자가 팔 굽혀 펴기 동작에 대한 동작 숙련도를 전문가 단계로 선택하였다면, 기준 시간이 0.0초로 설정되어 프레임 일치율 판단부(93)는 제1 키 프레임이 재생된 시점(t1)에 촬영된 프레임을 제2 키 프레임으로 선택할 수 있다.

여기서, 가이드 영상 재생부(50)는 가이드 영상에 부가된 제1 키 프레임 지정 정보에 기초하여 제1 키 프레임이 재생된 시점(t1)에 제1 키 프레임 재생 신호를 생성하여 프레임 일치율 판단부(93)에 제공하고, 프레임 일치율 판단부(93)는 제공받은 제1 키 프레임 재생 신호에 기초하여 제1 키 프레임이 재생된 시점(t1)을 판단할 수 있다.

그리고 제2 키 프레임을 선택한 프레임 일치율 판단부(93)는 제2 키 프레임의 사용자 골격 이미지와 이에 대응하는 제1 키 프레임의 전문가 골격 이미지를 상호 비교하여 골격 일치율을 판단하며 판단한 골격 일치율에 따라 제1 키 프레임과 제2 키 프레임 간의 프레임 일치율을 결정할 수 있다.

이때, 제2 골격 이미지 생성부(91)는 사용자 영상의 전체 프레임 중 선택된 제2 키 프레임에 대해서만 사용자 골격 이미지를 생성함으로써, 사용자 골격 이미지 생성 과정을 최대한 간소화할 수 있다.

상술한 바와 같이 제2 키 프레임을 선택하는 경우, 제2 키 프레임 선택 과정이 간소화될 수 있다는 장점이 있다. 하지만, 사용자가 제1 키 프레임의 포즈를 정확하게 따라했음에도 불구하고, 제1 키 프레임의 포즈를 정확하게 따라한 시점에서의 사용자 포즈가 제2 키 프레임이 아닌 다른 프레임에 촬영되었다면 프레임 일치율이 상대적으로 낮게 판단될 수 있다는 문제점이 존재한다.

이와 같은 문제점을 해결하기 위해 바람직하게, 프레임 일치율 판단부(93)는 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점(t1)으로부터 소정의 시간이 지난 시점(t2)까지 촬영된 하나 이상의 프레임 중 제1 키 프레임의 포즈와 가장 일치한 포즈가 촬영된 프레임을 제2 키 프레임으로 선택할 수 있다.

구체적으로, 프레임 일치율 판단부(93)는 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점(t1)으로부터 소정의 시간이 지난 시점(t2)까지 촬영된 하나 이상의 프레임을 후보 프레임으로 선택하고, 선택한 후보 프레임의 사용자 골격 이미지를 제1 키 프레임의 전문가 골격 이미지와 비교하여 각각의 후보 프레임의 골격 일치율을 판단할 수 있다. 그리고 프레임 일치율 판단부(93)는 하나 이상의 후보 프레임 중 골격 일치율이 가장 높게 판단된 후보 프레임을 제2 키 프레임으로 선택할 수 있다. 이 경우, 선택된 제2 키 프레임은 선택 과정에서 이미 골격 일치율이 판단되었으므로 프레임 일치율 판단부(93)는 별도의 골격 일치율 판단 과정을 추가로 거치지 않고, 선택된 제2 키 프레임의 골격 일치율에 따라 프레임 일치율을 결정할 수 있다.

이때, 제2 골격 이미지 생성부(91)는 사용자 영상의 전체 프레임 중 선택된 제2 키 프레임에 대해서만 사용자 골격 이미지를 생성함으로써, 사용자 영상의 전체 프레임을 대상으로 사용자 골격 이미지를 생성하는 것에 비해 사용자 골격 이미지 생성 과정을 상대적으로 간소화할 수 있다.

한편, 동작 일치율 판단부(95)는 제1 키 프레임과 제2 키 프레임 간의 프레임 일치율에 기초하여 가이드 영상의 가이드 동작과 사용자 영상의 사용자 동작 간의 동작 일치율을 판단할 수 있다.

구체적으로, 동작 일치율 판단부(95)는 가이드 영상의 제1 키 프레임이 하나인 경우 제1 키 프레임과 제2 키 프레임 간의 프레임 일치율을 그대로 동작 일치율로 판단할 수 있다.

만약, 가이드 영상의 제1 키 프레임이 다수개인 경우 동작 일치율 판단부(95)는 각각의 제1 키 프레임과 이에 대응하는 제2 키 프레임 간의 프레임 일치율의 평균값을 동작 일치율로 판단할 수 있다.

이와 같이 본 발명은 가이드 영상의 전문가 동작과 사용자 영상의 사용자 동작 간의 동작 일치율 판단시 모든 프레임을 비교하지 않고 각 동작 별로 핵심 포즈가 촬영된 제1 키 프레임과 제2 키 프레임 간의 비교를 통해 동작 일치율을 판단하므로 간소화된 과정을 통해 사용자의 동작을 평가할 수 있다. 따라서, 본 발명은 실시간 사용자 동작 평가시 딜레이 없이 빠른 평가가 이루어질 수 있으며 상대적으로 저사양의 디바이스를 이용하여 동작 평가를 수행할 수 있다.

바람직하게, 사용자 영상 수집부(70)는 사용자 동작을 모두 촬영하지 않고 가이드 영상 재생부에서 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 사용자 영상을 수집할 수 있다. 즉, 사용자 영상 수집부(70)는 사용자 동작 중에서 일치율 판단에 사용되는 동작 구간만을 촬영하여 사용자 영상을 수집할 수 있다. 따라서, 본원 발명은 사용자 영상에서 일치율 판단에 불필요한 부분을 최소화하고 이를 통해 불필요한 메모리 사용과 전력 소모를 줄일 수 있다.

동작 일치율 판단부(95)에서 판단한 동작 일치율 정보는 가이드 영상 재생부(50)에 제공될 수 있다. 가이드 영상 재생부(50)는 제공받은 동작 일치율 정보를 사용자가 실시간으로 확인 가능하도록 재생 중인 가이드 영상에 동작 일치율 정보를 오버랩하여 출력할 수 있다. 이때, 가이드 영상 재생부(50)는 제공받은 동작 일치율 정보를 수치화된 점수로 출력하거나 또는 일치율이 해당하는 구간에 따라 상이한 메시지를 출력할 수 있다. 예를 들어, 일치율이 90% 이상인 경우 'perfect'란 단어를 출력하고, 일치율이 80% 이상 90% 미만인 경우 'very good'이란 단어를 출력하며, 일치율이 60% 이상 80% 미만인 경우 'good'이란 단어를 출력하고, 일치율이 60% 미만인 경우 'bad'란 단어를 출력할 수 있다. 따라서, 사용자는 가이드 영상을 보며 가이드 동작을 따라하는 중에 실시간으로 자신이 올바른 동작을 수행하고 있는지 직관적으로 확인할 수 있다.

카운트부(97)는 사용자의 올바른 동작 횟수를 카운트할 수 있다.

구체적으로, 카운트부(97)는 가이드 영상 재생부(50)의 재생 정보에 기초하여 가이드 영상이 1회 재생될 때마다 사용자 동작 횟수를 1회 카운트하되, 동작 일치율 판단부(95)에서 판단한 동작 일치율이 기준치 이상(예를 들면 60% 이상)인 경우에만 사용자 동작을 카운트할 수 있다. 따라서, 본 발명은 가이드 동작과 소정 이상 일치하게 따라한 사용자 동작에 대해서만 카운트할 수 있다.

도 8은 본 발명의 일 실시예에 따른 전문가 골격 이미지와 사용자 골격 이미지의 비교 일례를 도시한 도면이고 도 9는 본 발명의 일 실시예에 따른 제1 키 프레임과 제2 키 프레임 간의 골격 한정 정보 비교 일례를 도시한 도면이다.

상술한 바와 같이, 동작 일치율 판단부(95)는 제1 키 프레임에 포함된 전문가의 골격 이미지와 이에 대응하는 제2 키 프레임 또는 후보 프레임에 포함된 사용자의 골격 이미지를 비교하여 골격 일치율을 판단할 수 있다.

이때, 동작 일치율 판단부(95)는 전문가 골격 이미지의 전체 부분과 사용자 골격 이미지의 전체 부분을 비교하지 않고 한정된 일부 부분만을 비교하여 골격 일치율을 판단할 수 있다.

구체적으로, 동작 일치율 판단부(95)는 제1 키 프레임의 전문가 골격 이미지에 설정된 골격 한정 정보에 따라 전문가 골격 이미지와 사용자 골격 이미지의 한정된 일부 부분만을 비교하여 골격 일치율을 판단할 수 있다.

도 8을 예로 하여 보다 구체적으로 살펴보면, 제1 키 프레임의 전문가 골격 이미지(sk1)에 설정된 골격 한정 정보에 따라 한정 지정된 관절(lj)이 좌측 발목 관절, 좌측 무릎 관절, 좌측 고관절, 좌측 팔꿈치 관절이고, 한정 지정된 연결선(ll)이 좌측 발목 관절과 무릎 관절 간의 연결선, 좌측 무릎 관절과 고관절 간의 연결선이라면, 동작 일치율 판단부(95)는 전문가 골격 이미지와 이에 대응하는 사용자 골격 이미지 간의 골격 일치율 판단시, 전문가 골격 이미지와 사용자 골격 이미지의, 좌측 발목 관절, 좌측 무릎 관절, 좌측 고관절, 좌측 팔꿈치 관절, 좌측 발목 관절과 무릎 관절 간의 연결선, 좌측 무릎 관절과 고관절 간의 연결선 간을 상호 비교하여 골격 일치율을 판단할 수 있다.

이때, 동작 일치율 판단부(95)는 전문가 골격 이미지(sk1)의 한정 지정된 두 개의 관절 간의 거리(l1)와 이에 대응하는 사용자 골격 이미지(sk2)의 두 개의 관절 간의 거리(l2)를 비교하여 일치율을 판단하거나 또는, 전문가 골격 이미지의 한정 지정된 두 개의 연결선 간의 각도(a1)와 이에 대응하는 사용자 골격 이미지의 두 개의 연결선 간의 각도(a2)를 비교하여 골격 일치율을 판단할 수 있다.

바람직하게, 동작 일치율 판단부(95)는 제1 키 프레임 또는 후보 프레임에서 사용자 골격 이미지를 생성시, 제1 키 프레임에 설정된 골격 한정 정보 설정 정보에 기초하여 한정 지정된 골격과 연결선에 대한 사용자 골격 이미지를 생성할 수 있다. 즉, 사용자 골격 이미지의 전체 형상을 모두 생성하지 않고 특정 신체 부위에 대한 사용자 골격 이미지만를 생성할 수 있으며, 이를 통해 사용자 골격 이미지 생성 과정을 최대한 간소화할 수 있다.

도 9는 본 발명의 일 실시예에 따른 동작 평가 방법을 도시한 순서도이다.

도 9를 참조하여 본 실시예에 따른 동작 평가 순서를 살펴보면, 우선, 가이드 영상 생성부(30)는 전문가 영상 수집부(10)에서 수집한 전문가 영상을 편집하고 각종 정보를 부가하여 가이드 영상을 생성할 수 있다(S10).

사용자로부터 가이드 영상 재생이 요청되면, 가이드 영상 재생부(50)는 사용자의 올바른 신체 방향 또는 위치 등을 가이드하는 영상을 제공하고, 사용자 영상 수집부(70)는 사용자에 대한 사전 영상을 수집할 수 있다(S20).

가이드 영상 재생부(50)는 수집한 사전 영상에 기초하여 사용자의 신체 방향 또는 사용자의 위치에 대한 촬영 조건이 충족하는지 판단하고(S30), 촬영 조건이 충족하였다면(S30-Y), 가이드 영상 재생부(50)는 가이드 영상을 재생하고 사용자 영상 수집부(70)는 사용자 영상을 수집할 수 있다(S40).

반면에, 촬영 조건을 충족하지 못하였다면(S30-N), 촬영 조건이 충족될 때까지 가이드 영상 재생부(50)는 사용자의 올바른 신체 방향 또는 위치 등을 가이드하는 영상을 재생하고, 사용자 영상 수집부(70)는 사용자에 대한 사전 영상을 수집할 수 있다.

한편, 사이드 영상 재생부(50)로부터 가이드 영상이 재생되고 사용자 영상 수집부(70)로부터 사용자 영상이 수집되면, 동작 평가부의 프레임 일치율 판단부(93)는 가이드 영상의 제1 키 프레임과 사용자 영상의 제2 키 프레임 간의 프레임 일치율을 판단할 수 있다(S50).

프레임 일치율을 판단하면, 동작 평가부의 동작 일치율 판단부(95)는 판단된 프레임 일치율에 기초하여 가이드 영상과 사용자 영상 간의 동작 일치율을 판단할 수 있다.

동작 평가부의 카운터부(97)는 동작 일치율 판단부(95)에서 판단한 동작 일치율이 기준치 이상인지 판단할 수 있다(S70). 만약, 동작 일치율이 기준치 이상이라면(S70-Y), 카운터부(97)는 해당 사용자 동작에 대한 횟수를 카운트하고(S80), 반면에 동작 일치율이 기준치 미만이라면(S70-N), 카운터부(97)는 해당 사용자 동작에 대한 횟수를 카운트에 미반영할 수 있다(S90).

그리고 동작 일치율 판단 결과 또는 카운트한 동작 횟수는 가이드 영상 재생부(50)로 제공되며 가이드 영상 재생부(50)는 제공받은 동작 일치율 판단 결과를 또는 카운트한 동작 횟수를 출력하여 사용자에게 제공할 수 있다(S100).

도 10은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 일례를 도시한 순서도이다.

도 10을 참조하여 프레임 일치율 판단 과정의 일례를 살펴보면, 프레임 일치율을 판단부(93)는 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영되어 수집된 사용자의 영상 프레임 중, 임의로 선택된 하나의 프레임을 제2 키 프레임으로 선택할 수 있다(S511).

제2 키 프레임이 선택되면 제2 골격 이미지 생성부(91)는 프레임 일치율 판단부(93)에서 선택한 제2 키 프레임에 사용자 골격 이미지를 생성하여 부가할 수 있다(S512).

프레임 일치율 판단부(93)는 제2 키 프레임에 사용자 골격 이미지가 생성되면, 제1 키 프레임의 전문가 골격 이미지와 제2 키 프레임의 사용자 골격 이미지를 비교하여 제2 키 프레임의 골격 일치율을 판단할 수 있다(S513).

그리고 프레임 일치율 판단부(93)는 판단한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단할 수 있다(S514).

도 11은 본 발명의 일 실시예에 따른 프레임 일치율 판단 과정의 다른 예를 도시한 순서도이다.

도 11을 참조하여 프레임 일치율 판단 과정의 다른 예를 살펴보면, 프레임 일치율 판단부(93)는 수집된 사용자 영상의 프레임 중, 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영된 하나 이상의 후보 프레임을 선택할 수 있다(S521).

후보 프레임이 선택되면, 제2 골격 이미지 생성부(91)는 선택된 후보 프레임 각각에 사용자 골격 이미지를 생성하여 부가할 수 있다(S522).

후보 프레임 각각에 사용자 골격 이미지가 부가되면, 프레임 일치율 판단부(93)는 제1 키 프레임의 전문가 골격 이미지에 각각의 후보 프레임의 사용자 골격 이미지를 비교하여 각각의 후보 프레임의 골격 일치율을 판단할 수 있다(S523).

그리고 프레임 일치율 판단부(93)는 각각의 후보 프레임 중 판단한 골격 일치율이 가장 높은 후보 프레임을 제2 키 프레임으로 선택하고, 선택한 제2 키 프레임의 골격 일치율을 프레임 일치율로 판단할 수 있다(S524).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 전문가 영상 수집부
30: 가이드 영상 생성부
31: 영상 편집부
33: 제1 골격 이미지 생성부
35: 골격 이미지 수정부
37: 제1 키 프레임 지정부
39: 골격 한정 정보 설정부
50: 가이드 영상 재생부
70: 사용자 영상 수집부
90: 동작 평가부
91: 제2 골격 이미지 생성부
93: 프레임 일치율 판단부
95: 동작 일치율 판단부
97: 카운트부

Claims (7)

1. 전문가의 가이드 동작이 촬영된 가이드 영상을 보며 따라하는 사용자 동작을 평가하는 동작 평가 방법에 있어서,
   상기 가이드 영상을 재생하고 상기 사용자 동작을 촬영하여 사용자 영상을 수집하는 단계;
   상기 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 전문가와, 상기 사용자 영상의 프레임 중 상기 제1 키 프레임에 대응하는 제2 키 프레임의 사용자 간의 비교에 따른 프레임 일치율을 판단하는 단계; 및
   판단한 상기 프레임 일치율에 기초하여 상기 가이드 동작에 대한 상기 사용자 동작의 동작 일치율을 판단하는 단계를 포함하는 것을 특징으로 하는 동작 평가 방법.
   
2. 제 1 항에 있어서, 상기 프레임 일치율을 판단하는 단계에서
   상기 프레임 일치율은 상기 제1 키 프레임 상의 전문가 골격 이미지와 상기 제2 키 프레임 상의 사용자 골격 이미지 간의 골격 일치율에 따른 것이며,
   상기 전문가 골격 이미지와 상기 사용자 골격 이미지는 전문가 또는 사용자 신체의 하나 이상의 관절과, 하나 이상의 상기 관절 간의 연결선이 포함되는 것을 특징으로 하는 동작 평가 방법.
   
3. 제 2 항에 있어서, 상기 프레임 일치율을 판단하는 단계에서
   상기 가이드 영상의 프레임 중 기지정된 제1 키 프레임의 수는 하나 이상이고,
   각각의 상기 제1 키 프레임의 전문가 골격 이미지에는 상기 제1 키 프레임별로 촬영된 포즈에서 핵심이 되는 신체 부위에 따라 한정 지정된 일부 관절과 연결선에 대한 골격 한정 정보가 부가되어 있으며,
   상기 골격 일치율은 상기 골격 한정 정보에 따라 한정 지정된 일부 관절과 연결선을 기초로 판단한 것을 특징으로 하는 동작 평가 방법.
   
4. 제 2 항에 있어서, 상기 프레임 일치율을 판단하는 단계는
   상기 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영되어 수집된 상기 사용자의 영상 프레임 중, 임의로 선택된 하나의 프레임을 상기 제2 키 프레임으로 선택하는 단계;
   선택한 상기 제2 키 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계;
   상기 제1 키 프레임의 전문가 골격 이미지와 상기 제2 키 프레임의 사용자 골격 이미지를 비교하여 상기 제2 키 프레임의 골격 일치율을 판단하는 단계; 및
   판단한 상기 제2 키 프레임의 골격 일치율을 상기 프레임 일치율로 판단하는 단계를 포함하는 것을 특징으로 하는 동작 평가 방법.
   
5. 제 2 항에 있어서, 상기 프레임 일치율을 판단하는 단계는
   수집된 상기 사용자 영상의 프레임 중, 상기 제1 키 프레임이 재생된 시점으로부터 소정 이내의 시간 동안 촬영된 하나 이상의 후보 프레임을 선택하는 단계;
   선택한 하나 이상의 상기 후보 프레임에 사용자 골격 이미지를 생성하여 부가하는 단계;
   상기 제1 키 프레임의 전문가 골격 이미지에, 각각의 상기 후보 프레임의 사용자 골격 이미지를 비교하여 각각의 상기 후보 프레임의 골격 일치율을 판단하는 단계; 및
   각각의 상기 후보 프레임 중, 판단한 골격 일치율이 가장 높은 후보 프레임을 상기 제2 키 프레임으로 선택하고, 선택한 상기 제2 키 프레임의 골격 일치율을 상기 프레임 일치율로 판단하는 단계를 포함하는 것을 특징으로 하는 동작 평가 방법.
   
6. 제 1 항에 있어서, 상기 동작 평가 방법은
   상기 사용자 동작의 촬영을 위한 사용자 위치가 소정 위치 이내인지 여부, 사용자의 신체 정면이 촬영되는지 여부 중, 적어도 하나의 조건을 포함하는 촬영 조건이 충족되었는지 판단하는 단계를 더 포함하고,
   상기 사용자 영상을 수집하는 단계는 상기 가이드 영상의 재생이 요청되면, 상기 촬영 조건이 충족되었을 때 상기 가이드 영상의 재생을 시작하는 것을 특징으로 하는 동작 평가 방법.
   
7. 제 1 항에 있어서, 상기 동작 평가 방법은
   상기 동작 일치율이 기준치 이상인 경우에만 카운트하여 상기 사용자 동작 횟수를 카운트하는 단계를 더 포함하는 것을 특징으로 하는 동작 평가 방법.
   

Images