KR20210144325A

KR20210144325A - 영상의 중첩 분석을 통한 운동 자세 교정 방법, 장치 및 컴퓨터-판독가능 기록 매체

Info

Publication number: KR20210144325A
Application number: KR1020200061526A
Authority: KR
Inventors: 구본준
Original assignee: 구본준
Priority date: 2020-05-22
Filing date: 2020-05-22
Publication date: 2021-11-30
Also published as: KR102372613B1

Abstract

본 발명은 영상의 중첩 분석을 통한 운동 자세 교정 방법에 관련된 것으로서, 본 발명의 일 실시 예에 따르면, 유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및, 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계; 중첩 영상에서, 제1 영상에 포함된 제1 객체와, 제2 영상에 포함된 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 제1 객체에 대한 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석 단계; 및 중첩 오차 분석 결과를 기초로, 제1 객체와 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 유저 단말에 제공하는 피드백 정보 제공 단계;를 포함하는 것을 특징으로 한다.

Description

영상의 중첩 분석을 통한 운동 자세 교정 방법, 장치 및 컴퓨터-판독가능 기록 매체{METHOD, APPARATUS AND COMPUTER-READABLE MEDIUM FOR CORRECTTING POSTURE THROUGH OVERLAY ANALYSIS OF IMAGE}

본 발명은 영상 중첩 분석을 통한 운동 자세 교정 방법에 관련된 것으로서, 구체적으로는, 운동 자세에 대한 기준 영상과, 비교 영상을 중첩하여, 골프, 야구, 요가 및 필라테스 등의 운동 자세에 대한 오차를 분석하고, 오차 분석에 따른 피드백 정보를 제공하여 유저의 운동 자세의 교정을 지원하도록 하는 기술과 관련된 것이다.

운동은, 올바른 자세로 운동을 수행할 경우에는, 원하는 근육에 자극을 주어 신체를 단련하고 부상을 방지할 수 있도록 하여 운동 효율을 높일 수 있지만, 잘못된 자세로 운동을 수행할 경우, 부상의 위험이 매우 높고, 단련하고자 하는 근육의 사용이 적어져 피로도는 높은 반면 운동 효율은 지극히 낮아 지기 때문에 바른 자세로 운동을 수행하는 것이 매우 중요하게 여겨진다.

이에 운동을 시작하는 사람들은 개인 트레이너를 고용하여 운동 자세에 대한 코칭을 받기도 하나, 개인 트레이너의 고용은 비용 부담이 클 뿐만 아니라 약속된 시간에 운동 센터 등을 방문해야만 했기 때문에, 경제적, 시간적, 장소적 제약이 큰 한계가 있었다.

이러한 이유로 최근에는, 홀로 운동하는 사람들을 위하여, 다양한 운동 종목의 자세 교정 기술이 개발되고 있는 실정에 있으며, 이에 대한 선행기술로서 한국 등록특허 제10-1893469호(사용자의 자세교정을 위한 골프 스윙 연습 장치)를 예로 들 수 있다.

구체적으로, 상술한 선행기술에서는, 골프 스윙 자세에 대한 교정 기술이 개시되어 있으며, 클럽을 가이드 하는 판과, 발 안착부를 구비하고, 사용자의 상체 및 하체 교정부가 구비되는 연습 장치를 제공함으로써, 골프 스윙 자세를 교정하도록 하는 기술이 개시되어 있다.

그러나, 상술한 선행기술은, 유저가 골프 스윙 동작을 연습하고자 할 때마다 복잡한 골프 스윙 연습 장치를 설치하는 행위가 요구되어 이용이 번거로운 문제가 뒤따랐으며, 더욱이 상술한 선행기술은 백스윙, 백스윙 탑 및 다운 스윙에 대한 동작에 한정되는 자세 교정만이 가능하여 골프 스윙 동작 전체에 대한 자세 교정은 수행할 수 없다는 점에서 그 활용 범위가 지극히 제한적인 문제가 있었다.

이에 본 발명은, 운동 자세에 대한 기준 영상과, 비교 영상을 중첩하여, 운동 자세에 대한 오차를 분석하고, 오차 분석에 따른 피드백 정보를 제공하여 유저의 운동 자세의 교정을 지원하도록 하는 것에 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치에서 구현되는 영상의 중첩 분석을 통한 골프 스윙 자세 교정 방법은, 유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및, 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계; 중첩 영상에서, 제1 영상에 포함된 제1 객체와, 제2 영상에 포함된 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 제1 객체에 대한 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석 단계; 및 중첩 오차 분석 결과를 기초로, 제1 객체와 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 유저 단말에 제공하는 피드백 정보 제공 단계;를 포함하는 것을 특징으로 한다.

상술한 중첩 영상 생성 단계는, 제1 영상에 포함된 제1 객체와, 제2 영상에 포함된 제2 객체의 신체 관절 영역 및 운동 도구 영역 중 적어도 어느 하나를 포함하는 영역을 중첩 기준 영역으로 설정하여 크기 및 방향이 보정되도록 함으로써, 제1 영상 및 제2 영상이 결합된 중첩 영상을 생성하는 것이 바람직하다.

또한, 상술한 중첩 오차 분석 단계의 수행 전, 중첩 영상에서, 운동 동작에 대응되는 영상 구간에 대한 제1 객체 및 상기 제2 객체에 대한 프레임별 운동 자세가 추출되도록 하고, 추출된 프레임별 운동 자세를 딥 러닝 알고리즘에 적용하여 운동 동작에 대한 하나 이상의 핵심 자세가 검출되도록 하는 것이 바람직하다.

또한, 상술한 중첩 오차 분석 단계는, 검출된 핵심 자세의 전환 시점에 대응하는, 제1 객체 및 제2 객체의 일 중첩 기준 영역에 대한 XY좌표 파라미터를 획득하여, 상기 일 중첩 기준 영역에 대한 운동 동작의 궤적 변화값이 연산되도록 하고, 제1 객체 및 상기 제2 객체에 대해 연산된 궤적 변화값을 비교함으로써, 운동 자세에 대한 중첩 오차를 분석하는 것이 바람직하다.

또한, 상술한 중첩 오차 분석 단계는, 유저 단말로부터 제2 영상에 대한 입력이 수행될 때마다, 제2 영상에 포함된 제2 객체의 궤적 변화값을 연산하여, 누적된 제2 객체의 궤적 변화값으로부터 유저의 핵심 자세별 평균값과 분산값을 도출하고, 분산값으로부터 유저의 핵심 자세별 자세 안정도에 대한 분석이 수행되도록 하는 것이 바람직하다.

또한, 상술한 피드백 정보 제공 단계는, 외부 네트워크를 통해, 유저의 핵심 자세별 평균값과 기 설정된 임계치 이상의 유사도를 갖는 프로 선수의 운동 자세에 대한 영상을 검색하여, 검색된 영상을 상기 제1 영상으로서 추천 제공하는 것이 바람직하다.

또한, 상술한 중첩 오차 분석 단계는, 검출된 핵심 자세에 대하여, 제1 핵심 자세에서 제2 핵심 자세로 자세를 전환하는데 소요되는 시간을 이용하여 운동 동작에 포함되는 핵심 자세들 간의 전환 속도가 연산되도록 하고, 제1 객체 및 제2 객체에 대해 연산된 핵심 자세들 간의 전환 속도를 비교하여 운동 자세에 대한 중첩 오차를 분석하는 것이 바람직하다.

또한, 상술한 피드백 정보 제공 단계는, 제1 영상으로 프로 선수의 운동 자세에 대한 영상이 입력된 경우, 유저 단말에 제공되는 상기 피드백 정보 중 하나로서, 제1 영상에서 추출되는 하나 이상의 운동 아이템에 대한 구매 링크 정보가 제공되도록 하는 것이 바람직하다.

한편, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치로 구현되는 영상의 중첩 분석을 통한 골프 스윙 자세 교정 장치는, 유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및, 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성부; 중첩 영상에서, 제1 영상에 포함된 제1 객체와, 제2 영상에 포함된 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 제1 객체에 대한 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석부; 및 중첩 오차 분석 결과를 기초로, 제1 객체와 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 유저 단말에 제공하는 피드백 정보 제공부;를 포함하는 것을 특징으로 한다.

또 다른 한편, 컴퓨터-판독가능 기록 매체로서, 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은: 유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및, 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계; 중첩 영상에서, 제1 영상에 포함된 제1 객체와, 제2 영상에 포함된 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 제1 객체에 대한 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석 단계; 및 중첩 오차 분석 결과를 기초로, 제1 객체와 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 유저 단말에 제공하는 피드백 정보 제공 단계;를 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따르면, 운동 자세에 대한 기준 영상과, 비교 영상을 중첩하여, 운동 자세에 대한 오차를 면밀하게 분석하고, 오차 분석에 따른 피드백 정보를 제공하여 유저의 운동 자세의 교정을 지원할 수 있는 효과가 있다.

특히 골프를 예로 들면, 본 발명은, 골프 스윙 동작의 전체 자세, 즉 어드레스부터 피니시 자세에 이르는 골프 스윙 자세에 대한 전체적인 교정이 수행될 수 있어 유저의 골프 스윙 자세에 대한 교정 효과가 증대될 수 있게 된다.

또한, 본 발명의 일 실시 예에 따르면, 인공지능을 이용하여 기 설정된 기간 동안의 유저의 운동 동작에 대한 개선 정도에 대한 결과를 제공할 수 있음은 물론이고, 프로 선수와 유저의 운동 자세에 대한 차이점에 대한 분석 결과까지 제공할 수 있게 됨에 따라, 운동 자세를 교정하고자 하는 유저 측에 개인화된 피드백을 제공하여 줄 수 있게 되는 효과가 있다.

또한, 본 발명의 일 실시 예에 따르면, 운동 동작과 관련된 유저의 핵심 자세별 평균값과 분산값을 산출하여, 유저의 핵심 자세별 안정도에 대한 정보를 제공할 수 있기 때문에, 별도의 코치 없이도 유저 스스로 자신의 숙련도를 평가할 수 있게 되는 효과가 있다.

또한, 본 발명의 일 실시 예에 따르면, 유저의 운동 자세를 교정하기 위하여 이용되는 기준 영상으로서, 현재 유저의 운동 자세와 유사한 프로 선수의 운동 동작에 대한 영상이 이용되도록 함으로써, 운동 자세에 대한 효율적 교정이 가능해지는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 영상의 중첩 분석을 통한 운동 자세 교정 방법의 흐름도.
도 2 및 4는 본 발명의 일 실시 예에 따라 유저 단말에서 입력된 영상에서 동적 객체의 인식이 수행되는 일 예.
도 3 및 5는 본 발명의 일 실시 예에 따른 제1 영상의 제1 객체와 제2 영상의 제2 객체를 중첩하여 중첩 오차를 판단하도록 하는 개념도의 일 예.
도 6은 본 발명의 일 실시 예에 따라 궤적 변화값의 비교에 따라 운동 자세에 대한 오차가 분석되는 일 예.
도 7은 본 발명의 일 실시 예에 따라 유저의 핵심 자세별 자세 안정도가 분석되는 일 예.
도 8은 본 발명의 일 실시 예에 따라 유저 단말에 운동 자세에 대한 피드백 정보가 제공되는 일 예.
도 9는 본 발명의 일 실시 예에 따라 유저 단말에 제1 영상에서 추출된 운동 아이템에 대한 구매 정보가 제공되는 일 예.
도 10은 본 발명의 일 실시 예에 따른 영상의 중첩 분석을 통한 운동 자세 교정 장치의 구성도.
도 11은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예.

이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명은 영상 중첩 분석을 통한 운동 자세 교정 방법에 관련된 것으로서 운동 자세에 대한 기준 영상과, 비교 영상을 중첩하여, 운동 자세에 대한 오차를 분석하고, 오차 분석에 따른 피드백 정보를 제공하여 유저의 운동 자세의 교정을 지원하도록 하는 것에 그 목적이 있다.

한편, 이하에서는 상술한 목적을 달성하기 위한 본 발명에 대한 설명으로서, 첨부된 도면을 참조하여 영상 중첩 분석을 통한 운동 자세 교정 방법에 대한 더욱 구체적인 설명을 수행하기로 하며, 하나의 기술적 특징 또는 발명을 구성하는 구성 요소를 설명하기 위하여 다수의 도면이 동시 참조될 것이다.

먼저 도 1을 참조하면, 도 1에서는 본 발명의 일 실시 예에 따른 영상 중첩 분석을 통한 운동 자세 교정 방법에 대한 흐름도가 도시되어 있다.

도 1에 도시된 바와 같이, 본 발명에서는 유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및 상술한 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계(S10)가 수행될 수 있다.

이때, 상술한 제1 영상은, 유저가 운동 자세를 교정하기 위한 기준 영상으로서, 유저 단말에서 직접 촬영된 영상, 외부 네트워크를 통하여 다운로드 된 영상 및 서비스를 구현하는 어플리케이션과 연동된 데이터베이스에 저장된 영상 중 적어도 어느 하나를 포함하는 개념으로 이해될 수 있으며, 운동 종목에 따른 영상이 이용될 수 있다.

또한, 본 발명에서 언급하는 운동은, 골프 클럽, 야구 배트, 공, 폼롤러 등 도구가 이용되는 운동은 물론이고, 요가, 스트레칭 등의 맨몸 운동을 포함하는 개념으로 이해될 수 있을 것이다.

한편, 상술한 제2 영상은, 운동 자세 교정이 수행되어야 할 동적 객체가 포함된 영상으로서, 유저의 운동 자세에 대한 영상인 것으로 이해될 수 있다.

이때 본 발명의 다른 실시 예에서는, 유저 단말에 상술한 제1 영상의 추천이 수행될 수도 있는데, 이때, 상술한 제1 영상의 추천은, 유저 단말에 유저의 신체 정보, 배우고 싶은 운동 종목에 대한 정보 및 선호하는 프로 선수 정보 중 적어도 어느 하나를 포함하는 정보의 입력 요청을 선 수행함으로써, 이루어지는 것으로 이해될 수 있다.

즉, 이에 따라, 본 발명에서는, 유저의 신체 조건에 대응하거나, 유저가 배우고자 하는 운동 영상 및, 유저가 선호하는 프로 선수의 운동 자세에 대한 운동 영상이 기준 영상으로 이용될 수 있기 때문에, 유저의 운동 자세 교정에 대한 학습 동기의 유발 및 흥미를 부여하여 서비스 이용 증대와 같은 부가 효과를 기대할 수 있게 된다.

한편, 상술한 S10 단계의 수행 시, 상술한 제1 영상 및 제2 영상의 중첩은, 제1 영상에 포함된 제1 객체와, 제2 영상에 포함된 제2 객체의 신체 관절 영역 및 운동 도구 영역 중 적어도 어느 하나를 포함하는 영역을 중첩 기준 영역으로 설정하여 영상 또는 객체들 간의 크기 및 방향이 보정되도록 함으로써, 제1 영상 및 제2 영상이 결합된 중첩 영상이 생성되도록 하는 것으로 이해될 수 있다.

구체적으로, 상술한 신체 관절 영역은, 예를 들어 목, 어깨, 팔꿈치, 손목, 골반, 무릎, 발목 중 적어도 어느 하나를 포함하는 영역일 수 있고, 상술한 운동 도구 영역은, 운동 종목이 골프일 경우, 골프 클럽에 관련된 영역으로 공을 칠 때 닿는 클럽 아래 부분인 헤드, 클럽의 긴 대 부분인 샤프트 및, 손잡이 중 적어도 어느 하나를 포함하는 영역이 될 것이고, 운동 종목이 야구일 경우, 야구배트와 관련된 영역으로, 손잡이 끝, 손잡이 및 타격면 중 적어도 어느 하나를 포함하는 영역이 인식되는 것으로 이해될 수 있을 것이다.

더욱 구체적인 설명을 위하여 도 2를 참조하여 보면, 도 2에서는 본 발명의 일 실시 예에 따라 유저 단말에서 입력된 영상에서 동적 객체의 인식이 수행되는 예가 도시되어 있다.

구체적으로 도 2의 실시 예는 다양한 운동 종목 중 골프의 스윙 동작에 해당하는 객체 인식이 수행되는 예인 것으로 이해될 수 있으며, 이때, 도 2의 100은 제1 영상 및 제2 영상 중 적어도 어느 하나의 영상으로부터 추출된 동적 객체로 이해될 수 있고 도 2의 110은, 제1 객체 및 제2 객체 중 적어도 어느 하나를 포함하는 동적 객체의 신체 관절 영역이 감지되어 골프 스윙 자세가 추정되는 예인 것으로 이해될 수 있다.

이때 바람직하게는 골프 스윙 자세에 대한 더욱 면밀한 분석을 위하여, 도 2에 도시된 것과 같이 신체 관절 영역에 대응하는 영역에 서로 다른 색상의 식별 포인트를 지정하고, 이를 신체 구조에 대응하도록 연결함으로써 골프 스윙 자세를 추출함으로써, 동적 객체의 골프 스윙 자세에 대한 추정 정확도가 향상되도록 하는 것이 바람직할 것이다.

한편 도 4에서는, 본 발명의 다른 운동 종목에 대한 실시 예로서, 야구의 투구 동작에 해당하는 객체 인식이 수행되는 예가 도시되어 있으며, 마찬가지로 도 4의 200은 제1 영상 및 제2 영상 중 적어도 어느 하나의 영상으로부터 추출된 동적 객체로 이해될 수 있고, 도 4의 210은 제1 객체 및 제2 객체 중 적어도 어느 하나를 포함하는 동적 객체의 신체 관절 영역이 감지되어 야구 투구 동작 자세가 추정된 예로 이해될 수 있다.

이때, 상술한 도 2 및 4의 설명에서는 운동 종목 중 골프 및 야구 종목에 한정된 실시 예를 설명하였으나, 본 발명은 신체 관절 영역 및 운동 도구 영역 중 적어도 어느 하나를 식별 포인트로 인식함으로써, 객체의 자세 추정을 수행하기 때문에, 운동 종목과는 무관하게 영상에서 객체의 동작 자세를 추정할 수 있게 되고, 이에 따라 다양한 운동 종목에 따른 자세 교정이 실시 될 수 있어 활용 범위가 확대되는 효과가 있다.

다시 도 1로 돌아와서 설명을 이어가면, 상술한 S10 단계의 수행 후에는, 생성된 중첩 영상에서 상술한 제1 영상에 포함된 동적 객체인 제1 객체와, 상술한 제2 영상에 포함된 동적 객체인 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 상술한 제1 객체에 대한 상술한 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석 단계(S20)가 수행될 수 있다.

이때, 본 발명의 더욱 바람직한 실시 예에서는, 상술한 S20 단계의 수행 전, S10 단계에서 생성된 중첩 영상에서, 운동 동작에 대응되는 영상 구간에 대한 제1 객체 및 제2 객체에 대한 프레임별 운동 자세가 추출되도록 하는 기능이 더 수행될 수 있다.

구체적으로 상술한 운동 자세는, 골프를 예로 들어 설명하자면, 골프 스윙을 위해 첫 자세를 잡는 어드레스 자세를 시작으로, 클럽 스윙의 시작으로 몸의 회전 동작이 시작되는 백스윙 자세, 백스윙의 정점 자세에 해당하는 백스윙 탑 자세, 클럽이 공을 향해 내려오는 다운 스윙 자세, 공과 클럽이 맞닿게 되는 임팩트 자세, 임팩트 자세 이후, 스윙이 만들어 내는 원심력으로 두 팔이 목표 방향으로 뻗어지는 팔로우스루 자세 및 스윙의 마무리에 해당하는 피니시 자세까지를 추출하는 것으로 이해됨이 바람직하다.

또한, 본 발명은 추출된 프레임별 골프 스윙 자세를 딥 러닝 알고리즘에 적용하여 골프 스윙 동작에 대한 하나 이상의 핵심 자세를 검출하도록 할 수 있으며, 이에 본 발명에서는 검출된 핵심 자세에 대한 제1 객체 및 제2 객체의 골프 스윙 자세의 오차를 비교함으로써, 골프 스윙 자세의 교정이 수행될 수 있게 된다.

이에 대한 더욱 상세한 설명을 위해 도 3 및 5를 참조하여 보면, 도 3 및 5에서는 앞서 도 1의 S10 단계에서 제1 영상의 제1 객체와 제2 영상의 제2 객체를 중첩하여 중첩 오차를 분석하도록 하는 개념의 예가 도시되어 있다.

구체적으로, 도 3의 120 내지 140의 실시 예는, 운동 종목이 골프일 경우에 대한 일 실시 예로서, 도 3의 120은, 기준 영상이 되는 제1 영상에서 추출된 제1 객체의 골프 스윙 자세인 것으로 이해될 수 있고, 도 3의 130은 비교 영상인 제2 영상에서 추출된 제2 객체의 골프 스윙 자세인 것으로 이해될 수 있다.

또한, 도 3의 140에서는 제1 영상 및 제2 영상이 중첩됨에 따라, 제1 객체의 골프 스윙 자세와 제2 객체의 골프 스윙 자세가 중첩되어 양 객체의 중첩도가 비교되는 실시 예가 도시되어 있음을 알 수 있다.

다른 실시 예로서, 도 5를 참조하여 보면, 도 5의 220 내지 240의 실시 예는, 운동 종목이 야구일 경우에 대한 일 실시 예로서, 도 5의 220은 기준 영상이 되는 제1 영상에서 추출된 제1 객체의 야구 투구 자세인 것으로 이해될 수 있고, 도 5의 230은 비교 영상인 제2 영상에서 추출된 제2 객체의 야구 투구 자세인 것으로 이해될 수 있다.

또한 도 5의 240은 제1 영상 및 제2 영상이 중첩됨에 따라 제1 객체의 야구 투구 자세와 제2 객체의 야구 투구 자세가 중첩되어 양 객체의 중첩도가 비교되는 실시 예인 것으로 이해될 수 있을 것이다.

즉 앞서 도 3 및 도 5의 실시 예에서 살펴본 바와 같이, 본 발명에서는 제1 객체의 운동 자세를 기준으로 제2 객체의 운동 자세의 중첩 오차 정도를 비교하여 운동 자세를 교정하도록 하는 기술이 개시되는 것으로, 특히 본 발명에서는 제1 영상 및 제2 영상의 중첩을 통하여, 유저의 운동 자세가 기준 영상의 자세보다 얼마나 어긋나 있는지 정도를 객관적으로 판단할 수 있게 되고, 이로 인해 운동 자세의 중첩 오차를 더욱 면밀히 분석할 수 있게 됨으로써, 운동 자세의 교정 정밀도가 현저히 증대되는 효과를 기대할 수 있게 된다.

다시 도 1로 돌아와서, 상술한 S20 단계의 기능 수행에 대하여 더욱 상세히 설명하면, 본 발명의 S20 단계에서는 중첩 오차를 분석하는데 있어서 다양한 실시 예가 존재할 수 있다.

제1 실시 예로서, 상술한 S20 단계에서는, 검출된 핵심 자세의 전환 시점에 대응하는 제1 객체 및 제2 객체의 일 중첩 기준 영역에 대한 XY좌표 파라미터를 획득하여, 일 중첩 기준 영역에 대한 운동 동작의 궤적 변화값이 연산되도록 하고, 상술한 제1 객체 및 제2 객체에 대해 연산된 궤적 변화값을 비교함으로써, 운동 자세에 대한 중첩 오차를 비교할 수 있는 것으로 이에 대한 더욱 구체적인 설명을 위하여 도 6을 참조하여 보면, 도 6의 300에서는, 골프 스윙 동작에 대한 예로서, 제1 객체 및 제2 객체에 대한 중첩 기준 영역을 손목으로 설정하여 제1 객체 및 제2 객체에 대해 연산된 궤적 변화값이 도출된 예가 도시되어 있다.

이때, 도 4의 300의 좌표 평면에서 310은 제1 객체에서 획득한 XY좌표 파라미터를 이용한 궤적 변화값을 나타낸 것으로 이해될 것이고, 320은 제2 객체에서 획득한 XY좌표 파라미터를 이용한 궤적 변화값을 나타낸 것으로 이해될 것이다.

즉 본 발명에서는 상술한 오차 분석 과정에 의하여 제1 객체의 골프 스윙 자세를 포함하는 운동 자세에 대한 제2 객체의 운동 자세의 중첩 오차를 상세히 분석할 수 있게 되는 것이다.

한편 이때, 본 발명의 다른 실시 예에 의하면, 유저 단말로부터 제2 영상에 대한 입력이 수행될 때마다, 제2 영상에 포함된 제2 객체의 궤적 변화값을 연산하여, 데이터베이스 상에 누적된 제2 객체의 궤적 변화값으로부터 유저의 핵심 자세별 평균값과 분산값을 도출하고, 도출된 분산값으로부터 유저의 핵심 자세별 자세 안정도에 대한 분석이 수행될 수도 있다.

구체적으로, 본 발명에서는 비교 영상인 제2 영상이 유저 단말에서 입력되는 시간 순으로 데이터베이스에 누적 저장되어 관리되도록 하고, 누적 저장된 제2 영상들에서 획득되는 제2 객체의 XY좌표 파라미터를 이용하여 유저의 핵심 자세별 평균값 및 분산값을 도출해낼 수 있는 것이다.

즉 본 발명에서는 상술한 평균값으로부터, 운동 동작에 대한 유저의 핵심 자세별 평균 자세를 파악할 수 있고, 상술한 분산값으로부터 유저의 핵심 자세별 자세 안정도를 파악할 수 있게 된다.

한편 도 7의 400에서는 제2 객체로부터 획득되는 XY파라미터의 측정값에 따른 평균값 및 분산값에 대한 그래프가 도시되어 있다.

이때 도 7의 그래프에서 410은 일 핵심 자세에 대한 유저의 평균 운동 자세에 대한 궤적에 대한 파라미터를 의미하는 것으로 이해될 것이고, y축 변화값(Δy)은 분산도를 의미하는 것으로 이해될 것이다.

상세히 설명하자면, 상술한 y축 변화값이 작을수록 유저의 운동 자세가 크게 변화하지 않은 것으로 해석되어 자세 안정도가 높은 것으로 분석될 수 있으며, y축 변화값이 클수록 유저의 운동 자세가 크게 변화하는 것으로 해석되어 자세 안정도가 낮은 것으로 분석될 수 있는 것이다.

즉, 본 발명에서는 상술한 자세 안정도의 분석을 통하여, 유저의 운동 동작에 대한 편차를 줄이도록 함으로써, 유저의 운동 동작이 숙련되도록 하는 훈련을 수행할 수 있게 된다.

다시 도 1로 돌아와서, 본 발명의 S20 단계에서는 중첩 오차를 분석하는 제2 실시 예로서, 상술한 S20 단계에서는 검출된 핵심 자세에 대해, 제1 핵심 자세에서 제2 핵심 자세로 자세를 전환하는데 소요되는 시간 정보로부터, 운동 동작에 포함되는 핵심 자세들 간의 전환 속도가 연산되도록 하고, 제1 객체 및 제2 객체에 대해 연산된 핵심 자세들 간의 전환 속도를 비교하여 운동 자세에 대한 중첩 오차를 비교할 수도 있다.

즉, 상술한 제2 실시 예의 수행에 의하여, 핵심 자세들 간의 전환 속도에 대한 오차 분석까지 수행될 수 있게 되어, 더욱 정밀한 운동 자세 교정이 수행될 수 있는 효과가 있다.

이때, S20 단계의 수행에 있어서 앞서 언급한 실시 예들은 서로 독립적으로 수행되거나, 하나 이상의 실시 예가 유기적으로 결합되어 동시 수행될 수 있음이 당연하며 본 발명은 이에 제한하지 않는다.

한편, 상술한 S20 단계의 수행 후에는, S20 단계에서의 중첩 오차 분석 결과를 기초로, 상술한 제1 객체와 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 상술한 유저 단말에 제공하는 피드백 정보 제공 단계(S30)가 수행될 수 있다.

이때 상술한 피드백 정보는, 운동 종목이 골프이고, 골프 스윙 동작에 대한 기준 영상 및 비교 영상이 입력되었을 경우, 골프 스윙 동작에 대응하는 어드레스 자세에서부터 피니시 자세에 대한 피드백 정보가 제공됨이 바람직할 것이며, 운동 종목이 야구이고, 야구 투구 동작에 대한 기준 영상 및 비교 영상이 입력되었을 경우, 야구 투구 동작에 대응하는 와인드업 자세부터 팔로우 스루 자세까지에 대한 피드백 정보가 제공됨이 바람직할 것이다.

즉, 본 발명에서 상술한 피드백 정보는, 운동 종목에 따른 운동 동작별 피드백 정보가 제공되는 것으로 이해될 것이며, 앞서 설명한 골프 및 야구는 물론이고, 여타 운동 종목, 볼링, 요가, 필라테스 등 다양한 운동에 적용 가능한 것으로 이해될 수 있다.

한편 도 8의 500 및 510에서는 골프의 스윙 동작 및 야구의 투구 동작에 대한 피드백 정보의 제공 예가 도시되어 있으며, 500 및 510을 참조하여 피드백 정보에 대한 상세한 설명을 이어가기로 한다.

먼저 도 8의 500을 참조하여 보면, 상술한 피드백 정보에는, 제1 객체와 제2 객체의 골프 스윙 자세를 중첩하여 유저가 자신의 골프 스윙 자세를 직관적으로 비교하여 볼 수 있도록 하는 자세 정보(501)가 포함될 수 있다.

이때, 상술한 자세 정보(501)는 핵심 자세별 정지 화면으로 캡쳐된 제1 객체와 제2 객체의 중첩 화면이 정지 이미지로서 제공되거나, 동적 이미지로 제공될 수 있으며, 이에 따라 유저는 본인의 골프 스윙 자세를 기준 영상의 객체(예를 들어 프로 골퍼 선수)와 직관적으로 비교된 이미지를 제공받아 볼 수 있게 되어 자세 교정에 대한 학습 효율이 증대되는 효과가 있다.

또한 상술한 피드백 정보에는, 자세 정보(501)와 더불어, 핵심 자세별 교정 팁 정보(502)가 더 포함될 수 있음이 당연하며, 제1 객체와 제2 객체의 중첩 오차를 최소화하기 위한 교정 팁 정보가 제공되는 것으로 이해될 것이다.

한편, 도 8의 510에 도시된 야구 투구 동작에 대한 피드백 정보에서도 마찬가지로 제1 객체와 제2 객체의 야구 투구 자세를 중첩하여 유저가 자신의 투구 자세를 직관적으로 비교하여 볼 수 있도록 하는 자세 정보(511)가 포함될 수 있으며, 골프 스윙과 유사한 프로세스로 투구 동작에 대한 핵심 자세별 교정 팁 정보(512) 역시 포함될 수 있다.

즉, 본 발명에서는 운동 종목에 따른 유저의 운동 자세에 대한 피드백이 유저 맞춤형으로 제공됨으로써, 개인 트레이너를 고용하는 것과 동일하거나, 개인 트레이너에 비하여 향상된 자세 교정 효과를 도출할 수 있게 된다.

또 다른 한편, 본 발명의 다른 실시 예에서는, 상술한 S30 단계를 수행함에 있어서, 외부 네트워크를 통하여 앞서 도출한 유저의 핵심 자세별 평균값과 기 설정된 임계치 이상의 유사도를 갖는 프로 선수의 운동 자세에 대한 영상 검색을 수행하여, 검색된 영상을 제1 영상으로서 추천 제공하는 피드백을 제공할 수도 있다.

즉 이러한 기능 수행은, 운동 종목별 운동 자세를 취하는데 있어서, 유저와 비슷한 운동 자세를 가진 프로 선수의 운동 자세가 포함된 영상을 기준 영상이 되는 제1 영상으로 추천 제공함으로써, 유저의 현재 운동 자세를 크게 교정하지 않고 단시간에 유저의 운동 숙련도의 향상을 도모할 수 있는 효과를 제공할 수 있게 된다.

또한, 본 발명의 또 다른 실시 예에서는, S30 단계의 수행에 있어서, S10 단계에서 기준 영상이 되는 제1 영상으로 프로 선수의 운동 자세에 대한 영상이 입력된 경우, 유저 단말에 제공되는 피드백 정보 중 하나로, 제1 영상에서 추출되는 하나 이상의 운동 아이템에 대한 구매 링크 정보를 제공할 수도 있다.

즉 도 9의 600에 도시된 화면과 같이, 골프와 관련된 제1 영상이 입력될 경우, 상술한 제1 영상에서 객체 인식으로 검출되는 골프 클럽, 캐디 백, 골프 공, 골프웨어 중 적어도 어느 하나를 포함하는 골프 아이템에 대한 구매 링크 정보를 유저 단말 측에 제공할 수 있는 것으로, 이러한 기능 수행에 의하여, 유저 측에 골프 아이템에 대한 쇼핑 안내를 제공할 수 있음은 물론이고, 골프 아이템에 대한 자연스러운 광고가 수행되도록 하여, 서비스 제공 주체 측에 이윤 창출 수단을 제공하여줄 수 있는 효과를 제공할 수 있게 된다.

종합적으로 본 발명의 일 실시 예에 따르면, 본 발명의 일 실시 예에 따르면, 운동 자세에 대한 기준 영상과, 비교 영상을 중첩하여, 운동 자세에 대한 오차를 면밀하게 분석하고, 오차 분석에 따른 피드백 정보를 제공하여 유저의 운동 자세의 교정을 지원할 수 있는 효과가 있다.

특히 골프에 대한 예를 들면, 본 발명은, 골프 스윙 동작의 전체 자세, 즉 어드레스부터 피니시 자세에 이르는 골프 스윙 자세에 대한 전체적인 교정이 수행될 수 있어 유저의 골프 스윙 자세에 대한 교정 효과가 증대될 수 있게 된다.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.

한편 도 10에서는 본 발명의 일 실시 예에 따른 영상 중첩 분석을 통한 운동 자세 교정 장치(10)에 대한 구성도가 도시되어 있으며, 이하의 설명에 있어서 도 1 내지 9에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.

도 10에 도시된 바와 같이, 본 발명에서 설명하는 영상 중첩 분석을 통한 운동 자세 교정 장치(10)는 바람직하게, 중첩 영상 생성부(11), 중첩 오차 분석부(12) 및 피드백 정보 제공부(13)를 포함할 수 있다.

구체적으로 상술한 중첩 영상 생성부(11)는, 유저 단말(20)로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및 상술한 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩시킴으로써 중첩 영상을 생성하도록 하는 기능을 수행한다.

이때, 상술한 제1 영상 및 제2 영상의 중첩 기준 영역은, 제1 영상 및 제2 영상에 포함된 동적 객체 즉, 제1 객체 및 제2 객체의 신체 관절 영역 및 운동 도구 영역 중 적어도 어느 하나를 포함하는 기준 영역이 설정될 수 있으며, 이를 근거로 영상의 크기 및 방향이 보정되는 것으로 이해될 것이다.

즉 상술한 중첩 영상 생성부(11)는 앞서 도 1의 S10 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있으며, 본 발명에서는 상술한 중첩 영상 생성부(11)의 기능 수행에 의하여, 기준 영상인 제1 영상과 비교 영상인 제2 영상이 중첩되어 보여짐으로써, 운동 자세에 대한 오차가 더욱 면밀히 파악되도록 하는 효과가 있다.

다음으로, 상술한 중첩 오차 분석부(12)는, 생성된 중첩 영상에서 상술한 제1 영상에 포함된 동적 객체인 제1 객체와, 상술한 제2 영상에 포함된 동적 객체인 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 상술한 제1 객체에 대한 상술한 제2 객체의 중첩 오차를 분석하는 기능을 수행한다.

구체적으로 상술한 중첩 오차 분석부(12)는, 제1 객체와 제2 객체의 운동 동작에 대해 연산된 핵심 자세별 궤적 변화값, 핵심 자세들 간의 전환 속도 및 시간의 흐름에 따른 유저의 자세 안정도의 변화 추이를 분석하도록 하는 기능이 수행되는 것으로 이해될 수 있다.

결국 상술한 중첩 오차 분석부(12)는 앞서 도 1의 S20 단계가 수행하는 기능을 모두 수행하는 것으로 이해됨이 바람직하며, 상술한 중첩 오차 분석부(12)의 기능 수행에 의하여 유저의 운동 자세, 즉 골프 스윙 동작을 예로 들면, 어드레스부터 피니시 자세에 이르는 골프 스윙 자세에 대한 전체적인 교정이 수행될 수 있어 유저의 골프 스윙 자세의 교정 효과가 더욱 증대될 수 있게 된다.

다음으로, 상술한 피드백 정보 제공부(13)는, 상술한 중첩 오차 분석부(12)에서 도출된 중첩 오차 분석 결과를 기초로, 상술한 제1 객체와 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 상술한 유저 단말(20)에 제공하는 기능을 수행할 수 있다.

즉, 상술한 피드백 정보 제공부(13)는 앞서 도 1의 S30 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있으며, 본 발명에서는 상술한 피드백 정보 제공부(13)의 기능 수행에 의하여, 이용하여 기 설정된 기간 동안의 유저의 운동 동작에 대한 개선 정도에 대한 결과를 제공할 수 있음은 물론이고, 유명 프로 선수와 유저의 운동 자세에 대한 차이점에 대한 분석 결과까지 제공할 수 있게 됨에 따라, 운동 자세를 교정하고자 하는 유저에 개인화된 피드백을 제공하여 줄 수 있게 되는 효과가 있다.

결과적으로, 본 발명의 일 실시 예에 따르면, 운동 자세에 대한 기준 영상과, 비교 영상을 중첩하여, 운동 자세에 대한 오차를 면밀하게 분석하고, 오차 분석에 따른 피드백 정보를 제공하여 유저의 운동 자세의 교정을 지원할 수 있는 효과가 있다.

한편, 본 발명에서 언급하는 유저 단말(20)이란, 본 발명에서 언급하는 기능 수행이 가능한 단말로서, 예를 들어 네트워크 통신이 가능한 유/무선 전화기(wire/wireless telephone), 태블릿 PC(Tablet PC), 랩톱(Laptop), 스마트폰(Smartphone), 개인 휴대용 정보 단말기(Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 중 어느 하나를 포함하는 개념의 단말로 이해됨이 바람직하다.

도 11은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하였으며, 이하의 설명에 있어서, 상술한 도 1 내지 10에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.

도 11에 도시한 바와 같이, 컴퓨팅 장치(10000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(10000)은 촉각 인터페이스 장치에 연결된 유저 단말이기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(10000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅 장치(10000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(10000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.

이러한 도 11의 실시 예는, 컴퓨팅 장치(10000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 11에 도시된 일부 컴포넌트가 생략되거나, 도 11에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 11에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(10000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시 예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치에서 구현되는 영상의 중첩 분석을 통한 운동 자세 교정 방법에 있어서,
유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및, 상기 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계;
상기 중첩 영상에서, 상기 제1 영상에 포함된 제1 객체와, 상기 제2 영상에 포함된 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 상기 제1 객체에 대한 상기 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석 단계; 및
상기 중첩 오차 분석 결과를 기초로, 상기 제1 객체와 상기 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 상기 유저 단말에 제공하는 피드백 정보 제공 단계;를 포함하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
제1항에 있어서,
상기 중첩 영상 생성 단계는,
상기 제1 영상에 포함된 제1 객체와, 상기 제2 영상에 포함된 제2 객체의 신체 관절 영역 및 운동 도구 영역 중 적어도 어느 하나를 포함하는 영역을 중첩 기준 영역으로 설정하여 크기 및 방향이 보정되도록 함으로써, 상기 제1 영상 및 상기 제2 영상이 결합된 중첩 영상을 생성하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
제1항에 있어서,
상기 중첩 오차 분석 단계의 수행 전,
상기 중첩 영상에서, 운동 동작에 대응되는 영상 구간에 대한 상기 제1 객체 및 상기 제2 객체에 대한 프레임별 운동 자세가 추출되도록 하고,
추출된 프레임별 운동 자세를 딥 러닝 알고리즘에 적용하여 운동 동작에 대한 하나 이상의 핵심 자세가 검출되도록 하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
제3항에 있어서,
상기 중첩 오차 분석 단계는,
검출된 핵심 자세의 전환 시점에 대응하는, 상기 제1 객체 및 상기 제2 객체의 일 중첩 기준 영역에 대한 XY좌표 파라미터를 획득하여, 상기 일 중첩 기준 영역에 대한 운동 동작의 궤적 변화값이 연산되도록 하고,
상기 제1 객체 및 상기 제2 객체에 대해 연산된 궤적 변화값을 비교함으로써, 상기 운동 자세에 대한 중첩 오차를 분석하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
제4항에 있어서,
상기 중첩 오차 분석 단계는,
상기 유저 단말로부터 상기 제2 영상에 대한 입력이 수행될 때마다, 상기 제2 영상에 포함된 제2 객체의 궤적 변화값을 연산하여, 누적된 제2 객체의 궤적 변화값으로부터 유저의 핵심 자세별 평균값과 분산값을 도출하고,
상기 분산값으로부터 상기 유저의 핵심 자세별 자세 안정도에 대한 분석이 수행되도록 하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
제5항에 있어서,
상기 피드백 정보 제공 단계는,
외부 네트워크를 통해, 상기 유저의 핵심 자세별 평균값과 기 설정된 임계치 이상의 유사도를 갖는 프로 선수의 운동 자세에 대한 영상을 검색하여, 검색된 영상을 상기 제1 영상으로서 추천 제공하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
제3항에 있어서,
상기 중첩 오차 분석 단계는,
검출된 핵심 자세에 대하여, 제1 핵심 자세에서 제2 핵심 자세로 자세를 전환하는데 소요되는 시간을 이용하여 상기 운동 동작에 포함되는 핵심 자세들 간의 전환 속도가 연산되도록 하고,
상기 제1 객체 및 상기 제2 객체에 대해 연산된 핵심 자세들 간의 전환 속도를 비교하여 상기 운동 자세에 대한 중첩 오차를 분석하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
제1항에 있어서,
상기 피드백 정보 제공 단계는,
상기 제1 영상으로 프로 선수의 운동 자세에 대한 영상이 입력된 경우,
상기 유저 단말에 제공되는 상기 피드백 정보 중 하나로서, 상기 제1 영상에서 추출되는 하나 이상의 운동 아이템에 대한 구매 링크 정보가 제공되도록 하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 방법.
하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치로 구현되는 영상의 중첩 분석을 통한 운동 자세 교정 장치에 있어서,
유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및, 상기 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성부;
상기 중첩 영상에서, 상기 제1 영상에 포함된 제1 객체와, 상기 제2 영상에 포함된 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 상기 제1 객체에 대한 상기 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석부; 및
상기 중첩 오차 분석 결과를 기초로, 상기 제1 객체와 상기 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 상기 유저 단말에 제공하는 피드백 정보 제공부;를 포함하는 것을 특징으로 하는 영상의 중첩 분석을 통한 운동 자세 교정 장치.
컴퓨터-판독가능 기록 매체로서,
상기 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
유저 단말로부터 운동 자세에 대한 기준 영상으로 입력된 제1 영상 및, 상기 제1 영상에 대한 비교 영상으로 입력된 제2 영상을 중첩하여 중첩 영상을 생성하는 중첩 영상 생성 단계;
상기 중첩 영상에서, 상기 제1 영상에 포함된 제1 객체와, 상기 제2 영상에 포함된 제2 객체의 운동 자세에 대한 중첩도를 비교하여, 상기 제1 객체에 대한 상기 제2 객체의 중첩 오차를 분석하는 중첩 오차 분석 단계; 및
상기 중첩 오차 분석 결과를 기초로, 상기 제1 객체와 상기 제2 객체의 운동 자세에 대한 중첩 오차를 최소화하기 위한 피드백 정보를 상기 유저 단말에 제공하는 피드백 정보 제공 단계;를 포함하는 것을 특징으로 하는 컴퓨터-판독가능 기록 매체.