KR20170140756A - 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법 - Google Patents

Abstract

동작 교본 저작 장치, 동작 자가 학습 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 동작 자가 학습 방법은 동작 교본 저작 장치 및 동작 자가 학습 장치를 이용하는 동작 자가 학습 방법에 있어서, 상기 동작 교본 저작 장치가 제1 사용자의 전문가 동작에 기반하여 모션 스크립트를 생성하는 단계; 상기 동작 자가 학습 장치가 상기 모션 스크립트에 기반하여 상기 전문가 동작을 학습하는 제2 사용자의 동작을 분석하는 단계 및 상기 동작 자가 학습 장치가 상기 제2 사용자의 동작을 분석한 결과를 출력하는 단계를 포함한다.

Description

동작 교본 저작 장치, 동작 자가 학습 장치 및 방법 {APPRATUS FOR WRITING MOTION-SCRIPT, APPRATUS FOR SELF-LEARNING MONTION AND METHOD FOR USING THE SAME}

본 발명은 동작 학습 시스템 프레임 워크에 관한 것으로, 보다 상세하게는 동작 인식 기반 서비스 및 동작 자가 학습 기술에 관한 것이다.

요가, 태권도 및 탁구 등의 스포츠 동작 또는 승무원, 호텔리어 등의 전문직 종사자들에게 요구되는 모범 자세를 배우고자 하는 수요는 항상 존재해 왔다.

특정 동작을 학습할 수 있는 가장 좋은 방법 중의 하나는 전문가와의 일대일 수업을 통해 전문가의 동작을 반복적으로 따라하고, 즉각적인 피드백을 받아 자신의 자세를 지속적으로 교정하는 것이다.

하지만 장소와 시간, 경제적 비용 등의 제약으로 인해 일반 개인이 전문시설을 방문하여 전문 강사에게 교습을 받기란 쉽지 않은 일이다. 따라서, 전문가를 만나서 직접 교습을 받지 않고도 효과적으로 특정 동작을 학습할 수 있는 자가 학습 방법에 대한 요구사항이 점점 증가하고 있으며 이와 관련된 기반 산업도 발전하고 있는 추세이다.

현재 학습자가 요가, 체조 및 댄스 등의 동작을 스스로 학습하는 가장 일반적인 방법은 영상물을 모방하는 방법이다. 학습자가 교습 비디오를 구입하거나 인터넷에서 적당한 동영상을 다운로드 받아서 화면의 강사가 취하는 동작을 보고 그대로 따라 하는 방식이다. 이러한 영상물을 단순히 모방하는 기존의 학습 방법은 학습자 본인이 취하고 있는 동작의 정확도, 오류 수정 및 개선 및 학습 성취도 등에 대한 정확한 피드백이 전혀 없기 때문에 효과적인 자가 학습 방법이라고 보기 어렵다. 또한, 학습 현황에 대한 정보 없이 오로지 학습자의 의지력에만 의존하기 때문에 학습자의 학습 지속력 또한 현저히 떨어진다.

최근 몇 년간 IT 기술의 급속한 발전과 함께 동작 인식용 센서와 동작 인식 기술을 기반으로 하는 다양한 콘텐츠 서비스가 제공되고 있다.

마이크로소프트의 Xbox와 소니의 PlayStation과 같이 사용자의 동작에 반응하는 참여형 게임 플랫폼이 등장하면서 전 세계적으로 성공을 거두고 있다. 이러한 종류의 게임 플랫폼들은 주로 저가의 3차원 카메라를 통해서 입력되는 깊이 영상을 분석하여 사용자의 바디파트 위치와 지정된 자세 및 동작을 인식하는 기술로 구현된다.

단순한 형태의 동작 인식 기술을 기반으로 하는 참여형 게임 콘텐츠가 성공을 거둔 데 이어 골프와 야구 등의 비교적 복잡한 동작으로 이루어진 스포츠 영역에서도 정확한 운동 자세에 대한 코칭을 목적으로 동작 인식 기술이 적용되고 있다. 최근에는 동작분석을 통해 학습자에게 피드백을 제공하는 기술과 함께 학습자가 직접 탑승할 수 있는 하드웨어 기구를 포함하는 스포츠 시뮬레이터 플랫폼 등이 개발되고 있다. 전문 강사로부터 교습을 받기가 쉽지 않은 승마나 요트 등과 같은 스포츠의 경우에 실제 환경을 모사한 스포츠 시뮬레이터 플랫폼은 좋은 대안이 될 수 있다.

위 언급한 참여형 게임 플랫폼, 스포츠 동작 및 자세 분석 시스템, 기구를 포함하는 스포츠 시뮬레이터 플랫폼 등은 사용자의 동작을 분석하는 기술을 기반으로 서비스를 제공하기는 하지만, 이들 모두는 개인 학습자들의 자가 학습을 지원하기 위한 시스템이 아니다.

동작 기반 게임 플랫폼은 주로 엔터테인먼트나 피트니스를 목적으로 개발되며 사용자의 자세에 대한 진단 서비스를 제공하지 않는다.

스포츠 자세 분석 시스템은 플레이어의 자세에 대한 상세한 분석 및 이를 기반으로 하는 진단 서비스를 제공한다. 하지만, 이들 진단 서비스는 전문적으로 스포츠 시뮬레이터를 판매하는 몇몇 특정 사업자에 의해서 해당 스포츠에 특화되어 개발되며, 스크린 골프 및 스크린 야구장과 같은 관련 시설을 갖추고 있는 스포츠 전용 사업장에 구축된다. 이러한 코칭 시스템은 자가 학습이 목표가 아니라 스포츠 시뮬레이터의 전문성 확보, 흥미 및 몰입감 증진, 전문 지도자의 보조적 분석 도구 역할을 수행하는 것을 목적으로 한다.

앞서 설명한 자가 학습에 대한 요구사항이 "시공간에 대한 제약 없이 다양한 분야에서의 표본 동작에 대한 보편적 학습 방법의 제공"이라는 점에서 기존의 코칭 시스템은 이러한 요구사항을 전혀 충족하지 못하고 있다.

한편, 한국공개특허 제 10-2010-0132322 호“모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법”는 모션캡쳐와 3차원 그래픽 기술을 적용한 가상 캐릭터를 사용하여 동시에 렌더링되는 하나 이상의 3차원 그래픽 동작 영상 정보와 하나 이상의 3차원 그래픽 스텝 영상 정보를 하나 이상의 디스플레이 장치에 동시에 출력함으로써, 3차원 공간에서 얻어지는 사람의 동작 정보를 다양한 시점의 영상 정보를 통하여 정확하게 관찰하고 이해할 수 있는 동작 학습 시스템을 개시하고 있다.

본 발명은 학습자가 동작 및 자세를 스스로 학습하는 방법에 있어서 시공간에 대한 제약 없이 다양한 분야에서의 표본 동작에 대한 보편적 학습 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 특정 분야의 동작 전문가가 자신의 퍼포먼스로 동작 교본(motion script: 모션 스크립트)을 직접 저작, 편집, 출판하고 다수의 동작 학습자가 출판된 동작 교본으로 올바른 동작을 자가 학습할 수 있도록 지원하는 일반화된 시스템 프레임워크를 제공하는 것을 목적으로 한다.

또한, 본 발명은 동작기반 콘텐츠 제작자가 대용량의 동작 교본 데이터베이스로부터 손쉽게 동작 데이터를 확보하여 콘텐츠 제작 비용을 획기적으로 절감된 동작 기반 서비스 및 교습 콘텐츠의 제작을 지원하는 것을 목적으로 한다.

또한, 본 발명은 자가 학습자가 동작 교본 스토어 서버로부터 콘텐츠 제작자에 의해 개발된 다양한 동작기반 콘텐츠 및 서비스를 제공받아 동작 자가 학습 수요층을 확장시킬 수 있도록 콘텐츠 만족도를 향상시키는 것을 목적으로 한다.

또한, 본 발명은 교습 비디오를 단순히 모방하는 기존의 자가 학습 방법의 한계를 극복하고 동작 자가 학습과 관련된 콘텐츠 서비스의 생태계 조성에 기여하는 것을 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 동작 교본 저작 장치는 사용자의 동작에 상응하는 속성 정보를 생성하는 저작부; 상기 사용자의 동작으로부터 센서 데이터를 획득하는 센서부; 상기 속성 정보와 상기 센서 데이터에 기반하여 모션 스크립트를 생성하는 모션 스크립트 생성부 및 상기 모션 스크립트를 배포하는 편집 출판부를 포함한다.

이 때, 상기 저작부는 상기 모션 스크립트에 대한 파일 속성 및 상기 모션 스크립트가 검색되기 위한 태그 정보 중 적어도 하나를 포함하는 모션 스크립트 헤더 정보를 생성하는 헤더 정보 설정부; 상기 사용자의 동작과 상기 속성 정보를 맵핑하는 동작 속성 맵핑부 및 동작 학습에 이용되는 부가 정보의 제공 여부를 설정하는 부가 정보 설정부를 포함할 수 있다.

이 때, 상기 속성 정보는 상기 사용자의 키 포즈에 상응하는 키 포즈 설정 정보; 상기 사용자의 키 모션에 상응하는 키 모션 설정 정보; 상기 키 모션의 속도 및 강도에 상응하는 동작 설정 정보 및 상기 키 포즈 및 상기 키 모션에 기반한 상기 사용자의 키 바디 파트에 상응하는 키 바디 파트 설정 정보 중 적어도 하나를 포함할 수 있다.

이 때, 상기 모션 스크립트 생성부는 상기 동작 획득 장치의 종류 및 특성을 파악하고, 상기 파악된 동작 획득 장치의 종류 및 특성에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 기술자 정보를 생성하는 동작 기술자 생성부; 및 상기 속성 정보에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 속성 정보를 생성하는 동작 속성 생성부를 더 포함할 수 있다.

이 때, 상기 모션 스크립트 생성부는 상기 모션 스크립트 헤더 정보, 상기 동작 속성 정보, 상기 동작 기술자 정보 및 상기 부가 정보 중 적어도 하나를 포함하는 상기 모션 스크립트를 생성할 수 있다.

이 때, 상기 편집 출판부는 상기 생성된 모션 스크립트에 대하여 교본 영상 편집, 동작 세부 교정, 속성 세부 교정 및 부가 정보 편집 중 적어도 하나를 수행하여 편집된 최종 모션 스크립트를 상기 동작 교본 스토어 서버에 배포할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 동작 자가 학습 장치는 모션 스크립트의 전문가 동작을 출력하여 사용자에게 상기 전문가 동작을 학습시키는 학습부; 동작 획득 장치를 이용하여 상기 사용자의 동작으로부터 센서 데이터를 획득하는 센서부; 상기 모셥 스크립트와 센서 데이터 기반하여 상기 사용자의 동작을 평가한 최종 동작 평가 정보를 생성하는 동작 평가부 및 상기 최종 동작 평가 정보와 상기 사용자의 동작을 교정하기 위한 교정 정보를 출력하는 출력부를 포함한다.

이 때, 상기 학습부는 상기 모션 스크립트에서 상기 사용자가 동작 학습을 위하여 선택한 속성들을 이용하여 학습 속성 정보를 생성하는 전문가 모션 스크립트 설정부; 상기 사용자가 설정한 학습 환경에 기반하여 학습 환경 정보를 생성하는 학습 환경 설정부 및 상기 사용자의 동작을 학습자 모션 스크립트로 생성하는 학습자 모션 스크립트 설정부를 포함할 수 있다.

이 때, 상기 동작 평가부는 상기 모션 스크립트와 상기 센서 데이터에 기반하여 상기 사용자의 자세 정확성 정보 및 동적 표현력 정보를 생성하는 동작 분석부 및 상기 자세 정확성 정보 및 상기 동적 표현력 정보에 기반하여 최종 동작 평가 정보를 생성하는 동작 평가 산출부를 포함할 수 있다.

이 때, 상기 동작 분석부는 상기 모션 스크립트에 사용된 동작 획득 장치와 동일한 종류의 동작 획득 장치로부터 획득한 센서 데이터를 이용하여 동작 기술자 정보 및 동작 속성 정보를 분석할 수 있다.

이 때, 상기 동작 분석부는 상기 모션 스크립트와 상기 센서 데이터에 기반한 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 사용자의 동작들의 유사도를 분석한 자세 정확성 값들을 포함하는 자세 정확성 정보를 생성할 수 있다.

이 때, 상기 동작 분석부는 상기 모션 스크립트와 상기 센서 데이터에 기반한 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 사용자의 동작의 빠르기, 강도 및 동작 구간 일치 여부 중 적어도 하나의 유사도를 분석한 동적 표현력 값들을 포함하는 동적 표현력 정보를 생성할 수 있다.

이 때, 상기 동작 평가 산출부는 상기 동작 획득 장치의 개수, 종류 및 특성 중 적어도 하나에 기반하여 상기 자세 정확성 값들 각각과 상기 동적 표현력 값들 각각에 대한 가중치를 결정할 수 있다.

이 때, 상기 동작 평가 산출부는 상기 사용자의 동작들 각각에 대하여 상기 가중치가 결정된 자세 정확성 값들과 상기 동적 표현력 값들을 서로 합산하기 위한 합산 비중을 결정할 수 있다.

이 때, 상기 동작 평가 산출부는 상기 사용자의 동작들마다 각각 결정된 합산 비중에 기반하여 상기 자세 정확성 값들과 상기 동적 표현력 값들을 합산하여 산출된 최종 동작 평가 값들을 포함하는 최종 동작 평가 정보를 생성할 수 있다.

이 때, 상기 동작 평가 산출부는 상기 사용자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

이 때, 상기 출력부는 상기 최종 평가 결과 정보와 상기 교정 정보에 기반하여 상기 학습자 모션 스크립트를 편집하여 상기 동작 교본 스토어 서버에 배포할 수 있다.

이 때, 상기 출력부는 상기 최종 동작 평가 정보에 기반하여 평가 요소 별 점수 및 상기 동작 학습자의 신체 부위 별 동작 정확도를 평가한 학습 평가 정보를 더 출력할 수 있다.

이 때, 상기 출력부는 상기 사용자가 학습한 전문가 동작의 상기 평가 요소 별 점수 추이를 포함하는 상세 평가 정보를 더 출력할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 동작 자가 학습 방법은 동작 교본 저작 장치 및 동작 자가 학습 장치를 이용하는 동작 자가 학습 방법에 있어서, 상기 동작 교본 저작 장치가 제1 사용자의 전문가 동작에 기반하여 모션 스크립트를 생성하는 단계; 상기 동작 자가 학습 장치가 상기 모션 스크립트에 기반하여 상기 전문가 동작을 학습하는 제2 사용자의 동작을 분석하는 단계 및 상기 동작 자가 학습 장치가 상기 제2 사용자의 동작을 분석한 결과를 출력하는 단계를 포함한다.

본 발명은 학습자가 동작 및 자세를 스스로 학습하는 방법에 있어서 시공간에 대한 제약 없이 다양한 분야에서의 표본 동작에 대한 보편적 학습 방법을 제공할 수 있다.

또한, 본 발명은 특정 분야의 동작 전문가가 자신의 퍼포먼스로 동작 교본(motion script: 모션 스크립트)을 직접 저작, 편집, 출판하고 다수의 동작 학습자가 출판된 동작 교본으로 올바른 동작을 자가 학습할 수 있도록 지원하는 일반화된 시스템 프레임워크를 제공할 수 있다.

또한, 본 발명은 동작기반 콘텐츠 제작자가 대용량의 동작 교본 데이터베이스로부터 손쉽게 동작 데이터를 확보하여 콘텐츠 제작 비용을 획기적으로 절감된 동작 기반 서비스 및 교습 콘텐츠의 제작을 지원할 수 있다.

또한, 본 발명은 자가 학습자가 동작 교본 스토어 서버로부터 콘텐츠 제작자에 의해 개발된 다양한 동작기반 콘텐츠 및 서비스를 제공받아 동작 자가 학습 수요층을 확장시킬 수 있도록 콘텐츠 만족도를 향상시킬 수 있다.

또한, 본 발명은 교습 비디오를 단순히 모방하는 기존의 자가 학습 방법의 한계를 극복하고 동작 자가 학습과 관련된 콘텐츠 서비스의 생태계 조성에 기여할 수 있다.

도 1은 본 발명의 일실시예에 따른 동작 자가 학습 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 동작 교본 저작 장치를 나타낸 블록도이다.
도 3은 도 2에 도시된 동작 교본 저작 장치의 일 예를 세부적으로 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 모션 스크립트를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 동작 자가 학습 장치를 나타낸 도면이다.
도 6은 도 5에 도시된 동작 자가 학습 장치의 일 예를 세부적으로 나타낸 도면이다.
도 7은 도 6에 도시된 동작 평가부에서 이루어지는 동작 평가 과정의 일 예를 세부적으로 나타낸 도면이다.
도 8 및 도 9는 본 발명의 일실시예에 따른 최종 동작 평가 결과의 출력 화면을 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 동작 자가 학습 방법을 나타낸 동작흐름도이다.
도 11은 도 10에 도시된 동작 교본 저작 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 12는 도 10에 도시된 동작 자가 학습 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 13은 도 12에 도시된 동작 평가 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 14는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 동작 자가 학습 시스템을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 동작 자가 학습 시스템은 동작 교본 저작 장치(100)가 동작 전문가의 동작에 기반하여 모션 스크립트를 생성할 수 있다.

동작 교본 저작 장치(100)는 3D 카메라, 스마트 폰, 그리고 각종 위치/속도/각도를 측정할 수 있는 동작 모션 획득 장치를 이용하여 전문가 퍼포먼스를 캡처할 수 있다.

이 때, 동작 교본 저작 장치(100)는 동작 모션 획득 장치의 영상 및 센서 데이터를 입력 받아서 전문가의 동작을 기술(description)하고 동작 속성을 할당하여 동작 교본에 해당하는 모션 스크립트를 생성할 수 있다.

이 때, 동작 교본 저작 장치(100)는 모션 스크립트를 동작 교본 스토어 서버(10)에 업로드 할 수 있다.

동작 학습자는 자신이 학습하고자 하는 모션 스크립트를 특정 동작 전문가로부터 직접 제공 받거나 모션 스크립트를 판매하는 동작 교본 스토어 서버(10)로부터 다운로드 받아서 동작 자가 학습 장치(200)를 이용하여 모범 동작을 학습할 수 있다.

동작 자가 학습 장치(200)는 전문가가 저작한 모션 스크립트의 표본 동작과 학습자의 현재 동작을 비교 분석하여 학습자에게 적절한 진단 및 학습 방법을 제공하고 학습자 스스로가 자세를 지속적으로 교정할 수 있도록 지원할 수 있다.

또한, 동작 학습자는 자신이 학습하는 과정에서 취한 학습 동작으로 모션 스크립트를 생산할 수 있으며, 이를 스토어 사이트에 출판 할 수도 있다.

이 때, 동작 학습자가 저작한 모션 스크립트는 전문가의 모범 동작과는 수준 차이가 있을 수 있으나, 학습자보다 수준이 더 낮은 또 다른 학습자에게는 유용한 동작 교본이 될 수 있으며 콘텐츠 제작자들에게는 관심 동작에 대한 선택의 다양성을 제공할 수 있다.

또한, 불특정 다수의 전문가(또는 학습자)가 출판한 다양한 모션 스크립트는 동작 교본 스토어 서버(10)에 축적 될 수 있다. 수많은 사람들이 퍼포먼스한 다양한 분야에서의 동작을 기술한 모션 스크립트 집합은 휴먼 동작을 기반으로 하는 콘텐츠 제작에 있어서 훌륭한 데이터가 될 수 있다.

종래에는 콘텐츠 제작자가 휴먼의 동작 데이터를 확보하기 위해서는 직접 제작을 하거나 모션 데이터를 전문으로 다루는 제작자에게 의뢰하는 방법이 있다.

그러나, 종래에는 필요 시에 단발적으로 모션 데이터를 제작하기 때문에 제작 비용이 크고 제작 시간이 많이 소요되는 단점이 있었으나, 본 발명에서 제안하는 시스템 프레임워크 상에서의 콘텐츠 제작자는 동작 교본 스토어 서버(10)의 스토어 사이트를 통해 손쉽게 동작 데이터를 확보할 수 있는 장점이 있다

도 2는 본 발명의 일실시예에 따른 동작 교본 저작 장치를 나타낸 블록도이다. 도 3은 도 2에 도시된 동작 교본 저작 장치의 일 예를 세부적으로 나타낸 도면이다.

도 2 및 도 3을 참조하면, 본 발명의 일실시예에 따른 동작 교본 저작 장치(100)는 저작부(110), 센서부(120), 모션 스크립트 생성부(130) 및 편집 출판부(140)를 포함한다.

저작부(110)는 사용자의 동작에 상응하는 모션 스크립트에 대한 속성 정보를 생성할 수 있다.

즉, 저작부(110)는 동작 전문가가 생성하고자 하는 모션 스크립트에 대한 전반적인 속성을 생성하고 설정하는 저작 유저 인터페이스(UI)에 상응할 수 있다.

이 때, 저작부(110)는 헤더 정보 설정부(111), 동작 속성 맵핑부(112) 및 부가 정보 설정부(113)을 포함할 수 있다.

이 때, 헤더 정보 설정부(111)는 상기 모션 스크립트에 대한 파일 속성 및 상기 모션 스크립트가 검색되기 위한 태그 정보 중 적어도 하나를 포함하는 모션 스크립트 헤더 정보를 생성할 수 있다.

즉, 헤더 정보 설정부(111)는 저작자, 저작시간, 센서종류, 동작설명 및 동작 카테고리 등의 모션 스크립트 파일의 속성을 기술할 수 있다.

동작 속성 맵핑부(112)는 동작 전문가의 동작에 대하여 속성 정보를 부여할 수 있다.

즉, 동작 속성 맵핑부(112)는 동작 자체의 속성에 대한 정보를 부여할 수 있다.

이 때, 동작 속성 맵핑부(112)는 키 포즈, 키 모션, 키 바디 파트 중요도 등 학습자가 특정 동작을 학습할 때 주안점을 두고 학습하여야 할 사항에 대한 정보를 전문가가 동작을 캡처하기 전에 명시적으로 부여할 수 있다.

속성 정보는 동작 전문가의 동작 중 중요한 자세들인 키 포즈에 상응하는 키 포즈 설정 정보; 동작 전문가의 동작 중 중요한 동작 구간들인 키 모션에 상응하는 키 모션 설정 정보; 중요한 동작 구간들에서 중요한 동작들의 빠르기 및 강도를 설정하는 키 모션의 속도 및 강도에 상응하는 동작 설정 정보 및 상기 중요한 자세들 및 상기 중요한 동작들 마다 상기 동작 전문가의 신체 부위 별로 중요도를 설정하는 사용자의 키 바디 파트에 상응하는 신체 중요도 설정 정보 중 적어도 하나를 포함할 수 있다.

부가 정보 설정부(113)는 학습자의 동작 학습에 도움을 줄 수 있는 부가 정보의 제공 여부를 설정할 수 있다.

즉, 부가 정보 설정부(113)는 배경 음악 등의 오디오 시퀀스 및 전문가의 설명 음성 등, 학습에 도움을 줄 수 있는 부가 정보를 제공 할 것인지에 대한 여부를 설정할 수 있다.

센서부(120)는 저작용 동작 획득 장치를 이용하여 동작 전문가의 동작으로부터 전문가 센서 데이터를 획득할 수 있다.

저작용 동작 획득 장치는 상기 전문가 센서 데이터를 획득할 수 있는 카메라, 스마트폰, 동작 센서, 위치 센서, 가속도 센서, 관성 센서, 멀티 센서 및 키넥트 기기 중 적어도 하나를 포함할 수 있다.

모션 스크립트 생성부(130)는 설정된 속성 정보와 상기 획득한 센서 데이터에 기반하여 모션 스크립트를 생성할 수 있다.

즉, 모션 스크립트 생성부(130)는 저작용 동작 획득 장치(저가형 3D 카메라, 스마트폰, 각종 센서류 등)에 의해 획득된 전문가의 퍼포먼스에 대한 센서 데이터 시퀀스와 저작부(110)에서 설정되고 부여된 모션 스크립트의 헤더 및 속성 정보들로부터 모션 스크립트를 생성할 수 있다.

모션 스크립트 생성부(130)는 동작 기술자 생성부(131) 및 동작 속성 생성부(132)를 더 포함할 수 있다.

동작 기술자 생성부(131)는 동작 획득 장치의 종류 및 특성을 파악하고, 상기 파악된 동작 획득 장치의 종류 및 특성에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 기술자 정보를 생성할 수 있다.

즉, 동작 기술자 생성부(131)는 전문가의 퍼포먼스 동작을 캡쳐한 전문가 센서 데이터를 입력 받아 모범 동작을 기술할 수 있다.

이 때, 동작 기술자 생성부(131)는 현재 시스템에 연결된 저작용 동작 획득 장치의 종류 및 특성을 파악하고, 장치로부터 추출 가능한 전문가 센서 데이터를 획득할 수 있다.

예를 들어, 키넥트와 같은 3D 카메라가 연결된 경우라면 깊이 영상 시퀀스, 2D 영상 시퀀스, 오디오 시퀀스의 입력이 가능하며, 이에 상응하는 전문가 센서 데이터는 동작 기술자의 구성 요소로 저장될 수 있다.

또한, 동작 기술자 생성부(132)는 깊이 영상 시퀀스로부터 바디 파트의 위치를 추출함으로써 추가적인 동작 기술자의 구성 요소를 생성할 수 있다.

동작 속성 생성부(132)는 속성 정보에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 속성 정보를 생성할 수 있다.

즉, 동작 속성 생성부(132)는 저작부(110)에서 전문가가 부여한 동작 속성을 저장함과 동시에 전문가의 동작으로부터 자동으로 속성을 추출할 수 있다.

앞서 언급한 저작 UI에서 생성 가능한 동작 속성이 전문가의 경험을 통한 지식 기반 속성들인 반면, 동작 속성 생성부(132)가 생성한 속성은 동작의 통계적 분석에 기반한 속성들에 상응할 수 있다,

예를 들어, 동작 속성 생성부(132)는 전신, 상반신, 하반신, 양팔, 양다리에 대한 위치변이, 속도, 가속도, 각속도 등을 추출할 수 있다.

이 때, 동작 속성 생성부(132)는 추출된 수치화 정보를 기반으로 해당 동작의 전체 또는 단위 동작에 대한 크기, 빠르기, 복잡도, 파워, 유연도 등의 동작 속성 정보를 생산할 수 있다.

동작 속성 정보는 포즈와 같은 정적 자세와는 다르게 연속된 동작에 대한 동적 품질과 관련된 특징으로서 자가 학습 시에 동작의 섬세한 표현 방법에 대한 교정 정보 제공의 기준이 될 수 있다.

이 때, 모션 스크립트 생성부(130)는 상기 모션 스크립트 헤더 정보, 상기 동작 속성 정보, 상기 동작 기술자 정보 및 상기 부가 정보 중 적어도 하나를 포함하는 모션 스크립트를 생성할 수 있다.

편집 출판부(140)는 생성된 모션 스크립트를 동작 교본 스토어 서버(10)에 배포할 수 있다.

즉, 편집 출판부(140)는 생성된 모션 스크립트를 편집하고 이를 동작교본 스토어 서버(10)에 업로드 할 수 있는 유저 인터페이스로 구성될 수 있다.

이 때, 편지 출판부(140)는 교본 영상편집, 동작 및 속성 세부 교정, 부가 정보 편집, 스토어사이트출판 UI를 포함할 수 있다.

이 때, 편집 출판부(140)는 생성된 모션 스크립트에 대하여 교본 영상 편집, 동작 세부 교정, 속성 세부 교정 및 부가 정보 편집 중 적어도 하나를 수행하여 편집된 최종 모션 스크립트를 상기 동작 교본 스토어 서버에 배포할 수 있다.

도 4는 본 발명의 일실시예에 따른 모션 스크립트를 나타낸 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 모션 스크립트는 모션 스크립트 헤더, 동작 속성, 동작 기술자 및 부가 정보를 포함한다.

모션 스크립트 헤더는 모션 스크립트 파일의 전반적인 모션 스크립트 헤더 정보를 포함할 수 있다.

모션 스크립트 헤더 정보는 저작자, 저작시간, 저작에 사용된 센서 종류, 동작에 대한 간단한 설명 및 동작 키워드, 동작이 속하는 카테고리, 동작의 길이 등의 정보를 포함할 수 있다.

이 때, 모션 스크립트 헤더 정보는 학습자가 필요로 하는 모션 스크립트를 효과적으로 검색하기 위한 태그 정보로 활용될 수도 있다.

동작 속성은 모션 스크립트 파일이 아닌 동작 자체의 속성에 대한 동작 속성 정보를 포함할 수 있다.

동작 속성에는 학습자가 특정 동작을 학습할 때 어떤 부분에 주안점을 두고 학습하여야 하는지에 대한 정보들이 부여된다.

예를 들어, 일련의 동작 중에서 가장 중요한 자세가 어디인지를 나타내는 키 포즈 설정, 가장 중요한 동작 구간을 나타내는 키 모션 설정, 특정 포즈를 취함에 있어 각 바디파트의 중요도 설정, 중요 동작의 빠르기 및 강도 설정 등의 동작 속성 정보가 동작 속성에 포함될 수 있다. 이러한 동작 속성은 도 2 및 3에서 설명한 동작 교본 저작 장치(100)에서 전문가가 명시적으로 생성할 수도 있고, 동작 교본 저작 장치(100)에 의해서 자동으로 생성될 수도 있다.

동작 기술자는 전문가가 취하는 일련의 동작에서 추출한 영상 시퀀스 및 센서 데이터 자체에 상응하는 동작 기술자 정보를 저장하는 부분이다. 모션 스크립트를 다운로드 받은 동작 학습자가 학습을 할 때 동작 기술자 정보가 학습자의 동작에 대한 모범 동작이 될 수 있다.

즉, 동작 기술자 정보는 동작 자가 학습 장치(200)를 통해서 동작 학습자의 동작에 대한 피드백 및 교정 정보를 제공하는 기준 동작이 될 수 있다.

예를 들어, 전문가가 모션 스크립트를 생성하기 위해 사용한 센서의 종류가 무엇이며, 그 센서가 제공할 수 있는 정보가 어떤 것이냐에 따라 구성되는 동작 기술자 정보의 요소도 다르다.

스마트 폰으로 모션 스크립트를 저작한 경우에는 2D 영상 시퀀스 또는 손 동작에 대한 속도/가속도 정보 등이 저장 될 수 있다. 키넥트와 같은 저가형 3D 카메라를 통해서 저작한 경우에는 스마트 폰 보다는 더 다양하고 구체적인 정보가 획득될 수 있으며, 구체적인 정보는 각 관절의 위치 정보로 구성되는 골격 데이터, 3D 깊이 영상 시퀀스, 2D 영상 시퀀스 등에 상응할 수 있다.

전문가가 더욱 더 정교하고 구체적인 동작 정보를 제공하고 싶다면 위치, 가속도, IMU(관성) 센서 등을 원하는 바디파트에 부착하여 사용할 수 있다.

이 때, 획득되는 전문가 센서 데이터들로 동작 기술자 정보가 생성 될 수 있다. 이와 같이 전문가는 동작을 감지할 수 있는 다양한 센서들을 서로 결합한 저작용 동작 획득 장치를 이용하여 동작을 기술할 수 있으며, 동작 기술자 정보를 구성하는 데이터의 종류가 다양할 수록 모션 스크립트의 품질은 높아진다.

부가 정보는 학습자가 자가 학습을 잘 할 수 있도록 도움을 주는 정보들이다. 저작자는 학습 집중력을 높일 수 있는 배경 음악 등의 오디오 시퀀스, 동작을 구체적으로 지도하는 전문가의 설명 내레이션, 2D 비디오와 함께 재생될 수 있는 동작 설명 자막 등을 추가적으로 제공할 수 있다.

도 5는 본 발명의 일실시예에 따른 동작 자가 학습 장치를 나타낸 도면이다. 도 6은 도 5에 도시된 동작 자가 학습 장치의 일 예를 세부적으로 나타낸 도면이다.

도 5 및 도 6을 참조하면, 본 발명의 일실시예에 따른 동작 자가 학습 장치(200)는 학습부(210), 센서부(220), 동작 평가부(230) 및 출력부(240)을 포함한다.

학습부(210)는 모션 스크립트의 전문가 동작을 출력하여 사용자에게 상기 전문가 동작을 학습시킬 수 있다.

이 때, 학습부(210)는 학습자가 취득한 모션 스크립트를 직접 입력 받거나 동작 교본 스토어 서버(10)로부터 모션 스크립트를 다운로드 받을 수 있다.

이 때, 학습부(210)는 디스플레이 장치 등을 이용하거나 동작 자가 학습 장치(200)가 디스플레이 장치 등과 연결되어 모션 스크립트의 전문가 동작을 출력할 수 있다.

이 때, 동작 학습자는 디스플레이 장치로부터 출력되는 전문가 동작을 따라 하는 것으로 전문가 동작을 학습할 수 있다.

이 때, 학습부(210)는 학습을 수행하기 이전에 동작 학습자가 학습하고자 하는 동작에 따라 동작 학습자가 모션 스크립트를 설정할 수 있다.

이 때, 학습부(210)는 전문가 모션 스크립트 설정부(211), 학습 환경 설정부(212) 및 학습자 모션 스크립트 설정부(213)을 포함할 수 있다.

전문가 모션 스크립트 설정부(211)는 상기 모션 스크립트에 포함된 동작 속성 정보에서 상기 동작 학습자가 학습하고자 하는 동작에 대한 필요한 속성들을 선택하여 학습 속성 정보를 설정할 수 있다.

학습 환경 설정부(212)는 동작 학습자가 상기 학습하고자 하는 동작에 대한 학습 환경 정보를 설정할 수 있다.

학습자 모션 스크립트 설정부(213)는 동작 학습자의 동작을 학습자 모션 스크립트로 생성하기 위하여 학습자 모션 스크립트의 헤더 및 속성을 설정할 수 있다.

센서부(220)는 학습용 동작 획득 장치를 이용하여 상기 동작 학습자의 동작으로부터 학습자 센서 데이터를 획득할 수 있다.

학습용 동작 획득 장치는 상기 동작 학습자의 동작으로부터 상기 학습자 센서 데이터를 획득하기 위한 카메라, 스마트폰, 동작 센서, 위치 센서, 가속도 센서, 관성 센서, 멀티 센서 및 키넥트 기기 중 적어도 하나를 포함할 수 있다.

동작 평가부(230)는 설정된 모션 스크립트에 기반하여 상기 획득한 학습자 센서 데이터를 평가하여 최종 동작 평가 정보를 생성할 수 있다.

즉, 동작 평가부(230)는 학습용 동작 획득 장치(저가형 3D 카메라, 스마트폰, 각종 센서류)에 의해 획득된 동작 학습자의 퍼포먼스와 전문가 모션 스크립트에서 기술된 동작을 비교 및 분석하여 사용자에게 적절한 평가 정보를 제공할 수 있다.

이 때, 동작 평가부(230)는 모션 스크립트 내에 있는 전문가의 동작 기술자 및 동작 속성과 현재 학습자의 일련의 동작 시퀀스에서 획득한 동작 기술자 및 동작 속성을 비교/분석하여 그 평가 결과를 제공할 수 있다. 동작 비교 시에는 동일한 장치로부터 획득된 센서 데이터에서 추출된 동작 기술자와 속성끼리 비교하여 결과를 산출할 수 있다. 상이한 장치로부터 획득된 센서 데이터간의 비교도 가능하지만, 동작 기술자 및 동작 속성이 다르므로 평가 결과의 신뢰도가 낮아질 수 있다.

이 때, 동작 평가부(230)는 동작 분석부(231) 및 동작 평가 산출부(232)를 포함할 수 있다.

동작 분석부(231)는 모션 스크립트와 상기 학습용 센서 데이터에 기반하여 획득한 상기 동작 학습자의 자세 정확성 정보 및 동적 표현력 정보를 생성할 수 있다.

즉, 동작 분석부(231)는 모션 스크립트내의 전문가의 동작과 현재 동작을 취하고 있는 학습자의 동작을 서로 비교/분석 할 수 있다.

이 때, 동작 분석부(231)는 동작기술자 간의 비교를 통해 자세의 정확성 값을 산출하고, 동작 속성 간의 비교를 통하여 동적 표현력 분석 결과를 산출할 수 있다.

동작 분석부(231)는 먼저 모션 스크립트 생성에 사용된 저작용 동작 획득 장치와 동일한 종류의 학습용 동작 획득 장치를 이용하여 획득한 학습자 센서 데이터로부터 생성된 동작 기술자 정보 및 동작 속성 정보를 비교/분석할 수 있다.

이 때, 동작 분석부(231)는 상기 모션 스크립트와 상기 획득한 학습자 센서 데이터의 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 동작 학습자의 자세들의 유사도를 분석한 자세 정확성 값들을 포함하는 자세 정확성 정보를 생성할 수 있다.

이 때, 동작 평가 산출부(232)는 상기 자세 정확성 정보 및 상기 동적 표현력 정보에 기반하여 최종 동작 평가 정보를 생성할 수 있다.

이 때, 동작 평가 산출부(232)는 학습용 동작 획득 장치의 개수, 종류 및 특성 중 적어도 하나에 기반하여 상기 자세 정확성 값들 각각과 상기 동적 표현력 값들 각각에 대한 가중치를 결정할 수 있다.

이 때, 동작 평가 산출부(232)는 동작 학습자의 동작들 각각에 대하여 상기 가중치가 결정된 자세 정확성 값들과 상기 동적 표현력 값들 사이의 합산 비중을 결정할 수 있다.

이 때, 동작 평가 산출부(232)는 상기 동작 학습자의 동작들마다 각각 결정된 합산 비중에 기반하여 상기 자세 정확성 값들과 상기 동적 표현력 값들을 합산하여 산출된 최종 동작 평가 값들을 포함하는 최종 동작 평가 정보를 생성할 수 있다.

이 때, 동작 평가 산출부(232)는 상기 동작 학습자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

예를 들어, 동작 평가 산출부(232)는 상기 동작 학습자의 학습 능력 설정 값이 낮게 설정되어 초급자에 상응하는 경우, 상기 자세 정확성 값들에 대한 합산 비중을 높게 설정하고, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정할 수 있다.

또한, 동작 평가 산출부(232)는 상기 동작 학습자의 학습 능력 설정값이 높게 설정되어 숙련자에 상응하는 경우, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정하고, 상기 자세 정확성 값들에 대한 합산 비중을 낮게 설정할 수 있다.

출력부(240)는 상기 최종 동작 평가 정보와 상기 동작 학습자의 동작을 교정하기 위한 동작 교정 정보를 출력할 수 있다.

즉, 출력부(240)는 상기 최종 평가 결과 정보를 입력 받아 실시간으로 동작을 교정하고, 학습자의 종합적인 평가 결과와 각 세부항목에 대한 상세 평가를 제공할 수 있다.

이 때, 출력부(240)는 학습 이력 관리를 통해 학습자가 학습 결과를 바탕으로 본인의 동작으로 지속적으로 교정할 수 있도록 지원할 수 있다.

이 때, 출력부(240)는 상기 최종 동작 평가 정보에 기반하여 평가 요소 별 점수 및 상기 동작 학습자의 신체 부위 별 동작 정확도를 평가한 학습 평가 정보를 더 출력할 수 있다.

이 때, 출력부(240)는 상기 사용자가 학습한 전문가 동작의 상기 평가 요소 별 점수 추이를 포함하는 상세 평가 정보를 더 출력할 수 있다.

또한, 출력부(240)는 학습자의 모션 스크립트를 출판할 수 있는 UI를 포함할 수 있다.

즉, 출력부(240)는 상기 최종 평가 결과 정보와 상기 교정 정보에 기반하여 상기 학습자 모션 스크립트를 편집하여 상기 동작 교본 스토어 서버에 배포할 수 있다.

도 7은 도 6에 도시된 동작 평가부에서 이루어지는 동작 평가 과정의 일 예를 세부적으로 나타낸 도면이다.

앞서 언급한 바와 같이 전문가의 동작을 캡쳐할 수 있는 저작용 동작 획득 장치는 카메라와 스마트 폰과 같은 다양한 디바이스와 각종 센서들이 있다. 동작 전문가는 적절한 저작용 동작 획득 장치를 선택해서 자신의 퍼포먼스를 캡처할 수 있고, 이 때 획득된 각종 전문가 센서 데이터는 모션 스크립트 내에 저장된다. 동작 학습자도 동작 전문가와 마찬가지로 다양한 종류의 학습용 동작 획득 장치를 선택하여 동작을 학습할 수 있다. 예를 들어, 학습하고자 하는 모션 스크립트가 3D 카메라와 스마트 폰으로 캡쳐된 전문가 동작을 포함하고 있다면, 학습자는 3D 카메라와 스마트 폰 중 하나를 동작 획득 장치로 선택하여 자신의 동작을 캡쳐할 수 있고, 동시에 두 개의 장치를 모두 사용할 수도 있다. 즉 모션 스크립트를 저작 할 때 사용된 저작용 동작 획득 장치와 동일한 장치 일부 또는 모두를 사용하여 학습자의 동작을 획득하여 자가 학습을 수행할 수 있다.

동작 평가 과정에서는 모션 스크립트 내에 있는 전문가의 동작 기술자 및 동작 속성과 현재 학습자의 일련의 동작 시퀀스에서 획득한 동작 기술자 및 동작 속성을 비교/분석하여 그 평가 결과를 제공할 수 있다. 동작 비교 시에는 동일한 장치로부터 획득된 센서 데이터에서 추출된 동작 기술자와 속성끼리 비교하여 결과를 산출할 수 있다. 상이한 장치로부터 획득된 센서 데이터간의 비교도 가능하지만, 동작 기술자 및 동작 속성이 다르므로 평가 결과의 신뢰도가 낮아질 수 있다.

동작 기술자 및 속성 비교/분석 결과는 크게 자세 정확성과 동적 표현력으로 구분될 수 있다.

동작은 연속된 자세(포즈)들의 집합으로 구성되며 자세 정확성은 특정 시점(또는 구간)에서의 학습자의 정적 자세가 전문가의 자세와 얼마나 유사한지에 대한 대한 분석 결과에 상응할 수 있다. 반면에 동적 표현력은 자세와는 다르게 학습자의 동작의 크기, 속도, 파워, 유연도 등 연속된 동작의 질이 전문가 동작과 얼마나 유사한지에 대한 분석 결과에 상응할 수 있다. 이는 동작의 품질에 관련된 분석 결과로서 동작의 표현 방법이 적절한지에 대한 평가 정보를 제공한다.

본 발명에서는 각 센서 데이터 별로 두 자세/동작간의 유사도를 분석할 수 있는 다양한 기존 기술들을 적용할 수 있다.

예를 들어, 본 발명의 유사도 분석 방법은 3D 카메라에서 추출한 바디파트 위치 데이터를 이용하여 두 자세/동작간의 유사도를 분석하는 방법, 각 관절의 상대적인 위치 및 각도를 측정하여 전체 자세의 유사도를 산출하는 방법 및 깊이 영상 및 2D 영상의 경우에는 전체 바디의 실루엣 템플릿 매칭 및 형태 비교를 통해 유사도를 측정 하는 방법 등을 이용할 수 있다.

즉, 본 발명의 유사도 분석 방법은 기존에 존재하는 모든 유사도 분석 방법을 본 발명에 적용이 가능하다.

입력 센서 데이터의 종류별로 동작 기술자 와 동작 속성을 비교/분석한 결과인 자세 정확성 정보와 동적 표현력 정보는 최종 동작 평가 결과로 산출할 수 있다.

이 때, 최종 동작 평가 결과는 수학식 1과 같이 산출될 수 있다.

[수학식 1]

수학식 1에서 n 은 매칭된 센서 데이터의 개수이며 i 는 매칭된 센서 데이터의 인덱스(종류)에 상응할 수 있다. Pi 는 i 번째 센서 데이터에서 추출된 동작기술자간의 비교로 획득된 자세 정확성 분석 결과치를 나타낸다. Wi 는 정확성 분석 결과치에 대한 가중치이다. 동작 획득 장치에서 캡쳐된 센서 데이터가 제공하는 정보가 정밀하고 많을수록 자세 정확성 분석에 있어 더 믿을만한 결과를 산출할 가능성이 크므로 자세 정확성 분석 결과에 대한 가중치를 높게 부여할 수 있다. Ej 는 j 번째 센서 데이터에서 추출된 동작 속성간의 비교로 획득된 동적 표현력 분석 결과치를 나타낸다. Wj 는 동적 표현력 결과치에 대한 가중치이다. 즉, Wj는 동작 획득 장치의 특성에 따라 제공하는 동적 정보에 있어 품질의 차이를 반영하기 위한 가중치이다.

최종적으로 학습자의 동작이 모션 스크립트 내에 기술된 전문가의 동작과 얼마나 유사한지에 대한 최종 동작 평가 결과는 자세 정확성과 동적 표현력의 합으로 표현될 수 있다. 최종 결과 값에서 자세 정확성과 동적 표현력의 비중은 α로 조정할 수 있다. 학습 대상 동작이 표현력 보다는 자세의 정확성이 중요한 동작이라면 α값을 높게 설정하여 최종 결과 값에서의 자세 정확성 분석 결과치의 비중을 높일 수 있다. 반면에 표현력을 중요시하는 춤과 같은 예술 동작에 대해서는 α값을 낮게 설정하여 동적 표현력의 비중을 높일 수 있다. 또 다른 예로 초심자(beginner)일 경우 표현력보다는 정확성이 중요한 경우가 대부분이므로 이러한 경우에는 α값을 높게 설정하고, 전문가 수준의 경지에 거의 도달하여 자세에는 문제가 없는 상급자의 경우에는 표현력의 비중을 더 높게 설정할 수 있다.

도 8 및 도 9는 본 발명의 일실시예에 따른 최종 동작 평가 결과의 출력 화면을 나타낸 도면이다.

도 8을 참조하면, 본 발명의 일실시예에 따른 최종 동작 평가 결과의 출력 화면은 자세, 타이밍, 파워 표현력, 동선 등의 속성 별로 점수가 평가된 것을 알 수 있다. 이 때, 각 속성별 점수에 대한 총점과 함께 동작 학습을 수행하면서 소요한 칼로리 및 시간을 출력할 수도 있다.

속성별 점수는 막대 그래프 및 방사형 그래프뿐만 아니라 다양한 그래프 형태로도 출력할 수 있다.

또한, 신체부위별 자세학습 동작 정확도를 출력하여, 동작 학습자에게 교정 정보를 제공할 수도 있다.

도 9를 참조하면, 동작 학습이 진행된 시간 동안 동작 속성 별로 점수 추이 그래프를 꺾은선 그래프로 출력할 수도 있다. 또한, 촬영한 데이터 영상을 출력하여 전문가의 모범 동작과 학습자가 취했던 동작을 출력할 수 도 있다.

도 10은 본 발명의 일실시예에 따른 동작 자가 학습 방법을 나타낸 동작흐름도이다.

도 10을 참조하면, 본 발명의 일실시예에 따른 동작 자가 학습 방법은 먼저 동작 교본을 저작한다(S310).

즉, 단계(S310)는 동작 교본 저작 장치(100)가 동작 전문가의 동작에 기반하여 모션 스크립트를 생성할 수 있다.

이 때, 단계(S310)는 먼저 모션 스크립트의 속성 정보를 생성할 수 있다(S311).

즉, 단계(S311)는 동작 전문가가 생성하고자 하는 모션 스크립트에 대한 전반적인 속성을 설정하여 속성 정보를 생성할 수 있다.

이 때, 단계(S311)는 모션 스크립트에 대한 파일 속성 및 상기 모션 스크립트가 검색되기 위한 태그 정보 중 적어도 하나를 포함하는 모션 스크립트 헤더 정보를 생성할 수 있다.

이 때, 단계(S311)는 저작자, 저작시간, 센서종류, 동작설명 및 동작 카테고리 등의 모션 스크립트 파일의 속성을 기술할 수 있다.

또한, 단계(S311)는 동작 전문가의 동작에 대하여 속성 정보를 부여할 수 있다.

이 때, 단계(S311)는 동작 자체의 속성에 대한 정보를 부여할 수 있다.

이 때, 단계(S311)는 키 포즈, 키 모션, 키 바디파트 중요도 등 학습자가 특정 동작을 학습할 때 주안점을 두고 학습하여야 할 사항에 대한 정보를 전문가가 동작을 캡처하기 전에 명시적으로 부여할 수 있다.

속성 정보는 동작 전문가의 동작 중 중요한 자세들인 키 포즈에 상응하는 키 포즈 설정 정보; 동작 전문가의 동작 중 중요한 동작 구간들인 키 모션에 상응하는 키 모션 설정 정보; 중요한 동작 구간들에서 중요한 동작들의 빠르기 및 강도를 설정하는 키 모션의 속도 및 강도에 상응하는 동작 설정 정보 및 상기 중요한 자세들 및 상기 중요한 동작들 마다 상기 동작 전문가의 신체 부위 별로 중요도를 설정하는 사용자의 키 바디 파트에 상응하는 신체 중요도 설정 정보 중 적어도 하나를 포함할 수 있다.

또한, 단계(S311)는 학습자의 동작 학습에 도움을 줄 수 있는 부가 정보의 제공 여부를 설정할 수 있다.

이 때, 단계(S311)는 배경 음악 등의 오디오 시퀀스 및 전문가의 설명 음성 등, 학습에 도움을 줄 수 있는 부가 정보를 제공 할 것인지에 대한 여부를 설정할 수 있다.

또한, 단계(S310)는 전문가 센서 데이터를 수집할 수 있다(S312).

즉, 단계(S312)는 저작용 동작 획득 장치를 이용하여 동작 전문가의 동작으로부터 전문가 센서 데이터를 획득할 수 있다.

저작용 동작 획득 장치는 상기 전문가 센서 데이터를 획득할 수 있는 카메라, 스마트폰, 동작 센서, 위치 센서, 가속도 센서, 관성 센서, 멀티 센서 및 키넥트 기기 중 적어도 하나를 포함할 수 있다.

또한, 단계(S310)는 모션 스크립트를 생성할 수 있다(S313).

즉, 단계(S313)는 설정된 속성 정보와 상기 획득한 센서 데이터에 기반하여 모션 스크립트를 생성할 수 있다.

이 때, 단계(S313)는 저작용 동작 획득 장치(저가형 3D 카메라, 스마트폰, 각종 센서류 등)에 의해 획득된 전문가의 퍼포먼스에 대한 센서 데이터 시퀀스와 저작부(110)에서 설정되고 부여된 모션 스크립트의 헤더 및 속성 정보들로부터 모션 스크립트를 생성할 수 있다.

이 때, 단계(S313)는 동작 획득 장치의 종류 및 특성을 파악하고, 상기 파악된 동작 획득 장치의 종류 및 특성에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 기술자 정보를 생성할 수 있다.

이 때, 단계(S313)는 전문가의 퍼포먼스 동작을 캡쳐한 전문가 센서 데이터를 입력 받아 모범 동작을 기술할 수 있다.

이 때, 단계(S313)는 현재 시스템에 연결된 저작용 동작 획득 장치의 종류 및 특성을 파악하고, 장치로부터 추출 가능한 전문가 센서 데이터를 획득할 수 있다.

예를 들어, 키넥트와 같은 3D 카메라가 연결된 경우라면 깊이 영상 시퀀스, 2D 영상 시퀀스, 오디오 시퀀스의 입력이 가능하며, 이에 상응하는 전문가 센서 데이터는 동작 기술자의 구성 요소로 저장될 수 있다.

이 때, 단계(S313)는 깊이 영상 시퀀스로부터 바디 파트의 위치를 추출함으로써 추가적인 동작 기술자의 구성 요소를 생성할 수 있다.

또한, 단계(S313)는 속성 정보에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 속성 정보를 생성할 수 있다.

이 때, 단계(S313)는 저작부(110)에서 전문가가 부여한 동작 속성을 저장함과 동시에 전문가의 동작으로부터 자동으로 속성을 추출할 수 있다.

예를 들어, 이 때, 단계(S313)는 전신, 상반신, 하반신, 양팔, 양다리에 대한 위치변이, 속도, 가속도, 각속도 등을 추출할 수 있다.

이 때, 단계(S313)는 추출된 수치화 정보를 기반으로 해당 동작의 전체 또는 단위 동작에 대한 크기, 빠르기, 복잡도, 파워, 유연도 등의 동작 속성 정보를 생산할 수 있다.

동작 속성 정보는 포즈와 같은 정적 자세와는 다르게 연속된 동작에 대한 동적 품질과 관련된 특징으로서 자가 학습 시에 동작의 섬세한 표현 방법에 대한 교정 정보 제공의 기준이 될 수 있다.

이 때, 단계(S313)는 상기 모션 스크립트 헤더 정보, 상기 동작 속성 정보, 상기 동작 기술자 정보 및 상기 부가 정보 중 적어도 하나를 포함하는 모션 스크립트를 생성할 수 있다.

또한, 본 발명의 일실시예에 따른 동작 자가 학습 방법은 동작 교본을 출판할 수 있다(S320).

즉, 단계(S320)는 동작 교본 저작 장치(100)가 상기 모션 스크립트를 동작 교본 스토어 서버(10)에 배포할 수 있다.

이 때, 단계(S320)는 UI를 통해 교본 영상편집, 동작 및 속성 세부 교정, 부가 정보 편집, 스토어사이트출판 기능을 수행할 수 있다

이 때, 단계(S320)는 생성된 모션 스크립트에 대하여 교본 영상 편집, 동작 세부 교정, 속성 세부 교정 및 부가 정보 편집 중 적어도 하나를 수행하여 편집된 최종 모션 스크립트를 상기 동작 교본 스토어 서버에 배포할 수 있다.

또한, 본 발명의 일실시예에 따른 동작 자가 학습 방법은 동작 교본을 자가 학습할 수 있다(S330).

단계(S330)는 먼저 모션 스크립트를 설정할 수 있다(S331).

즉, 단계(S331)는 동작 학습자가 학습하고자 하는 동작에 따라 동작 교본 스토어 서버(10)로부터 다운로드 한 모션 스크립트를 설정할 수 있다.

이 때, 단계(S331)는 학습자가 취득한 모션 스크립트를 직접 입력 받거나 동작 교본 스토어 서버(10)로부터 모션 스크립트를 다운로드 받을 수 있다.

이 때, 단계(S331)는 상기 모션 스크립트에 포함된 동작 속성 정보에서 상기 동작 학습자가 학습하고자 하는 동작에 대한 필요한 속성들을 선택하여 학습 속성 정보를 설정할 수 있다.

이 때, 단계(S331)는 동작 학습자가 상기 학습하고자 하는 동작에 대한 학습 환경 정보를 설정할 수 있다.

이 때, 단계(S331)는 동작 학습자의 동작을 학습자 모션 스크립트로 생성하기 위하여 학습자 모션 스크립트의 헤더 및 속성을 설정할 수 있다.

또한, 단계(S330)는 학습자 센서 데이터를 획득할 수 있다(S332).

즉, 단계(S332)는 학습용 동작 획득 장치를 이용하여 상기 동작 학습자의 동작으로부터 학습자 센서 데이터를 획득할 수 있다.

학습용 동작 획득 장치는 상기 동작 학습자의 동작으로부터 상기 학습자 센서 데이터를 획득하기 위한 카메라, 스마트폰, 동작 센서, 위치 센서, 가속도 센서, 관성 센서, 멀티 센서 및 키넥트 기기 중 적어도 하나를 포함할 수 있다.

또한, 단계(S330)는 동작 학습자의 동작을 평가할 수 있다(S333).

단계(S333)는 먼저 동작 기술자 및 동작 속성을 비교할 수 있다(S333a).

즉, 단계(S333a)는 학습용 동작 획득 장치(저가형 3D 카메라, 스마트폰, 각종 센서류)에 의해 획득된 동작 학습자의 퍼포먼스와 전문가 모션 스크립트에서 기술된 동작을 비교 및 분석하여 사용자에게 적절한 평가 정보를 제공할 수 있다.

이 때, 단계(S333a)는 모션 스크립트 내에 있는 전문가의 동작 기술자 및 동작 속성과 현재 학습자의 일련의 동작 시퀀스에서 획득한 동작 기술자 및 동작 속성을 비교/분석하여 그 평가 결과를 제공할 수 있다. 동작 비교 시에는 동일한 장치로부터 획득된 센서 데이터에서 추출된 동작 기술자와 속성끼리 비교하여 결과를 산출할 수 있다. 상이한 장치로부터 획득된 센서 데이터간의 비교도 가능하지만, 동작 기술자 및 동작 속성이 다르므로 평가 결과의 신뢰도가 낮아질 수 있다.

이 때, 단계(S333a)는 모션 스크립트 생성에 사용된 저작용 동작 획득 장치와 동일한 종류의 학습용 동작 획득 장치를 이용하여 획득한 학습자 센서 데이터로부터 생성된 동작 기술자 정보 및 동작 속성 정보를 비교할 수 있다.

또한, 단계(S333)는 자세 정확성 및 동적 표현력을 산출할 수 있다(S333b).

즉, 단계(S333b)는 모션 스크립트와 상기 학습용 센서 데이터에 기반하여 획득한 상기 동작 학습자의 자세 정확성 정보 및 동적 표현력 정보를 생성할 수 있다.

이 때, 단계(S333b)는 모션 스크립트내의 전문가의 동작과 현재 동작을 취하고 있는 학습자의 동작을 서로 비교/분석 할 수 있다.

이 때, 단계(S333b)는 동작기술자 간의 비교를 통해 자세의 정확성 값을 산출하고, 동작 속성 간의 비교를 통하여 동적 표현력 분석 결과를 산출할 수 있다.

이 때, 단계(S333b)는 먼저 모션 스크립트 생성에 사용된 저작용 동작 획득 장치와 동일한 종류의 학습용 동작 획득 장치를 이용하여 획득한 학습자 센서 데이터로부터 생성된 동작 기술자 정보 및 동작 속성 정보를 비교/분석할 수 있다.

이 때, 단계(S333b)는 상기 모션 스크립트와 상기 획득한 학습자 센서 데이터의 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 동작 학습자의 자세들의 유사도를 분석한 자세 정확성 값들을 포함하는 자세 정확성 정보를 생성할 수 있다.

이 때, 단계(S333b)는 상기 자세 정확성 정보 및 상기 동적 표현력 정보에 기반하여 최종 동작 평가 정보를 생성할 수 있다.

이 때, 단계(S333b)는 학습용 동작 획득 장치의 개수, 종류 및 특성 중 적어도 하나에 기반하여 상기 자세 정확성 값들 각각과 상기 동적 표현력 값들 각각에 대한 가중치를 결정할 수 있다.

이 때, 단계(S333b)는 동작 학습자의 동작들 각각에 대하여 상기 가중치가 결정된 자세 정확성 값들과 상기 동적 표현력 값들 사이의 합산 비중을 결정할 수 있다.

또한, 단계(S333)는 최종 동작 평가 정보를 생성할 수 있다(333c).

즉, 단계(S333c)는 상기 동작 학습자의 동작들마다 각각 결정된 합산 비중에 기반하여 상기 자세 정확성 값들과 상기 동적 표현력 값들을 합산하여 산출된 최종 동작 평가 값들을 포함하는 최종 동작 평가 정보를 생성할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

예를 들어, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값이 낮게 설정되어 초급자에 상응하는 경우, 상기 자세 정확성 값들에 대한 합산 비중을 높게 설정하고, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정값이 높게 설정되어 숙련자에 상응하는 경우, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정하고, 상기 자세 정확성 값들에 대한 합산 비중을 낮게 설정할 수 있다.

또한, 본 발명의 일실시예에 따른 동작 자가 학습 방법은 최종 동작 평가 결과를 출력할 수 있다(S340).

즉, 단계(S340)는 상기 최종 동작 평가 정보와 상기 동작 학습자의 동작을 교정하기 위한 동작 교정 정보를 출력할 수 있다.

이 때, 단계(S340)는 상기 최종 평가 결과 정보를 제공 받아 실시간으로 동작을 교정하고, 학습자의 종합적인 평가 결과와 각 세부항목에 대한 상세 평가를 제공할 수 있다.

이 때, 단계(S340)는 학습 이력 관리를 통해 학습자가 학습 결과를 바탕으로 본인의 동작으로 지속적으로 교정할 수 있도록 지원할 수 있다.

이 때, 단계(S340)는 상기 최종 동작 평가 정보에 기반하여 평가 요소 별 점수 및 상기 동작 학습자의 신체 부위 별 동작 정확도를 평가한 학습 평가 정보를 더 출력할 수 있다.

이 때, 단계(S340)는 상기 사용자가 학습한 전문가 동작의 상기 평가 요소 별 점수 추이를 포함하는 상세 평가 정보를 더 출력할 수 있다.

이 때, 단계(S340)는 학습자의 모션 스크립트를 출판할 수 있는 UI를 이용하여 상기 최종 평가 결과 정보와 상기 교정 정보에 기반하여 상기 학습자 모션 스크립트를 편집하여 상기 동작 교본 스토어 서버에 배포할 수 있다.

도 11은 도 10에 도시된 동작 교본 저작 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.

도 11을 참조하면, 단계(S311)는 동작 전문가가 생성하고자 하는 모션 스크립트에 대한 전반적인 속성을 설정하여 속성 정보를 생성할 수 있다.

이 때, 단계(S311)는 모션 스크립트에 대한 파일 속성 및 상기 모션 스크립트가 검색되기 위한 태그 정보 중 적어도 하나를 포함하는 모션 스크립트 헤더 정보를 생성할 수 있다.

이 때, 단계(S311)는 저작자, 저작시간, 센서종류, 동작설명 및 동작 카테고리 등의 모션 스크립트 파일의 속성을 기술할 수 있다.

또한, 단계(S311)는 동작 전문가의 동작에 대하여 속성 정보를 부여할 수 있다.

이 때, 단계(S311)는 동작 자체의 속성에 대한 정보를 부여할 수 있다.

이 때, 단계(S311)는 키 포즈, 키 모션, 키 바디파트 중요도 등 학습자가 특정 동작을 학습할 때 주안점을 두고 학습하여야 할 사항에 대한 정보를 전문가가 동작을 캡처하기 전에 명시적으로 부여할 수 있다.

속성 정보는 동작 전문가의 동작 중 중요한 자세들인 키 포즈에 상응하는 키 포즈 설정 정보; 동작 전문가의 동작 중 중요한 동작 구간들인 키 모션에 상응하는 키 모션 설정 정보; 중요한 동작 구간들에서 중요한 동작들의 빠르기 및 강도를 설정하는 키 모션의 속도 및 강도에 상응하는 동작 설정 정보 및 상기 중요한 자세들 및 상기 중요한 동작들 마다 상기 동작 전문가의 신체 부위 별로 중요도를 설정하는 사용자의 키 바디 파트에 상응하는 신체 중요도 설정 정보 중 적어도 하나를 포함할 수 있다.

또한, 단계(S311)는 학습자의 동작 학습에 도움을 줄 수 있는 부가 정보의 제공 여부를 설정할 수 있다.

이 때, 단계(S311)는 배경 음악 등의 오디오 시퀀스 및 전문가의 설명 음성 등, 학습에 도움을 줄 수 있는 부가 정보를 제공 할 것인지에 대한 여부를 설정할 수 있다.

또한, 단계(S310)는 전문가 센서 데이터를 수집할 수 있다(S312).

즉, 단계(S312)는 저작용 동작 획득 장치를 이용하여 동작 전문가의 동작으로부터 전문가 센서 데이터를 획득할 수 있다.

저작용 동작 획득 장치는 상기 전문가 센서 데이터를 획득할 수 있는 카메라, 스마트폰, 동작 센서, 위치 센서, 가속도 센서, 관성 센서, 멀티 센서 및 키넥트 기기 중 적어도 하나를 포함할 수 있다.

또한, 단계(S310)는 모션 스크립트를 생성할 수 있다(S313).

즉, 단계(S313)는 설정된 속성 정보와 상기 획득한 센서 데이터에 기반하여 모션 스크립트를 생성할 수 있다.

이 때, 단계(S313)는 저작용 동작 획득 장치(저가형 3D 카메라, 스마트폰, 각종 센서류 등)에 의해 획득된 전문가의 퍼포먼스에 대한 센서 데이터 시퀀스와 저작부(110)에서 설정되고 부여된 모션 스크립트의 헤더 및 속성 정보들로부터 모션 스크립트를 생성할 수 있다.

이 때, 단계(S313)는 동작 획득 장치의 종류 및 특성을 파악하고, 상기 파악된 동작 획득 장치의 종류 및 특성에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 기술자 정보를 생성할 수 있다.

이 때, 단계(S313)는 전문가의 퍼포먼스 동작을 캡쳐한 전문가 센서 데이터를 입력 받아 모범 동작을 기술할 수 있다.

이 때, 단계(S313)는 현재 시스템에 연결된 저작용 동작 획득 장치의 종류 및 특성을 파악하고, 장치로부터 추출 가능한 전문가 센서 데이터를 획득할 수 있다.

예를 들어, 키넥트와 같은 3D 카메라가 연결된 경우라면 깊이 영상 시퀀스, 2D 영상 시퀀스, 오디오 시퀀스의 입력이 가능하며, 이에 상응하는 전문가 센서 데이터는 동작 기술자의 구성 요소로 저장될 수 있다.

이 때, 단계(S313)는 깊이 영상 시퀀스로부터 바디 파트의 위치를 추출함으로써 추가적인 동작 기술자의 구성 요소를 생성할 수 있다.

또한, 단계(S313)는 속성 정보에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 속성 정보를 생성할 수 있다.

이 때, 단계(S313)는 저작부(110)에서 전문가가 부여한 동작 속성을 저장함과 동시에 전문가의 동작으로부터 자동으로 속성을 추출할 수 있다.

예를 들어, 이 때, 단계(S313)는 전신, 상반신, 하반신, 양팔, 양다리에 대한 위치변이, 속도, 가속도, 각속도 등을 추출할 수 있다.

이 때, 단계(S313)는 추출된 수치화 정보를 기반으로 해당 동작의 전체 또는 단위 동작에 대한 크기, 빠르기, 복잡도, 파워, 유연도 등의 동작 속성 정보를 생산할 수 있다.

동작 속성 정보는 포즈와 같은 정적 자세와는 다르게 연속된 동작에 대한 동적 품질과 관련된 특징으로서 자가 학습 시에 동작의 섬세한 표현 방법에 대한 교정 정보 제공의 기준이 될 수 있다.

이 때, 단계(S313)는 상기 모션 스크립트 헤더 정보, 상기 동작 속성 정보, 상기 동작 기술자 정보 및 상기 부가 정보 중 적어도 하나를 포함하는 모션 스크립트를 생성할 수 있다.

도 12는 도 10에 도시된 동작 자가 학습 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.

도 12를 참조하면, 단계(S331)는 동작 학습자가 학습하고자 하는 동작에 따라 동작 교본 스토어 서버(10)로부터 다운로드 한 모션 스크립트를 설정할 수 있다.

이 때, 단계(S331)는 학습자가 취득한 모션 스크립트를 직접 입력 받거나 동작 교본 스토어 서버(10)로부터 모션 스크립트를 다운로드 받을 수 있다.

이 때, 단계(S331)는 상기 모션 스크립트에 포함된 동작 속성 정보에서 상기 동작 학습자가 학습하고자 하는 동작에 대한 필요한 속성들을 선택하여 학습 속성 정보를 설정할 수 있다.

이 때, 단계(S331)는 동작 학습자가 상기 학습하고자 하는 동작에 대한 학습 환경 정보를 설정할 수 있다.

이 때, 단계(S331)는 동작 학습자의 동작을 학습자 모션 스크립트로 생성하기 위하여 학습자 모션 스크립트의 헤더 및 속성을 설정할 수 있다.

또한, 단계(S330)는 학습자 센서 데이터를 획득할 수 있다(S332).

즉, 단계(S332)는 학습용 동작 획득 장치를 이용하여 상기 동작 학습자의 동작으로부터 학습자 센서 데이터를 획득할 수 있다.

학습용 동작 획득 장치는 상기 동작 학습자의 동작으로부터 상기 학습자 센서 데이터를 획득하기 위한 카메라, 스마트폰, 동작 센서, 위치 센서, 가속도 센서, 관성 센서, 멀티 센서 및 키넥트 기기 중 적어도 하나를 포함할 수 있다.

또한, 단계(S330)는 동작 학습자의 동작을 평가할 수 있다(S333).

단계(S333)는 먼저 동작 기술자 및 동작 속성을 비교할 수 있다(S333a).

즉, 단계(S333a)는 학습용 동작 획득 장치(저가형 3D 카메라, 스마트폰, 각종 센서류)에 의해 획득된 동작 학습자의 퍼포먼스와 전문가 모션 스크립트에서 기술된 동작을 비교 및 분석하여 사용자에게 적절한 평가 정보를 제공할 수 있다.

이 때, 단계(S333a)는 모션 스크립트 내에 있는 전문가의 동작 기술자 및 동작 속성과 현재 학습자의 일련의 동작 시퀀스에서 획득한 동작 기술자 및 동작 속성을 비교/분석하여 그 평가 결과를 제공할 수 있다. 동작 비교 시에는 동일한 장치로부터 획득된 센서 데이터에서 추출된 동작 기술자와 속성끼리 비교하여 결과를 산출할 수 있다. 상이한 장치로부터 획득된 센서 데이터간의 비교도 가능하지만, 동작 기술자 및 동작 속성이 다르므로 평가 결과의 신뢰도가 낮아질 수 있다.

이 때, 단계(S333a)는 모션 스크립트 생성에 사용된 저작용 동작 획득 장치와 동일한 종류의 학습용 동작 획득 장치를 이용하여 획득한 학습자 센서 데이터로부터 생성된 동작 기술자 정보 및 동작 속성 정보를 비교할 수 있다.

또한, 단계(S333)는 자세 정확성 및 동적 표현력을 산출할 수 있다(S333b).

즉, 단계(S333b)는 모션 스크립트와 상기 학습용 센서 데이터에 기반하여 획득한 상기 동작 학습자의 자세 정확성 정보 및 동적 표현력 정보를 생성할 수 있다.

이 때, 단계(S333b)는 모션 스크립트내의 전문가의 동작과 현재 동작을 취하고 있는 학습자의 동작을 서로 비교/분석 할 수 있다.

이 때, 단계(S333b)는 동작기술자 간의 비교를 통해 자세의 정확성 값을 산출하고, 동작 속성 간의 비교를 통하여 동적 표현력 분석 결과를 산출할 수 있다.

이 때, 단계(S333b)는 먼저 모션 스크립트 생성에 사용된 저작용 동작 획득 장치와 동일한 종류의 학습용 동작 획득 장치를 이용하여 획득한 학습자 센서 데이터로부터 생성된 동작 기술자 정보 및 동작 속성 정보를 비교/분석할 수 있다.

이 때, 단계(S333b)는 상기 모션 스크립트와 상기 획득한 학습자 센서 데이터의 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 동작 학습자의 자세들의 유사도를 분석한 자세 정확성 값들을 포함하는 자세 정확성 정보를 생성할 수 있다.

이 때, 단계(S333b)는 상기 자세 정확성 정보 및 상기 동적 표현력 정보에 기반하여 최종 동작 평가 정보를 생성할 수 있다.

이 때, 단계(S333b)는 학습용 동작 획득 장치의 개수, 종류 및 특성 중 적어도 하나에 기반하여 상기 자세 정확성 값들 각각과 상기 동적 표현력 값들 각각에 대한 가중치를 결정할 수 있다.

이 때, 단계(S333b)는 동작 학습자의 동작들 각각에 대하여 상기 가중치가 결정된 자세 정확성 값들과 상기 동적 표현력 값들 사이의 합산 비중을 결정할 수 있다.

또한, 단계(S333)는 최종 동작 평가 정보를 생성할 수 있다(333c).

즉, 단계(S333c)는 상기 동작 학습자의 동작들마다 각각 결정된 합산 비중에 기반하여 상기 자세 정확성 값들과 상기 동적 표현력 값들을 합산하여 산출된 최종 동작 평가 값들을 포함하는 최종 동작 평가 정보를 생성할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

예를 들어, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값이 낮게 설정되어 초급자에 상응하는 경우, 상기 자세 정확성 값들에 대한 합산 비중을 높게 설정하고, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정값이 높게 설정되어 숙련자에 상응하는 경우, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정하고, 상기 자세 정확성 값들에 대한 합산 비중을 낮게 설정할 수 있다.

도 13은 도 12에 도시된 동작 평가 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.

도 13을 참조하면, 단계(S333a)는 학습용 동작 획득 장치(저가형 3D 카메라, 스마트폰, 각종 센서류)에 의해 획득된 동작 학습자의 퍼포먼스와 전문가 모션 스크립트에서 기술된 동작을 비교 및 분석하여 사용자에게 적절한 평가 정보를 제공할 수 있다.

이 때, 단계(S333a)는 모션 스크립트 내에 있는 전문가의 동작 기술자 및 동작 속성과 현재 학습자의 일련의 동작 시퀀스에서 획득한 동작 기술자 및 동작 속성을 비교/분석하여 그 평가 결과를 제공할 수 있다. 동작 비교 시에는 동일한 장치로부터 획득된 센서 데이터에서 추출된 동작 기술자와 속성끼리 비교하여 결과를 산출할 수 있다. 상이한 장치로부터 획득된 센서 데이터간의 비교도 가능하지만, 동작 기술자 및 동작 속성이 다르므로 평가 결과의 신뢰도가 낮아질 수 있다.

이 때, 단계(S333a)는 모션 스크립트 생성에 사용된 저작용 동작 획득 장치와 동일한 종류의 학습용 동작 획득 장치를 이용하여 획득한 학습자 센서 데이터로부터 생성된 동작 기술자 정보 및 동작 속성 정보를 비교할 수 있다.

또한, 단계(S333)는 자세 정확성 및 동적 표현력을 산출할 수 있다(S333b).

즉, 단계(S333b)는 모션 스크립트와 상기 학습용 센서 데이터에 기반하여 획득한 상기 동작 학습자의 자세 정확성 정보 및 동적 표현력 정보를 생성할 수 있다.

이 때, 단계(S333b)는 모션 스크립트내의 전문가의 동작과 현재 동작을 취하고 있는 학습자의 동작을 서로 비교/분석 할 수 있다.

이 때, 단계(S333b)는 동작기술자 간의 비교를 통해 자세의 정확성 값을 산출하고, 동작 속성 간의 비교를 통하여 동적 표현력 분석 결과를 산출할 수 있다.

이 때, 단계(S333b)는 먼저 모션 스크립트 생성에 사용된 저작용 동작 획득 장치와 동일한 종류의 학습용 동작 획득 장치를 이용하여 획득한 학습자 센서 데이터로부터 생성된 동작 기술자 정보 및 동작 속성 정보를 비교/분석할 수 있다.

이 때, 단계(S333b)는 상기 모션 스크립트와 상기 획득한 학습자 센서 데이터의 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 동작 학습자의 자세들의 유사도를 분석한 자세 정확성 값들을 포함하는 자세 정확성 정보를 생성할 수 있다.

이 때, 단계(S333b)는 상기 자세 정확성 정보 및 상기 동적 표현력 정보에 기반하여 최종 동작 평가 정보를 생성할 수 있다.

이 때, 단계(S333b)는 학습용 동작 획득 장치의 개수, 종류 및 특성 중 적어도 하나에 기반하여 상기 자세 정확성 값들 각각과 상기 동적 표현력 값들 각각에 대한 가중치를 결정할 수 있다.

이 때, 단계(S333b)는 동작 학습자의 동작들 각각에 대하여 상기 가중치가 결정된 자세 정확성 값들과 상기 동적 표현력 값들 사이의 합산 비중을 결정할 수 있다.

또한, 단계(S333)는 최종 동작 평가 정보를 생성할 수 있다(333c).

즉, 단계(S333c)는 상기 동작 학습자의 동작들마다 각각 결정된 합산 비중에 기반하여 상기 자세 정확성 값들과 상기 동적 표현력 값들을 합산하여 산출된 최종 동작 평가 값들을 포함하는 최종 동작 평가 정보를 생성할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정할 수 있다.

예를 들어, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정 값이 낮게 설정되어 초급자에 상응하는 경우, 상기 자세 정확성 값들에 대한 합산 비중을 높게 설정하고, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정할 수 있다.

이 때, 단계(S333c)는 상기 동작 학습자의 학습 능력 설정값이 높게 설정되어 숙련자에 상응하는 경우, 상기 동적 표현력 값들에 대한 합산 비중을 높게 설정하고, 상기 자세 정확성 값들에 대한 합산 비중을 낮게 설정할 수 있다.

도 14는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

도 14를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 14에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.

이상에서와 같이 본 발명에 따른 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

10: 동작 교본 스토어 서버 100: 동작 교본 저작 장치
110: 저작부 111: 헤더 정보 설정부
112: 동작 속성 맵핑부 113: 부가 정보 설정부
120: 센서부 130: 모션 스크립트 생성부
131: 동작기술자 생성부 132: 동작속성 생성부
140: 편집 출판부 200: 동작 자가 학습 장치
210: 학습부 211: 전문가 모션 스크립트 설정부
212: 학습 환경 설정부 213: 학습자 모션 스크립트 설정부
220: 센서부 230: 동작 평가부
231: 동작 분석부 232: 동작 평가 산출부
240: 출력부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 입력 장치 1150: 사용자 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (20)

1. 사용자의 동작에 상응하는 속성 정보를 생성하는 저작부;
   상기 사용자의 동작으로부터 센서 데이터를 획득하는 센서부;
   상기 속성 정보와 상기 센서 데이터에 기반하여 모션 스크립트를 생성하는 모션 스크립트 생성부; 및
   상기 모션 스크립트를 배포하는 편집 출판부;
   를 포함하는 것을 특징으로 하는 동작 교본 저작 장치.
2. 청구항 1에 있어서,
   상기 저작부는
   상기 모션 스크립트에 대한 파일 속성 및 상기 모션 스크립트가 검색되기 위한 태그 정보 중 적어도 하나를 포함하는 모션 스크립트 헤더 정보를 생성하는 헤더 정보 설정부;
   상기 사용자의 동작과 상기 속성 정보를 맵핑하는 동작 속성 맵핑부; 및
   동작 학습에 이용되는 부가 정보의 제공 여부를 설정하는 부가 정보 설정부;
   를 포함하는 것을 특징으로 하는 동작 교본 저작 장치.
3. 청구항 2에 있어서,
   상기 속성 정보는
   상기 사용자의 키 포즈에 상응하는 키 포즈 설정 정보;
   상기 사용자의 키 모션에 상응하는 키 모션 설정 정보;
   상기 키 모션의 속도 및 강도에 상응하는 동작 설정 정보; 및
   상기 키 포즈 및 상기 키 모션에 기반한 상기 사용자의 키 바디 파트에 상응하는 키 바디 파트 설정 정보;
   중 적어도 하나를 포함하는 것을 특징으로 하는 동작 교본 저작 장치.
4. 청구항 3에 있어서,
   상기 모션 스크립트 생성부는
   상기 동작 획득 장치의 종류 및 특성을 파악하고, 상기 파악된 동작 획득 장치의 종류 및 특성에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 기술자 정보를 생성하는 동작 기술자 생성부; 및
   상기 속성 정보에 기반하여 상기 획득한 전문가 센서 데이터로부터 동작 속성 정보를 생성하는 동작 속성 생성부;
   를 더 포함하는 것을 특징으로 하는 동작 교본 저작 장치.
5. 청구항 4에 있어서,
   상기 모션 스크립트 생성부는
   상기 모션 스크립트 헤더 정보, 상기 동작 속성 정보, 상기 동작 기술자 정보 및 상기 부가 정보 중 적어도 하나를 포함하는 상기 모션 스크립트를 생성하는 것을 특징으로 하는 동작 교본 저작 장치.
6. 청구항 5에 있어서,
   상기 편집 출판부는
   상기 생성된 모션 스크립트에 대하여 교본 영상 편집, 동작 세부 교정, 속성 세부 교정 및 부가 정보 편집 중 적어도 하나를 수행하여 편집된 최종 모션 스크립트를 상기 동작 교본 스토어 서버에 배포하는 것을 특징으로 하는 동작 교본 저작 장치.
7. 모션 스크립트의 전문가 동작을 출력하여 사용자에게 상기 전문가 동작을 학습시키는 학습부;
   동작 획득 장치를 이용하여 상기 사용자의 동작으로부터 센서 데이터를 획득하는 센서부;
   상기 모셥 스크립트와 센서 데이터 기반하여 상기 사용자의 동작을 평가한 최종 동작 평가 정보를 생성하는 동작 평가부; 및
   상기 최종 동작 평가 정보와 상기 사용자의 동작을 교정하기 위한 교정 정보를 출력하는 출력부;
   를 포함하는 것을 특징으로 하는 동작 자가 학습 장치.
8. 청구항 7에 있어서,
   상기 학습부는
   상기 모션 스크립트에서 상기 사용자가 동작 학습을 위하여 선택한 속성들을 이용하여 학습 속성 정보를 생성하는 전문가 모션 스크립트 설정부;
   상기 사용자가 설정한 학습 환경에 기반하여 학습 환경 정보를 생성하는 학습 환경 설정부; 및
   상기 사용자의 동작을 학습자 모션 스크립트로 생성하는 학습자 모션 스크립트 설정부;
   를 포함하는 것을 특징으로 하는 동작 자가 학습 장치.
9. 청구항 8에 있어서,
   상기 동작 평가부는
   상기 모션 스크립트와 상기 센서 데이터에 기반하여 상기 사용자의 자세 정확성 정보 및 동적 표현력 정보를 생성하는 동작 분석부; 및
   상기 자세 정확성 정보 및 상기 동적 표현력 정보에 기반하여 최종 동작 평가 정보를 생성하는 동작 평가 산출부;
   를 포함하는 것을 특징으로 하는 동작 자가 학습 장치.
10. 청구항 9에 있어서,
    상기 동작 분석부는
    상기 모션 스크립트에 사용된 동작 획득 장치와 동일한 종류의 동작 획득 장치로부터 획득한 센서 데이터를 이용하여 동작 기술자 정보 및 동작 속성 정보를 분석하는 것을 특징으로 하는 동작 자가 학습 장치.
11. 청구항 10에 있어서,
    상기 동작 분석부는
    상기 모션 스크립트와 상기 센서 데이터에 기반하여 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 사용자의 동작의 유사도를 분석한 자세 정확성 값들을 포함하는 자세 정확성 정보를 생성하는 것을 특징으로 하는 동작 자가 학습 장치.
12. 청구항 11에 있어서,
    상기 동작 분석부는
    상기 모션 스크립트와 상기 센서 데이터에 기반한 상기 동작 기술자 정보 및 상기 동작 속성 정보를 분석한 결과 마다 상기 사용자의 동작의 빠르기, 강도 및 동작 구간 일치 여부 중 적어도 하나의 유사도를 분석한 동적 표현력 값들을 포함하는 동적 표현력 정보를 생성하는 것을 특징으로 하는 동작 자가 학습 장치.
13. 청구항 12에 있어서,
    상기 동작 평가 산출부는
    상기 동작 획득 장치의 개수, 종류 및 특성 중 적어도 하나에 기반하여 상기 자세 정확성 값들 각각과 상기 동적 표현력 값들 각각에 대한 가중치를 결정하는 것을 특징으로 하는 동작 자가 학습 장치.
14. 청구항 13에 있어서,
    상기 동작 평가 산출부는
    상기 사용자의 동작들 각각에 대하여 상기 가중치가 결정된 자세 정확성 값들과 상기 동적 표현력 값들을 서로 합산하기 위한 합산 비중을 결정하는 것을 특징으로 하는 동작 자가 학습 장치.
15. 청구항 14에 있어서,
    상기 동작 평가 산출부는
    상기 사용자의 동작들마다 각각 결정된 합산 비중에 기반하여 상기 자세 정확성 값들과 상기 동적 표현력 값들을 합산하여 산출된 최종 동작 평가 값들을 포함하는 최종 동작 평가 정보를 생성하는 것을 특징으로 하는 동작 자가 학습 장치.
16. 청구항 15에 있어서,
    상기 동작 평가 산출부는
    상기 사용자의 학습 능력 설정 값에 비례하여 상기 동적 표현력 값들의 합산 비중을 높게 설정하고, 상기 자세 정확성 값을 낮게 설정하는 것을 특징으로 하는 동작 자가 학습 장치.
17. 청구항 16에 있어서,
    상기 출력부는
    상기 최종 평가 결과 정보와 상기 교정 정보에 기반하여 상기 학습자 모션 스크립트를 편집하여 상기 동작 교본 스토어 서버에 배포하는 것을 특징으로 하는 동작 자가 학습 장치.
18. 청구항 17에 있어서,
    상기 출력부는
    상기 최종 동작 평가 정보에 기반하여 평가 요소 별 점수 및 상기 동작 학습자의 신체 부위 별 동작 정확도를 평가한 학습 평가 정보를 더 출력하는 것을 특징으로 하는 동작 자가 학습 장치
19. 청구항 14에 있어서,
    상기 출력부는
    상기 사용자가 학습한 전문가 동작의 상기 평가 요소 별 점수 추이를 포함하는 상세 평가 정보를 더 출력하는 것을 특징으로 하는 동작 자가 학습 장치.
20. 동작 교본 저작 장치 및 동작 자가 학습 장치를 이용하는 동작 자가 학습 방법에 있어서,
    상기 동작 교본 저작 장치가 제1 사용자의 전문가 동작에 기반하여 모션 스크립트를 생성하는 단계;
    상기 동작 자가 학습 장치가 상기 모션 스크립트에 기반하여 상기 전문가 동작을 학습하는 제2 사용자의 동작을 분석하는 단계; 및
    상기 동작 자가 학습 장치가 상기 제2 사용자의 동작을 분석한 결과를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 동작 자가 학습 방법.
    

Images