KR20190038748A

KR20190038748A - 성능 모니터링 하드웨어를 통한 사용자 성능 모니터링에 기초하여 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법

Info

Publication number: KR20190038748A
Application number: KR1020187019592A
Authority: KR
Inventors: 다렌 리그; 슈트어트 메이
Original assignee: 지엔 아이피 피티와이 엘티디
Priority date: 2015-12-10
Filing date: 2016-12-12
Publication date: 2019-04-09
Also published as: EP3387634A1; JP2019505832A; EP3387634B1; US20190228672A1; CN109074752A; EP3387634A4; US11074826B2; WO2017096436A1

Abstract

사용자 성능 모니터링에 기초하여 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법이 개시된다. 본 발명의 실시예는, 특히, 성능 교육 사용자 인터페이스(예컨대 속도의 관점에서)에 대한 실시간 제어를 가능하게 하는 것 및/또는 미디어 데이터(예컨대 속도 및/또는 팬/줌 위치)의 공급을 제어하는 것이다.

Description

성능 모니터링 하드웨어를 통한 사용자 성능 모니터링에 기초하여 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법

본 발명은 사용자 성능 데이터, 예컨대 성능 모니터링 하드웨어(모션 센서, 진동/사운드 센서 등)의 모니터링에 기초하여, 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법에 관한 것이다. 본 발명의 실시예는, 특히 성능 교육 사용자 인터페이스에 대한 실시간 제어를 가능하게 하는 것, 예컨대 신체적 성능의 분석에 기초하여 실시간 훈련을 가능하게 하는 것에 관해 설명되었다. 본 명세서에서 어떤 실시예는 그 적용에 대해 특별히 참고적으로 기재될 것이지만, 본 발명은 그 사용분야에 제한되지 않고 보다 넓은 맥락에 적용될 수 있다.

본 명세서에 기재된 배경기술의 내용은, 어떠한 경우에도 그러한 기술이 널리 알려져 있다거나, 그 분야에서 통상적인 일반 지식의 일부를 형성하고 있음을 인정하는 것으로 간주되어서는 아니된다.

기능 훈련 내용의 공급과 함께, 사용자 성능을 모니터(monitor)하고 피드백(feedback) 공급을 가능하게 하는 다양한 기술들이 개발되어 왔다. 특정의 예가 악기 훈련분야에서 발견되는데, 이는 소프트웨어의 적용으로 스크롤링(scrolling) 교육 디스플레이를 공급하고, 사용자에게 특정의 속도로 특정의 악보를 연주하도록 하는 교육을 제공한다. 상기 속도는 난이도 세팅을 통해 조정할 수 있다. 피드백 방식은, 교육되는 악보를 교육되는 방식으로 연주하는지의 정확도에 기초하여, 사용자에게 피드백을 제공하도록 구성된다.

본 발명의 목적은, 상기 종래기술의 문제점 중의 적어도 하나를 극복 또는 개선하거나, 유용한 대안을 제공하는데 있다.

일 실시예는, 사용자에게 훈련을 제공하도록 구성되는 시스템을 제공하며, 상기 시스템은: 사용자에 의한 기능의 신체적 특성에 대한 성능 센서 데이터 대표(performance sensor data representative)를 수신하도록 구성된 하나 또는 그 이상의 성능 센서 유닛(PSU)로부터 성능 센서 데이터(PSD)를 수신하도록 구성되는 입력부와; 상기 성능 센서 데이터(PSD)를 처리하여 그 특성을 확인하고, 그 특성을 미리 정해진 기준 성능 데이터와 비교하도록 구성되는 처리장치를 포함하고; 상기 미리 정해진 기준 성능 데이터는: 성능 타임라인(timeline)와 관련하여 규정된 성능 이벤트 세트의 데이터 대표와; 각각의 성능 이벤트(performance event)에 대하여, 성능 센서 데이터(PSD)에 의해 만족될 수 있는 특성의 데이터 대표와; 상기 성능 이벤트의 하나 이상의 조합에 대한 이벤트간 상대적 타이밍 데이터(inter-event relative timing data)를 포함하며; 상기 시스템은: 제어된 성능 속도로 공급되는 하나 또는 그 이상의 내용을 제공하는 그래픽 사용자 인터페이스(user interface)를 제어하도록 구성되는 사용자 인터페이스 제어부와; 성능 센서 데이터와 미리 정해진 기준 성능 데이터의 비교에 기초하여, 성능 속도를 제어하도록 구성되는 속도 제어 모듈을 더 포함한다.

일 실시예는, 기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법을 제공하며, 상기 컴퓨터 실행방법은: 하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 수신하는 단계와; 조정 동작을 수행하는 단계를 포함하고; 주어진 사용자 인터페이스 구성요소 중의 하나는, 일정 속도로 진행하도록 제공된 진행 대상을 포함하고, 상기 제공된 진행 대상은 복수의 성능 이벤트 확인 대상을 포함하는 경로를 따라 진행하며; 상기 조정 동작은, 상기 성능 데이터가 (ⅰ) 상기 성능 이벤트 확인 대상과 함께 일시적으로 조정되었는지 및/또는 (ⅱ) 상기 성능 이벤트 확인 대상과 함께 정확하게 조정되었는지의 여부를 결정하는 것을 포함하고; 상기 컴퓨터 실행방법은, 성능 데이터가 (ⅰ) 성능 이벤트 확인 대상과 함께 일시적으로 조정되지 않았거나 및/또는 (ⅱ) 성능 이벤트 확인 대상과 함께 정확하게 조정되지 않았으면, 제공된 진행 대상이, 주어진 성능 이벤트 확인 대상의 하나를 넘어서는 경로로 진행하는 것을 방지하도록 속도를 조절하는 단계를 더 포함한다.

일 실시예는 기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법을 제공하며, 상기 컴퓨터 실행방법은: 하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 수신하는 단계와; 하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 처리하는 단계와; 상기 성능 데이터에서 미리 규정된 관찰가능한 데이터 상태(observable data condition)의 확인에 기초하여, 미디어 조정동작을 수행하는 단계를 포함하고; 주어진 사용자 인터페이스 구성요소중의 하나는, 재생속도 및 위치 규정(viewpoint definition)을 갖는 미디어 대상(media object)을 포함하고; 상기 미디어 조정동작을 수행하는 단계는, 상기 재생속도 및/또는 위치 규정의 조절을 결정하는 것을 포함한다.

일 실시예는, 기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법을 제공하며, 상기 컴퓨터 실행방법은: 모션 센서 유닛의 세트로부터 얻어진 성능 데이터를 수신하는 단계와; 디스플레이 스크린 상에 그래픽 대상(graphical object)이 표시되도록 하는 단계를 포함하고; 상기 그래픽 대상은, 신체적 성능의 각 단계에서 하나 또는 그 이상의 모션 센서 유닛에 대한 목표 위치를 포함하는 모션 기반 기능의 신체적 성능의 상태 표시를 포함하며; 상기 컴퓨터 실행방법은, 상기 모션 센서 유닛의 세트로부터 얻어진 성능 데이터의 분석에 기초하여, 신체적 성능의 상태 표시를 처리하는 단계와; 상기 모션 센서 유닛의 세트로부터 얻어진 성능 데이터의 분석에 기초하여, 주어진 모션 센서 유닛의 관찰된 위치 사이에서 그래픽 대상을 통해 그 관계를 표시하는 단계를 포함한다.

일 실시예는, 여기에 기재된 방법을 수행하기 위한 컴퓨터 프로그램 제품을 제공한다.

일 실시예는, 컴퓨터 실행코드가 처리장치에서 실행될 때, 처리장치가 여기에 기재된 방법을 수행하도록 하는 비일시적인 캐리어 매체(non-transitory carrier medium)를 제공한다.

일 실시예는, 여기에 기재된 방법을 수행하도록 구성되는 시스템을 제공한다.

본 명세서에서 "일 실시예", "다른 실시예" 또는 "실시예"라 함은, 그 실시예와 관련하여 기술된 특별한 특징, 구조 또는 특성이, 본 발명의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서 본 명세서의 여러 곳에서 사용된 "일 실시예에서", "어떤 실시예에서", "실시예에서"라는 문구는, 반드시 동일한 실시예를 가리키는 것은 아니지만, 동일한 실시예를 가리킬 수도 있다. 더욱이 상기한 특별한 특징, 구조 또는 특성은, 본 발명의 개시로부터 해당 기술분야의 통상의 기술자에게 명백한 것으로 되어, 하나 또는 그 이상의 실시예에 적절한 방식으로 결합될 수 있다.

본 명세서에서 일반적인 대상을 기술하기 위해 사용된 "제1", "제2", "제3" 등과 같은 서수 형용사는, 달리 명시하지 않는 한, 단지 유사한 대상의 다른 예를 나타내는 것으로서, 그 대상이 주어진 순서, 일시적 또는 부분적 서열 또는 다른 방식을 의미하는 것은 아니다.

본 명세서 및 청구항에 기재된 용어에서 "comprising", "comprised of" 또는 "which comprises"의 의미는 개방형 용어로서, 이는 적어도 뒤따르는 구성요소/특징을 포함한다는 것이며, 다른 것을 배제한다는 의미는 아니다. 따라서 본 청구범위에서 포함한다는 용어는, 뒤따르는 수단, 구성요소 또는 단계에 한정하는 것으로 해석되어서는 아니된다. 예컨대, 어떤 장치가 A와 B를 포함한다는 표현의 범위는, 그 장치가 단지 구성요소 A와 B만으로 구성되는 것으로 한정되지 아니한다. 본 명세서에서 사용된 "including", "which includes" 또는 "that includes" 용어 역시 개방형 용어로서, 적어도 뒤따르는 구성요소/특징을 의미하고, 다른 것을 배제한다는 의미는 아니다. 따라서 "including"은 "comprising"과 동의어이고 같은 의미이다.

본 명세서에서는, 특징을 나타내는 것과는 대조적으로, 실예를 제공하기 위한 의미로 "전형적인"이라는 용어가 사용되었다. 즉, "전형적인 실시예"라 함은, 반드시 전형적인 특성을 의미하는 것과는 대조적으로, 하나의 실예로서 제공된 실시예를 의미한다.

이하 본 발명의 내용을 첨부된 도면을 참고하여 단지 예시적인 실시예를 통해 설명한다.

도 1A는 본 발명의 일 실시예에 따라 쌍방향 기능 훈련 내용을 제공하기 위한 구조를 개략적으로 나타낸 도면.
도 1B는 본 발명의 일 실시예에 따라 쌍방향 기능 훈련 내용을 제공하기 위한 구조를 개략적으로 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 위치 규정의 예를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 플랫폼을 기능적으로 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 플랫폼을 기능적으로 나타낸 도면.
도 5A는 기능 성능 이벤트 확인 대상의 타임라인을 나타낸 도면.
도 5B는 기타(guitar) 훈련 프로그램에 대한 기능 성능 이벤트 확인 대상의 타임라인을 나타낸 도면.
도 5C는 모션 기반 기능 훈련 프로그램에 대한 기능 성능 이벤트 확인 대상의 타임라인을 나타낸 도면.
도 6A 내지 6E는 본 발명의 일 실시예에 따른 사용자 인터페이스 디스플레이의 예를 나타낸 도면.

[0047] 본 명세서는 사용자 성능 모니터링에 기초하여 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법에 관해 기재되었다. 본 발명의 실시예는, 특히, 성능 교육 사용자 인터페이스(예컨대 속도의 관점에서)에 대한 실시간 제어를 가능하게 하는 것 및/또는 미디어 데이터(예컨대 속도 및/또는 팬(pan)/줌(zoom) 위치)의 공급을 제어하는 것이다. 본 명세서에서 어떤 실시예는 그 적용에 대해 특별히 참고적으로 기재될 것이지만, 본 발명은 그 사용분야에 제한되지 않고 보다 넓은 맥락에 적용될 수 있다.

<개관>

본 명세서 기재된 용어 및 방법은, 일반적인 용어로 기술적 환경에 관련된 것으로서, 다양한 형태의 센서들이 데이터를 수집하고, 이는 사용자에 의해 신체적으로 수행된 기능을 모니터링하고 분석하는데 사용된다. 예를 들어, 이는 다음을 포함한다:

(ⅰ) 모션-기반 기능(예컨대 스포츠)의 신체적 성능을 모니터하기 위한 착용가능한 모션 센서 유닛의 사용. 예를 들어 어떤 실시예에서는, 하나 또는 그 이상의 모션 센서 유닛(예컨대 가속도계, 자이로스코프(gyroscope) 등과 같은 구성요소를 포함하는 유닛)이, 사용자 및/또는 사용자에 의해 휴대되는 장비에 물리적으로 부착된다.

(ⅱ) 사운드-기반 기능(예컨대 음악 및/또는 언어 기능)의 성능을 모니터하기 위한 오디오 센서의 사용(진동 센싱, 디지털화 및 다른 수단을 통해 사운드를 모니터하는 센서 포함). 일반적인 예로서 픽업(pickup) 장치를 포함하는데, 이는 현악기에서 줄의 기계적 진동을 검출하도록 구성되는 변환기를 포함한다.

(ⅲ) 다른 기능 타입의 모니터링이 가능하도록 구성된 다양한 다른 형태의 센서 사용. 이는 컴퓨터 시스템에서 이용할 수 있는 성능 데이터를 확인 및 분석하도록 구성된 소프트웨어-기반 센서를 포함할 수 있다.

아래에 기재된 다양한 실시예는, 성능 데이터를 실시간으로 모니터링하고, 훈련과 학습을 용이하게 하는 방식으로 사용자에게 피드백을 제공하는 것과 관련된 기술적 문제를 부각시키는데 집중되었다. 실시예에 의하면, 센서 데이터의 모니터링 및 처리는, 자동화된 적응 코치 커리큘럼(adaptive coaching curriculum)의 공급을 가능하게 한다.

<용어>

아래에 기술되는 실시예의 목적을 위해, 다음과 같은 용어들이 사용되었다:

● 성능 센서 유닛(PSU: Performance Sensor Unit)

성능 센서는, 신체적인 성능의 모니터링에 대응하여 데이터를 생성하기 위해 구성된 하드웨어 장치이다. 여기서는 모션 데이터와 오디오 데이터를 처리하기 위해 구성된 센서 유닛이 예로서 고려되었지만, 여기에 한정되지 아니하는 것으로 이해되어야 한다.

● 성능 센서 데이터(PSD: Performance Sensor Data)

성능 센서 유닛(PSU)에 의해 공급된 데이터를 성능 센서 데이터라 한다. 이 데이터는, 성능 센서 유닛(PSU)로부터의 완전 로 데이터(raw data) 또는 그 데이터의 일부(예컨대 압축, 축소된 모니터링, 샘플링 비율 등에 기초한)를 포함할 수 있다.

● 오디오 센서 유닛(ASU: Audio Sensor Unit)

오디오 센서 유닛은, 성능 센서 유닛(PSU) 카테고리의 하나인 하드웨어 장치로, 소리의 모니터링에 대응하여 데이터를 생성하고 전송하도록 구성된다. 일 실시예에서, 오디오 센서 유닛(ASU)은 소리, 및/또는 진동 효과를 모니터하도록 구성되어, 이를 디지털 신호(예컨대 MIDI 신호)로 변환한다. 오디오 센서 유닛(ASU)의 일례로서, 현악기의 기계적 진동을 포착하여 이를 전기적 신호로 변환하도록 구성된 변환기를 포함하는 픽업 장치가 있다.

● 오디오 센서 데이터(ASD: Audio Sensor Data)

이는 하나 또는 그 이상의 오디오 센서 유닛(ASU)으로부터 공급된 데이터이다.

● 모션 센서 유닛(MSU: Motion Sensor Unit)

모션 센서는, 성능 센서 유닛(PSU) 카테고리의 하나인 하드웨어 장치로, 사용자의 동작에 대응하여 데이터를 생성하고 전송하도록 구성된다. 이 데이터는, 많은 경우에 로컬(local) 참조 프레임과 관련하여 정해진다. 모션 센서 유닛(MSU)은, 하나 또는 그 이상의 가속도계; 하나 또는 그 이상의 자력계로부터 얻어진 데이터; 그리고 하나 또는 그 이상의 자이로스코프(gyroscope)로부터 얻어진 데이터를 포함할 수 있다. 바람직한 것은, 하나 또는 그 이상의 3축 가속도계, 하나의 3축 자력계, 그리고 하나의 3축 자이로스코프를 사용하는 것이다. 모션 센서 유닛(MSU)은 입거나 착용할 수 있는데, 이는 신체의 고정된 위치에 마운팅될 수 있도록 구비되는 것을 의미한다(예컨대 의복을 통해).

● 모션 센서 데이터(MSD: Motion Sensor Data)

모션 센서 유닛(MSU)으로부터 공급된 데이터를 모션 센서 데이터라 한다. 이는 모션 센서 유닛(MSU)으로부터의 완전 로 데이터(raw data) 또는 그 데이터의 일부(예컨대 압축, 축소된 모니터링, 샘플링 비율 등에 기초한)를 포함할 수 있다.

● 모션 센서 유닛 장착 의복(MSU-enabled garment)

모션 센서 유닛 장착 의복은, 복수의 모션 센서 유닛(MSU)을 장착하기 위해 구성된 의복(예컨대 셔츠 또는 바지)이다. 일 실시예에서, 모션 센서 유닛(MSU)은, 의복에 형성되어 있는 특정의 장착 부분에 장착이 가능하고(제거 가능한 방식으로 장착되어, 각각의 모션 센서 유닛이 제거되고 교체될 수 있도록 하는 것이 바람직하다), 통신 라인에 연결된다.

● 훈련 프로그램(Training Program)

훈련 프로그램이란 용어는, 소프트웨어 설명의 실행을 통해 공급된 쌍방향 프로세스를 기술하기 위해 사용되었고, 상기 소프트웨어는, 최종 사용자에게, 그 성능을 어떻게 수정하고, 향상시키고, 또는 다르게 조정하는 것과 관련하여, 수행 및 피드백 방법에 대한 설명을 제공한다. 아래에 기술된 적어도 일 실시예에서, 상기 훈련 프로그램은 "적응 훈련 프로그램"으로서, 이는 관련된 최종 사용자의 분석(예컨대 그 기능의 분석, 및/또는 정신적 및/또는 육체적 특성과 같은 개인적 특성의 분석)에 기초하여, 처리과정의 지시, 피드백의 선택 및/또는 다른 훈련 특성들이 적용될 수 있도록 하는 규칙/로직(logic)에 기초하여 실행된다.

성능 센서 유닛(PSU) 및/또는 성능 센서 데이터(PSD)라는 용어가 사용될 때, 이들은 모션 센서 유닛(MSU)/오디오 센서 유닛(ASU) 및 모션 센서 데이터(MSD)/오디오 센서 데이터(ADS)의 각각 또는 모두를 포함할 수 있다는 것을 이해하여야 한다. 동작 및 오디오 공간에서의 특정한 예가 아래에 기재되어 있다.

<관련 출원에 대한 상호 참조>

본 출원은, 다음의 PCT 특허출원 PCT/AU2016/000020, PCT/AU2016/000026, PCT/AU2016/050348, 및 PCT/AU2016050349호의 전체와 상호 참조에 의해 통합된다. 이들 출원은, 본 명세서에 기재된 기술을 지원하는 하드웨어, 소프트웨어 및 방법에 선택적으로 적용되는 기술과 관련하여 본질적인 내용을 제공한다는 것을 이해할 수 있을 것이다. 예를 들어, 본 명세서에 기재된 실시예는, 상기 PCT 출원에 기재된 모션 센서 유닛-장착 의복을 이용한다.

상기한 출원들은 상호 참조에 의해 본 발명에 통합되지만, 본 명세서에 개시된 내용은, 상기한 출원들의 개시내용에 의해 그 범위가 반드시 제한되어야 하는 것은 아니다. 즉, 본 명세서에 기재된 기술은, 상호 참조되는 PCT 출원에서 교시하는 범위를 넘어서 적용되는데, 그 예로는, 다른 형태의 성능 센서 유닛의 사용, 다른 고객측 하드웨어 배치, 다른 네트워크 데이터의 관리/공유 구조 등이 있다.

<성능 모니터링에 기초한 사용자 인터페이스 공급 특성의 제어>

여기에 기재된 실시예는, 사용자 성능 모니터링에 기초하여 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법을 포함한다. 예를 들어, 이들은, 성능 설명 사용자 인터페이스(예컨대 속도의 관점에서)에 대한 실시간 제어및/또는 미디어 데이터(예컨대 속도 및/또는 팬/줌 위치)의 공급을 제어하는 것을 가능하게 한다.

어떤 실시예는, 기능 훈련 데이터의 적응 공급에 대한 컴퓨터 실행방법을 제공한다. 상기 실행방법은: (ⅰ) 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 얻어진 성능 데이터를 수신하는 단계; (ⅱ) 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 얻어진 성능 데이터를 처리하는 단계, (ⅲ) 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 얻어진 데이터의 처리에 기초하여, 하나 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성을 변경하는 것을 결정하는 단계; 그리고 (ⅳ) 하나 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성에서 결정된 변경을 시행하기 위해 신호를 제공하는 단계를 포함한다.

아래에 기재된 실시예에서는, 악기 교육(특히 기타(guitar))의 예에 특별한 관심이 기울여졌다. 악기 교육의 예에서, 상기 수신된 성능 데이터는, 사용자가 악기와 같은 하나의 기기를 작동시키는 것을 모니터하도록 구성된 하나 또는 그 이상의 오디오 센서 유닛(ASU)으로부터 얻어진 성능 데이터를 포함한다. 예를 들어, 기타의 경우에는, 상기 하나 또는 그 이상의 오디오 센서 유닛(ASU)이, 기타에 의해 생성되는 오디오 데이터에 대응하여 디지털 데이터를 생성하도록 구성된 센서들을 포함할 수 있다. 이는 오디오 센서를 포함할 수 있는데, 어떤 실시예에서는 오디오 센서가 마이크로폰 구성요소를 포함하고, 어떤 실시예에서는 오디오 센서가 기타줄의 진동 운동을 모니터하도록 구성된다. 이점에 있어서, 오디오 센서 데이터(ASD) 또는 오디오 센서라는 용어는, 연주에 의해 생성된 들을 수 있는 사운드를 직접적 또는 간접적으로 나타내는 디지털 정보를 제공하도록 구성된 형태의 센서 장치를 가리킨다. 상기 디지털 정보는, 어떤 실시예에서 MIDI 데이터의 형태를 가질 수 있다.

비록 실시예가 악기 교육을 특별히 참조하여 기재되었지만, 이러한 실시예와 관련되어 기재된 기술의 다양한 측면이, 다른 기능 훈련에 대해 다른 형태의 성능 센서 유닛을 이용하는 다른 분야에 적용될 수 있다는 것을 이해하여야 한다. 예를 들어, 어떤 실시예에서 상기 수신된 성능 데이터는, 하나 또는 그 이상의 모션 센서 유닛(MSU)으로부터 얻어진 성능 데이터를 포함한다(예컨대 모션 센서 유닛은 모션 센서 장착 의복등에 의해 제공되고, 하나 또는 그 이상의 모션 센서 유닛으로부터 얻어진 성능 데이터의 가공은, 각 모션 센서의 동시적 동작의 특성을 확인하는 것을 포함한다). 그 예가 골프 스윙 교육과 관련하여 제공되었다.

어떤 실시예에서, 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 얻어진 성능 센서 데이터(PSD)를 처리하는 것은, 하나 또는 그 이상의 모션 센서 유닛(MSU)으로부터 얻어진 모션 성능 데이터(MSD)를 처리하는 것을 포함한다. 이는 모션 특성을 모니터링하고, 이에 의해 모션 센서 및/또는 하나 또는 그 이상의 성능 센서 유닛(PSU)의 관련 동작에 기초하여, 성능의 신체적 동작 특성을 결정하는 것을 선택적으로 포함한다. 아래에 기재된 바와 같이, 이는 규정된 시간의 시점에서 성능 센서 유닛의 위치(및/또는 동작)를 결정하고, 미리 정해진 목표 위치(및/또는 동작)에 대해 그 위치(및/또는 동작)를 비교하는 것을 가능하게 한다. 다른 실시예에서는, 상호 참조되는 PCT 출원에 기재된 기술이 사용되어, 기능 훈련에서 성능 센서 데이터의 의미 및 관련성에 대해 더 깊은 이해를 제공하고 있는데, 여기에는 증상, 원인 및 관찰가능한 데이터 상태(ODC) 등이 있다.

전체적으로, 성능 센서 데이터(PSD)는 사용자 인터페이스 관점의 제어를 위한 입력으로 활용되는데, 상기 사용자 인터페이스는, 성능 센서 데이터(PSD)를 통해 분석된 기능에 대한 훈련 데이터를 제공하도록 구성된다. 즉, 사용자 성능의 관찰된 특성은, 하나 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성을 변경하는 것에 의해, 사용자 인터페이스 특성의 실시간 제어를 제공하는데 사용된다. 상기 공급 특성은 다음의 하나 또는 그 이상을 포함한다:

● 진행 사용자 인터페이스 구성요소(progresssive user interface component)의 동작 속도. 예를 들어, 주어진 사용자 인터페이스 구성요소는, 진행속도, 예컨대 제공된 대상이 움직이는 속도(또는 다른 대상에 대하여 움직이는 것으로 보이는 속도), 제공된 대상의 상태가 변화하는 속도와 관련될 수 있다.

● 애니매이션(animation) 또는 미디어 파일의 공급 속도. 예를 들어 비디오또는 오디오 파일에 대한 재생속도는 활동적으로 변화된다.

● 미디어 대상에 대한 뷰포트(view-port). 예를 들어, 이는 디지털 팬(pan) 및/또는 줌(zoom) 동작의 적용을 포함하여, 비디오 파일을 제공하는 동안, 프레임 면적을 축소하여 선택적으로 보여줄수 있다.

● 미디어 대상에 대한 관찰 각도. 이는 인-파일(in-file) 각도 조정(주어진 미디어 대상 또는 미디어 대상 집합이 그러한 조정을 지원할 수 있을 경우)를 포함할 수 있고, 다른 경우에는, 다른 관찰 각도에서 캡쳐된(captured) 공통의 동시 타임라인(common synchronised timeline)을 갖는 미디어 파일로 스위칭하는 것을 포함할 수 있다. 일 실시예는, 복수의 각도로부터 수집된 미디어의 활용을 포함하는데, 이 복수의 각도는, 단일의 정지 프레임을 통한 각도 또는 복수의 프레임을 통한 각도 사이에서, 원활한 관점의 조정을 가능하게 한다. 예를 들어 불릿 타임(bullet time) 기술 등이 사용될 수 있다.

다른 공급 특성도 사용될 수 있다.

특정의 실행 예는 다음을 포함한다:

● 적응-템포(adaptive-tempo) 모드의 제공. 이는, 사용자 능력 레벨을 미리 평가한 것을 참조하여, 전형적으로 규정된 속도로 기능을 수행하거나 교육할 경우의 훈련 프로그램의 내용과 관련된다. 일반적으로 음악 훈련 프로그램의 경우, 사용자 능력 레벨을 미리 평가한 것에 기초하여 속도가 선택되고, 사용자에게 그 속도로 음악을 연주할 수 있도록 교육이 제공된다. 예를 들어, 초심자는 평균에서 25%의 속도 세트를 가질 수 있고, 상기 속도는 사용자의 능력 발전에 따라 100% 까지 증가된다. 한편 적응 속도 모드에서는, 사용자 성능의 계속적인 모니터링에 기초하여, 사용자가 실제로 음악을 연주하는 속도에 대응하여, 발전 정도(여기서는 속도)가 역동적으로 변화된다.

● 발전 훈련 구조의 제공. 이는 다음에 기초한다: (ⅰ) 사용자가 사용자 인터페이스 구성요소의 진행 속도를 제어하고, 개인 성능 요소의 정확도에 분석 촛점이 맞추어지는 적응 템포 모드; 그리고 (ⅱ) 사용자가 사용자 인터페이스 구성요소의 진행 속도를 다시 제어하고, 개인 성능 구성요소 및 구성요소간(inter-element) 템포(시간의 정확성)에 분석 촛점이 맞추어지는 적응 속도 모드; 그리고 (ⅲ) 성능의 속도가 기 규정된 고정-템포 모드.

● 미디어 내용의 효율적 활용. 이는 훈련을 돕기 위해 미디어 내용을 디스플레이 하는 훈련 프로그램, 예컨대 비디오 데이터와 같은 훈련 프로그램의 내용과 관련된다. 미디어 내용의 디스플레이는, 성능 센서 데이터(PSD)의 분석에 기초하여, 예컨대 팬/줌 위치 및/또는 속도의 관점에서 변화된다. 이는 단일 또는 제한된 집합의 미디어 파일을 통해, 사용자에게 제공될 경험을 현저하게 풍부화시키고, 광범위한 미디어 파일을 수집 및/또는 유지할 필요가 없도록 한다.

이러한 예 및 다른 예가 아래에서 좀 더 상세히 설명될 것이다.

<적응 템포 모드>

도 4는 사용자에게 훈련을 제공하도록 구성되는 시스템을 나타낸 것이다. 상기 시스템은, 하나 또는 그 이상의 성능 센서 유닛(PSU)(450)으로부터 성능 센서 데이터를 수신하도록 구성되는 입력부(461)를 포함하는데, 상기 하나 또는 그 이상의 성능 센서 유닛(PSU)은, 사용자에 의한 기능의 신체적 성능의 성능 센서 데이터(PSD) 대표를 수신하도록 구성된다. 예를 들어, 어떤 실시예에서 상기 수신된 성능 센서 데이터(PSD)는, 사용자의 악기 연주를 모니터하도록 구성된 하나 또는 그 이상의 센서로부터 얻어지는 성능 데이터를 포함한다. 다른 실시예에서 상기 수신된 성능 센서 데이터(PSD)는, 하나 또는 그 이상의 모션 센서 유닛으로부터 얻어진 성능 데이터를 포함한다(예컨대 상기 하나 또는 그 이상의 모션 센서 유닛은 모션 센서 장착 의복에 의해 제공된다).

처리장치(460)는, 상기 성능 센서 데이터(PSD)를 처리하도록 구성된 성능 센서 데이터 분석 모듈(464)을 포함하여, 상기 성능 센서 데이터(PSD)의 특성을 확인하고, 이 특성을 미리 정해진 기본 성능 데이터와 비교한다. 상기 기준 성능 데이터는, 성능 타임라인(예컨대 기능 성능 스트림(stream))과 관련하여 규정된 성능 이벤트 세트(set of performance event)의 데이터 대표(data representative)를 포함한다. 각 성능 이벤트에 대하여, 성능 센서 데이터(PSD)에 의해 만족될 수 있는 규정된 데이터 대표가 존재한다. 예를 들어, 이는 오디오 센서 데이터(ASD)의 경우, 피치(pitch), 연주 스타일, 기간 등에서 하나 또는 그 이상을 포함할 수 있다. 모션 센서 데이터(MSD)의 경우, 이는 관련위치, 속도, 가속도 등에서 하나 또는 그 이상을 포함할 수 있다. 또한 상기 기준 성능 데이터는, 성능 이벤트의 하나 이상의 조합에 대해 이벤트간(inter-event) 관련 타이밍 데이터를 포함한다. 이는 속도-독립 템포(rate-independent tempo)를 제공한다(예를 들어, 제1 성능 이벤트와 제2 성능 이벤트 사이의 기준 시간 간격은, 제2 성능 이벤트와 제3 성능 이벤트사이의 기준 시간 간격의 2배로 규정된다). 또한 상기 기준 데이터는 목표 성능 속도를 포함할 수 있다.

처리장치(460)는, 그래픽 사용자 인터페이스(graphical user interface)의 제공을 제어하도록 구성된 사용자 인터페이스 제어 요소를 포함한다(본 예에서는 디스플레이 상에 제공된다). 상기 그래픽 사용자 인터페이스는, 제어된 성능 속도로 공급되는 하나 이상의 내용을 제공한다. 예를 들어, 이러한 내용들은 성능 속도로 진행되는 진행 대상(progressive object)(아래에 상세히 설명되었다)을 포함하고, 제어된 성능 속도로 공급되는 미디어(비디오 및 오디오 등)를 선택적으로 포함할 수 있다. 속도 제어 모듈(465)는, 상기 성능 센서 데이터와 미리 정해진 기준 성능 데이터를 비교하는 것에 기초하여, 상기 제어된 성능 속도를 제어하도록 구성된다.

어떤 실시예에서, 제어된 속도로 공급된 상기 하나 또는 그 이상의 내용은, 제어된 성능 속도로 진행하도록 제공된 진행 대상을 포함한다. 상기 제공된 진행 대상은, 복수의 성능 이벤트 확인 대상을 포함하는 경로를 따라 진행하도록 제어되며, 상기 성능 이벤트 확인 대상은 상기 성능 이벤트에 대응된다.

첫번째 예가 도 5A에 그래픽 방식으로 도시되어 있으며, 진행 대상(500)은, 타임라인(501)과, 복수의 성능 이벤트 확인 대상(502a 내지 502j)을 포함하고 있다. 확인 대상은, 타임라인을 따라 진행의 현재 위치를 표시하도록 하는 것이 바람직하다(확인대상이 고정된 타임라인 및 대상에 대해 이동하거나, 상기 타임라인 및 대상이 확인 대상에 대해 이동할 수 있다). 두번째 예가 도 5B에 그래픽 방식으로 도시되어 있으며, 이는 확인 대상(502a 내지 502j)이, 악기에 의해 연주될 수 있는 악보의 형태와, 템포 대표인 타임라인(501)을 따르는 확인 대상간의 간격과 함께 표시되어 있다. 세번째 예가 도 5C에 그래픽 방식으로 도시되어 있으며, 이는 확인대상(502a 내지 502j)이, 사용자가 모션 기반 기능을 수행하는 동안의 신체 위치를 표시하고 있다.

하나의 작동 모드에서, 상기 속도 조절 모드가 작동되어, 성능 데이터가 (ⅰ) 성능 이벤트 확인 대상과 함께 일시적으로 조정되지 않았거나 및/또는 (ⅱ) 성능 이벤트 확인 대상과 함께 정확하게 조정되지 않았으면, 제공된 진행 대상이, 주어진 성능 이벤트 확인 대상의 하나를 넘어서는 경로로 진행하는 것을 방지하도록 한다. 예를 들어, 도 5B에서, 이는 정확한 악보대로 치는 것을 포함한다. 도 5C에서, 이는 관련된 각 신체 위치를 맞추는 것을 포함한다(선택적으로, 예컨대 가속도 특성을 참조하는 것에 의해, 위치가 아닌 동작 특성에 의해 규정될 수도 있다). 이는 적응 템포 모드를 제공하여, 제공된 진행 대상의 속도가 제어되도록 하며, 이는 수신된 성능 센서 데이터(PSD)에 의해 만족되는 특성을 갖는 성능 이벤트를 나타내는 성능 센서 데이터(PSD)의 속도에 기초한다. 다시 말해서, 상기 속도는, 성능 이벤트를 수행하는 사용자의 성공에 기초하여, 실시간으로 역동적으로 조정된다. 상기 제어된 성능 속도는, 다음의 성능 이벤트 확인 대상과 조화될 수 있는 성능 데이터의 수신에 대한 예상시간의 예측에 기초하여, 계속적인 성능 이벤트 확인 대상 사이에서 진행의 속도에 대해 조절되는 것이 바람직하다.

상기 시스템은, 피드백 제어 모듈을 포함하는 것이 바람직하고, 상기 피드백 제어 모듈은 미리 규정된 조건에 대응하여 규정된 피드백 동작을 수행하도록 구성되며, 상기 미리 규정된 조건은: (ⅰ) 성능 이벤트 확인 대상에 따라 성능 이벤트와 함께 일시적으로 조정된 성능 데이터; 그리고 (ⅱ) 상기 성능 이벤트 확인 대상에 따라 성능 이벤트와 함께 정확하게 조정되지 않은 성능 데이터의 확인을 포함한다. 그 예가 아래에 더 제공되었다.

또한 상기 시스템은 평가 모듈을 포함하는 것이 바람직하며, 상기 평가 모듈은, 수신된 성능 센서 데이터(PSD)와 미리 규정된 기준 성능 데이터를 비교하는 것에 기초하여, 수행의 특성을 기록하도록 구성된다. 아래에서 좀 더 상세히 설명하는 바와 같이, 평가 모듈은 복수의 모듈로 동작하며, 이는 다음을 포함한다:

● 상기 제어된 성능 속도가 상기 성능 센서 데이터(PSD)의 분석에 기초하여 제어되는 제1 모듈. 여기서 상기 평가는, 연속되는 각 성능 이벤트에 대해 상기 성능 센서 데이터가 만족시키는 데이터 대표에 대한 정확도에 기반을 둔다;

● 상기 제어된 성능 속도가 상기 성능 센서 데이터(PSD)의 분석에 기초하여 제어되는 제2 모듈. 여기서 상기 평가는, 연속되는 각 성능 이벤트에 대해 상기 성능 센서 데이터가 만족시키는 데이터 대표에 대한 정확도와, 하나 또는 그 이상의 성능 이벤트의 조합에 대해 관찰된 이벤트간 상대적 타이밍 데이터를, 하나 또는 그 이상의 기준 성능 데이터의 성능 이벤트의 조합에 대한 이벤트간 상대적 타이밍 데이터를 비교하는 것에 기반을 둔다; 그리고,

● 상기 제어된 성능 속도가 상기 성능 센서 데이터(PSD)의 실시간 모니터링과 독립적으로 일정한 값으로 정해지는 제2 모듈. 여기서 상기 평가는, 연속되는 각 성능 이벤트에 대해 상기 성능 센서 데이터가 만족시키는 데이터 대표에 대한 정확도에 기반을 둔다.

다양한 예가 아래에서 더 상세히 설명되었다.

<적응 템포 모드의 예(오디오 성능 실시예)>

몇가지 예는 기능 훈련 사용자 인터페이스에 대한 "적응성 템포(adaptive tempo)"를 제공한다. 그 예가, 먼저 도 1A를 참조하여 설명될 것이다.

도 1A는, 적응성을 갖는 기능 훈련 프로그램의 공급을 휘한 구조를 예시적으로 나타낸 것이다. 사용자 인터페이스 장치(100)는, 디스플레이 스크린(101)을 통해 사용자 인터페이스를 제공한다(도시된 것은 스마트 폰 또는 태블릿과 같은 터치 스크린 장치의 대표로, 이는 단지 예시적인 것이며, 헤드셋(headset) 및/또는 망막(retinal) 디스플레이/프로젝션을 통해 디스플레이하는 장치를 포함하여, 광범위한 다른 장치가 사용될 수도 있다). 상기 사용자 인터페이스의 제공은, 장치(100)의 마이크로프로세서(microprocessor)를 통한 소프트웨어 설명의 실행에 의해 제어되며, 상기 장치는, 장치(100) 및/또는 장치(100)와 소통하는 하나 또는 그 이상의 장치(예컨대 인터넷을 통해 장치(100)와 소통하는 네크워크 장치)에서 실행되는 소프트웨어 설명 및/또는 처리 기능을 수행하도록 구성된 다른 로컬 장치를 포함할 수 있다. 본 실시예에서, 상기 사용자 인터페이스 장치(100)는, 음악 교육, 특히 기타(guitar) 교육에 대한 적응 기능 훈련 프로그램을 제공하도록 구성된다. 기타(140)는 사용자에 의해 작동되고, 하나 또는 그 이상의 성능 센서 유닛(PSU)(141)이 상기 성능을 모니터하도록 구성된다. 예를 들어, PSE(140)는, 기타(140) 줄의 진동 에너지를 모니터하고, 분석을 위해 성능 센서 데이터를 제공하도록 구성되는 성능 센서 유닛(PSU)을 포함할 수 있다. 상기 성능 센서 데이터는, MIDI 형태인 것이 바람직하나, 다른 데이터 형태도 사용될 수 있다.

도시된 실시예에서, 성능 센서 유닛(PSU)(141)은, POD 장치로 불리는 외부 센서 데이터 처리장치(120)에 상기 성능 센서 데이터(PSD)를 전송한다. 외부장치(120)는, 상태 엔진 데이터의 컴퓨터 실행 코드 대표를 실행하도록 구성되고, 상기 성능 센서 데이터(PSD)를 처리하여, 제공된 기타 교육 형태에 특정된 관찰가능한 데이터 상태(ODC)를 확인하도록 한다. 다른 상태 엔진 데이터가, 다른 성능 센서 데이터(PSD) 및 관찰가능한 데이터 상태(ODC)와 관련된 외부장치(120)에 의해 실행될 수도 있다(예를 들어, 상기 POD 장치가, 다른 형태의 악기와 관련된 성능 센서 데이터(PSD), 모션 기반 활동 내용에서의 모션 센서 유닛(MSU)으로부터 얻어진 성능 센서 데이터(PSD) 등을 가공하기 위해 사용된다). 도 1A에 나타낸 바와 같이, 외부장치(120)는 선택적인 것이고, 다른 실시예에서, 외부장치(120)의 기능은, 장치(100)(및/또는 원격 네트워크 장치)에 의해 제공되는 하드웨어 상에서 소프트웨어의 실행에 의해 제공된다.

센서(141), 외부장치(120)(사용될 때)와 장치(100) 사이의 통신은, 특별한 실행 환경(그리고 충분히 신뢰성 있는 와이어리스 통신 프로토콜의 이용가능성)에 따라, 와이어 및/또는 와이어리스(wireless)일 수 있다.

문맥상 기본적인 기술적 방법은, 성능 센서 데이터(PSD)를 분석하고, 이에 의해 성능 속도를 결정하는 것을 포함한다. 이 성능 속도는, 그것이 실제로 수행되는 속도에 기초하여 사용자에 의해 본질적으로 규정된다(이는 사용자의 능력 레벨, 사용자에 대한 강요 등과 같은 사용자 특성의 분석에 기초하여 미리 규정된 성능 속도에 대항되는 것이다). 이 점에 있어서, 성능은, 복수의 "성능 이벤트(Performance event)"를 포함하고, 상기 이벤트는 성능 타임라인을 따라 규정된다. 성능 센서 데이터(PSD)의 분석에 기초하여 상기 성능 속도가 정해져, 성능 이벤트의 데이터 대표를 디스플레이하는 사용자 인터페이스가, 사용자 성능과 같이 동시에 성능 이벤트에 도달하도록 한다. 예를 들어, 어떤 실시예에서 사용자 인터페이스는, 성능 이벤트 확인 대상을 포함하는 성능 타임라인을 따라 그래픽으로 진행되는 성능 타임라인 대상을 포함한다. 상기 성능 타임라인 대상이 진행되는 속도는, 실시간에서의 사용자의 실제 성능 속도에 대응되어, 사용자의 신체적 성능과 성능 타임라인은 성능 이벤트를 통해 동기화된다.

도 1A의 예에서, 사용자 인터페이스는, 설명 대상(instruction object)(103)의 형태로 일정 속도로 진행하는 주어진 대상을 포함한다. 설명 대상(103)은, 복수의 성능 이벤트 확인 대상(111)을 포함하는 경로를 따라 진행하도록 구성된다. 본 실시예에서, 상기 성능 이벤트 확인 대상은 음악 교육 리본(110)상에 표시되는 아이콘들(icons)이고, 이 리본은 오른쪽에서 왼쪽으로 움직인다. 도 1A는, 점선으로, 리본(100)의 미리 표시된 부분(114)와 리본(114)의 다가오는 부분(113)을 추가적으로 보여주고 있다. 현재의 위치는 진행 대상(112)의 디스플레이에 의해 시각적으로 표시된다. 즉, 디스플레이 진행 대상(112)은, 그 이벤트가 사용자의 실제 세계의 성능에서 일어나는 시점에, 주어진 성능 이벤트 확인 대상(111)의 하나와 일치된다.

디스플레이 진행 대상(112)이, 그 이벤트가 사용자의 실제 세계의 성능에서 일어나는 시점에 주어진 성능 이벤트 확인 대상(111)의 하나와 일치되는 것은, 특별한 관련성이 있다. 다양한 종래 기술의 배치에서, 유사한 외형의 사용자 인터페이스가 제공되는데, 상기 디스플레이 진행 대상은, 사용자가 실제 세계 성능에서 일어나는 이벤트를 수행하도록 지시를 받는 시점에, 주어진 성능 이벤트 확인 대상 중의 하나와 일치된다. 종래기술의 시나리오는, 사용자가 실제 이벤트(예컨대 여기서는 기타의 줄을 튕기는 것)를 수행했는지의 여부와는 관련이 없다; 즉 상기 리본은 규정된 속도로 계속 진행한다(비록 속도가 사용자 정확도에 기초하여 증가 또는 감소될 수 있다고 하더라도). 그렇지만 도 1A의 예에서는, 성능 센서 데이터(PSD)가 동적인 진행 속도 조절을 실시간으로 수행하도록 처리되어, 대응되는 이벤트가 사용자의 실제 세계의 성능에서 실제로 일어나는 시점에, 디스플레이 진행 대상(112)이 주어진 성능 이벤트 확인 대상(111) 중의 하나와 일치된다.

바람직한 실시예에서, 상기 성능 속도가 조절되어, 제공된 대상이, 성능 이벤트 확인 대상과 조정된 성능 데이터가 없는 상태에서는, 주어진 성능 이벤트 확인 대상을 넘어서는 경로를 따라 진행하는 것을 방지하게 된다. 즉, 도 1A의 내용에서, 리본(110)은, 성능 센서 데이터(PSD)의 분석이 그 진행 대상과 조정될 수 있는 실제 세계의 이벤트를 확인하지 않는 한, 진행 대상(112)를 넘어 주어진 이벤트 대상(111) 중의 하나로 진행하는 것을 방지한다. 상기 조정은 다음의 하나 또는 모두를 포함할 수 있다: (ⅰ) 성능 이벤트 확인 대상과의 임시적 조정(예컨대 악보가 적절한 시점에 연주된다); 그리고 (ⅱ) 성능 이벤트 확인 대상과의 정확도 기반 조정(예컨대 정확한 악보가 연주된다). 상기한 하나 또는 모두를 이용하는 것이, 본질적으로 다른 교육 경험을 제공한다는 것을 이해하여야 한다. 상기 양자 모두가 사용되는 경우, 사용자는, 계속 진행하기 전에 정확한 악보를 칠 수 있도록 하는 광범위한 기회를 실질적으로 제공받게 된다. 예를 들어, 주어진 이벤트 대상(111)에서 진행 대상(112)에 도달할 때, 사용자가 잘못된 악보를 연주할 수 있는데, 이 경우 상기 리본은 정확한 악보가 연주될 때까지(또는 어떤 경우에, 다른 규칙-기반 이벤트가 작동되기 까지) 그 장소에 머무르게 된다.

이하의 내용은, 성능 센서 데이터(PSD)에 대응하여, 성능 이벤트 확인 대상을 넘어서는 제한된 진행에 있어서의 속도 제어를 포함하고 있다. 어떤 실시예에서는, 성능 이벤트 대상 사이의 진행 속도와 관련하여, 속도 제어가 적용된다. 예를 들어, 성능 이벤트 확인 대상 EO_n (이는 성능 이벤트 PE_n에 대응된다)과, 후속 성능 이벤트 확인 대상 EO_n ₊₁(이는 성능 이벤트 PE_n ₊₁에 대응된다) 사이에서, 진행 속도를 제어하도록 알고리즘(algorithm)이 구성된다. 바람직하게는, 상기 성능 속도가, 다음 성능 이벤트 확인 대상과 조정될 수 있는 성능 데이터의 수신에 대한 예상 시간을 추정하는 것에 기초하여 조절된다. 다양한 실시예에서, 다양한 입력이 이러한 예측을 위해 사용되며, 이는 다음을 포함한다:

● PE_n _- ₁과 PE_n 사이의 기간에서 평균적으로 관찰된 성능 속도. 예를 들어, 어떤 실시예에서 상기 평균은, 이전에 악보가 연주된 속도에 기초하여 계산된다. 상기 평균은, 예컨대 좀 더 최근의 이벤트간 기간에 가중치를 부여한 가중치 평균일 수 있다.

● PE_n 부터 PE_n ₊ ₁까지 진행하기 위한 특정 사용자 능력의 데이터 대표(예컨대 과거의 성능 센서 데이터의 관찰에 의해 얻어진다). 예를 들어 이는, 사용자가 성능 이벤트 PE_n 부터 PE_n ₊ ₁까지 이미 진행한 평균 관찰 시간, 또는 유사한 성능 이벤트 간 진행에 대한 평균 관찰 시간에 기초할 수 있다.

● PE_n 부터 PE_n ₊ ₁까지 진행하는데 요구되는 기능에서 특정 사용자의 능력에 대한 데이터 대표(예컨대 이는 과거의 성능 센서 데이터의 관찰에 의해 얻어진다).

● 특정 사용자의 현재의 정신적 및/또는 신체적 상태의 데이터 대표. 예를 들어, 이는 어떤 실시예에서, 미리 정해진 자극(교육 전에 "오늘은 상태가 어떻습니까" 등과 같이 질문을 하는 인터페이스)에 대응하여 사용자 입력을 얻도록 구성되는 사용자 인터페이스 구성요소로부터 얻어질 수 있다. 다른 실시예에서, 이는 대안적 또는 부가적으로, 과거의 성능 센서 데이터(예컨대 사용자가 계속 실수를 하여 피곤하게 느끼거나 실망하게 될지의 여부)의 분석에 기초하는 예측을 포함할 수 있다.

속도 변경 및 예측에 의해, "적응성 템포(adaptive tempo)" 모드는, 사용자의 실제 세계의 성능의 관찰에 기초하여, 실시간으로 역동적으로 제어되는 리본(110)의 이동속도로, 대상(103)을 통해 공급될 수 있다. 상기한 접근법에 의해, 사용자는, 사용자의 속도에 반응하도록 적용되는 그래픽 사용자 인터페이스에 의해, 사용자가 원하는 변화 속도에 따라, 리본(110) 상에 표시된 곡을 자유롭게 연주할 수가 있다.

어떤 실시예에서, 진행 속도의 결정에 의해, 하나 또는 그 이상의 다른 사용자 인터페이스 대상이(즉 교육 대상 103이 아닌 대상이), 시행된다. 예를 들어, 도 1A의 예에 도시된 바와 같이, 이는, 비디오(다른 실시예에서는 비디오가 오버레이(overlay)를 포함한다), 오디오 및/또는 애니메이션과 같은 제공된 미디어(media)를 디스플레이하도록 구성된다. 바람직하게는, 상기 미디어가 역동적으로 변화하는 진행 속도에 의해 플레이된다. 도 1A의 실시예에서, 미디어 디스플레이 대상은 제공된 비디오 파일을 디스플레이 하도록 구성되고, 상기 비디오 파일은 교육 대상(103)과 동기화된다. 즉, 예를 들어 각 성능 이벤트 확인 대상(111)은, 특정한 비디오 프레임에 대응되어, 진행 대상(112)이 관련 대상(111)과 겹쳐질 때, 특정의 프레임이 디스플레이 된다. 예를 들어, 일 실시예에서, 상기 비디오는 기타를 연주하는 사람을 보여주고, 악보가 리본(110)의 진행과 일치하여 연주된다.

바람직하게, 상기 비디오는, 오디오, 예컨대 사용자에 의해 연주되는 시간과 일치하는 음악과 관련된다. 예측 속도 조정이, 사용자가 적응 템포 모드에서 동반되는 음악을 따라서 연주하는 것에 도움을 줄 수 있다는 것을 이해할 수 있을 것이다. 어떤 실시예에서, 이는, 성능 이벤트가 예측의 범위를 넘어 지연될 경우, 그 상황에 맞게 진행 속도를 늦추는 속도 조절에 의해(또는 특정의 프레임과 관련된 사운드의 영속화에 의해) 좀더 용이해진다.

상기 비디오는, 예측된 사용자 손가락 위치의 대표가 겹치도록 하여, 사용자 손가락 위치와 정확한 손가락 위치간의 비교를 보여줄 수 있다.

어떤 실시예에서, 상기 사용자 인터페이스는, 성능 이벤트 확인 대상에 대응하는 성능 이벤트를 확인하기 위한 성능 센서 데이터(PSD)의 처리에 대한, 실패한 조정 이벤트를 모니터링하고 처리하는 것에 대응하여, 미리 정해진 동작을 수행하도록 구성된다. 예를 들어, 상기 성능 데이터가: (ⅰ) 상기 성능 이벤트 확인 대상과 일시적으로 조정되지 않았거나; 그리고 (ⅱ) 상기 성능 이벤트 확인 대상과 정확하게 조정되지 않은 경우에, 규정된 동작이 실행될 수 있다. 상기 규정된 동작은, 다음의 하나 또는 그 이상을 포함할 수 있다:

● 다른 사용자 인터페이스 구성요소의 공급 특성의 변경. 예를 들어, 이는, 미디어 디스플레이 대상(105)(아래에서 설명될 것이다)에 적용되는, 뷰포트(view-port) 변경 및/또는 오버레이의 적용)와 같은 동작을 포함할 수 있다.

● 예컨대 피드백 대상(104) 및/또는 오디오 출력 장치를 통한 피드백의 제공,

● 진행 대상(112)의 위치 조정. 이는, 사용자에게 주어진 부분에서 성능을 다시 시도할 기회를 부여하는 것과 같이, 규정된 지점에 대해 진행 대상을 역행시키는 것을 포함할 수 있다(즉 규정된 지점에 대한 리본(111)의 효율적인 리와인딩(rewinding)). 다른 실시예에서, 이는, 진행 대상이 미리 정해진 루프(loop)로 진행하도록 하여, 계속되는 성능 이벤트 세트 사이에서, 특정 동작의 반복된 연습을 가능하게 한다.

● 규정된 추가 지도의 시작. 예를 들어, 이는, 사용자가 특정의 기능을 발전시키는데 도움을 주도록 대상(113)을 통해 제공되는 추가 지도를 포함할 수 있는데, 상기 특정의 기능은, 성능 센서 데이터(PSD)의 분석을 통해 관찰된 어려움(또는 능력의 부족)을 극복하기 위해 필요한 것이다.

성능 센서 데이터(PSD)의 분석에 대응하여 미리 정해진 동작을 선택하는 특정의 규칙은, 각 개인의 커리큘럼 설계의 문제이고, 본 발명의 범위를 벗어나는 것임을 이해하여야 한다.

상기한 실시예가 리본(110)의 사용에 대해 촛점을 맞추었지만, 교육의 목적을 위해, 기능이 성능 이벤트의 흐름을 참조하여 분석될 수 있는 경우, 상기 기술이 다른 기능 훈련 상황에 바로 적용될 수 있다는 것을 이해할 수 있을 것이다. 음악에 있어서, 이는 악보의 흐름을 참조하여 달성될 수 있다. 유사한 원칙이 오디오 기반 기능(audio-based skill)에 광범위하게 적용될 수 있다. 모션 기반 기능(motion-based skill)에 있어서는, 복잡한 동작이 그 동작의 관점을 참조하여 분석될 수 있다(이는 이러한 관점에서의 관련된 타이밍을 훈련하는데 특히 도움을 줄 수 있다).

<적응 템포 모드의 예(오디오 성능 실시예)>

도 1B는, 모션 기반 기능의 관점에서, "적응 템포" 모드의 공급을 가능하게 하는 실시예에 사용되는 다른 구조를 나타낸 것이다. 사용자 인터페이스 장치(100)는, 디스플레이 스크린(101)을 통해 사용자 인터페이스를 제공한다(도시된 것은 스마트 폰 또는 태블릿과 같은 터치 스크린 장치의 대표로서, 이는 단지 예시적인 것이며, 헤드셋(headset) 및/또는 망막(retinal) 디스플레이/프로젝션을 통해 디스플레이하는 장치를 포함하여, 광범위한 다른 장치가 사용될 수도 있다). 본 실시예에서 상기 사용자 인터페이스 장치(100)는, 예를 들어 스포츠 기능(예컨대 저글링(juggling), 축구공 차기, 로잉(rowing) 등)과 같은 모션 기반 기능의 훈련을 위한 적응 기능 훈련 프로그램을 제공하도록 구성된다. 사용자는 모션 센서 유닛(MSU) 장착 의복(130)을 착용하는데, 이는 모션 센서 데이터(MSD)를 POD 장치(120)로 공급하도록 구성된 복수의 모션 센서 유닛(MSU)을 포함한다. POD 장치(120)는 모션 센서 데이터(MSD)에서 관찰가능한 데이터 상태(ODC)를 확인하도록 구성되어, 이에 의해 상기 훈련 프로그램을 장치(100)를 통해 제공하도록 하는 입력을 제공한다. 도시된 바와 같이, 사용자는 음성의 피드백 제공을 가능하게 하는 헤드셋(headset)(170)을 착용한다. 여기서는 들을 수 있는 피드백이 장치(100)로부터 제공되는 것으로 도시되어 있지만, 다른 실시예에서는 POD 장치(120)에 의해 직접 제공될 수도 있다. 모션 기반 기능을 훈련할 때에는 모바일 장치를 사용하는 것이 불편하기 때문에 헤드셋이 유용하다는 것을 이해할 수 있을 것이다. 유사한 이유로, 다른 실시예에서는, 장치(100)가, 예컨대 증강현실 헤드셋, 스크린 디스플레이를 구비한 안경/고글, 망막 디스플레이/프로젝터 등과 같이 착용가능한 형태를 가질 수 있다.

도 1B에서 스크린(101) 상에 디스플레이된 사용자 인터페이스는, 미디어 디스플레이 대상(160)과 설명/피드백 대상(161)을 포함한다. 예를 들어, 일실시예에서 설명/피드백 대상(161)은 기능을 보완하는 모션 관점 이벤트의 진행 타임라인 대표를 제공하고, 미디어 디스플레이 대상(160)은 애니메이션 또는 정확한 폼을 보여주는 비디오(선택적으로 모션 센서 데이터로부터 얻어진 실제 사용자 동작의 오버레이 대표와 함께)를 제공한다. 대상 160과 161은, 모션 센서 유닛(MSU) 장착 의복(130) 상의 모션 센서 유닛(MSU)으로부터 얻어진 모션 센서 데이터의 분석에 기초하여, 상기 대상 103 및 105와 유사한 방식으로 속도가 제어된다.

<사용자 인터페이스 디스플레이의 예>

도 6A 및 도 6B는, 상기한 기술을 사용한 기타(guitar) 훈련 프로그램에 대한 사용자 인터페이스 디스플레이의 예를 나타낸 것이다.

도 6A는, 기타로 악보를 연주하는 것과 관련하여, 도 5A에 도시된 것과 유사하게, 리본 대상의 스크롤링(scrolling)을 통해 설명을 제공하도록 구성된 진행 대상(progression object)을 보여주고 있다. 상기 스크롤링은 예컨대 사용자의 기타와 연결된 오디오 센서 유닛(ASU)으로부터 수신된 오디오 센서 데이터(ASD)의 처리에 기초하여, 제어된 속도로 발생한다. 진행 바(bar)는, 성능 이벤트 확인 대상에 대한 사용자의 현재의 위치를 보여준다. 또한 미디어 대상이 제공되고, 이는, 성능 이벤트 확인 대상에 대응되는 악보의 연주를 나타내는 비디오를 제공한다. 상기 비디오는 진행 대상의 속도로 재생되어, 사용자가 주어진 악보를 어떻게 연주할지에 대해 시각적으로 도움을 준다. 도 6B에서 상기 비디오는, 부가적인 지도를 위해 첨가된 설명 아이콘(icon)과 함께, 비디오 촬영된 연주자의 손가락에 관해 좀더 올바르게 보여주고 있다. 예를 들어, 도 6B의 디스플레이는, 에러 확인 및 훈련 보조과정의 일부로서 제공될 수 있다.

도 6C는, 골프 클럽(golf club)의 스윙에 관한 설명을 제공하도록 구성된 진행 대상을 보여주고 있다. 이 경우, 복수의 모션 센서 유닛(MSU) 위치 존(zone)(예컨대 존 600)이 표시되어, 골프 스윙 동작 동안, 플레이어에게 모션 센서 유닛(MSU) 장착 의복에 의해 휴대되는 모션 센서 유닛(MSU)의 정확한 위치를 알려준다. 어떤 실시예에서는, 모션 센서 유닛(MSU)의 실제 위치를 실시간으로 디스플레이하고, 이에 의해 사용자가 동작/위치 교정을 확인하고 실행하는데 도움을 준다. 이러한 방식으로, 신체적 활동(예컨대 골프 스윙)을 통한 진행이, 악기로 악보를 연주하는 방식과 유사하게, 진행 대상을 통해 제공된다; 여기서 상기 악보는 신체 위치에 의해 대체되고, 사용자는 이 사이에서 신체적 활동을 진행한다.

도 6C에 도시된 자세 사이의 전환은, 단계적 또는 원활한 전환을 위해 계속적인 애니매이션일 수 있다. 또한 도 6C는, 스크린의 아래 부분에 비디오 애니매이션 리본을 보여주고 있다.

도 6D에 도시된 예에서, 관찰된 시도(attempt) 특성이 디스플레이되는데, 이는 관찰된 템포와 타겟 템포(target tempo)(여기서는 2.1.1 대 5.1.1)와의 비교와, 관찰된 시도(목표와 비교하여)에 기초하여 계산된 클럽 헤드 속도를 포함하고 있다. 이는 사용자에게, 다음에 의해 동작을 연습할 수 있도록 한다: 먼저, 정확한 위치 및 위치 전환을 달성하기 위해 하나의 포지션에서 다른 포지션으로 천천이 움직이고; 이어서, 포지션 사이의 전환 템포를 연습한 다음, 속도를 연습한다(포지션과 템포의 정확성을 유지하면서).

도 6E는 사후 분석 디스플레이를 보여주고 있는데, 이는 동작의 특정 지점에서 동작 에러를 확인하는데 도움을 준다(예를 들어 상호 참조되는 PCT 출원에 개시된 분석에 기초하는, 원인/증상/관찰가능한 데이터 상태(ODC)를 이용하여). 이는, 설명된 모션 센서 유닛(MSU) 위치와 관련된 실제 관찰된 모션 센서 유닛(MSU)을 보여주고 있고, 피드백을 제공하여 성능을 향상시키는데 도움을 준다. 도 6F는 다른 각도에서의 동작 그래픽을 보여주고 있고, 이는 다른 모션 센서 유닛(MSU)의 시각화에 도움을 준다.

이러한 방식으로, 도 6C 내지 도 6E에 도시된 바와 같이, 어떤 실시예는, 기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법을 제공하며, 상기 컴퓨터 실행방법은: 모션 센서 유닛(MSU)의 세트로부터 얻어진 성능 데이터를 수신하는 단계와; 디스플레이 스크린 상에 그래픽 대상(graphical object)이 표시되도록 하는 단계를 포함하고; 상기 그래픽 대상은, 신체적 성능의 각 단계에서 하나 또는 그 이상의 모션 센서 유닛(MSU)에 대한 목표 위치를 포함하는 모션 기반 기능의 신체적 성능의 상태들을 포함하며; 상기 컴퓨터 실행방법은, 상기 모션 센서 유닛(MSU)의 세트로부터 얻어진 성능 데이터의 분석에 기초하여, 신체적 성능의 상태 표시를 처리하는 단계와; 상기 모션 센서 유닛(MSU)의 세트로부터 얻어진 성능 데이터의 분석에 기초하여, 주어진 모션 센서 유닛(MSU)의 관찰된 위치 사이에서 그래픽 대상을 통해 그 관계를 표시하는 단계를 포함한다.

<미디어 내용의 효율적 활용의 예>

어떤 실시예는 적응 기능 훈련 프로그램에서 미디어 내용의 효율적인 활용을 제공한다. 이는, 훈련을 돕기 위해, 예컨대 비디오 데이터와 같은 미디어 내용을 디스플레이하는 훈련 프로그램의 내용과 관련이 있다. 성능 센서 데이터(PSD)의 분석에 기초하여, 상기 미디어 내용의 디스플레이는, 예컨대 팬(pan)/줌(zoom) 위치 및/또는 속도의 관점에서 변화된다. 이는, 단일 미디어 파일 또는 미디어 파일의 제한된 수집을 통해, 제공되는 사용자의 경험을 현저히 풍부하게 하고, 미디어 파일을 광범위하게 수집 및/또는 유지하는 것을 피할 수 있게 한다.

일 실시예는, 컴퓨터 실행방법을 제공하며, 상기 방법은: 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 얻어진 성능 데이터를 수신하는 단계; 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 얻어진 성능 데이터를 처리하는 단계; 그리고 상기 성능 데이터에서 미리 규정된 관찰가능한 데이터 상태(ODC)를 확인하는 것에 기초하여, 미디어 조절 동작을 수행하는 단계를 포함한다. 바람직한 실시예에서, 주어진 사용자 인터페이스 구성요소 중의 하나는, 재생속도와 관점(viewpoint) 규정을 구비한 미디어 대상(media object)를 포함하고, 상기 미디어 조정을 수행하는 것은 재생속도 및/또는 관점 규정을 조정하기 위해 결정을 하는 것을 포함한다.

재생속도가 조절되는 방식은 위에서 상세히 설명되었다. 전체적으로, 성능 센서 데이터(PSD)의 처리는, 사용자의 신체적 성능과 관련된 속도의 결정을 가능하게 하고, 그 속도는 미디어 재생에 적용된다. 어떤 실시예에서, 이는 비디오 데이터의 오버레이(overlay)를 제공하고, 이에 의해 사용자의 실제 성능(예컨대 모션 센서 데이터로부터의 가상 신체 모델 구축에 의해)과, 벤치마크(benchmark) 성능(예컨대 비디오 데이터에 캡쳐된 벤치마크 성능) 사이의 관계를 보여준다.

비디오 데이터에 디지털 팬/줌 변형을 적용하는 것에 의해 뷰포트(viewport) 규정이 조정되고, 이에 의해, 제공된 비디오 데이터의 전체 프레임(full frame)보다 적은 픽셀(pixel)(뷰포트)의 선택이 디스플레이된다. 도 2에 도시된 예는, 전체 프레임 비디오 표현(200)과, 뷰포트 규정의 세트를 보여주고 있다. 이는, 기타 훈련 프로그램에 대한 비디오 파일 사용에서, 전문가가 기타를 연주하는 비디오를 참조하여 도시되었다. 원래 고화질(예컨대 4K), 고프레임레이트(high-framerate) 비디오가 캡쳐되었고, 이는 적어도 훈련 프로그램에 요구되는 최대 시야를 포함한다. 그리고 훈련 프로그램이 제작될 때, 규정된 조건을 만족하는 것에 대응하여, 뷰포트 규정에 대한 조정을 할 수 있도록 규칙이 규정된다. 이렇게 규정되는 조건은, 성능 센서 데이터(PSD)에서 또는 성능 센서 데이터를 참조하여 만족되는 조건을 포함할 수 있다.

도 2의 예에서, 상기 뷰포트(viewport) 규정은 다음을 포함한다: (ⅰ) 연주자의 신체를 보여주는 부분 줌(zoom)을 제공하는 뷰포트 규정(201); (ⅱ) 기타에서 연주자의 오른손을 보여주기 위해 줌된 뷰포트 규정(202); 그리고 (ⅲ) 기타에서 연주자의 왼손을 보여주기 위해 줌된 뷰포트 규정(203). 이들은 예컨대, 음악의 특정 부분이 전문가에 의해 어떻게 연주되는지를 사용자(즉 학생)에게 상세하게 보여주기 위해 사용된다.

어떤 실시예에서, 상기 기타는 비디오 데이터에 기록되어, 기타(예컨대 기타의 줄과 관련하여)의 적절한 지점에서 비디오 데이터에 오버레이(overlay)의 적용을 가능하게 하는데, 이는 예컨대 정확한 손가락 위치 및/또는 사용자 손가락 위치를 확인하는 경우에 사용된다(성능 센서 데이터(PSD)의 분석에 기초하여, 발생된 사운드/진동으로부터의 마지막 손가락 위치 결정으로부터 얻어지는 예측에 의해).

뷰포트 규정과 성능 센서 데이터(PSD) 관련 데이터 관찰의 결합은, 디스플레이되는 비디오 데이터의 동적인 변경을 가능하게 하여, 주어진 기능(예컨대 특정의 음악을 연주하는 기능 또는 특정의 모션 기반 기능 형태의 기능)에 대한 각 비디오 파일의 저장소가 필요치 않도록 하고, 적응 훈련 프로그램에 대하여, 주어진 시점에 적합한 기능 훈련에 시각적 도움을 제공하는 것을 돕는다. 단일의 비디오 파일은, 뷰포트 규정을 조정하여 특정의 중요한 지점에 촛점을 맞추는 것에 의해, 복수 형태의 시각적 도움 내용을 제공할 수 있다. 예를 들어, 관찰가능한 데이터 상태(ODC)의 처리에 기초하여, 특정의 신체 부분 등이, 피드백 및/또는 교육이 제공되는 것에 관하여 규정되고, 상기 뷰포트 규정이 그 특정의 신체 부분 등에 촛점이 맞추어지도록 조절된다.

어떤 실시예에서는, 각도 변경을 가능하게 하는 비디오 캡쳐 기술이 사용된다. 이는, 뷰포트 조정 뿐만 아니라 시야 각도의 조정을 가능하게 함으로써, 상기한 실시예를 향상시킨다. 예를 들어 "불릿 타임(bullet time)" 기술은, 복수의 각도로부터 주어진 장면을 캡쳐하는 것에 의해, 비디오 데이터에서의 각도 조정을 가능하게 한다.

<사용자 인터페이스 제어 플랫폼의 예>

도 3은 사용자 인터페이스 제어 플랫폼(300)의 예를 나타낸 것이다. 이는 복수의 기능 규정 구성요소를 참조하여 도시되었으며, 실무상으로 하나 또는 그 이상의 소프트웨어 적용 및/또는 데이터 관리 구성요소에 의해 제공될 수 있다. 상기 플랫폼은, 단일의 장치 또는 복수의 장치(예컨대 POD 장치와 스마트폰와의 결합 및/또는 서버 장치)에서 실행되는 소프트웨어 설명에 기초하여 실행될 수 있다.

상기 플랫폼은, 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 센서 데이터를 수신하도록 구성되고, 다른 실시예에서 상기 데이터는, 센서 데이터로부터(예컨대 미리 처리된 정도에 기초하여) 얻어질 수 있다. 상기 데이터는 성능 분석 모듈(301)에 의해 분석된다. 예를 들어, 이 처리 센서 데이터는 관찰가능한 데이터 상태(ODC)를 확인하고, 이에 따라 증상 및 원인과 같은 관찰된 신체적 성능의 특성을 결정한다. 이 분석은, 피드백 공급 모듈(302) 및 커리큘럼 제어 모듈(303)의 구동을 가능하게 하는 입력을 제공하는데, 이는 적응 훈련 프로세스를 가이드하는 로직(logic)을 제공한다(예컨대 성능 센서 데이터에서 확인된 특성에 대응하여, 사용자에게 적응 방식으로 설명 및 피드백을 제공함으로써).

미디어 데이터(311)의 저장소는, 사용자 인터페이스(예컨대 터치스크린 장치, 망막 프로젝션 디스플레이, HUD 안경 등)에 제공되도록 구성되는 비디오 파일을 포함한다. 미디어 디스플레이 규칙이 모듈 302 및/또는 303에 제공되어, 이에 의해 (ⅰ) 디스플레이할 미디어를 선택하고; 그리고 (ⅱ) 프레임 레이트(frame rate), 뷰포트 규정 및/또는 시야 각도 등과 같은 디스플레이 특성을 결정한다. 미디어 제어 모듈(313)이, 디스플레이 규칙(312)의 적용에 대한 입력에 대응하여 설명을 제공하여, 이에 의해 사용자 인터페이스에 제공된 미디어 디스플레이 대상의 동작을 제어한다(예컨대 프레임 레이트, 뷰포트 등의 제어에 의해).

설명 데이터(instruction data)(231)는, 예컨대 도 1A에 도시된 스크롤링 리본 대상(scrolling ribbon object)과 같이, 사용자 인터페이스 설명의 제공을 가능하게 하도록 구성된다. 설명 공급 규칙은, 예컨대 성능 센서 데이터(PSD)의 분석에 대응되는 동적인 변경 진행을 결정하는 것에 의해, 상기 설명이 공급될 방식을 결정하도록 구성된다. 설명 공급 제어 모듈은, 예컨대 사용자 인터페이스에 제공된 대상에 대한 동적 제어 진행 속도에 의해, 이러한 결정을 실행하도록 구성된다.

<제어 오버레이(overlay)>

어떤 실시예에서는, 비디오 데이터에 오버레이(overlay)가 적용된다. 이 실시예는, 기 규정된 3D 오버레이 모듈을 사용하여, 그러한 오버레이를 비디오 데이터에 적용할 수 있도록 구성되는 방법을 포함한다.

오버레이 모듈 데이터는 제1 방향에서 규정된다. 예를 들어, 이 방향은 다음과 관련하여 규정된다:

● 음악 교습의 경우에는, 주어진 악기의 기 규정된 방향 및 형상. 예를 들어 기타 교습에 대해서는 표준화된 기타(또는 프렛(fret)과 기타줄(string)과 같은 기타의 일부)가 규정된다. 이러한 모델은 신체적 악기 위치점에 대응되는 가상의 지점을 규정한다.

● 신체 동작 교습의 경우에는, 예를 들어 모션 캡쳐 데이터(MCD), 모션 센서 데이터(MSD)에 기초하여 규정된 모델과 같은, 표준화된 3D 신체 모델. 이러한 모델은 신체적 바디 위치점에 대응되는 가상의 지점을 규정한다.

어느 경우에도, 상기 모델은 시각적 정보를 제공하기 위해 규정되며, 이 시각적 정보는 비디오 데이터에 오버레이 되도록 적용되어, 이에 의해 부가적인 정보를 전달하도록 한다. 예를 들어, 이 시각적 정보는 다음의 하나 또는 그 이상을 보여줄 수 있다: 성능 센서 데이터의 처리로부터 얻어진 사용자 위치; 특별히 중요한 지역.

일 실시예에 따른 방법은, 비디오 데이터에서, 상기 모델에 규정된 가상의 지점에 대응되는 신체적 위치점(신체적 악기 위치점 또는 신체적 바디 위치점)을 확인하는 것을 포함한다. 그리고 상기 3D 오버레이 모델에 대해 변형이 적용되어, 이것이 정확한 위치에서 비디오 데이터 상에 추가될 수 있도록 한다. 어떤 실시예에서, 이는 2차원 비디오 데이터와 관련된 모션 캡쳐 데이터(MCD) 및/또는 모션 센서 데이터(MSD)(또는 깊이-특정(depth specific) 데이터)의 캡쳐링(capturing) 및 처리를 필요로 한다.

<결론 및 해석>

특별히 다르게 규정하지 않는 한, 아래의 기재에서 명백한 바와 같이, 본 명세서에 걸쳐 사용된, "프로세싱", "연산", "계산", "결정", "분석" 등과 같은 용어는, 컴퓨터 또는 컴퓨팅 시스템의 동작 및/또는 프로세스, 또는 유사한 전자 컴퓨팅 장치를 가리키며, 이는 전기와 같이 물리적 양으로 표시된 데이터를, 물리적 양으로 표시된 것과 유사하게, 다른 데이터로 조작 및/또는 변환하는 장치라는 것을 이해할 수 있을 것이다.

유사한 방식으로, "프로세서"라는 용어는, 전기적 데이터를 처리하는 어느 장치 또는 그 장치의 부분을 가리키며, 이는 레지스터 및/또는 메모리로부터, 그 전기적 데이터를 다른 전기적 데이터, 즉 레지스터 및/또는 메모리에 저장될 수 있는 데이터로 변환한다. "컴퓨터" 또는 "컴퓨팅 기계" 또는 "컴퓨팅 플랫폼"은, 하나 또는 그 이상의 프로세서를 포함할 수 있다.

일 실시예에서 여기에 포함된 방법은, 컴퓨터-가독(computer-readable)(기계 가독으로도 불린다) 코드를 수용하는 하나 또는 그 이상의 프로세서에 의해 수행될 수 있으며, 상기 코드는, 하나 또는 이상의 프로세서에 의해 실행될 때, 여기에 기재된 방법의 적어도 하나 이상을 수행하도록 하는 설명의 세트를 포함하고 있다. 특정의 동작이 취해지도록 규정한 설명의 세트를 실행할 수 있는 것이면(순차적 또는 다른 방식으로), 어떠한 프로세서도 여기에 포함된다. 따라서 하나의 예는, 하나 또는 그 이상의 프로세서를 포함하는 전형적인 처리 시스템이다. 각 프로세서는 하나 또는 그 이상의 CPU, 그래픽 처리 유닛, 그리고 프로그램 가능한 DSP 유닛을 포함할 수 있다. 상기 처리 시스템은, 메인 RAM 및/또는 정적인 RAM 및/또는 ROM을 포함하는 메모리 서브시스템을 더 포함할 수 있다. 버스(bus) 시스템이 부품 사이의 통신을 위해 포함될 수도 있다. 상기 처리 시스템은, 네트워크에 의해 연결된 프로세서를 포함하는 분산 처리 시스템일 수 있다. 만일 상기 처리 시스템이 디스플레이를 요구한다면, 액정 디스플레이(LCD) 또는 음극선 튜브(CRT) 디스플레이와 같은 디스플레이가 포함될 수 있다. 만일 매뉴얼 데이터 입력이 요구될 경우에, 상기 처리 시스템은, 키보드와 같은 하나 또는 그 이상의 숫자식 입력 유닛과 같은 입력장치, 마우스 등과 같은 포인팅 컨트롤 장치를 포함한다. 여기에 사용된 메모리 유닛이라는 용어는, 문맥상 명확하고 달리 명확히 규정하지 않는 한, 디스크 구동 유닛과 같은 저장 시스템을 포함한다. 상기 처리 시스템은, 어떤 구조에 있어서 음성 출력 장치, 그리고 네트워크 인터페이스 장치를 포함할 수 있다. 상기 메모리 서브시스템은, 하나 또는 그 이상의 프로세서에 의해, 여기에 기재된 하나 또는 그 이상의 방법에 의해 실행될 때, 컴퓨터-가독 캐리어 매체(carrier medium)를 포함하는데, 이는 실행을 야기하는 설명(instruction)의 세트를 포함하는 컴퓨터-가독 코드(즉 소프트웨어)를 구비한다. 상기 방법이 복수의 요소를 포함할 때, 즉 여러 단계일 때, 달리 규정되지 않는한, 그러한 요소의 순서가 암시되어 있지 않음을 유의하여야 한다. 상기 소프트웨어는, 컴퓨터 시스템에 의한 실행 동안, 하드 디스크에 위치할 수 있고, 또는 상기 RAM 및/또는 프로세서 내부에, 완전히 또는 적어도 부분적으로 위치할 수 있다. 따라서 상기 메모리와 프로세서는, 컴퓨터-가독 코드를 구비하는 컴퓨터-가독 캐리어 매체를 형성할 수 있다.

더욱이, 컴퓨터-가독 캐리어 매체는, 컴퓨터 프로그램 제품 내에 형성될 수 있고, 또는 여기에 포함될 수도 있다.

다른 실시예에서, 하나 또는 그 이상의 프로세서는, 독립된 장치로 작동할 수 있고, 네트워크된 다른 프로세서에 연결될 수도 있으며, 상기 하나 또는 그 이상의 프로세서는, 서버-사용자 네트워크 환경에서, 서버 또는 사용자 기계의 기능을 갖고 작동하거나, 또는 P2P 방식(peer-to-peer) 또는 분산된 네트워크 환경에서, 동료 기계로서 작동할 수 있다. 상기 하나 또는 그 이상의 프로세서는, 개인 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), 개인 단말기(PDA), 셀룰러 텔레폰, 웹 장치, 네트워크 라우터(router), 스위치 또는 브리지, 또는 그 기계에 의해 수행될 동작을 규정하는 설명(instruction)의 세트(순차적 또는 다른 방식)를 실행할 수 있는 다른 기계를 형성할 수 있다. 도표는, 컴퓨터-가독 코드를 구비한 단지 하나의 프로세서 또는 메모리를 표시하고 있지만, 이 분야의 통상의 기술자라면, 여기에 많은 부품들이 포함되고, 본 발명의 관점을 흐리지 않도록 하기 위해서, 명시적으로 표시하거나 기재하지 않았음을 이해할 것이다. 예를 들어 단일의 기계가 표시되어 있지만, 상기 "기계"라는 용어는, 여기에 기재된 하나 또는 그 이상의 방법을 수행하기 위해, 개별적 또는 집합적으로 설명의 세트(또는 복수의 세트)를 실행할 수 있는 모든 기계의 집합을 포함한다.

따라서, 여기에 기술된 각 방법의 일 실시예는, 설명의 세트를 구비하는 컴퓨터-가독 캐리어 매체의 형태이며, 설명의 세트는, 웹 서버 배치의 일부인 하나 또는 그 이상의 프로세서상에서 실행시키기 위한 컴퓨터 프로그램이다. 따라서 본 기술분야의 통상의 기술자가 이해할 수 있듯이, 본 발명의 실시예는 방법 및 장치에 의해 구체화되며, 상기 장치로는, 특수 목적 장치와 같은 장치, 데이터 처리 장치와 같은 장치, 컴퓨터-가독 캐리어 매체, 즉 컴퓨터 프로그램 제품이 있다. 상기 컴퓨터-가독 캐리어 매체는, 설명의 세트를 포함하는 컴퓨터 가독 코드를 구비하며, 상기 설명의 세트는, 하나 또는 이상의 프로세서상에서 실행될 때, 방법을 실행할 하나 또는 그 이상의 프로세서가 실행되도록 한다. 따라서 본 발명의 관점은, 방법, 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예 또는 소프트웨어와 하드웨어를 조합하는 실시예의 형태를 가질 수 있다. 더욱이 본 발명은, 매체에 구체화된 컴퓨터-가독 프로그램 코드를 구비한 캐리어 매체(즉 컴퓨터-가독 저장 매체상의 컴퓨터 프로그램 제품)의 형태를 가질 수 있다.

상기 소프트웨어는, 네트워크 인터페이스 장치를 통해, 네트워크에서 전송 및 수신될 수 있다. 상기 캐리어 매체가, 예시적 실시예에서 단일의 매체로 표시되어 있지만, 상기 "캐리어 매체(carrier medium)"란 용어는, 하나 또는 그 이상의 설명의 세트를 저장하는 단일 또는 복수의 미디어(즉 집중 또는 분산된 데이터베이스 및/또는 관련된 캐시(cashe) 및 서버)를 포함하는 것으로 이해되어야 한다. 또한 상기 용어 "캐리어 매체"는, 하나 또는 그 이상의 프로세서에 의해 실행되는 설명의 세트를 저장하고, 부호화하고 또는 운반할 수 있는 어떠한 매체를 포함하며, 하나 또는 하나 이상의 프로세서가 본 발명의 하나 또는 그 이상의 방법을 수행하도록 하는 것으로 이해되어야 한다. 캐리어 매체는 다양한 형태를 가질 수 있고, 비휘발성 매체, 휘발성 매체 및 전송 미디어를 포함하나 이에 한정되지 아니한다. 비휘발성 매체는, 예를 들어 광학, 자기 디스크 및 광자기 디스크를 포함한다. 휘발성 매체는, 메인 메모리와 같은 다이나믹 메모리를 포함한다. 전송 미디어는, 동축 케이블, 구리 와이어 그리고 버스(bus) 서브시스템을 포함하는 광섬유를 포함한다. 또한 전송 미디어는, 라디오파 및 적외선 데이터 통신과 같은, 음파 또는 광파의 형태를 가질 수 있다. 예를 들어 "캐리어 매체"라는 용어는 다음을 포함할 수 있으나 이에 한정되지 아니한다: 고체상태의 메모리, 광학 및 자기 미디어에 구체화된 컴퓨터 제품; 적어도 하나 또는 그 이상의 프로세서에 의해 검출가능한 증식된 데이터를 구비하고, 설명의 세트를 표시하며, 실행될 때 방법을 수행하는 매체; 적어도 하나 또는 그 이상의 프로세서 중 적어도 하나에 의해 검출가능한 증식된 데이터를 구비하고, 설명의 세트를 표시하는 전송 매체.

상기한 방법의 단계는, 일실시예에서, 저장소에 저장된 설명(컴퓨터-가독 코드)을 실행하는 처리 시스템(즉 컴퓨터)의 적절한 프로세서(또는 프로세서들)에 의해 수행된다는 것을 이해하여야 한다. 또한 본 발명은, 특정의 실행 또는 프로그래밍 기법에 한정되지 않고, 여기에 기재된 기능의 수행을 위한 다른 적절한 기법을 이용하여 수행될 수 있다는 것을 이해하여야 한다. 본 발명은, 어떠한 특정의 프로그래밍 언어 또는 운영 시스템에 한정되지 아니한다.

본 발명의 예시적인 실시예에서, 본 발명의 다양한 특징은, 개시를 간소화하고 다양한 발명의 관점의 하나 또는 그 이상의 이해를 돕기 위한 목적으로, 가끔 단일의 실시예, 도면 도는 기재로 같이 묶어졌다는 것을 이해하여야 한다. 이 개시된 방법은, 본 발명이 각 청구범위에 명백히 기재된 것보다 더 많은 특징을 요구한다는 의도를 반영하는 것으로 해석되지는 않는다. 그보다는, 후술하는 청구범위에 반영된 바와 같이, 발명의 관점은, 전술한 단일의 실시예의 모든 특징보다도 적다. 따라서 발명의 상세한 설명에 뒤따르는 청구범위는, 이 발명의 상세한 설명에 명백하게 통합되고, 각 청구범위는 분리된 실시예로서 스스로 그 위치를 갖는다.

더욱이 해당 기술 분야의 통상의 기술자에 의해 이해되는 바와 같이, 여기에 개시된 어떤 실시예에서는 특징이 포함되고, 다른 실시예에는 특징이 포함되지 않았지만, 다른 실시예의 특징의 조합은, 본 발명의 범위 내에 있고, 다른 실시예를 형성하는 것을 의미한다. 예를 들어 다음의 청구범위에서 청구된 실시예는 어떠한 조합에도 사용될 수 있다.

더욱이 여기에 기재된 어떤 실시예는, 컴퓨터 시스템의 프로세서에 의하거나 또는 그 기능을 수행하는 다른 수단에 의해 실행될 수 있는 방법으로, 또는 그 방법 요소의 조합으로 기재되었다. 따라서 그러한 방법 또는 그 방법의 요소를 실행하기 위해 필요한 설명을 구비한 프로세서는, 그 방법 또는 그 방법의 요소를 실행하기 위한 수단을 형성한다. 더욱이 여기에 기재된 장치 실시예의 구성요소는, 본 발명을 실행하기 위한 목적으로, 그 구성요소에 의해 수행되는 기능을 실행하기 위한 수단의 일예이다.

본 명세서에 제공된 설명에서, 많은 특정한 세부사항이 설명되었다. 그렇지만 본 발명의 실시예는 이러한 특정한 세부사항 없이도 실행될 수 있다는 것을 이해할 수 있을 것이다. 다른 경우에 있어서, 잘 알려져 있는 방법, 구조 및 기법은, 설명의 이해를 흐리지 않도록 하기 위해, 상세히 설명하지 않았다.

마찬가지로, 결합이란 용어는, 청구범위에 사용될 때, 직접 연결하는 것만으로 제한되어 해석되어서는 아니된다. "결합된" 그리고 "연결된" 이라는 용어는, 그 파생물과 함께 사용될 수 있다. 이들 용어들은 서로 동의어로 의도되지 않았다는 것을 이해하여야 한다. 따라서 장치 A가 장치 B에 결합되었다는 표현의 범위는, 장치 A의 출력부가 장치 B의 입력부에 직접 연결된 장치 또는 시스템에 한정되어서는 아니된다. 이는, A의 출력부와 B의 입력부 사이에, 다른 장치 또는 수단을 포함하는 경로가 존재한다는 것을 의미한다. "결합된" 이라는 표현은, 둘 또는 그 이상의 구성요소가 직접 물리적 또는 전기적으로 접촉하거나, 둘 또는 그 이상의 구성요소가 서로 직접 접촉하지는 않으면서, 서로 같이 작동되거나 또는 상호작용을 하는 것을 의미한다.

본 발명의 바람직한 실시예로 생각되는 것이 기재되었지만, 해당 기술분야의 통상의 기술자라면, 본 발명의 사상을 벗어남이 없이 그로부터 다른 수정이 있을 수 있고, 그러한 모든 변형 및 수정이 본 발명의 범위 내에 있는 것으로 의도되었다는 것을 인식할 수 있을 것이다. 예를 들어 상기한 어떠한 공식은, 단지 그것이 사용될 수 있는 과정의 대표를 나타낸 것이다. 블록 도표에 기능이 추가되거나 삭제될 수 있고, 기능 블록 사이에서 활동이 교환될 수도 있다. 여기에 기재된 방법에, 본 발명의 범위 내에서, 단계가 더해지거나 삭제될 수도 있다.

Claims

사용자에게 훈련을 제공하도록 구성되는 시스템으로서,
상기 시스템은: 사용자에 의한 기능의 신체적 특성에 대한 성능 센서 데이터 대표(performance sensor data representative)를 수신하도록 구성된 하나 또는 그 이상의 성능 센서 유닛(PSU)으로부터 성능 센서 데이터(PSD)를 수신하도록 구성되는 입력부와;
상기 성능 센서 데이터(PSD)를 처리하여 그 특성을 확인하고, 그 특성을 미리 정해진 기준 성능 데이터(PSD)와 비교하도록 구성되는 처리장치를 포함하고;
상기 미리 정해진 기준 성능 데이터는: 성능 타임라인(timeline)과 관련하여 규정된 성능 이벤트 세트의 데이터 대표(data representative)와;
각각의 성능 이벤트에 대하여, 성능 센서 데이터(PSD)에 의해 만족될 수 있는 특성의 데이터 대표와;
상기 성능 이벤트의 하나 이상의 조합에 대한 이벤트간 상대적 타이밍 데이터(inter-event relative timing data)를 포함하며;
상기 시스템은: 제어된 성능 속도로 공급되는 하나 또는 그 이상의 내용을 제공하는 그래픽 사용자 인터페이스(graphical user interface)를 제어하도록 구성되는 사용자 인터페이스 제어부와;
성능 센서 데이터(PSD)와 미리 정해진 기준 성능 데이터의 비교에 기초하여, 성능 속도를 제어하도록 구성되는 속도 제어 모듈을 더 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서,
수신된 성능 센서 데이터(PSD)는, 음악 악기에 대한 사용자 동작을 모니터하도록 구성된 하나 또는 그 이상의 센서로부터 얻어지는 성능 데이터를 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서,
수신된 성능 센서 데이터(PSD)는, 하나 또는 그 이상의 모션 센서 유닛(MSU)으로부터 얻어진 성능 데이터를 포함하는 것을 특징으로 하는 시스템.
제3항에 있어서,
상기 하나 또는 그 이상의 모션 센서는. 모션 센서 장착 의복에 의해 제공되는 것을 특징으로 하는 시스템.
제1항에 있어서,
제어된 속도로 공급되는 하나 또는 그 이상의 내용(resources)은, 제어된 성능 속도로 진행되도록 제공되는 진행 대상(progressive object)를 포함하고,
상기 제공된 진행 대상은, 복수의 성능 이벤트 확인 대상(performance event identification object)를 포함하는 경로를 따라 진행하도록 제어되고,
상기 성능 이벤트 확인 대상은 상기 성능 이벤트에 대응되는 것을 특징으로 하는 시스템.
제5항에 있어서,
속도 제어 모듈이 작동되어, 성능 데이터가: (ⅰ) 성능 이벤트 확인 대상과 일시적으로 조정되지 않았거나 및/또는 (ⅱ) 성능 이벤트 확인 대상과 정확하게 조정되지 않았으면, 제공된 진행 대상이, 주어진 성능 이벤트 확인 대상의 하나를 넘어서는 경로로 진행하는 것을 방지하고,
적응 템포(adaptive tempo) 모드를 제공하여, 제공된 진행 대상의 속도가, 수신된 성능 센서 데이터(PSD)에 의해 만족되는 특성을 갖는 성능 이벤트를 나타내는 성능 센서 데이터의 속도에 기초하여 제어되는 것을 특징으로 하는 시스템.
제6항에 있어서,
상기 제어된 성능 속도는, 다음 성능 이벤트 확인 대상과 함께 조정될 수 있는 성능 데이터의 수신에 대한 예상 시간을 예측하는 것에 기초하여, 계속되는 성능 이벤트 확인 대상 사이의 진행 속도로 조정되는 것을 특징으로 하는 시스템.
제1항에 있어서,
피드백 제어 모듈을 더 포함하고, 상기 피드백 제어 모듈은, 미리 규정된 조건에 대응하여, 규정된 피드백 동작을 수행하도록 구성되고,
상기 미리 규정된 조건은, (ⅰ) 성능 데이터가 성능 이벤트 확인 대상에 대응되는 성능 이벤트와 일시적으로 조정되었는지, 그리고 (ⅱ) 성능 데이터가 성능 이벤트 확인 대상에 대응되는 성능 이벤트와 정확하게 조정되지 않았는지를 확인하는 것을 포함하는 것을 특징으로 하는 시스템.
제1항 내지 제8항 중 어느 한 항에 있어서,
평가 모듈을 더 포함하고, 상기 평가 모듈은, 수신된 성능 센서 데이터(PSD)와 미리 규정된 기준 성능 데이터를 비교하는 것에 기초하여, 성능 특성을 평가하도록 구성되는 것을 특징으로 하는 시스템.
제9항에 있어서,
상기 평가 모듈은 복수의 모듈로 동작하도록 구성되고, 상기 복수의 모듈은:
성능 센서 데이터(PSD)의 분석에 기초하여 성능 속도가 제어되고, 상기 평가는, 연속되는 각각의 성능 이벤트 특성의 데이터 대표를 만족시키는 정확도에 기반을 두는 제1모드와;
상기 성능 센서 데이터(PSD)의 분석에 기초하여 성능 속도가 제어되고, 상기 평가는, 연속되는 각각의 성능 이벤트 특성의 데이터 대표를 만족시키는 정확도와, 상기 성능 이벤트의 하나 이상의 조합에 대해 관찰된 이벤트간(inter-event) 상대적 타이밍 데이터와, 기준 성능 데이터의 성능 이벤트의 하나 이상의 조합에 대해 관찰된 이벤트간 상대적 타이밍 데이터를 비교한 것에 기반을 두는 제2모드와;
제어된 성능 속도가 성능 센서 데이터(PSD)의 실시간 모니터링에 관계없이 일정값으로 세팅되고, 상기 평가는, 연속되는 각각의 성능 이벤트 특성의 데이터 대표를 만족시키는 정확도에 기반을 두는 제3모드를 포함하는 것을 특징으로 하는 시스템.
기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법으로서,
상기 컴퓨터 실행방법은:
(ⅰ) 하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 수신하는 단계와;
(ⅱ) 하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 처리하는 단계와;
(ⅲ) 하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 데이터를 처리하는 것에 기초하여, 하나 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성을 변경하도록 결정하는 단계와;
(ⅳ) 하나 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성에서 결정된 변경을 시행하는 신호를 제공하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 실행방법.
제11항에 있어서,
상기 수신된 성능 데이터는, 하나 또는 그 이상의 오디오 센서 유닛으로부터 얻어진 성능 데이터를 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
상기 수신된 성능 데이터는, 장비의 사용자 동작을 모니터하도록 구성된 하나 또는 그 이상의 센서로부터 얻어진 성능 데이터를 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
상기 장비는, 악기를 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
상기 수신된 데이터는, 하나 또는 그 이상의 모션 센서 유닛으로부터 얻어진 성능 데이터를 포함하는 것을 특징으로 하는 방법.
제15항에 있어서,
상기 하나 또는 그 이상의 모션 센서 유닛은, 모션 센서 장착 의복에 의해 제공되는 것을 특징으로 하는 방법.
제15항에 있어서,
상기 수신된 성능 데이터는, 복수의 모션 센서 유닛으로부터 얻어진 성능 데이터를 포함하고, 상기 하나 또는 그 이상의 모션 센서 유닛으로부어 얻어진 성능 데이터를 처리하는 것은, 각 모션 센서의 동시적 동작의 특성을 확인하는 것을 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
상기 하나 또는 그 이상의 모션 센서 유닛으로부어 얻어진 성능 데이터를 처리하는 것은, 하나 또는 그 이상의 미리 규정된 데이터 상태의 존재를 확인하는 것을 포함하는 것을 특징으로 하는 방법.
제18항에 있어서,
상기 관찰가능한 데이터 상태 중에서 주어진 하나의 존재를 확인하는 것을 더 포함하고, 상기 주어진 하나의 관찰가능한 데이터 상태는 증상과 관련되어 있는 것을 특징으로 하는 방법.
제19항에 있어서,
상기 증상과 관련된 원인을 결정하는 것을 더 포함하는 것을 특징으로 하는 방법.
제20항에 있어서,
상기 증상과 관련된 원인을 결정하는 것은, 하나 또는 그 이상의 성능 센서로부터 얻어진 데이터의 분석과, 이에 의해 하나 또는 그 이상의 관찰가능한 데이터 상태의 존재를 확인하는 것을 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 처리하는 것은, 성능 속도를 결정하는 것을 특징으로 하는 방법.
제22항에 있어서,
하나 또는 그 이상의 사용자 인터페이스 구성요소는 속도 특성을 포함하고, 하나 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성을 변화시키도록 결정하는 것은, 결정된 성능 속도에 기초하여 속도 특성을 세팅하는 것을 포함하는 것을 특징으로 하는 방법.
제22항에 있어서,
상기 성능 속도는 예측 성능 속도이고, 상기 예측 성능 속도는 예측의 적용에 대응하여 계속적으로 변화되는 것을 특징으로 하는 방법.
제22항에 있어서,
주어진 사용자 인터페이스 구성요소의 하나는, 일정 속도로 처리되어 제공된 대상(object)이고, 상기 제공된 대상은, 복수의 성능 이벤트 확인 대상을 포함하는 경로를 따라 진행하고,
성능 속도가 조절되어, 상기 제공된 대상은, 성능 이벤트 확인 대상과 조화된 성능 데이터가 없는 경우에, 주어진 성능 이벤트 확인 대상의 하나를 넘어서는 경로로 진행하는 것을 방지하는 것을 특징으로 하는 방법.
제25항에 있어서,
상기 성능 속도는, 다음의 성능 이벤트 확인 대상과 조화될 수 있는 성능 데이터의 수신에 대한 예상시간을 예측하는 것에 기초하여 조절되는 것을 특징으로 하는 방법.
제25항에 있어서,
주어진 사용자 인터페이스 구성요소의 하나는, 일정 속도로 처리되어 제공된 진행 대상(progression object)이고, 상기 제공된 진행 대상은, 복수의 성능 이벤트 확인 대상을 포함하는 경로를 따라 진행하고,
상기 제공된 진행 대상이, (ⅰ) 상기 성능 이벤트 확인 대상과 일시적으로 조화되고; 그리고 (ⅱ) 상기 성능 이벤트 확인 대상과 정확하게 조화되는 성능 데이터가 없는 경우에, 성능 속도가 조절되어, 주어진 성능 이벤트 확인 대상의 하나를 넘어서는 경로로 진행하는 것을 방지하는 것을 특징으로 하는 방법.
제27항에 있어서,
상기 성능 속도는, 다음의 성능 이벤트 확인 대상과 조화될 수 있는 성능 데이터의 수신에 대한 예상시간을 예측하는 것에 기초하여 조절되는 것을 특징으로 하는 방법.
제27항에 있어서,
상기 미리 규정된 조건은: (ⅰ) 상기 성능 이벤트 확인 대상과 일시적으로 조화되고, 그리고 (ⅱ) 상기 성능 이벤트 확인 대상과 정확하게 조화되지 않은 성능 데이터를 확인하는 것을 포함하고,
상기 미리 규정된 조건에 대응하여 규정된 동작이 수행되는 것을 특징으로 하는 방법.
제29항에 있어서,
상기 규정된 조건은, 다음의 사용자 인터페이스 구성요소의 공급 특성을 변경하도록 신호를 제공하는 것을 특징으로 하는 방법.
제30항에 있어서,
상기 변경은, 미디어 대상(media object)에 대한 뷰포트(viewport) 변경을 포함하는 것을 특징으로 하는 방법.
제29항에 있어서,
상기 규정된 동작은, 피드백(feedback)을 제공하는 것을 포함하는 것을 특징으로 하는 방법.
제29항에 있어서,
상기 규정된 동작은, 진행 대상의 위치를 조절하는 것을 특징으로 하는 방법.
제33항에 있어서,
진행 대상의 위치를 조절하는 것은, 규정된 지점에 대하여 진행 대상을 역행시키는 것을 포함하는 것을 특징으로 하는 방법.
제29항에 있어서,
상기 규정된 동작은, 상기 진행 대상이 기 규정된 루프(loop)로 진행하도록 하는 것을 포함하는 것을 특징으로 하는 방법.
제19항에 있어서,
상기 규정된 동작은, 규정된 서브-지도(sub-tutorial)를 시작하는 것을 특징으로 하는 방법.
제11항에 있어서,
주어진 사용자 인터페이스 구성요소의 하나는, 일정 속도로 처리되어 제공된 진행 대상(progression object)이고, 상기 제공된 진행 대상은, 복수의 성능 이벤트 확인 대상을 포함하는 경로를 따라 진행하고,
하나 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성을 변화시키도록 결정하는 것은, 성능 속도를 조절하여, 상기 제공된 진행 대상이: (ⅰ) 상기 성능 이벤트 확인 대상과 일시적으로 조화되고; 및/또는 (ⅱ) 상기 성능 이벤트 확인 대상과 정확하게 조화되는 성능 데이터가 없는 경우에, 주어진 성능 이벤트 확인 대상의 하나를 넘어서는 경로로 진행하는 것을 방지하는 것을 특징으로 하는 방법.
제37항에 있어서,
상기 성능 속도는, 다음의 성능 이벤트 확인 대상과 조화될 수 있는 성능 데이터의 수신에 대한 예상시간을 예측하는 것에 기초하여 조절되는 것을 특징으로 하는 방법.
제37항에 있어서,
상기 미리 규정된 조건은: (ⅰ) 상기 성능 이벤트 확인 대상과 일시적으로 조화되고, 그리고 (ⅱ) 상기 성능 이벤트 확인 대상과 정확하게 조화되지 않은 성능 데이터를 확인하는 것을 포함하고,
상기 미리 규정된 조건에 대응하여 규정된 동작이 수행되는 것을 특징으로 하는 방법.
제39항에 있어서,
상기 규정된 조건은, 다음의 사용자 인터페이스 구성요소의 공급 특성을 변경하도록 신호를 제공하는 것을 특징으로 하는 방법.
제40항에 있어서,
상기 변경은, 미디어 대상(media object)에 대한 뷰포트(viewport) 변경을 포함하는 것을 특징으로 하는 방법.
제39항에 있어서,
상기 규정된 동작은, 피드백(feedback)을 제공하는 것을 포함하는 것을 특징으로 하는 방법.
제39항에 있어서,
상기 규정된 동작은, 진행 대상의 위치를 조절하는 것을 특징으로 하는 방법.
제43항에 있어서,
진행 대상의 위치를 조절하는 것은, 규정된 지점에 대하여 진행 대상을 역행시키는 것을 포함하는 것을 특징으로 하는 방법.
제39항에 있어서,
상기 규정된 동작은, 상기 진행 대상이 기 규정된 루프(loop)로 진행하도록 하는 것을 포함하는 것을 특징으로 하는 방법.
제39항에 있어서,
상기 규정된 동작은, 규정된 서브-지도(sub-tutorial)를 시작하는 것을 특징으로 하는 방법.
제11항에 있어서,
주어진 사용자 인터페이스 구성요소의 하나는, 재생속도와 뷰포트 규정을 갖는 미디어 대상(media object)이고,
하난 또는 그 이상의 사용자 인터페이스 구성요소의 공급 특성의 변경을 결정하는 것은, 재생속도 및/또는 뷰포트 규정을 변경하도록 결정하는 것을 특징으로 하는 방법.
제47항에 있어서,
상기 재생속도는, 상기 성능 데이터의 처리로부터 얻어진 성능 속도에 대응하여 조절되는 것을 특징으로 하는 방법.
제47항에 있어서,
상기 뷰포트 규정(viewport definition)은, 상기 성능 데이터의 처리의 정확도 결정에 대응하여 조절되는 것을 특징으로 하는 방법.
제47항에 있어서,
상기 뷰포트 규정은, 상기 성능 데이터에서 하나 또는 그 이상의 관찰가능한 데이터 상태의 확인에 대응하여 조절되는 것을 특징으로 하는 방법.
제50항에 있어서,
관찰가능한 데이터 상태와 뷰포트 규정 조절과 관련된 규칙의 세트가 규정되는 것을 특징으로 하는 방법.
제47항에 있어서,
뷰포트 규정 조절은, 디지털 팬(pan) 및/또는 줌(zoom) 동작을 포함하는 것을 특징으로 하는 방법.
제47항에 있어서,
뷰포트 규정 조절은, 각도 조절을 포함하는 것을 특징으로 하는 방법.
기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법으로서, 상기 컴퓨터 실행방법은:
모션 센서 유닛(MSU)의 세트로부터 얻어진 성능 데이터를 수신하는 단계와;
디스플레이 스크린 상에 그래픽 대상(graphical object)이 표시되도록 하고 상기 그래픽 대상은, 신체적 성능의 각 단계에서 하나 또는 그 이상의 모션 센서 유닛에 대한 목표 위치를 포함하는 모션 기반 기능의 신체적 성능의 상태 표시를 포함하며;
상기 모션 센서 유닛의 세트로부터 얻어진 성능 데이터의 분석에 기초하여, 신체적 성능의 상태 표시를 처리하는 단계와;
상기 모션 센서 유닛의 세트로부터 얻어진 성능 데이터의 분석에 기초하여, 주어진 모션 센서 유닛의 관찰된 위치 사이에서 그래픽 대상을 통해 그 관계를 표시하는 단계를 포함하는 포함하는 것을 특징으로 하는 방법.
제54항에 있어서,
적응 템포 모드(adaptive tempo mode)를 작동시키는 것을 포함하는 것을 특징으로 하는 방법.
기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법으로서, 상기 컴퓨터 실행방법은:
하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 수신하는 단계와;
조정 동작을 수행하는 단계를 포함하고, 주어진 사용자 인터페이스 구성요소의 하나는, 일정 속도로 진행하는 제공 진행 대상(progression object)를 포함하고, 상기 제공 진행 대상은, 복수의 성능 이벤트 확인 대상을 포함하는 경로를 다라 진행하고; 그리고 상기 조정 동작은, 상기 성능 데이터가: (ⅰ) 성능 이벤트 확인 대상과 일시적으로 조정되었는지; 및/또는 (ⅱ) 성능 이벤트 확인 대상과 정확하게 조정되었는지를 결정하는 것을 포함하고,
(ⅰ) 상기 성능 이벤트 확인 대상과 일시적으로 조정되고; 그리고/또는 (ⅱ) 상기 성능 이벤트 확인 대상과 정확하게 조정된 성능 데이터가 없는 경우에, 상기 제공된 진행 대상이, 주어진 성능 이벤트 확인 대상의 하나를 넘어서는 경로로 진행하는 것을 방지하도록 진행 속도를 조절하는 단계를 포함하는 것을 특징으로 하는 방법.
기능 훈련 데이터의 적응 공급을 위한 컴퓨터 실행방법으로서, 상기 컴퓨터 실행방법은:
하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 수신하는 단계와;
하나 또는 그 이상의 성능 센서 유닛으로부터 얻어진 성능 데이터를 처리하는 단계와; 그리고,
상기 성능 데이터에서 미리 규정된 관찰가능한 데이터 상태의 확인에 기초하여 미디어 조절 동작을 수행하는 단계를 포함하고;
주어진 사용자 인터페이스 구성요소의 하나는, 재생속도와 뷰포트 규정을 갖는 미디어 대상을 포함하고; 그리고
미디어 조정 동작을 수행하는 것은, 상기 재생속도 및/또는 뷰포트 규정을 조절하도록 결정하는 것을 포함하는 것을 특징으로 하는 방법.