JP7238794B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

ピアノの演奏のようなパフォーマンスは、人物の身体の多数の部分（手指、肩、肘、筋等）が動作することによる多数の運動要素が、複雑に、且つ、協調的又は非協調的に組み合わされることにより、成り立っている。従って、上記パフォーマンスにおいては、各運動要素が好適な状態であってもすばらしいパフォーマンスを実現することができるとは限らず、多数の運動要素を好適に協調させたり、協調させなかったりすることにより、すばらしいパフォーマンスを実現することができる。

近年、容易に使用することができる各種センサが開発されたことにより、パフォーマンスにおける運動要素をセンシングして、その結果をフィードバック等することにより、パフォーマンスの習得支援に役立てる試みが行われるようになった。例えば、下記の特許文献１には、複数の人物の動作をセンシングして、得られたセンシングデータに基づいて、フィードバックを行う装置が開示されている。

特開２０１１－８７７９４号公報

先に説明にしたように、ピアノ演奏のようなパフォーマンスは、多数の運動要素が協調又は非協調することにより成り立っていることから、多数の運動要素を変数とするような多変数関数で表現される運動であると言える。従って、このような多変数関数で表現される運動においては、変数の数が多いことから、各運動要素の互いの協調性や関連性を解析することが難しいものであった。そのため、上記パフォーマンスにおける複数の運動要素の協調度を算出し、算出した協調度をフィードバックすることにより、パフォーマンスの習得支援につなげるという試みはなされてこなかった。

そこで、本開示では、ユーザの身体の複数の部分が協調的又は非協調的に動作することによって行われるパフォーマンスにおける複数の運動要素の協調度に基づく情報を当該ユーザにフィードバックする、パフォーマンスの習得支援に利用可能な新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得部と、取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出部と、算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知部と、各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部とを備え、前記算出部は、前記記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから、予め設定された前記パフォーマンスの状態と関係を持つ前記運動要素の前記協調情報を算出する情報処理装置が提供される。

また、本開示によれば、情報処理装置が、ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得ステップと、取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出ステップと、算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知ステップとを含み、前記算出ステップの処理では、各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから、予め設定された前記パフォーマンスの状態と関係を持つ前記運動要素の前記協調情報を算出する情報処理方法が提供される。

さらに、本開示によれば、コンピュータを、ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得部と、取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出部と、算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知部と、各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部とを備え、前記算出部は、前記記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから、予め設定された前記パフォーマンスの状態と関係を持つ前記運動要素の前記協調情報を算出する情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザの身体の複数の部分が協調的又は非協調的に動作することによって行われるパフォーマンスにおける複数の運動要素の協調度に基づく情報を当該ユーザにフィードバックする、パフォーマンスの習得支援に利用可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システム１の構成例を説明する説明図である。 同実施形態に係るセンサ装置１０の構成を示すブロック図である。 同実施形態に係るセンサ装置１０の一例を示す説明図（その１）である。 同実施形態に係るセンサ装置１０の一例を示す説明図（その２）である。 同実施形態に係るサーバ３０の構成を示すブロック図である。 同実施形態に係る学習部３４８を説明するための説明図である。 同実施形態に係る算出部３４６を説明するための説明図である。 同実施形態に係る比較部３５０を説明するための説明図である。 同実施形態に係るユーザ側装置７０の構成を示すブロック図である。 同実施形態に係るユーザ側装置７０の一例を説明するための説明図である。 同実施形態に係る外骨格ロボット７１２を説明するための説明図である。 同実施形態に係る情報処理方法の一例を説明するシーケンス図である。 同実施形態に係るステップＳ２００におけるフローチャートである。 同実施形態に係るステップＳ３００におけるフローチャートである。 本開示の実施形態に係る実施例１におけるフィードバックの例を説明するための説明図（その１）である。 本開示の実施形態に係る実施例１におけるフィードバックの例を説明するための説明図（その２）である。 本開示の実施形態に係る実施例２におけるフィードバックの例を説明するための説明図（その１）である。 本開示の実施形態に係る実施例２におけるフィードバックの例を説明するための説明図（その２）である。 同実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。 本開示の第２の実施形態の変形例１に係る圧力センサ装置２０の構成を説明するための説明図である。 同変形例に係る圧力センサ装置２０の動作を説明するための説明図である。 同変形例に係る圧力センサ装置２０による測定結果のフィードバックの例を説明する説明図である。 本開示の第２の実施形態の変形例２に係るフォトリフレクタセンサ装置４０の構成を説明するための説明図（その１）である。 同変形例に係るフォトリフレクタセンサ装置４０の構成を説明するための説明図（その２）である。 同変形例に係るフォトリフレクタセンサ４００の動作を説明するための説明図である。 同変形例に係るフォトリフレクタセンサ装置４０による測定結果のフィードバックの例を説明する説明図（その１）である。 同変形例に係るフォトリフレクタセンサ装置４０による測定結果のフィードバックの例を説明する説明図（その２）である。 同変形例に係るフォトリフレクタセンサ装置４０による測定結果の解析処理のフローチャートである。 同変形例に係るフォトリフレクタセンサ装置４０による測定結果の解析処理を説明するための説明図である。 同変形例に係るフォトリフレクタセンサ装置４０による測定結果のフィードバックの例を説明する説明図（その３）である。 同変形例に係るフォトリフレクタセンサ装置４０による測定結果のフィードバックの例を説明する説明図（その４）である。 本開示の第２の実施形態の変形例３に係る筋活動量センサ装置６０の構成を説明するための説明図である。 本開示の第３の実施形態に係るフィードバックの例を説明する説明図（その１）である。 本開示の第３の実施形態に係るフィードバックの例を説明する説明図（その２）である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．本開示に係る実施形態を創作するに至るまでの経緯
２．本開示の実施形態
２．１．本開示の実施形態に係る情報処理システム１の概要
２．２．本開示の実施形態に係るセンサ装置１０の構成
２．３．本開示の実施形態に係るサーバ３０の構成
２．４．本開示の実施形態に係るユーザ側装置７０の構成
２．５．本開示の実施形態に係る情報処理方法
３．本開示の実施形態に係る実施例
３．１．実施例１
３．２．実施例２
３．３．その他の応用例
４．まとめ
５．ハードウェア構成について
６．第２の実施形態
６．１．変形例１
６．２．変形例２
６．３．変形例３
７．第３の実施形態
８．補足

＜＜１．本開示に係る実施形態を創作するに至るまでの経緯＞＞
まず、本開示に係る実施形態を説明する前に、本発明者らが本開示に係る実施形態を創作するに至る背景について説明する。

先に説明したように、ピアノの演奏のような楽器演奏等のパフォーマンスは、人物の身体の多数の部分（手指、肩、肘、筋等）が動作することによる多数の運動要素が、複雑に、且つ、協調的又は非協調的に組み合わされることにより、成り立っている。例えば、ピアノ演奏においては、手指と肘の関節とが協調的に動作したり、右手指と左手指とが非協調的に独立して動作したりする。従って、ピアノ演奏等においては、１つの手指の動作等といった単一の運動要素が好適に動作を行っている場合であっても、すばらしい演奏を実現することができるとは限らない。すなわち、手指と肘の関節とが協調的に動作したり、右手指と左手指とが非協調的に独立して動作したりというように、多数の運動要素を好適に協調させたり、協調させなかったりすることによって、すばらしい演奏を実現することができる。

ところで、ピアノ演奏のようなパフォーマンスは、多数の運動要素が協調又は非協調することにより成り立っていることから、多数の運動要素を変数とするような多変数関数で表現される運動であると言える。従って、このような多変数関数で表現される運動においては、変数の数が多いことから、各運動要素の互いの協調性や関連性を解析することが難しい。そのため、ピアノ演奏等に対しては、１つ又は数個の運動要素の組み合わせからなるような、すなわち、単一変数又は少ない変数で構成された変数関数で表現することが可能なスポーツの動作（野球バットによる打撃、テニスラケットによる打撃等）に対して行われる科学的、且つ、定量的な運動科学的解析がなされてはいなかった。

また、近年では、ピアノ演奏中の演奏者の各運動要素や筋肉活動を測定し、測定結果を当該演奏者にフィードバックすることも行われているが、そのほとんどが、単一の運動要素に関する測定値をフィードバックするだけであった。すなわち、演奏者に、複数の運動要素の協調についての情報がフィードバックされていないことから、上述のようなフィードバックを利用しても、演奏者は、どのように自身の身体の複数の部分をどのように協調的又は非協調的に動作させればよいのかを知得することが難しかった。このため、このような複数の運動要素の協調的又は非協調的な動作は、ピアノ演奏の「コツ」の１つであると考えられ、演奏者自身によって独自に試行錯誤する中で体得されるものであると考えられていた。

なお、ここで複数の運動要素の協調又は非協調とは、１つの運動要素（手指、肩、肘、筋等）の挙動（移動量、速度、移動方向、活動量等、又はこれらの変化）に対して、他の運動要素がどれだけ従属的に又は非従属的に挙動しているかを意味するものとする。より具体的には、複数の運動要素の動作協調性の度合いを示す協調度（協調情報）は、複数の身体の部位に跨る関節や筋間をどの程度強く協調させているか、もしくは、協調を弱めて独立に動作させているかを示す指標である。なお、本開示の実施形態においては、協調度は、２つの運動要素の協調に限定されるものではなく、３つ以上の運動要素の協調であってもよい。このような協調度は、所定の条件（演奏、時間等）下における複数の運動要素の変化パターンをセンシングし、センシングした変化パターンの互いの類似度を算出することにより取得することができる。

さらに、ピアノの演奏法の指導は、上述したように運動科学的な解析が行われていないことから、科学的根拠に基づくものではなく、指導者が会得した経験則に基づき行われることが一般的である。さらに、このような指導法は、主観的又は感覚的なものであり、具体性に乏しいこともあいまって、指導者が被指導者に伝達することが難しく、被指導者が指導内容を理解して、且つ、実践することが難しい。

さらに、ピアノ演奏法の指導は、科学的、且つ、客観的な指導方法が確立されているとは言えないことから、改善できる点が多くある。例えば、演奏者の性別、年齢、身体のサイズ（手の大きさ、身長、骨格等）、筋力、演奏する音楽の種類等に応じて、それぞれ好適な演奏法が存在すると考えられる。従って、プロフェッショナルの演奏家だけでなく、ピアノに親しむ一般の人々であっても、それぞれに好適な演奏法を体得することができれば、身体の故障（例えば、腱鞘炎）や脳神経疾患（例えば、フォーカル・ジストニア（付随意で持続的な筋肉収縮を引き起こす神経疾患））を避け、「楽に」つまり「楽しく」演奏することができるようになると考え得られる。しかしながら、このような演奏者の属性等に応じた演奏法を指導する指導法は確立されておらず、場合によっては、演奏者にとって好適ではない指導法を受け続ける中で、身体的な不調がさらに悪化して、思うような音楽を奏でられないという苦痛を抱える演奏者も少なくない。

このような状況において、本発明者らは、ピアノ演奏法の指導を、運動科学的な解析に基づいて、科学的、且つ、客観的に行うことを可能にする手段について、鋭意検討を重ねていた。本発明者らは、検討を行う中で、多変数関数で表現される運動であっても、多変量解析や機械学習を利用することにより、運動技能の向上と関係の深い運動要素の協調又は非協調を抽出することができることを知得した。そこで、本発明者らは、上記知得を一着眼点にすることにより、演奏時の手指の多彩な動きのような多数の運動要素を同時にセンシングし、センシングデータに対して解析を行うことにより、演奏において重要となる運動要素の協調又は非協調を探し出すことができると考えた。さらに、本発明者らは、上述のように探し出した結果に基づく情報を演奏者にフィードバックすることにより、ピアノ演奏の向上に役立てることができると考え、本開示の実施形態を創作するに至った。

詳細には、以下に説明する本開示の実施形態においては、まず、ピアノ演奏時の手指や腕の関節や筋の挙動である複数の運動要素、又は、運動要素に起因する変化（圧力、音等）を１つ又は複数のセンサによってセンシングする。さらに、本実施形態においては、このように得られた複数のセンシングデータ(各運動要素の時系列データ等)に対して多変量解析を行う。そして、当該多変量解析によって、ピアノの演奏において重要となる運動要素の協調又は非協調（特徴的な運動要素の協調又は非協調）を、定量的な情報として抽出することができる。本実施形態においては、多数の演奏者に係るセンシングデータを収集し、収集したセンシングデータを機械学習することにより、演奏の状態（正確に演奏する等）と各運動要素の協調又は非協調との関係を科学的に一般化することが可能となる。加えて、本実施形態においては、収集したセンシングデータや演奏の状態を特徴づける運動要素の協調又は非協調（特徴量）をデータベース（ＤＢ）化することもできる。

そして、本実施形態においては、指導を受ける被指導者から上述と同様にセンシングデータを収集し、収集したセンシングデータの特徴量（運動要素の協調又は非協調の情報）と、被指導者の手本となるセンシングデータ（熟練者の優れた演奏から得られたセンシングデータ）の特徴量（運動要素の協調又は非協調の情報）（以下、ロールモデルと呼ぶ）とを比較し、比較結果に基づいて被指導者にフィードバックを行う。具体的には、本実施形態においては、被指導者の演奏が熟練者の優れた演奏に近づくために、修正する必要性が高い、又は修正の優先度が高いと考えられる運動要素に係る協調度についての比較を行い、ロールモデルとのズレ（差分）や修正すべき具体的な内容（身体の箇所や動作量等）を被指導者にフィードバックする。なお、修正する必要性や優先度は、演奏の状態（正確に演奏する等）との関係性や、ロールモデルとのズレの大きさ等によって判断することができる。また、本実施形態においては、被指導者の属性情報（性別、年齢等）等に応じて、ロールモデルを選択することができ、このような選択を行うことにより、被指導者の属性等に応じたテーラーメイドのフィードバックを行うことが可能となる。

また、本実施形態においては、好適な感覚モダリティに応じて選択された手段によって、被指導者にフィードバックを行う。具体的には、本実施形態においては、上述のズレを、色彩等を利用して可視化して表示することにより、被指導者にフィードバックすることができる。さらに、本実施形態においては、上記ズレが微小であったり、上記ズレが生じている時間が微小時間であったりした場合には、被指導者が当該ズレを知覚することが難しくなることから、上記ズレの情報を仮想的に拡大化してフィードバックしてもよい。より具体的には、本実施形態においては、上記ズレをスカラー倍して可視化したり（空間方向における拡大化）、スローモーションで掲示したり（時間方向における拡大化）する。

また、本実施形態においては、被指導者に装着されたウェアラブルデバイスを介して、上記ズレの情報を被測定者にバイオフィードバックすることもできる。具体的には、本実施形態においては、被指導者の手指等に装着されたウェアラブルデバイスによって手指の各関節に力を印加する（例えば、伸展・屈曲方向の力がロールモデルに比べてどれだけ過剰か又は不足か等に応じて力を印加する）ことで、力覚的にフィードバックを行うことができる。

以下、このような本開示の実施形態に係る装置構成及び情報処理方法を順次詳細に説明する。なお、以下の説明においては、本開示の実施形態をピアノの演奏法の指導（技能習得）に適用した場合について説明する。しかしながら、本開示の実施形態は、ピアノの演奏法の指導に適用することに限定されるものではなく、他の楽器の演奏法や、スポーツ、伝統工芸の技能習得、運動機能障害のリハビリ等に適用することも可能である。

また、以下の説明においては、特に断りが無い場合には、ユーザとは、ピアノの演奏法の指導を受ける被指導者、本実施形態に係るＤＢの構築にあたりセンシングデータが収集される演奏者、又は、本実施形態に係る情報処理システムを利用するオペレータのいずれかを意味するものとする。

また、以下の説明において、ピアノ演奏の状態とは、演奏における演奏者の演奏速度（テンポ、リズム）、演奏の正確性（リズム又は各音の音量の正確性）、演奏によって生じる音の音量（音波形のピーク）、音の響き（音波形の積分値）、音色（スペクトラム）、和音（複数音）における音同士の音量差や時間差（いわゆる、和音における「バランス」）、各音パラメータの最大値と最小値との差分（レンジ）、各音のパラメータの粒度（解像度）等を意味するものとする。さらに、ピアノ演奏の状態は、上述の複数のパラメータのうちトレードオフ関係にあるパラメータ（例えば、演奏の速度と正確性）が存在することから、このような場合を考慮して、各パラメータの比率であってもよい。また、当該演奏の状態とは、人による主観的な評価による評価指標（この演奏者は正確性が高い等）であってもよい。また、本開示の実施形態をピアノ演奏だけでなく他の動作に適用した場合には、パフォーマンスの状態とは、ユーザが行う運動要素の運動パターン、運動速度、運動正確性、運動量（運動パワー、力積、仕事量等）、パフォーマンスによって生じる結果の状態等であってもよい。

なお、以下の説明において、特徴量は、特にことわりが無い限りは、特徴的な運動要素の協調又は非協調だけでなく、例えば、演奏者等の打鍵により鍵盤が下がる際と上がる際における、打鍵の最大速度と最大速度に到達したタイミング（時点）、打鍵の最大加速度と最大加速度に到達したタイミング、鍵盤の移動開始のタイミング、鍵盤が底についたタイミング等も含まれるとする。また、以下の説明において、特徴量は、鍵盤が底から離れたタイミング、初期位置に戻ったタイミング、及び、これらのタイミングの差分時間も含むものとする。さらに、特徴量は、連続する２つの音が同時に鳴っていた時間（レガートの時間長）、演奏上同時に打鍵するべき複数鍵盤に対する打鍵したタイミングの差（時間差）、最大打鍵速度に到達したタイミングの差、最大打鍵速度の差又は比、最大加速度の差又は比、等を含むことができる。加えて、特徴量は、鍵盤が底面に着いた際の加速度、すなわち、鍵盤の衝突による衝撃の強さや鍵盤が最底部のフェルト部を押し潰していた時間等を含むことができ、さらには、鍵盤が動き始めた瞬間の加速度、すなわち、指先と鍵盤の衝突による衝撃の強さ等を含むことができる。

＜＜２．本開示の実施形態＞＞
＜２．１．本開示の実施形態に係る情報処理システム１の概要＞
まずは、本開示の実施形態に係る情報処理システム１の概要構成について、図１を参照して説明する。図１は、本実施形態に係る情報処理システム１の構成例を説明する説明図である。

図１に示すように、本実施形態に係る情報処理システム１は、センサ装置１０、サーバ３０及びユーザ側装置７０を含み、これらは互いにネットワーク９０を介して通信可能に接続される。例えば、センサ装置１０、サーバ３０及びユーザ側装置７０は、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮのアクセスポイント等）を介してネットワーク９０に接続されてもよい。すなわち、ネットワーク９０で用いられる通信方式は、有線又は無線を問わず任意の方式を適用することができる。以下に、本実施形態に係る情報処理システム１に含まれる各装置の概要について説明する。

（センサ装置１０）
センサ装置１０は、被指導者又は演奏者の身体の一部に装着可能なセンサ、被指導者又は演奏者を撮像する撮像装置、被指導者又は演奏者が弾くピアノに設けられた圧力センサ、もしくは、当該ピアノの音を収音する収音装置等であることができる。センサ装置１０は、複数のセンシングデータを取得するものであれば、数やその種類については特に限定されるものではない。なお、センサ装置１０の詳細については後述する。

（サーバ３０）
サーバ３０は、例えば、コンピュータ等により構成される。サーバ３０は、例えば、本実施形態によってサービスを提供するサービス提供者が保有し、各ユーザ又は各第三者に対してサービスを提供する。具体的には、サーバ３０は、例えば、演奏者又は被指導者に係るセンシングデータを収集し、収集したセンシングデータを解析し、被指導者等へフィードバックを行う。なお、サーバ３０の詳細については後述する。

（ユーザ側装置７０）
ユーザ側装置７０は、被指導者等に、サーバ３０からのフィードバック情報を通知するための装置であり、フィードバック情報を被指導者の演奏中又は演奏後等に可視化、力覚課、聴覚化、可聴化して通知する。例えば、ユーザ側装置７０は、タブレット、スマートフォン、ラップトップ型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ等のデバイス等であることができる。さらに、ユーザ側装置７０は、被指導者の身体の一部に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）型、イヤーデバイス（ヘッドフォン）型、アンクレット型、腕輪型、首輪型、アイウェア型、グローブ型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスを採用することができる。なお、ユーザ側装置７０の詳細については後述する。

なお、図１においては、本実施形態に係る情報処理システム１には、１つのセンサ装置１０及びユーザ側装置７０が含まれるものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る情報処理システム１は、複数のセンサ装置１０及びユーザ側装置７０を含んでもよい。さらに、実施形態に係る情報処理システム１は、例えば、センサ装置１０からサーバ３０へセンシングデータを送信する際の中継装置のような他の通信装置等を含んでいてもよい。

＜２．２．本開示の実施形態に係るセンサ装置１０の構成＞
次に、本開示の実施形態に係るセンサ装置１０の構成について、図２から図４を参照して説明する。図２は、本実施形態に係るセンサ装置１０の構成を示すブロック図である。図３及び図４は、本実施形態に係るセンサ装置１０の一例を示す説明図である。

本実施形態に係るセンサ装置１０は、図２に示すように、センサ部１００と、主制御部１４０と、通信部１６０とを主に有する。以下に、センサ装置１０の各機能部の詳細について説明する。

（センサ部１００）
センサ部１００は、例えば、被指導者又は演奏者の身体に装着することにより、演奏中の被指導者又は演奏者の身体の各部分が行う各運動要素の状態を示すセンシングデータを取得することができる。例えば、センサ部１００は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、位置センサ、振動センサ、曲げセンサ等の１つ又は複数のセンサデバイスにより実現される。上述のようなセンサデバイスは、運動要素によって与えられる加速度や角速度等の変化を検出し、検出された変化を示す複数のセンシングデータを生成する。さらに、センサ部１００によって得られた複数のセンシングデータは、後述する主制御部１４０に出力される。また、センサ部１００は、正確な時刻を把握する時計機構（図示省略）を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけてもよい。

なお、ここで、曲げセンサとは、例えば、曲げると曲げ量に応じて非線形に抵抗値が変化する素子を利用したセンサであり、例えば、ユーザの関節に装着することで、関節の曲げ角度を検出することができる。本実施形態においては、ユーザの腕や脚、胴体等の各関節等に、上述のようなセンサデバイスを装着することにより、空間内での手指や腕の姿勢（傾き）や、移動速度、関節の曲げ角度等を定量的に検出することができる。

また、本実施形態においては、センサ部１００は、被指導者又は演奏者を撮像する撮像装置であってもよい。具体的には、図３に示すように、被指導者等の関節や手指等にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等からなるマーカ１９２（図３においては、円形状で示されている）を装着する。そして、本実施形態においては、センサ部１００の一例である高速撮影カメラ（撮像装置）１９４によってマーカ１９２の動きをキャプチャすることにより、被指導者等の関節の位置や動きを定量的に検出することができる。なお、本実施形態においては、被指導者等の眼球の動きを撮像装置によって検出してもよい。

また、本実施形態においては、センサ部１００は、核磁気共鳴を利用して、被指導者又は演奏者の口腔内又は気管内の状態や、唇又は舌の動き等を検出する核磁気共鳴センサであってもよい。具体的には、被指導者等が磁気共鳴画像装置（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）内で演奏を実行することにより、上述の状態や動き等を検出することができる。特に、本開示の実施形態を各種の吹奏楽器（フルート、オーボエ、クラリネット、トランペット等）の演奏法に適用する場合には、他の方法では検出が難しい唇や舌の動きが検出することができることから、上記ＭＲＩは有用となる。

また、センサ部１００は、被指導者又は演奏者の運動要素によるピアノの鍵盤の上下動を検出する位置センサであってもよい。例えば、各鍵盤の下に位置センサを設置することにより、各鍵盤の上下動を検出し、各鍵盤を上下動させる手指の動きを検出することができる。また、センサ部１００は、被指導者又は演奏者の運動要素によってピアノの鍵盤に与えられる圧力を検出する圧力センサであってもよい。例えば、センサ部１００は、図４に示すように、ピアノの白鍵６００の表面に装着された圧力センサ１９６であってもよい。さらに、センサ部１００は、被指導者等の手指が白鍵６００上のどの位置を打鍵するかを検出する圧力センサ（図示省略）であってもよい。具体的には、各鍵盤上に圧力センサを２個装着した薄いプレートを設置することにより、各圧力センサからのセンシングデータによって被指導者等の手指の打鍵位置を推定することができる。

また、センサ部１００は、被指導者又は演奏者によって演奏されるピアノからの音を収音する収音装置であってもよい。例えば、センサ部１００は、図４に示すように、ピアノの近傍に設けられたマイクロフォン１９８であってもよい。詳細には、センサ部１００は、ロボット等によって様々な力でピアノを打鍵し、その際の音を、上記マイクロフォン１９８を介して検出する。さらに、後述のサーバ３０は、打鍵に関するパラメータ（力等）と収音した音のデータとを機械学習等を利用して関係付けることにより、上記パラメータと音との関係情報を生成する。そして、関係情報を利用することにより、新たに上記マイクロフォン１９８で被指導者等の演奏から収音した音の状態（例えば、響き、音色、音量等）に基づいて、被指導者等の打鍵に関するパラメータを取得することができる。

また、本実施形態においては、センサ部１００は、筋電センサ、心拍センサ、脈拍センサ、血流センサ、呼吸センサ、脳波センサ、皮膚温度センサ、皮膚導電率センサ等の生体情報センサを含んでいてもよい。ここで、筋電センサとは、筋肉を構成する筋線維から発生する微弱な電場を検知するセンサである。詳細には、筋電センサは、図３に示すように、演奏者又は被指導者の腕等に装着された複数の電極１９０によって、腕等の筋が収縮する際に筋線維において発生し、身体表面に伝播する電気信号による筋電位を測定することにより、筋の筋活動量を定量的に検出することができる。

また、心拍センサは、心臓における拍動である心拍を検出センサであり、脈拍センサは、心臓における拍動（心拍）により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動である脈拍を検出するセンサである。血流センサは、身体に赤外線を放射し、その赤外光の反射により血流量を検出するセンサである。さらに、呼吸センサは、呼吸量の変化を検出する呼吸流量計であることができる。脳波センサは、頭皮に複数の電極を装着し、測定した電極間の電位差の変動から雑音を除去することにより周期性のある波を抽出することにより脳波を検出するセンサである。皮膚温度センサは、演奏者又は被指導者の体温を検出するセンサであり、皮膚導電率センサは、演奏者又は被指導者の皮膚電気抵抗を検出するセンサである。

さらに、センサ部１００は、被指導者又は演奏者の位置情報を取得するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機等の位置情報センサを含んでいてもよい。また、センサ部１００は、被指導者又は演奏者が演奏する環境の状態を示す環境情報を取得するために、気圧センサ、温度センサ、及び、湿度センサ等の他の各種センサを含んでもよい。

（主制御部１４０）
主制御部１４０は、センサ装置１０内に設けられ、センサ装置１０の各ブロックを制御することができる。当該主制御部１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のハードウェアにより実現される。また、当該主制御部１４０は、データ取得部１４２、処理部１４４、及び出力制御部１５２として機能することもできる。以下に、本実施形態に係る主制御部１４０のこれら機能の詳細について説明する。

－データ取得部１４２－
データ取得部１４２は、センサ部１００を制御して、センサ部１００から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部１４４へ出力する。また、データ取得部１４２は、正確な時刻を把握する時計機構（図示省略）を内蔵し、センシングデータに、当該センシングデータを取得した時刻を紐づけて処理部１４４へ出力してもよい。

－処理部１４４－
処理部１４４は、上述したデータ取得部１４２から出力されたセンシングデータを、ネットワーク９０を介して送信可能な所定の形式に変換し（例えば、アナログ信号であるセンシングデータをデジタル信号に変換する）、後述する出力制御部１５２に出力する。

－出力制御部１５２－
出力制御部１５２は、上述した処理部１４４から出力された所定の形式のセンシングデータを、後述する通信部１６０を制御してサーバ３０へ送信する。

（通信部１６０）
通信部１６０は、センサ装置１０内に設けられ、サーバ３０等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部１６０は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部１６０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

なお、センサ装置１０は、ＨＭＤ型、イヤーデバイス型、アンクレット型、腕輪型、首輪型、アイウェア型、パッド型、バッチ型、ベルト型、衣服型等の各種の方式のウェアラブルデバイスであってもよい。具体的には、これらウェアラブルデバイスは、様々なセンシングデータを取得するために、被指導者又は演奏者の手指、腕部、脚部、胴部、頭部、足先等に設けられることができる。さらに、センサ装置１０は、撮像装置、収音装置等の被指導者又は演奏者の周囲に設置される装置であってもよい。

＜２．３．本開示の実施形態に係るサーバ３０の構成＞
次に、本開示の実施形態に係るサーバ３０の構成について、図５から図８を参照して説明する。図５は、本実施形態に係るサーバ３０の構成を示すブロック図である。図６は、本実施形態に係る学習部３４８を説明するための説明図である。図７は、本実施形態に係る算出部３４６を説明するための説明図である。さらに、図８は、本実施形態に係る比較部３５０を説明するための説明図である。

先に説明したように、サーバ３０は、例えば、コンピュータ等により構成される。図５に示すように、サーバ３０は、入力部（属性情報取得部）３００と、出力部３１０と、主制御部３４０と、通信部３６０と、記憶部３７０とを主に有する。以下に、サーバ３０の各機能部の詳細について説明する。

（入力部３００）
入力部３００は、サーバ３０へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部３００は、タッチパネル、キーボード等により実現され、被指導者又は演奏者の属性情報の入力を受けつけることができる。

（出力部３１０）
出力部３１０は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報を出力する。

（主制御部３４０）
主制御部３４０は、サーバ３０内に設けられ、サーバ３０の各ブロックを制御することができる。当該主制御部３４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。また、当該主制御部３４０は、データ取得部（センシングデータ取得部）３４２、処理部３４４及び出力制御部（通知部）３５２として機能することもできる。以下に、本実施形態に係る主制御部３４０のこれら機能の詳細について説明する。

－データ取得部３４２－
データ取得部３４２は、上述したセンサ装置１０から送信されたセンシングデータを取得し、取得したセンシングデータを後述する処理部３４４へ出力する。

－処理部３４４－
処理部３４４は、上述したデータ取得部３４２から出力されたセンシングデータを処理し、センシングデータから被指導者の演奏における運動要素の協調性を示す協調度を算出し、算出した協調度に基づき、被指導者へフィードバックするフィードバック情報を生成する。さらに、処理部３４４は、上述の協調度の算出やフィードバック情報を生成するための各種情報からなるＤＢ３７２（図６参照）を作成することもできる。詳細には、処理部３４４は、上述したこれら機能を実現するために、算出部３４６、学習部３４８、比較部３５０として機能する。以下に、本実施形態に係る処理部３４４のこれら機能の詳細について説明する。

算出部３４６は、センサ装置１０から送信されたセンシングデータに基づいて、所定のアルゴリズムを適用することにより、特定の演奏の状態と関係する被指導者の運動要素の協調性を示す協調度を算出する。そして、算出部３４６は、算出結果を後述する比較部３５０及び記憶部３７０等に出力する。より具体的には、例えば、算出部３４６は、後述する学習部３４８による機械学習によって得られたＤＢ３７２（後述する記憶部３７０に格納される）を利用して、予め設定された演奏の目標状態（目標とするパフォーマンスの状態）（例えば、素早く演奏したい等）に応じて適切なアルゴリズムを選択し、目標状態と関係を持つ運動要素の協調性を示す協調度を算出する。

そこで、本実施形態においては、算出部３４６が利用するＤＢ３７２を構築するための情報を取得するために、多数の演奏者（例えば、１００人程度の演奏者）に所定の演奏（楽曲、フレーズ、スケール、アルペジオ、和音等）を行わせ、演奏中の演奏者から上述のセンサ装置１０を用いて多数の運動要素に係る多数のセンシングデータを収集する。例えば、センサ装置１０は、演奏者の各手指の動きに関するセンシングデータを収集する。

また、サーバ３０（処理部３４４の学習部３４８）は、各演奏者の演奏についての状態（パフォーマンスの状態）の情報を収集する。演奏の状態の情報とは、先に説明したように、演奏速度、演奏の正確性、演奏によって生じる音の音量、音の響き、音色、和音における一音同士の音量差や時間差、各音パラメータの最大値と最小値との差分、各音パラメータの粒度等の情報のことである。例えば、このような演奏の状態の情報は、演奏者の近傍の設けられたマイクロフォン１９８で音を集音し、集音して得た音声データを解析することにより、収集することができる。

また、本実施形態においては、各演奏者の属性情報（性別、年齢、身長、体重、筋力、掌の大きさ、ピアノ演奏の経験年数等）を取得し、処理部３４４の学習部３４８へ入力してもよい。

そして、本実施形態においては、上述のように取得したセンシングデータ及び演奏状態の情報等を処理部３４４が有する学習部３４８に入力し、当該学習部３４８に機械学習を行わせる。詳細には、例えば、処理部３４４には、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習部（学習器）３４８が備わっているものとする。図６に示すように、学習部３４８にセンサ装置１０から取得されたセンシングデータ５００と演奏状態５０２とがそれぞれ入力信号及び教師信号（ラベル）として入力され、当該学習部３４８は、所定の規則に従ってこれら情報の間の関係について機械学習を行う。この際、入力される入力信号と教師信号とは図６に示されるような１対１の関係ではなく、複数の入力信号（センシングデータ５００）と１つの教師信号（演奏状態５０２）とが紐づけられて入力されてもよく、もしくは、複数の入力信号と複数の教師信号とが紐づけられて入力されてもよい。さらに、教師信号である演奏状態の情報は、予めクラスタ分けされて入力されてもよい。すなわち、本実施形態においては、類似の演奏の傾向を持った複数の演奏者の情報群については、同一のクラスタのデータ群として取り扱ってもよい。例えば、本実施形態においては、上述した属性情報を用いて判定された演奏者の熟練度等に基づきクラスタ分けを行うことができる。このようなクラスタ分けは、後述する比較部３５０で用いる情報を選択する際に利用したり、被指導者の演奏を分類したりする際に利用したりすることができる。

そして、学習部３４８は、各演奏者における様々な組み合わせの運動要素の協調度と演奏状態との関係性に関する情報を、多変量解析を行うことで取得する。詳細には、運動要素の協調度は、同一の演奏者における各運動要素のセンシングデータ５００の変化パターンの互いの類似度を算出することによって得ることができる。具体的には、例えば、協調度は、同一期間内の各運動要素のセンシングデータ５００の時間経過における変化パターンを抽出し、それらの間の類似度を算出することによって得ることができる。また、例えば、協調度は、各運動要素のセンシングデータ５００の三次元空間内の変化パターンを所定のノルムで正規化して抽出し、それらの間の類似度を算出することによって得ることができる。さらに、学習部３４８は、このようにして得られた協調度と演奏状態５０２との関係性を重回帰分析等の多変量解析を行うことで、各演奏状態における特徴的な協調度（特徴量）（第１の特徴情報）を取得することにより、演奏状態と協調度との関係である関係情報を機械学習することができる。そして、学習部３４８が機械学習で得た関係情報等を記憶部３７０に格納することにより、データベース（ＤＢ）３７２を構築する。

なお、学習部３４８は、一部のセンシングデータ５００へのラベル付けを省略するために半教師付き学習器による機械学習を行ってもよい。この場合、学習部３４８は、ラベルが既に付されたセンシングデータ５００と比較して、類似すると判断されるラベル無しのセンシングデータ５００を同一のクラスタに属するように分類することで、ＤＢ３７２を構築することができる。また、学習部３４８は、例えば各演奏者の演奏状態についての質問を行い、当該質問に対する回答に基づいて決定した仮の情報を大まかな教師信号として利用した、弱教師学習を行ってもよい。もしくは、学習部３４８は、大量のデータを用いてクラスタの抽出そのものを自動で行う、教師なし学習を行っても良い。この場合、学習部３４８により、クラスタや教師信号である演奏状態を示す情報が自動的に生成されることとなる。

さらに、図７に示すように、算出部３４６は、上記学習部３４８の機械学習で得たＤＢ３７２に基づいて、新たにセンサ装置１０から取得した被指導者のセンシングデータから、特定の演奏の状態と関係する被指導者の運動要素の協調度５０４を算出することができる。具体的には、算出部３４６は、正確に演奏する、速く演奏する等の特定の演奏状態と関係の高い協調度５０４、言い換えると、特定の演奏状態の特徴量をＤＢ３７２から抽出し、それに対応する所定の運動要素の協調度５０４（抽出した特徴量と同じ運動要素に関する協調度５０４）を新たに得た被指導者のセンシングデータ５００から算出する。この際、算出部３４６により算出される協調度は１つに限定されるものではなく、複数の協調度５０４が算出されてもよい。さらに、算出部３４６は、算出した協調度５０４を後述する比較部３５０に出力する。

そして、図８に示すように、比較部３５０は、ＤＢ３７２から被指導者の手本となる所定の演奏状態（熟練者の優れた演奏）の特徴量（協調度５０４）（ロールモデル）を選択し、算出部３４６によって算出された協調度５０４とを比較する。比較部３５０は、例えば、ロールモデルと算出された協調度５０４との差分（ズレ）を算出したり、これらの整合度を算出したりしてもよい。さらに、比較部３５０は、算出した差分をゼロとするために必要な運動要素の情報（身体の箇所や動作量等）を抽出してもよい。そして、比較部３５０は、上述の比較結果を用いて、被指導者にフィードバックするためのフィードバック情報を生成し、生成したフィードバック情報を出力制御部３５２に出力する。

詳細には、比較部３５０は、ＤＢ３７２から正確な演奏や素早い演奏等の所定の演奏状態において被指導者のお手本となる代表的な協調度５０４（熟練者の優れた演奏から得られた協調度５０４）をロールモデルとして選択し、選択したロールモデルと被指導者の協調度５０４と比較する。この際、比較部３５０は、代表的な協調度５０４が複数存在する場合には、対応する被指導者の協調度５０４との差分を算出し、差分が大きな代表的な協調度５０４を、被指導者の演奏が熟練者の優れた演奏に近づくために修正する必要性が高い協調度５０４であるとして比較するロールモデルとして選択してもよい。もしくは、比較部３５０は、ＤＢ３７２に基づいて、所定の演奏状態に最も関係性の高い協調度５０４を、被指導者の演奏が熟練者の優れた演奏に近づくために改善すると効果がより大きいとされる協調度５０４（ロールモデル）として選択してもよい。

また、本実施形態においては、比較部３５０は、被指導者の属性情報（性別、年齢、体格、筋力、柔軟性、俊敏性等）等に応じて、ロールモデルを選択してもよい。このような選択を行うことにより、被指導者の属性等に応じたテーラーメイドのフィードバックを行うことができる。例えば、比較部３５０は、被指導者の属性に応じて、当該属性に近い属性を持つ熟練者の協調度５０４をロールモデルとして選択する。

また、本実施形態においては、比較部３５０は、被指導者の左右の手指の熟練度が異なっている場合には、熟練した一方の手指（例えば、利き手）の協調度５０４を反転させて、他方の手指の協調度５０４のロールモデルとして選択してもよい。また、比較部３５０は、被演奏者の過去と現在とを比較する場合には、被演奏者の過去の協調度５０４をロールモデルとして選択してもよい。

出力制御部３５２は、処理部３４４から出力されたフィードバック情報５０６を、後述する通信部３６０を制御して、ユーザ側装置７０に送信する。すなわち、出力制御部３５２は、ユーザ側装置７０におけるフィードバックを制御することができる。また、出力制御部３５２は、処理部３４４から出力された出力されたフィードバック情報５０６の全てユーザ側装置７０へ送信することに限定されるものではない。例えば、出力制御部３５２は、被指導者の属性情報等に基づいて、フィードバック情報５０６を選択し、選択したフィードバック情報５０６をユーザ側装置７０へ送信してもよい。詳細には、被指導者にフィードバックする情報量が多い場合には、被指導者が混乱し、かえって技能の習得に邪魔になる場合がある。そこで、出力制御部３５２において、被指導者の属性等に応じて、フィードバックする情報の量を限定することにより、被指導者の混乱を避けることができる。

また、本実施形態においては、出力制御部３５２は、ユーザ側装置７０へ送信するフィードバック情報５０６の選択を、事前の設定に基づいて行ってもよい。以下に、被指導者が、本実施形態に係る情報処理システム１を利用して「演奏速度」と「打鍵の強さ」との両方の課題について改善を行おうとする場合を例として、出力制御部３５２が事前の設定に基づいてフィードバック情報５０６の選択を行うことについて説明する。このような場合、「演奏速度」の改善（向上）のためのフィードバック情報５０６と「打鍵の強さ」の改善（向上）のためのフィードバック情報５０６の両方をフィードバックされると、被指導者が混乱する恐れがある。そこで、本実施形態においては、例えば、被指導者又は指導者により、演奏速度と打鍵の強さとのいずれかのフィードバック情報５０６を優先的にフィードバックすべきかを予め設定しておく。そして、上記出力制御部３５２は、上記設定に基づき、いずれかのフィードバック情報５０６を優先的にフィードバックするようにユーザ側装置７０を制御する。このようにすることにより、被指導者の混乱を避けることができる。また、本実施形態においては、いずれか１つのフィードバック情報５０６をフィードバックすることに限定されるものではなく、例えば、時間差をおいて順次複数のフィードバック情報５０６をフィードバックしてもよい。このような場合、フィードバックする順番や時間差等についても、被指導者に好適にフィードバックされるよう、予め設定してもよい。

また、本実施形態においては、上述のように、属性情報や事前の設定に基づいて選択するのではなく、出力制御部３５２は、上述の学習部３４８による学習によって得たアルゴリズムを利用して、ユーザ側装置７０へ送信するフィードバック情報を選択してもよい。例えば、本実施形態においては、学習部３４８に、被指導者に対してフィードバックしたフィードバック情報５０６の内容やその情報量と、被指導者の演奏の改善に関する情報とを入力する。そして、これら情報が入力された学習部３４８は、フィードバック情報５０６及びその情報量と改善効果との関係を示す関係情報を事前に学習する。さらに、出力制御部３５２は、学習部３４８で得た上記関係情報を利用してより改善効果が高いと推定されるフィードバック情報５０６や情報量に基づいて、ユーザ側装置７０へ送信するフィードバック情報５０６を選択する。本実施形態においては、このようにフィードバックするフィードバック情報５０６を適切に制御することにより、被指導者の演奏の習得や改善をより効果的に行うことができる。なお、本実施形態においては、フィードバック情報５０６の内容や情報量だけでなく、フィードバックするタイミングや、フィードバックする際のフィードバックの形態（表示、音声、力覚等）についても、学習部３４８の学習によって得た情報に基づいて選択してもよい。

さらに、出力制御部３５２は、フィードバック情報５０６や、被指導者の属性情報等に基づいて、フィードバックの形態（表示、音声、力覚等）を選択してもよく、選択したフィードバックの形態の情報をユーザ側装置７０へ送信してもよい。例えば、本実施形態を、ピアノを正確に演奏するための技能習得に適用した場合には、出力制御部３５２は、被指導者のお手本となる熟練者の動作をフィードバック情報として被指導者の身体の一部（関節等）に力を印加して伝達する力覚機構７１０（図９参照）によるフィードバックの形態を選択する。また、同様の場合、出力制御部３５２は、被指導者と熟練者との動作のズレをフィードバック情報として視覚的に伝達する表示部７１４（図９参照）によるフィードバックの形態を選択する。また、出力制御部３５２が、どのフィードバックの形態でフィードバックを行うかについては、被指導者等が自身の好み等に合わせて事前に設定してもよい。

（通信部３６０）
通信部３６０は、サーバ３０内に設けられ、センサ装置１０やユーザ側装置７０等の外部装置との間で情報の送受信を行うことができる。なお、通信部３６０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

（記憶部３７０）
記憶部３７０は、サーバ３０内に設けられ、上述した主制御部３４０が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部３７０は、例えば、ハードディスク（Ｈａｒｄ Ｄｉｓｋ：ＨＤ）などの磁気記録媒体や、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）等により実現される。また、記憶部３７０は、上述したＤＢ３７２を格納することができる。

＜２．４．本実施形態に係るユーザ側装置７０の構成＞
次に、本開示の実施形態に係るユーザ側装置７０の構成について、図９から図１１を参照して説明する。図９は、本実施形態に係るユーザ側装置７０の構成を示すブロック図である。図１０は、本実施形態に係るユーザ側装置７０の一例を説明するための説明図である。さらに、図１１は、本実施形態に係る外骨格ロボット（ウェアラブルデバイス）７１２を説明するための説明図である。

先に説明したように、ユーザ側装置７０は、タブレット、ラップトップ型ＰＣ、ノート型ＰＣ、ウェアラブルデバイス等のデバイスであることができる。また、図９に示すように、ユーザ側装置７０は、力覚機構７１０と、表示部７１４と、音声出力部（音声出力装置）７１６と、主制御部７４０と、通信部７６０と、記憶部７７０とを主に有する。以下に、ユーザ側装置７０の各機能部の詳細について説明する。

（力覚機構７１０）
力覚機構７１０は、サーバ３０から送信されたフィードバック情報５０６に基づいて、被指導者の身体の一部（関節等）に力を印加する等の力覚を伝える装置である。例えば、力覚機構７１０は、図１０に示すような、被指導者の手に装着されたグローブ型ウェアラブルデバイス（ウェアラブル装置）７１２である。詳細には、グローブ型ウェアラブルデバイス７１２は、手指外骨格ロボットと呼ばれ、図１１に示すように、複数の外骨格部材７１２ａからなる機構と、当該各外骨格部材７１２ａを可動させるアクチュエータ（電動アクチュエータ、空気圧アクチュエータ等）（図示省略）とで構成される。グローブ型ウェアラブルデバイス７１２は、上記アクチュエータによって、外骨格部材７１２ａを動作させることにより、被指導者の手指や関節に力を印加し、例えば、関節の伸展・屈曲方向の力がどれだけ過剰又は不足か等を被指導者に力覚させる。その結果、当該グローブ型ウェアラブルデバイス７１２によれば、被指導者の演奏を熟練者の演奏に近づくように誘導することができる。また、本実施形態においては、力覚機構７１０に上述のセンサ装置１０を装着してもよく、この場合、当該力覚機構７１０は、上記センサ装置１０が目標とする値を取得するように、被指導者の身体の一部に力や刺激を印加してもよい。なお、本実施形態においては、ウェアラブルデバイス７１２は、図１１に示すようなグローブ型に限定されるものではなく、例えば、被指導者の腕に装着するアームカバー型のウェアラブルデバイスであってもよい。

また、本実施形態においては、力覚機構７１０は、上述のようなグローブ型ウェアラブルデバイス７１２に限定されるものではなく、例えば、被指導者の身体の一部に振動を与える振動装置や、筋肉に刺激を与える電気筋肉刺激を利用した刺激装置であってもよい。すなわち、本実施形態においては、力覚機構７１０は、被指導者の身体の一部に触覚刺激を与えることにより、フィードバック情報５０６を被指導者に体感的にフィードバック（バイオフィードバック）することができるものであればよい。

なお、上記力覚機構７１０は、被指導者がイメージトレーニングを行う際にも用いることができる。例えば、上記フィードバック情報５０６として、被指導者の手本となる熟練者の動作が力覚機構７１０によってフィードバックされる場合には、ピアノ等がなくても、被指導者はイメージトレーニングを行うことができる。この際、被指導者にフィードバック情報５０６に対応する演奏音を後述する音声出力部７１６によって出力してもよい。また、力覚機構７１０によるフィードバックをスローで再生し、且つ、音声出力部７１６によって出力する演奏音をスローで出力して、被指導者のイメージトレーニングの効果をより高めてもよい。

（表示部７１４）
表示部７１４は、被指導者等のユーザにフィードバック情報５０６を表示するためのデバイスであり、例えば、被指導者に向けて、画像又は光によりフィードバック情報５０６を出力する。表示部７１４は、図１０に示されるように、ディスプレイ（画像表示装置）、発光素子（図示省略）等により実現される。さらに表示部７１４は、映像出力端子等により実現されてもよい。

具体的には、表示部７１４は、フィードバック情報５０６に含まれる、例えば、ロールモデルと被指導者の協調度５０４との差分を、当該差分の大きさに応じて色彩を変えて表示することができる。さらに、表示部７１４は、上記差分が微小であったり、差分が生じている時間が微小時間であったりした場合には、被指導者が当該差分を知覚することが難しくなることから、上記差分の情報を仮想的に拡大化して表示してもよい。詳細には、表示部７１４は、上記差分を所定のスカラー倍して可視化したり（空間方向における拡大化）、スローモーションで掲示したり（時間方向における拡大化）してもよい。さらに、表示部７１４は、被演奏者の過去の協調度５０４と現在の協調度５０４との差分を上述のようにして表示し、被演奏者の習得の度合いを示してもよい。

また、表示部７１４は、フィードバック情報５０６に基づくオブジェクトを拡張現実（ＡＲ）として、実空間に重畳して表示することができる投影装置であってもよい。このような投影装置は、例えば、被指導者の眼前に装着されるスマートグラス型ウェアラブルデバイス（図示省略）であることができる。当該スマートグラス型ウェアラブルデバイスには、透過型ディスプレイが設けられており、当該透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系を被指導者の眼前に保持し、当該虚像光学系の内側に上記オブジェクトを表示させる。また、上記投影装置は、被指導者の頭部に装着されるＨＭＤであってもよい。

（音声出力部７１６）
音声出力部７１６は、被指導者等のユーザにフィードバック情報５０６を音声出力（アラーム等）するためのデバイスであり、例えば、図１０に示すように、被指導者に耳に装着されたヘッドフォンスピーカ７１６や、被指導者の近傍に設けられたスピーカ（図示省略）であってもよい。さらに、音声出力部７１６は、音声出力端子等により実現されてもよい。例えば、音声出力部７１６は、ロールモデルと被指導者の協調度５０４との差分が生じた際に、演奏中の被指導者に特定の音を出力することによってフィードバックを行う。

このように、本実施形態においては、フィードバック情報５０６等に応じて、上述した力覚機構７１０、表示部７１４及び音声出力部７１６のいずれかの好適な感覚モダリティに対応する手段を選択し、被指導者にフィードバックを行うことができる。また、本実施形態は、同時に力覚機構７１０、表示部７１４及び音声出力部７１６によってフィードバックを行ってもよく、特に限定されるものではない。このようにすることによって、被指導者によってイメージしにくい、「コツ」と呼ばれる運動要素の協調を被指導者に体感させることができる。

（主制御部７４０）
主制御部７４０は、ユーザ側装置７０内に設けられ、ユーザ側装置７０の各ブロックを制御することができる。当該主制御部７４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。

（通信部７６０）
通信部７６０は、サーバ３０等の外部装置との間で情報の送受信を行うことができる。なお、通信部７６０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

（記憶部７７０）
記憶部７７０は、ユーザ側装置７０内に設けられ、上述した主制御部７４０が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。なお、記憶部７７０は、例えば、ＨＤなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ等により実現される。

また、ユーザ側装置７０は、図示しない入力部を有していてもよい。当該入力部は、ユーザ側装置７０へのデータ、コマンドの入力を受け付ける機能を有する。より具体的には、当該入力部は、タッチパネル、ボタン、スイッチ、キー、キーボード、マイクロフォン、画像センサ等により実現される。

また、本実施形態においては、センサ装置１０のセンサ部１００の機能と、ユーザ側装置７０の力覚機構７１０等を一体化して、１つのウェアラブルデバイスとしてもよい。

＜２．５．本開示の実施形態に係る情報処理方法＞
以上、本実施形態に係る情報処理システム１、及び当該情報処理システム１に含まれる、センサ装置１０、サーバ３０及びユーザ側装置７０の構成について詳細に説明した。次に、本実施形態に係る情報処理方法について、図１２を参照して説明する。図１２は、本実施形態に係る情報処理方法の一例を説明するシーケンス図である。図１２に示すように、本実施形態に係る情報処理方法には、ステップＳ１００からステップＳ４００までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。

（ステップＳ１００）
まず、センサ装置１０は、被指導者の演奏前に、当該被指導者の身体の一部に予め装着される、もしくは、被指導者の周囲に設置される。そして、被指導者が所定の演奏（楽曲、フレーズ、スケール、アルペジオ、和音等）を開始すると、センサ装置１０のセンサ部１００は、演奏中の被指導者の動作に伴って発生する各運動要素の加速度や角速度等の変化をセンシングし、複数のセンシングデータを取得する。さらに、センサ装置１０は、取得したセンシングデータをサーバ３０へ送信する。

（ステップＳ２００）
サーバ３０は、センサ装置１０からのセンシングデータ５００を取得する。サーバ３０は、当該センシングデータ５００に基づいて、所定のアルゴリズムを適用することにより、所望の演奏の状態と関係する被指導者の協調度５０４を算出する。

（ステップＳ３００）
サーバ３０は、上述のステップＳ２００で得られた協調度５０４と、ＤＢ３７２から選択されたロールモデルとを比較し、比較結果に基づいて、フィードバック情報５０６を生成する。そして、サーバ３０は、被指導者にフィードバックするために、当該フィードバック情報５０６を、ユーザ側装置７０へ送信する。

（ステップＳ４００）
ユーザ側装置７０は、受信したフィードバック情報５０６に基づき、被指導者に向けてフィードバックを行う。

さらに、上述の図１２のステップＳ２００の詳細を、図１３を参照して説明する。図１３は、本実施形態に係るステップＳ２００におけるフローチャートである。図１３に示すように、本実施形態に係るステップＳ２００は、詳細にはステップＳ２０１からステップＳ２０５までの複数のステップが含まれている。以下に、本実施形態に係るステップＳ２００に含まれる各ステップの詳細を説明する。

（ステップＳ２０１）
サーバ３０は、センサ装置１０からの複数のセンシングデータ５００を取得する。

（ステップＳ２０３）
サーバ３０は、正確に演奏する、速く演奏する等のあらかじめ設定された特定の演奏状態に関係の高い協調度５０４、言い換えると、特定の演奏状態の特徴量をＤＢ３７２から選択する。

（ステップＳ２０５）
サーバ３０は、上述のステップＳ２０３で選択した特徴量に対応する所定の運動要素の協調度５０４をステップＳ２０１で得た被指導者のセンシングデータ５００から算出する。

さらに、上述の図１２のステップＳ３００の詳細を、図１４を参照して説明する。図１４は、本実施形態に係るステップＳ３００におけるフローチャートである。図１４に示すように、本実施形態に係るステップＳ３００は、詳細にはステップＳ３０１からステップＳ３０９までの複数のステップが含まれている。以下に、本実施形態に係るステップＳ３００に含まれる各ステップの詳細を説明する。

（ステップＳ３０１）
サーバ３０は、上述のステップＳ２００で算出された被指導者の協調度５０４を取得する。

（ステップＳ３０３）
サーバ３０は、ＤＢ３７２から正確な演奏や素早い演奏等の所定の演奏状態において被指導者の手本となる代表的な協調度５０４（ロールモデル）を選択する。

（ステップＳ３０５）
サーバ３０は、上述のステップＳ３０３で選択されたロールモデルと、ステップＳ３０１で取得した被指導者の協調度５０４との差分を算出する。

（ステップＳ３０５）
サーバ３０は、上述したステップＳ３０５で算出した差分に基づき、フィードバック情報５０６を生成する。

（ステップＳ３０７）
サーバ３０は、上述したステップＳ３０５で生成したフィードバック情報等に基づき、フィードバックの形態（表示、音声、力覚等）を選択する。

以上説明したように、上述した本開示の実施形態によれば、ユーザの身体の複数の部分が協調的又は非協調的に動作することによって行われるパフォーマンスにおける複数の運動要素の協調度に基づく情報を当該ユーザにフィードバックする、パフォーマンスの習得支援に利用可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

さらに、本実施形態によれば、好適な感覚モダリティに応じた手段によってフィードバック情報５０６のフィードバックを行うことから、例えば、被指導者は、自身や他者（例えば、熟練者）との間における動作の違い等を容易に把握することができる。

＜＜３．本開示の実施形態に係る実施例＞＞
以上、本開示の実施形態における情報処理方法の詳細について説明した。次に、具体的な実施例を示しながら、本開示の実施形態に係る情報処理の例についてより具体的に説明する。なお、以下に示す実施例は、本開示の実施形態に係る情報処理のあくまでも一例であって、本開示の実施形態に係る情報処理が下記の例に限定されるものではない。

＜３．１．実施例１＞
まずは、実施例１として、上述した本開示の実施形態を、ピアノを正確に演奏するための技能習得支援システムに適用した場合の実施例１を図１５及び図１６を参照して説明する。図１５及び図１６は、本実施例におけるフィードバックの例を説明するための説明図である。当該技能取得支援システムは、ピアノを正確に演奏するための手指の動かし方を被指導者に指導することができる。

本実施例においては、準備段階として、多数（例えば１００人程度）の熟練した演奏家によって、所定の楽曲や楽曲の一部、フレーズ等（スケール、アルペジオ、和音等であってもよい）の演奏を行う。この際、本実施形態に係る情報処理システム１は、上記演奏者の演奏中の運動要素をセンサ装置１０によってセンシングし、多数のセンシングデータ５００を収集する。さらに、収集したセンシングデータ５００は、演奏の正確性（演奏の状態）５０２によってラベル付けされて、当該情報処理システム１のサーバ３０に入力される。そして、サーバ３０は、ラベル付されたセンシングデータ５００に対して多変量解析を行うことにより、演奏の正確性と関係性の高い運動要素の協調度５０４を探し出す。

上述の演奏の正確性５０２は、例えば、上記各演奏者の演奏と楽譜との整合の度合いを、当該演奏音をマイクロフォン１９８等によってセンシングして、別途サーバ３０に入力された楽譜データと整合を取ることで算出することができる。具体的には、整合を判定する内容としては、演奏者の演奏するリズムと楽譜で指示されたリズムとの整合性や、演奏者の演奏する各音の音量と楽譜で指示された各音の音量との整合性を挙げることができる。また、演奏の正確性５０２は、例えば、ユーザ等によって主観的に入力されてもよく（例えば、ユーザの主観で判断された演奏者の正確性の度合いを示す指標を入力する）、特に限定されるものではない。

次に、被指導者に所定の楽曲の演奏を行ってもらう。この際、サーバ３０は、ＤＢ３７２から演奏の正確性の高い、被指導者の手本となる代表的な協調度５０４（ロールモデル）を選択し、選択したロールモデルと、上記演奏から得られたセンシングデータ５００に基づいて算出された協調度５０４とを比較する。さらに、サーバ３０は、比較結果に基づき、フィードバック情報５０６を生成して、ユーザ側装置７０へ送信する。なお、本実施例においては、ロールモデルと被指導者の協調度５０４とを比較し、ロールモデルとのズレを最も大きくしている原因が被指導者の右手指の運動要素であることが解析により判明したものとする。その場合、サーバ３０は、上記ズレをゼロとするために必要な被指導者の右手指の動作方向及び動作量を抽出してもよい。

そして、ユーザ側装置７０は、受信したフィードバック情報５０６に基づき、被指導者に正確に演奏するためのフィードバックを行う。詳細には、ユーザ側装置７０は、図１５に示すような表示画面８００を演奏中又は演奏後の被指導者に向けて表示する。当該表示画面８００は、その右側に、ロールモデルと被指導者の協調度５０４との一致の度合いを示す一致指数バー８０４を含んでいる。当該一致指数バー８０４は、一致の度合いが高いほど、上方に長く伸びて表示されることから、被指導者は一見しただけで自身とロールモデルとのズレを瞬時に把握することができる。

また、表示画面８００の中央の上半分には、手指の姿勢や動作を表示する手指表示画面８０２が含まれている。当該手指表示画面８０２には、図１５に示されるように、ロールモデルとのズレを最も大きくしている原因と判定された右手指を模式的に示したイメージ画像が２つ重畳されて表示されている。詳細には、図１５中、斜線で示されている手指のイメージ画像８３２は、ロールモデルに係る熟練者の手指の姿勢や動きを示し、他方の手指のイメージ画像８３４は、被指導者の手指の姿勢や動きを示している。当該手指表示画面８０２によれば、被指導者自身の手指の姿勢及び動きと重畳してロールモデルに係る熟練者の手指の姿勢及び動きがイメージとして表示されていることから、被指導者は一見して自身と熟練者との動作のズレを把握することができる。従って、本実施例においては、被指導者は、自身の右手指のズレを修正し、自身の協調度５０４をよりロールモデルに近づけ、正確な演奏のための技能を習得することができる。

さらに、表示画面８００の中央の下半分には、鍵盤を模式的に示す鍵盤表示画面８３６が含まれている。例えば、当該鍵盤表示画面８３６のうち、上段の鍵盤が左手指の演奏に対応する画面であり、下段の鍵盤が右手指の演奏に対応する画面であることができる。例えば、被指導者が誤って所定の楽譜とは異なる音を打鍵した場合に、鍵盤表示画面８３６に表示された、被指導者が正確に打鍵することができなかった音に対応する鍵盤８３８を、他の鍵盤と色彩を変えて表示してもよい。さらに、本実施形態においては、演奏中に、鍵盤が底に着いたり、鍵盤が持ち上がり始めたり等のイベントが発生した際には、リアルタイムでアラート表示（図示省略）を表示画面８００に表示したり、所定のアラート音声を出力等して、イベントの発生を被指導者等に提示してもよい。なお、どのようなイベントが発生した場合に上述のようなアラートを出力するかは、被指導者等によって予め設定することができる。

また、本実施例におけるフィードバックは、図１６に示すような表示画面８０６であってもよい。当該表示画面８０６は、図１５の表示画面８００と同様に、手指表示画面８０８と、一致指数バー８０４と、鍵盤表示画面８３６とを含む。なお、表示画面８０６の一致指数バー８０４と鍵盤表示画面８３６とは、図１５の表示画面８００と同様であるため、これらの説明を省略し、手指表示画面８０８について説明する。

詳細には、表示画面８０６の中央の上半分には、手指の姿勢や動作を表示する手指表示画面８０８が含まれている。当該手指表示画面８０６には、図１６に示されるように、被指導者の右手指を模式的に示したイメージ画像８４０が表示されている。当該イメージ画像８４０は、被指導者の手指の姿勢や動きを示している。さらに、イメージ画像８４０の一部には、複数のベクトル８１０が示されている。各ベクトル８１０は、ロールモデルと被指導者の協調度５０４とのズレをゼロとするために必要な被指導者の右手指の動作方向及び動作量（スカラー）を示している。当該手指表示画面８０６によれば、被指導者自身の手指の姿勢及び動きとロールモデルに係る熟練者の手指の姿勢及び動きとのズレがベクトル８１０として図示されていることから、被指導者は一見して自身と熟練者との動作のズレを把握することができる。従って、本実施例においては、被指導者は、自身の右手指のズレを表示されたベクトル８１０に従って修正し、自身の協調度５０４をよりロールモデルに近づけ、正確な演奏のための技能を習得することができる。

＜３．２．実施例２＞
次に、実施例２として、上述した本開示の実施形態を、ピアノを速くに演奏するための技能習得支援システムに適用した場合の実施例２を図１７及び図１８を参照して説明する。図１７及び図１８は、本実施例におけるフィードバックの例を説明するための説明図である。当該技能取得支援システムは、ピアノを速く演奏するための手指の動かし方や筋の使い方を被指導者に指導することができる。

まずは、本実施例においても、準備段階として、多数の熟練した演奏家によって、所定の楽曲や楽曲の一部、フレーズ等の演奏を行い、本実施形態に係る情報処理システム１は、多数のセンシングデータ５００を収集する。さらに、収集したセンシングデータは、演奏の速度（演奏の状態）５０２によってラベル付けされて、当該情報処理システム１のサーバ３０に入力される。そして、サーバ３０は、ラベル付されたセンシングデータ５００に対して多変量解析を行うことにより、演奏の速度と関係性の高い運動要素の協調度５０４を探し出す。

次に、被指導者が所定の楽曲の演奏を行う。この際、サーバ３０は、ＤＢ３７２から演奏の速度の速い、被指導者の手本となる代表的な協調度５０４（ロールモデル）を選択し、選択したロールモデルと、上記演奏から得られたセンシングデータ５００に基づいて算出された協調度５０４とを比較する。さらに、サーバ３０は、比較結果に基づき、フィードバック情報５０６を生成して、ユーザ側装置７０へ送信する。なお、本実施例においては、ロールモデルと被指導者の協調度５０４とを比較し、ロールモデルとのズレを最も大きくしている原因が被指導者の両方の腕及び手指の筋の緊張のさせ方であることが解析により判明したものとする。その場合、サーバ３０は、上記ズレをゼロとするために必要な被指導者の両方の腕及び手指の筋の活動量を抽出してもよい。

そして、ユーザ側装置７０は、受信したフィードバック情報５０６に基づき、被指導者が速く演奏するためのフィードバックを行う。詳細には、ユーザ側装置７０は、図１７に示すような表示画面８６２を被指導者に向けて表示する。当該表示画面８６２は、各時点での被指導者の筋活動についてフィードバックを行うための画面である。本実施例においては、先に説明したように、被指導者の協調度５０４とロールモデルとのズレを最も大きくしている原因が被指導者の両腕及び両手指の筋の緊張のさせ方であることが判明したことから、被指導者に向けて筋活動の情報をフィードバックする。

詳細には、表示画面８６２は、被指導者の演奏中の各時点の被指導者の筋活動の情報をフィードバックするための複数のウィンドウ８５０を含んでいる。各ウィンドウ８５０は、図１７に示すように、図１５の表示画面８００と同様に、手指表示画面８６４と、一致指数バー８０４とを含む。さらに、手指表示画面８６４には、左右の２つの腕を指先から前腕部に亘って模式的に示すイメージ画像８６６が含まれている。また、各イメージ画像８６６の一部には、領域表示８６８が図示されている。具体的には、ロールモデルと被指導者の協調度５０４とのズレをゼロとするために必要な被指導者の腕や手指の筋の位置にある領域表示８６８は、上記ズレをゼロとするために必要な筋活動量（詳細には、緊張の度合い）に応じて色彩が変化する。当該表示画面８６２によれば、被指導者とロールモデルに係る熟練者との筋活動量の差が生じている筋の位置や活動量の差が色彩によって示されていることから、被指導者は一見して自身と熟練者との動作のズレを把握することができる。従って、本実施例においては、被指導者は、表示画面８６２に従って自身の腕や手指の筋を緊張させ又は緊張を緩め、自身の協調度５０４をよりロールモデルに近づけ、素早い演奏のための技能を習得することができる。なお、図１７においては、色彩の違いによって被指導者とロールモデルに係る熟練者との筋活動量の差が生じている筋の位置や活動量の差を示しているが、本実施例においてはこれに限定されるものではなく、模様の違いや記号（マーカ）等によって上記差を示してもよい。

また、本実施例においては、図１８に示すような表示画面８７０を被指導者に向けて表示してもよい。当該表示画面８７０は、鍵盤を模式的示す鍵盤表示画面８７２を含み、当該鍵盤表示画面８７２に図示される各白鍵には、速度表示部８７６が設けられている。当該速度表示部８７６は、被指導者（もしくは、演奏者）の演奏による各鍵盤の動きをアニメーションによって再現する。さらに、当該速度表示部８７６は、被指導者が該当する白鍵を打鍵した速度に応じて色彩が変化し、より具体的には、被指導者が打鍵した速度とロールモデルに係る熟練者が打鍵する速度の差分に応じて、色彩が変化する。従って、当該鍵盤表示画面８７２によれば、熟練者との速度の違いが色彩によって表示されることから、被指導者はどの白鍵を打鍵する際にはどの手指を素早く手指を動かさなければならないか等を一見して把握することができる。なお、速度表示部８７６は、鍵盤の一部として表示されてもよく、もしくは、鍵盤の全体として表示されてもよい。また、鍵盤の上に表示させたバー表示９０８（図３３ 参照）を速度表示部８７６として用いてもよい。上記バー表示９０８の高さ（又は長さ）は、鍵盤の速度、すなわち、打鍵速度に応じて変化するようにしてもよい。また、打鍵速度だけでなく、他の特徴量（最大打鍵速度、最大打鍵速度に到達したタイミング、最大加速度、最大加速度に到達したタイミング、鍵盤の移動開始タイミング、鍵盤が底についたタイミング等）やセンシングデータ５００自体を、棒グラフ状のバー表示９０８や円グラフ（図示省略）等のグラフ、数値、又は、アニメーション等によって表示してもよい。また、バー表示９０８や他の表示等の色彩や模様、形状等を変化させることによって、被指導者（もしくは演奏者）が打鍵したのか、被指導者等の指が鍵盤から離れた（離鍵）のかを示してもよい。より具体的には、例えば、被指導者等が打鍵したタイミングでは、所定の色彩を持つマーク（表示）を表示し、一方、離鍵したタイミングでは、上記所定の色彩以外の色彩を持つマークを表示することにより、打鍵時か離鍵時かを区別して示してもよい。この際、上記マークは、例えば、打鍵又は離鍵した瞬間だけ表示するのでなく、打鍵又は離鍵後に所定の時間経過するまで表示を継続してもよい。なお、このようなバー表示９０８等の詳細については後述する。

さらに、表示画面８７０においては、鍵盤表示画面８７２の各白鍵の上側には、各白鍵に対応するように、被指導者が該当する鍵盤を打鍵する際の手指の速度の時系列データを示す時系列データ表示８７４が設けられている。なお、当該時系列データ表示８７４には、被指導者が打鍵した速度と熟練者の速度の差分の時系列データが表示されてもよい。さらに、これら時系列データには、速度が最も速くなる時点や鍵盤から手指を持ち上がるタイミング等を強調して図示するマーカ（図示省略）が含まれていてもよい。

＜３．３．その他の応用例＞
本開示の実施形態は上述した実施例に限定されるものではなく、様々な用途にも応用することができる。以下に、本開示の実施形態の様々な応用例について、簡単に説明する。

（応用例１）
有名演奏家等の特定の演奏者Ａのような演奏法を習得したい場合に、本開示の実施形態を応用することができる。詳細には、本実施形態に係る情報処理システム１は、演奏者Ａの演奏に係るセンシングデータ５００を収集する。さらに、当該情報処理システム１（詳細には、学習部３４８）は、収集したセンシングデータ５００に基づき、演奏者Ａの演奏における運動要素の協調度５０４を算出し、他の演奏者の協調度５０４と比較等する。このようにすることで、本応用例においては、演奏者Ａの演奏を特徴づける協調度５０４、すなわち、特徴量を抽出する。そして、抽出した特徴量をロールモデルとして選択することにより、被指導者は演奏者Ａのような演奏法を習得する際に本実施形態に係る情報処理システム１を利用することができる。また、本応用例においては、演奏者Ａの演奏を特徴づける特徴量を利用することにより、ヒト型ロボットやロボットアーム等を使用して演奏者Ａに似た演奏を再現等することも可能となる。

また、本応用例においては、複数の演奏者の演奏を特徴づける特徴量をデータベース化して格納しておくことにより、他の演奏者の演奏がデータベース化された演奏者のうちの誰の演奏スタイルに近いのか判定することもできる。具体的には、本実施形態に係る情報処理システム１は、データベース化されていない演奏者の演奏から複数のセンシングデータ５００を収集し、収集した複数のセンシングデータ５００を用いて、他の演奏者の演奏の特徴量（第２の特徴情報）を抽出する。さらに、当該情報処理システム１（詳細にはサーバ３０）は、算出された他の演奏者の特徴量と、データベース化された各演奏者の特徴量との仮想空間上の距離を算出し、算出した距離を比較することにより、他の演奏者の演奏が、データベース上のどの演奏者の演奏と近いのかを判定（分類）することができる。

また、本応用例においては、データベース上の各演奏者の特徴量から他の演奏者の分類を行うことができることから、例えば、ジストニア等の疾患の有無を、予備的に診断をすることができる。具体的には、実施形態に係る情報処理システム１は、複数の演奏者を、健常な熟練した演奏者、健常な一般的な演奏者、健常な初心者、ジストニア患者、非演奏者（ピアノの演奏をしたことがない人）等に分類（クラスタ分け）して、それぞれの人物に演奏をさせて各人物のセンシングデータ５００を収集する。次に、当該情報処理システム１（詳細には、学習部３４８）は、各クラスタに紐づけられた複数のセンシングデータ５００を解析し、各クラスタにおける特徴量を抽出し、抽出した特徴量を各クラスタに含まれる人物の演奏を特徴づける特徴量としてデータベース化する。さらに、当該情報処理システム１は、ジストニアを罹患している可能性がある演奏者の演奏から複数のセンシングデータ５００を収集し、当該演奏者の特徴量を算出し、算出した特徴量をデータベース上の各クラスタの特徴量と比較することにより、当該演奏者が罹患しているか否かを診断することができる。

また、本応用例においては、ジストニアの罹患の有無を診断するだけでなく、演奏者の身体上の故障等の履歴等の情報を収集することにより、将来的な演奏者の身体の故障の予測（身体上のこの部分の故障の恐れが高い等）を行うことができる。

さらに、本応用例においては、被指導者の過去と現在との特徴量を比較することにより、練習の効果を評価したりすることもできる。また、本応用例においては、ベストコンディションにある演奏者の特徴量と比較することにより、当該演奏者がスランプから脱出するための手掛かりを得るための検討を行うことができる。

（応用例２）
コンクールに入賞するための演奏法を習得したい場合に、本開示の実施形態を応用することができる。詳細には、本実施形態に係る情報処理システム１は、過去のコンクール受賞者の演奏に係るセンシングデータ５００を収集する。さらに、当該情報処理システム１（詳細には、学習部３４８）は、収集したセンシングデータ５００に基づき、受賞者の演奏における特徴量（運動要素の協調度５０４）を算出し、非受賞者の特徴量と比較することで受賞者の特徴量を抽出する。そして、抽出した特徴量をロールモデルとして選択することにより、被指導者はコンクールに入賞するための演奏法を習得する際に本実施形態に係る情報処理システム１を利用することができる。

なお、本応用例においては、直接的に受賞者の運動要素のセンシングデータ５００を収集することに限定されるものではなく、受賞者のコンクールでの演奏による音を収集してもよい。このような場合、情報処理システム１は、ロボット等によるピアノに対する打鍵のパラメータ（力等）と、その打鍵の際の音との関係を示す関係情報を取得する。そして、コンクールでの演奏による音を、上記関係情報を利用して解析することにより、受賞者の打鍵に関するパラメータをセンシングデータ５００として取得することができる。

（応用例３）
また、演奏者が好適なピアノを選択する場合に、本開示の実施形態を応用することができる。例えば、本実施形態に係る情報処理システム１は、上述と同様に、ロボット等による各種ピアノに対する打鍵のパラメータ（力等）と、その打鍵の際の音との関係を示す関係情報を取得する。そして、当該情報処理システム１は、関係情報を解析することにより、各種ピアノにおいて、所定の状態の音（響きや音色）を生み出すのに必要となる打鍵に関するパラメータを特定し、各ピアノを特徴づける特徴量を抽出する。例えば、ピアノの特徴量とは、「ピアノＡは柔い音色を鳴らすことが難しい」、「ピアノＢは響きが弱い」とか、「ピアノＣは強く打鍵しないと響かない」、「ピアノＤは素早く打鍵しないと音が出ない」等といった情報であることができる。そして、当該情報処理システム１は、上述のようなピアノの特徴量と、これまで説明した各演奏者の特徴量とを組み合わせて利用することにより、演奏者に好適なピアノを選択することができる。

また、本応用例においては、各ピアノの特徴量を参照して、演奏者の所望する操作性や表現に好適なピアノを選択することもでき、演奏会場（例えば、演奏会場によって音の響き等が異なる）に好適なピアノを選択することもできる。さらに、本応用例においては、情報処理システム１が各ピアノの特徴量や各演奏者の特徴量をピアノの調律師にフィードバックすることにより、当該情報処理システム１を、調律師が演奏者に合せてピアノの調律を行う際の支援装置として機能させることができる。

さらに、本応用例においては、センサ装置１０のセンサ部１００によって取得した、演奏者が演奏を行う位置情報や環境情報（温度、気圧、湿度等）を利用してもよい。具体的には、ピアノは、演奏される環境（演奏ホールの構造、温度、湿度等）に応じて、音の質（響きや音量等）が変化する。そこで、本応用例において、例えば、情報処理システム１は、センサ装置１０の位置情報センサによって取得した位置情報に基づき、ピアノが演奏される演奏ホールの情報を取得する。併せて、当該情報処理システム１は、当該演奏ホールで演奏された演奏に関する情報（音の響き等）と、当該演奏された環境の環境情報（温度、気圧、湿度等）とを取得する。そして、当該情報処理システム１は、取得したこれら情報を利用して、演奏ホール自体の特徴量（響きや音量等）や、環境情報と音との関係を示す関係情報を取得、学習する。さらに、当該情報処理システム１は、演奏ホールの特徴量や、上述の関係情報、加えて、上述したピアノの特徴量や演奏者の特徴量等を利用することにより、演奏者が演奏ホールで演奏する際に好適なピアノや、演奏会当日の天候（環境）に好適なピアノを選択することができる。

なお、上述の各応用例においては、演奏者の特徴量は、当該演奏者の演奏を特徴づける運動要素の協調度５０４であるとして説明したが、本開示の実施形態においては、これに限定されるものではない。すなわち、本実施形態においては、演奏者の特徴量は、当該演奏者の演奏を特徴づけることができる情報であれば特に限定されるものではなく、例えば、運動要素のセンシングデータそのものであってもよい。

（応用例４）
また、以上の説明では、本開示の実施形態をピアノ演奏に適用した場合を説明してきたが、本実施形態は、他の楽器の演奏にも適用することができる。例えば、本実施形態は、他の鍵盤楽器（オルガン、チェンバロ、シンセサイザ等）、弦楽器（ヴァイオリン、チェロ等）、打楽器（ドラム）、吹奏楽器（フルート、オーボエ、クラリネット、トランペット等）等にも適用することができる。詳細には、本実施形態に係るセンサ装置１０は、上述した各種楽器の演奏であっても、演奏者の手指、脚、首、のど等の動作や押さえる弦や穴の位置を検出することができる。より具体的には、演奏者の口腔内の舌の動きは、上述したＭＲＩによって検出することが可能である。また、本実施形態は、楽器の演奏に適用することに限定されるものではなく、歌唱や口笛に対しても適用することができる。

（応用例５）
さらに、本開示の実施形態は、音楽以外のパフォーマンスに適用することができる。例えば、本実施形態は、発声のトレーニング（英語の発声、スピーチ等）、スポーツ、リハビリ（身体麻痺の改善のためのリハビリ等）、ゲーム、医療手術のトレーニング（予防内視鏡トレーニング等）、乗り物の運転（車や自転車、車椅子、飛行機等）のトレーニング、装置（建機等）の操作トレーニング、芸術、工芸作品（絵画、習字、折り紙等）等を作成するための技能トレーニング等に利用することができる。また、本実施形態は、先に説明したように、イメージトレーニングへの応用も可能である。

＜＜４．まとめ＞＞
以上説明したように、上述した本開示の実施形態によれば、ユーザの身体の複数の部分が協調的又は非協調的に動作することによって行われるパフォーマンスにおける複数の運動要素の協調度に基づく情報を当該ユーザにフィードバックする、パフォーマンスの習得支援に利用可能な情報処理装置、情報処理方法及びプログラムを提供することができる。

さらに、本実施形態によれば、好適な感覚モダリティに応じた手段によって、フィードバック情報のフィードバックを行うことから、例えば、被指導者は、自身や他者（例えば、熟練者）との間における動作の違いや、自身の過去と現在における動作の違いを容易に把握することができる。従って、本実施形態においては、被指導者の「コツ」の習得支援、すなわち、パフォーマンスの習得支援を行うことができる。また、本実施形態においては、他者と比較を行うだけでなく、被指導者の現在と過去とを比較し、被指導者の習得の度合いを容易に知ることもできる。

＜＜５． ハードウェア構成について＞＞
図１９は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。図１９では、情報処理装置９００は、上述のサーバ３０のハードウェア構成の一例を示している。

情報処理装置９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インタフェース９５８とを有する。さらに、情報処理装置９００は、力覚デバイス９６０と、表示デバイス９６２と、音声出力デバイス９６４と、通信インタフェース９６８と、センサ９８０とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。

（ＣＰＵ９５０）
ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１または２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する主制御部３４０として機能する。

（ＲＯＭ９５２及びＲＡＭ９５４）
ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。ＲＯＭ９５２及びＲＡＭ９５４は、情報処理装置９００において、例えば、上述の記憶部３７０の機能を果たす。

（記録媒体９５６）
記録媒体９５６は、上述の記憶部３７０として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。

（入出力インタフェース９５８、力覚デバイス９６０、表示デバイス９６２及び音声出力デバイス９６４）
入出力インタフェース９５８は、例えば、力覚デバイス９６０、表示デバイス９６２及び音声出力デバイス９６４等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。

力覚デバイス９６０は、上述の力覚機構７１０として機能し、表示デバイス９６２は、上述した表示部７１４として機能し、音声出力デバイス９６４は、上述した音声出力部７１６として機能する。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等が挙げられる。

なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。

（通信インタフェース９６８）
通信インタフェース９６８は、通信部３６０として機能する情報処理装置９００が備える通信手段であり、ネットワーク９０を介して（あるいは、直接的に）、外部装置と、無線又は有線で通信を行うための通信部（図示省略）として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子および送受信回路（有線通信）等が挙げられる。

以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、図１９に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース９６８を備えていなくてもよい。また、通信インタフェース９６８は、複数の通信方式によって、１または２以上の外部装置と通信を行うことが可能な構成を有していてもよい。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。

＜＜６．第２の実施形態＞＞
上述の本開示の実施形態は、以下のように変形することも可能である。以下に、本開示の第２の実施形態として、各種の変形例を説明する。

＜６．１．変形例１＞
まずは、上述のセンサ部１００の１つとして、被指導者又は演奏者の指が、ピアノの鍵盤のどの位置を打鍵したか、さらに、どの程度の力で鍵盤を打鍵したかを測定する圧力センサ装置２０を用いた変形例１を、図２０から図２２を参照して説明する。図２０は、変形例１に係る圧力センサ装置２０の構成を説明するための説明図であり、図２１は、変形例１に係る圧力センサ装置２０の動作を説明するための説明図である。さらに、図２２は、変形例１に係る圧力センサ装置２０による測定結果のフィードバックの一例を説明する説明図である。

（構成）
まずは、図２０を参照して、圧力センサ装置２０の構成を説明する。図２０に示すように、本変形例に係る圧力センサ装置２０は、鍵盤６０４（図２０では白鍵）の下に設けられた圧力センサ２００と、圧力センサ２００のセンシングデータを変換するＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器２１０と、変換されたセンシングデータを処理する情報処理装置２１２とを主に有する。

詳細には、圧力センサ装置２０は、図２０に示すように、３Ｄプリンタ等で作成された一対の上部鍵盤６０４ａ及び下部鍵盤６０４ｂからなる鍵盤６０４を有する。一対の上部鍵盤６０４ａ及び下部鍵盤６０４ｂは、例えば、ピアノが有する鍵盤（白鍵６００及び黒鍵）の数だけ、設けることができる。上部鍵盤６０４ａは、被指導者又は演奏者の指によって打鍵される鍵盤であり、打鍵によって印加された力により、上下方向に移動する。一方、下部鍵盤６０４ｂは、上部鍵盤６０４ａを受け止めるように固定されて設けられ、上部鍵盤６０４ａの動きを検出する圧力センサ２００を内蔵する。より具体的には、本変形例においては、上部鍵盤６０４ａの下面には、鍵盤の長手方向に沿って例えば２つ以上の突起２０２が設けられており、下部鍵盤６０４ｂの上面に、突起２０２と対向するように設けられた穴２０４に入り込むようになっている。さらに、当該穴２０４の底面には上記圧力センサ２００が設けられている。従って、上部鍵盤６０４ａが打鍵により下方に移動した場合、穴２０４に入り込んだ突起２０２が圧力センサ２００を押すことで、被指導者又は演奏者の指による打鍵を検出することができる。そして、圧力センサ２００で検出された圧力のセンシングデータは、ＡＤ変換器２１０によって、アナログ信号からデジタル信号に変換され、情報処理装置２１２に出力される。

なお、本変形例においては、一対の上部鍵盤６０４ａ及び下部鍵盤６０４ｂが白鍵６００又は黒鍵のうちのいずれかに対応するかに応じて、設けられる圧力センサ２００の位置を適宜変更してもよい。

（検出例）
次に、上述のような圧力センサ２００による、被指導者又は演奏者の指による鍵盤上の打鍵位置の検出と、打鍵による力の大きさの検出とについて、図２１を参照して説明する。図２１に示すように、圧力センサ２００ａは、例えば、１つの鍵盤につき、鍵盤の長手方向に沿って２つ設けられている。ここでは、被指導者又は演奏者側に位置する手前側の圧力センサ２００を圧力センサ２００ａとし、被指導者又は演奏者から見て奥に位置する圧力センサ２００を圧力センサ２００ｂとする。また、圧力センサ２００ａが検出した圧力をＦ_１とし、圧力センサ２００ｂが検出した圧力をＦ_２とする。このような場合、被指導者又は演奏者の打鍵による力の大きさＦは、２つの圧力センサ２００ａ、２００ｂが検出した圧力Ｆ_１、Ｆ_２の合力として検出することができる。すなわち、被指導者又は演奏者の打鍵による力の大きさＦは、以下の数式（１）として検出することができる。

被指導者又は演奏者の打鍵により、鍵盤、すなわち、上部鍵盤６０４ａはシーソーのように運動することとなる。従って、鍵盤の長手方向の長さをＬ_０とし、被指導者又は演奏者の打鍵の位置を鍵盤の奥側の端を始点としてＬとした場合、以下の数式（２）を用いて、打鍵の位置Ｌを、２つの圧力センサ２００ａ、２００ｂが検出した圧力Ｆ_１、Ｆ_２の比から算出することができる。

さらに、図２０では、圧力センサ２００は、１つの鍵盤につき、鍵盤の長手方向に沿って２つ設けられているが、本変形例においてはこれに限定されるものではなく、例えば、さらに鍵盤の短手方向に沿って２つの圧力センサ２００が設けられていてもよい。また、本変形例においては、圧力センサ２００の代わりに、３軸センサを用いてもよい。

（フィードバック例）
さらに、上述のような圧力センサ２００による検出結果をユーザにフィードバックする方法の一例について、図２２を参照して説明する。本変形例においては、例えば、図２２に示すような表示画面８２０を用いて、圧力センサ２００による検出結果をユーザにフィードバックすることができる。表示画面８２０には、鍵盤表示画面８２２が含まれており、例えば、被指導者が打鍵した位置（ここでは、鍵盤の長手方向における位置）をマーカ８２４ａ（図２２では白丸）として表示することができる。この際、被指導者の手本となる演奏者の打鍵した位置をマーカ８２４ｂ（図２２では斜線のハッチングで示される丸）で併せて表示してもよい。このように表示することにより、ユーザは、被指導者と手本となる演奏者の打鍵の位置の違いを明確に認識することができる。さらに、本変形例においては、図２２で示すような形態で打鍵した位置を示すことに限定されるものではない。例えば、本変形例においては、被指導者及び演奏者の打鍵した位置を、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いて、被指導者が打鍵する実空間上のピアノの鍵盤上に重畳して表示してもよい。この場合、表示の形態としては、図２２のようなマーカ８２４であってもよく、アニメーション等であってもよい。さらに、この場合、例えば、被指導者の頭部等に装着される、透過型のヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：以下、「ＨＭＤ」と称する）等により具現化することができる。なお、本変形例においては、上記ＨＭＤは、透過型のディスプレイに限定されるものではなく、非透過型のディスプレイであってもよい。後者の場合、ＨＭＤは、カメラ等の撮像装置を有してもよく、被指導者及び演奏者の打鍵した位置を、撮像した実空間上のピアノの鍵盤の画像に重畳して表示してもよい。さらに、後者の場合、ＨＭＤは、被指導者及び演奏者の打鍵した位置を、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間上に鍵盤を模式的に示す表示に重畳して表示してもよい。

さらに、上記表示画面８２０は、図２２に示すように、被指導者又は演奏者の打鍵による力の大きさＦの経時変化を鍵盤ごとに表示する打鍵力表示画面８２６を含んでいてもよい。この際も、被指導者の手本となる演奏者の打鍵による力の大きさＦの経時変化を、色や線種（図２２では、実線と破線とに分けて表示）を変えて併せて表示してもよい。このように表示することにより、ユーザは、被指導者と手本となる演奏者の打鍵による力やその変化の違いを鍵盤ごとに明確に認識することができる。

このように、本変形例によれば、被指導者又は演奏者の打鍵、すなわち、打鍵による鍵盤の動き、打鍵の位置、打鍵による力の大きさ等を、表示画面８２０を介してリアルタイムにユーザにフィードバックすることができる。

なお、本変形例においては、３軸センサを用いた場合には、被指導者が打鍵した、鍵盤の長手方向における位置だけでなく、鍵盤の短手方向における位置を示してもよく、鍵盤の上下方向に沿った移動量の経時変化を示してもよい。このように表示することにより、３次元でのより詳細なセンシングデータをユーザにフィードバックすることができる。

＜６．２．変形例２＞
上述の変形例においては、圧力センサ２００を用いたが、本実施形態においては、圧力センサ２００の代わりにフォトリフレクタセンサ装置４０を用いてもよい。そこで、変形例２として、図２３から図２９を参照して、フォトリフレクタセンサ装置４０を用いた例を説明する。図２３及び図２４は、本変形例に係るフォトリフレクタセンサ装置４０の構成を説明するための説明図である。また、図２５は、本変形例に係るフォトリフレクタセンサ４００の動作を説明するための説明図である。図２６及び図２７は、本変形例に係るフォトリフレクタセンサ装置４０による測定結果のフィードバックの例を説明する説明図である。さらに、図２８は、本変形例に係るフォトリフレクタセンサ装置４０による測定結果の解析処理のフローチャートであり、図２９は、本変形例に係るフォトリフレクタセンサ装置４０による測定結果の解析処理を説明するための説明図である。

（構成）
まずは、図２３から図２５を参照して、フォトリフレクタセンサ装置４０の構成を説明する。図２３に示すように、本変形例に係るフォトリフレクタセンサ装置４０は、各種のピアノの鍵盤の下に着脱可能に設けられる基板４０２と、当該基板４０２上に鍵盤に対応するように配列し、打鍵される鍵盤の動きを検出する複数のフォトリフレクタセンサ４００とを有する。さらに、当該フォトリフレクタセンサ装置４０は、フォトリフレクタセンサ４００のセンシングデータを変換するＡＤ変換器４１０と、変換されたセンシングデータを処理する情報処理装置４１２とを主に有する。本変形例に係るフォトリフレクタセンサ装置４０は、各種のピアノの鍵盤の下に着脱可能に設けられることができる。従って、当該フォトリフレクタセンサ装置４０は、ピアノの製造時又は出荷時にピアノに装着されてもよく、もしくは、ピアノの出荷後に後付されてもよい。

詳細には、図２４に示すように、各鍵盤（白鍵６００及び黒鍵６０２）の下に、１つのフォトリフレクタセンサ４００が設けられている。なお、図２４においては、１オクターブ分の鍵盤１２鍵（詳細には、白鍵６００が７鍵、黒鍵６０２が５鍵）が示されており、１２鍵の鍵盤のそれぞれに対応するようにフォトリフレクタセンサ４００が設けられている。フォトリフレクタセンサ４００は、各鍵盤の、被指導者又は演奏者から見て奥側の下方に位置するように設けられることが好ましい。さらに、各フォトリフレクタセンサ４００は、一対の、光を出射する発光素子４００ａと、光と受光する受光素子４００ｂとからなる。

より具体的には、図２５に示すように、フォトリフレクタセンサ４００の発光素子４００ａは、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等からなり、所定の波長を持つ光を出射することができる。さらに、フォトリフレクタセンサ４００の受光素子４００ｂは、フォトダイオード等からなり、受光した光量に応じて光電流（信号）を発生させることができる。従って、発光素子４００ａによって出射された光の一部は、白鍵６００の下面で反射され、受光素子４００ｂに到達し、受光素子４００ｂによって検出することができる。例えば、白鍵６００が被指導者又は演奏者によって打鍵されることで下方に移動した場合には、発光素子４００ａによって出射された光が受光素子４００ｂによって検出されるまでに進む経路の長さが変化することから、受光素子４００ｂによって検出する光の光量が変化する。従って、当該フォトリフレクタセンサ４００によれば、白鍵６００の上下方向の移動量に応じて、受光素子４００ｂによって検出する光の光量が変化することから、フォトリフレクタセンサ４００からの信号（電圧値）により白鍵６００の移動量を検出することが可能である。

本変形例においては、フォトリフレクタセンサ４００は、２ミリ秒程度の時間分解能と、０．０１ｍｍ程度の空間分解能とを有するため、鍵盤の移動量の掲示変化を高精度に、取得することができる。より具体的には、本変形例においては、例えば、フォトリフレクタセンサ４００の信号が所定の閾値を超えた瞬間を、鍵盤が移動を開始した時間(打鍵開始時間)（鍵盤の下降開始時）としてみなすことができる。本変形例においては、上記閾値は、フォトリフレクタセンサ４００自体のノイズ（ホワイトノイズ等）やバラツキを考慮して適宜設定することが可能であり、例えば、鍵盤が上方に静止している際のフォトリフレクタセンサ４００からの信号値の標準偏差の２倍に設定することができる。また、本変形例においては、鍵盤の移動量の時系列変化を高精度に取得することができることから、上述のような打鍵開始時間だけでなく、打鍵が終了した打鍵終了時間（鍵盤の上昇開始時）や、打鍵開始時間から打鍵終了時間までの打鍵時間等を鍵盤ごとに取得することができる。さらに、本変形例においては、打鍵の速度（鍵盤の移動速度）、加速度（鍵盤の移動加速度）、移動量の経時変化を鍵盤ごとに取得することができる。

（フィードバック例）
さらに、上述のようなフォトリフレクタセンサ４００による検出結果をユーザにフィードバックする方法の一例について、図２６及び図２７を参照して説明する。なお、図２６及び図２７の時系列データ８４２、８４２ａ、８４２ｂにおいては、鍵盤が下方に移動した場合の鍵盤の移動量は、図中の上側になるように示されている。

本変形例においては、被指導者又は演奏者に打鍵によって得られた鍵盤の移動量の時系列データ８４２から、イベント時間や特徴量を検出し、ユーザにフィードバックすることができる。ここで、イベント時間とは、打鍵開始時間や、打鍵終了時間、鍵盤が最も下方に位置した際の時間（下降終了時）、鍵盤が最も上方に位置した際の時間（上昇終了時）や、打鍵の速度が最大になった時間（最大速度到達時）、加速度が最大になった時間（最大加速度到達時）等のことを意味し、特に限定されない。また、本変形例においては、検出するイベント時間や特徴量についても、特に限定されるものではない。より具体的には、図２６に示すように、イベント時間をマーカ８４４によって示すことにより、イベントが発生したタイミングを、ユーザにフィードバックすることができる。この際、どのようなイベント時間や特徴量を表示するかは、ユーザによって選択されてもよい。

さらに、この際、図２７に示すように、被指導者の手本となる演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂを、色や線種を変えて併せて表示してもよい。例えば、図２７においては、演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂは、被指導者の打鍵による鍵盤の移動量の時系列データ８４２ａと異なる線種の線で示されている。このように表示することにより、ユーザは、被指導者と手本となる演奏者の打鍵による鍵盤の移動量の経時変化や特徴量等の違いを鍵盤ごとに明確に認識することができる。その結果、本変形例によれば、鍵盤を打鍵するタイミングや、鍵盤から指を離すタイミング、指を動かす速度等を視覚的に把握することが可能になることから、より技能の習得が容易、且つ、促進されることとなる。なお、本実施形態においては、打鍵による鍵盤の移動量については、移動量の時系列データ８４２ｂとして表示することに限定されるものではなく、鍵盤表示画面８７２（図３３ 参照）に示される鍵盤９０４（図３３ 参照）の色彩、色彩の濃淡（グラデーション）や模様を変化させることにより示してもよい。このような移動量の表示の詳細については後述する。

なお、本変形例においては、ユーザにフィードバックするデータは、鍵盤の移動量の経時変化に限定されるものではなく、移動速度、移動加速度等の経時変化であってもよい。さらに、本変形例においては、上述の経時変化とともに、上記マーカ８４４により、打鍵開始時間、打鍵終了時間、鍵盤が最も下方に位置した際の時間（下降終了時）、鍵盤が最も上方に位置した際の時間（上昇終了時）、打鍵の速度が最大になった時間（最大速度到達時）、鍵盤の下降中又は上昇中における最大速度到達時間、最大加速度到達時間等を表示してもよい。

（解析方法）
ところで、本変形例において、被指導者の打鍵による鍵盤の移動量の時系列データ８４２ａと、手本となる演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂとを比較する際に、同一の演奏（楽曲、フレーズ、スケール、アルペジオ、和音等）を行っていた場合であっても、各打鍵のタイミングが異なることがある。このような場合、被指導者の打鍵による鍵盤の移動量の時系列データ８４２ａと、演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂとを重畳して表示しても、両者の打鍵時間、打鍵の速度（鍵盤の移動速度）、加速度（鍵盤の移動加速度）等の違いを一目で把握することが難しいことがある。

そこで、本変形例においては、上述の図２７のように、被指導者の打鍵による鍵盤の移動量の時系列データ８４２ａを、手本となる演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂとそのまま並べて表示する「フレーズ比較モード」表示の他に、他の表示モードでの表示を行ってもよい。具体的には、本変形例においては、一音ずつの鍵盤の移動量の経時変化を比較するための「単音比較モード」表示を行ってもよい。この「単音比較モード」は、被指導者の時系列データ８４２ａにおける打鍵のタイミング（打鍵開始時間）と、演奏者の時系列データ８４２ｂにおける打鍵のタイミングとがそろうように、打鍵ごとに時系列データ８４２ａを切り出して並べて、時系列データ８４２ｃを再構成することにより、表示することができる。以下に、当該「単音比較モード」表示を行うための解析方法について、図２８及び図２９を参照して説明する。

図２８に示すように、本変形例に係る解析方法には、ステップＳ５０１からステップＳ５０９までの複数のステップが含まれている。以下に、本変形例に係る解析方法に含まれる各ステップの詳細を説明する。

（ステップＳ５０１）
まず、フォトリフレクタセンサ装置４０は、被指導者の打鍵による鍵盤の移動量の時系列データ８４２ａを取得する。

（ステップＳ５０３）
次に、フォトリフレクタセンサ装置４０は、ステップＳ５０１で得られた時系列データ８４２ａから、各打鍵の開始時間と終了時間とを抽出する。この際、フォトリフレクタセンサ装置４０は、フォトリフレクタセンサ４００の信号が所定の閾値を超えた瞬間を、鍵盤が移動を開始した時間(打鍵開始時間)としてみなす。さらに、フォトリフレクタセンサ装置４０は、フォトリフレクタセンサ４００の信号が所定の閾値を下回った瞬間を、鍵盤から指が離れた時間(打鍵終了時間)としてみなす。このようにすることで、フォトリフレクタセンサ装置４０は、各打鍵の開始時間と終了時間とを抽出することができる。そして、フォトリフレクタセンサ装置４０は、抽出した時間に基づいて、各打鍵に対応する区間を、時系列区間８４２ｄとして、時系列データ８４２ａから切り出して、保持する。

（ステップＳ５０５）
そして、フォトリフレクタセンサ装置４０は、上述のステップＳ５０３で切り出した各時系列区間８４２ｄから、打鍵開始時間、打鍵終了時間、鍵盤が最も下方に位置した際の時間（下降終了時）、鍵盤が最も上方に位置した際の時間（上昇終了時）、打鍵の速度が最大になった時間（最大速度到達時）、鍵盤の下降中又は上昇中における最大速度到達時間、最大加速度到達時間等の特徴量を抽出する。詳細には、例えば、第１の実施形態で説明した学習部３４８により、被指導者又は演奏者が打鍵した鍵盤の移動量の経時変化を、打鍵ごとに抽出し、抽出した各打鍵の時系列変化の一部（時系列区間８４２ｄ）から、特徴量（第３の特徴情報）を抽出する。この際、フォトリフレクタセンサ装置４０は、抽出した特徴量を、マーカ８４４を時系列区間８４２ｄに重畳することにより、可視化する。

（ステップＳ５０７）
次に、フォトリフレクタセンサ装置４０は、切り出した時系列区間８４２ｄを、例えば、被指導者の手本となる演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂに合わせて並べることにより、再構成を行う。詳細には、図２８及び図２９に示すように、各時系列区間８４２ｄにおける打鍵開始時間が、時系列データ８４２ｂにおける対応する打鍵の打鍵開始時間と一致するように、各時系列区間８４２ｄを時間シフトさせて並べることにより、被指導者の時系列データを連続したデータとして再構成する。より具体的には、例えば、第１の実施形態で説明した学習部３４８は、抽出した各打鍵の時系列変化の一部（時系列区間８４２ｄ）を、所定に規則に従って、連続したデータとして再度構成する。なお、以下の説明においては、再構成によって得られた被指導者の時系列データを、時系列データ８４２ｃと呼ぶ。

（ステップＳ５０９）
さらに、フォトリフレクタセンサ装置４０は、上述のステップＳ５０７で得られた時系列データ８４２ｃを、被指導者の手本となる演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂに重畳表示することにより、ユーザにフィードバックを行う。

本変形例においては、このように、被指導者の時系列データ８４２ｃにおける打鍵のタイミング（打鍵開始時間）と、演奏者の時系列データ８４２ｂにおける打鍵のタイミングとを一致させて、時系列データ８４２ｂ、８４２ｃを表示する。本変形例においては、このように表示することにより、ユーザが、両者の打鍵時間、打鍵の速度（鍵盤の移動速度）、加速度（鍵盤の移動加速度）等の違いを一目で把握することができることから、より技能の習得が容易、且つ、促進されることとなる。

（フィードバック変形例）
さらに、上述のようなフォトリフレクタセンサ４００による検出結果をユーザにフィードバックする方法は、以下のように変形してもよい。さらなる変形例について、図３０及び図３１を参照して説明する。図３０及び図３１は、本変形例に係るフォトリフレクタセンサ装置４０による測定結果のフィードバックの例を説明する説明図である。なお、図３０及び図３１の時系列データ８４２においては、鍵盤が下方に移動した場合の鍵盤の移動量は、図中の下側になるように示されている。

本変形例においては、図３０に示すように、表示画面８８０の下段には、鍵盤表示画面８８２と、鍵盤表示画面８８２に表示された鍵盤に対応するように各鍵盤の移動量の時系列データ８４２を表示する時系列データ表示８８４とが示されている。なお、当該時系列データ表示８８４は、被指導者の打鍵による鍵盤の移動量の時系列データ８４２ａと、被指導者の手本となる演奏者の打鍵による鍵盤の移動量の時系列データ８４２ｂとを表示するものとする。

さらに、本変形例においては、図３０に示すように、表示画面８８０の下段には、楽譜表示画面８８６が示されている。楽譜表示画面８８６は、枠８９０を持ち、枠８９０内の音符に対応する箇所が、時系列データ表示８８４が表示する時系列データ８４２に対応する。また、楽譜表示画面８８６の下側には、スライドバー８８８が設けられており、ユーザがスライドバー８８８を移動させることにより、楽譜表示画面８８６の枠８９０が移動し、時系列データ表示８８４に表示させる時系列データ８４２の範囲を変えることができる。すなわち、本変形例においては、ユーザにフィードバックする時系列データ８４２と同期して、対応する楽譜の一部を表示することができる。この際、ユーザにフィードバックする時系列データ８４２と同期して、楽譜の一部に対応する音声を出力してもよい。このように出力することで、ユーザは、演奏（楽曲、フレーズ等）のうちのどの部分に対応する時系列データ８４２を表示しているかを、容易に把握することができる。なお、本変形例においては、スライドバー８８８により楽譜表示画面８８６の枠８９０を移動させて、時系列データ表示８８４に表示させる時系列データ８４２の範囲を変えることに限定されるものではない。例えば、本変形例においては、時系列データ表示８８４に表示された時系列データ８４２の範囲をスライドバー８８８により移動させることにより、楽譜表示画面８８６の枠８９０を移動させてもよい。さらに、本変形例においては、スライドバー８８８に限定されるものではなく、楽譜表示画面８８６又は時系列データ表示８８４に対してスワイプしたり、ピンチイン、ピンチアウトしたりすることにより、楽譜表示画面８８６に表示される範囲や時系列データ表示８８４に表示させる時系列データ８４２の範囲を変えてもよい。

また、本変形例においては、図３１に示すような表示画面８８０ａを用いてもよい。当該表示画面８８０ａにおいては、ユーザがスライドバー８８８を移動させることにより、楽譜表示画面８８６の枠８９０の大きさが変化して、時系列データ表示８８４に表示させる時系列データ８４２の範囲を変えることができる。すなわち、本変形例においては、ユーザは、時系列データ表示８８４に表示させる時系列データ８４２の時間範囲を、ズームイン又はズームアウトすることにより、選択することができる。このように表示することにより、ユーザは、演奏（楽曲、フレーズ等）のうちの所望する範囲の時系列データ８４２を容易にズームイン又はズームアウト表示させることができることから、特徴量等を容易に把握することが可能となる。例えば、本変形例においては、時系列データ８４２の時間範囲をズームインすることができるため、被指導者が「ドミソ」の和音を弾いた際に得られた時系列データ８４２と、手本となる演奏者の時系列データ８４２における３音の打鍵タイミングとのズレを可視化することができる。そして、本変形例によれば、このような微細なズレを可視化することもできるため、ユーザは、聴覚等では認識しにくいズレを容易に認識できるようになるため、被指導者のより巧緻な演奏の習得を促進することができる。なお、本変形例においては、スライドバー８８８により楽譜表示画面８８６の枠８９０の大きさを変化させて、時系列データ表示８８４に表示させる時系列データ８４２の範囲を変えることに限定されるものではない。例えば、本変形例においては、時系列データ表示８８４に表示された時系列データ８４２の範囲の大きさをスライドバー８８８により変化させることにより、楽譜表示画面８８６の枠８９０の大きさを変化させてもよい。すなわち、本変形例においては、楽譜表示画面８８６と時系列データ表示８８４とは、互いに同期して表示されることとなる。

また、本変形例においては、被指導者の時系列データ８４２と比較する際に用いる他者の時系列データ８４２は、複数の熟練者の時系列データ８４２から抽出された平均値等の代表値（集合知）からなる時系列データ８４２であってもよく、もしくは、特定の熟練者の時系列データ８４２であってもよい。さらに、本変形例においては、比較する時系列データ８４２は、被指導者の熟練のレベルに応じて、段階的にレベルを上げるように選択することが好ましい。このようにすることで、被指導者のモチベーションを効果的に刺激し、被指導者の演奏のレベルをよりスムーズに向上させることができる。

さらに、本変形例においては、比較する時系列データ８４２の演奏者の手の大きさ等で、時系列データ８４２を予めタグ付しておくことが好ましい。このようなタグ付を行った場合、本変形例においては、被指導者が手の大きさに合わせて、比較する時系列データ８４２を自動的に選択することが可能となる。さらに、本変形例においては、上述のような手の大きさに限定されるものではなく、演奏者の握力、手の形状、体の大きさ、熟達度、年齢、性別等の属性情報で、時系列データ８４２を予めタグ付してもよい。本変形例においては、このようにタグ付することで、個人差を考慮した上で、好適な比較用の時系列データ８４２を選択することができ、個人に合わせたレッスンを提供することができる。

なお、本変形例においては、３つ以上の複数の時系列データ８４２を比較することも可能であり、例えば、被指導者の過去の時系列データ８４２と重畳して表示することにより、被指導者の上達の軌跡を確認する等を行うことができる。さらに、本変形例においては、被指導者の、上達の度合いを数値化したり、熟達の変化をグラフ化したりしてもよい。

＜６．３．変形例３＞
さらに、これまで説明したフィードバックは、主に画面による表示が中心であったが、本実施形態においては、被指導者に対して触覚刺激を行うことにより、フィードバックを行ってもよい。そこで、以下においては、変形例３として、被指導者の筋活動量をセンシングし、センシングデータに基づいて、バイブレータ６１２（図３２ 参照）により触覚刺激を行う例を、図３２を参照して説明する。図３２は、本変形例に係る筋活動量センサ装置６０の構成を説明するための説明図である。

（構成）
まずは、図３２を参照して、筋活動量センサ装置６０の構成を説明する。図３２に示すように、筋活動量センサ装置６０は、例えば、被指導者の親指、人差し指、中指等の根元に装着され、被指導者の各指の筋活動量を検出するとともに、検出した筋活動量に基づき振動によりフィードバックを行うことができる。詳細には、本変形例に係る筋活動量センサ装置６０は、筋活動量をセンシングする筋電位センサ６１０と、触覚刺激によりフィードバックを行うバイブレータ６１２とを有する。本変形例においては、筋活動量センサ装置６０は、筋電位センサ６１０とバイブレータ６１２とが一体化した装置であることが好ましい。さらに、筋活動量センサ装置６０は、筋電位センサ６１０のセンシングデータを変換するＡＤ変換器６２０と、バイブレータ６１２を制御するマイクロコントローラ６３０と、変換されたセンシングデータを処理し、且つ、マイクロコントローラ６３０を制御する情報処理装置６３２とを接続される。

詳細には、筋電位センサ６１０は、被指導者の手の皮膚６９０の一部に装着され、筋肉６９２（詳細には、筋線維）の収縮活動によって生じる筋電位の変化を検出することができる。さらに、検出された筋電位のセンシングデータは、ＡＤ変換器６２０によって、アナログ信号からデジタル信号に変換され、情報処理装置６３２に出力される。また、情報処理装置６３２は、筋電位のセンシングデータ６８０を所定の閾値６８２と比較し、比較結果に基づいて、マイクロコントローラ６３０に信号を出力することにより、バイブレータ６１２を制御することができる。バイブレータ６１２は、例えば、スマートフォン等に搭載される振動装置であり、マイクロコントローラ６３０を介した制御により、振動の振幅や振動周波数を変えることができる。なお、本変形例においては、筋電位センサ６１０が筋活動量を検出してから、バイブレータ６１２が振動するまでにかかる時間がより短くなりように構成することが好ましく、このように構成することで、被指導者に、筋肉の弛緩又は緊張さるタイミングを、より正確にリアルタイムにフィードバックすることができる。

（フィードバック例）
次に、上述のような筋活動量センサ装置６０による検出結果を被指導者にフィードバックする方法の詳細について説明する。

詳細には、先に説明したように、情報処理装置６３２は、筋電位のセンシングデータ６８０を所定の閾値６８２と比較する。当該所定の閾値６８２は、例えば、該当する筋肉６９２の最大筋収縮時における電位に対して何パーセントというように設定することができる。そして、情報処理装置６３２は、筋電位のセンシングデータ６８０が所定の閾値６８２を超える（もしくは、所定の閾値を下回る）と、マイクロコントローラ６３０に信号を出力することにより、バイブレータ６１２を振動させる。

より具体的には、本変形例においては、筋電位の大きさに応じて、バイブレータ６１２の振動周波数を変化させてもよい。例えば、筋電位が所定の閾値を超えた場合には、情報処理装置６３２は、該当する筋肉６９２が必要以上に緊張した状態であるとして、被指導者に対して、バイブレータ６１２を介して高い周波数で振動を与える。このようにすることで、被指導者は筋肉６９２が「力みの状態」にあることを認識し、該当する筋肉を脱力することができる。この際の振動周波数は、人の振動に対する感度が最も高くなると言われる２５０Ｈｚ程度とすることが好ましい。特に、ピアノの演奏においては、筋肉６９２を脱力することが求められる場合があるが、実際に脱力を自覚して演奏することが難しい。しかしながら、本変形例によれば、被指導者に自身の「力みの状態」を容易に認識させることができることから、被指導者は筋肉６９２の脱力を行うことができる。

一方、例えば、筋電位が所定の閾値を下回る場合には、情報処理装置６３２は、該当する筋肉６９２をより緊張した状態にすることが求められているとして、被指導者に対して、バイブレータ６１２を介して低い周波数で振動を与える。このようにすることで、被指導者は筋肉６９２をより緊張した状態にすることができる。

なお、上述の説明においては、情報処理装置６３２は振動数を制御していたが、本変形例においては振幅の大きさを制御してもよく、両方を制御してもよい。例えば、情報処理装置６３２が振動数及び振幅の両方を制御することにより、脱力か緊張かのいずれかの方向に筋肉６９２をコントロールすることが求められているかを被指導者にフィードバックするだけでなく、どの程度脱力させればよいのか、もしくは、どの程度緊張させればよいかの程度も、被指導者にフィードバックすることができる。

また、本変形例においては、複数の筋肉６９２の筋電位を検出した場合には、上述した実施形態と同様に、複数の筋肉６９２の協調度に基づいて、被指導者にフォードバックしてもよい。本変形例においては、例えば、親指の筋肉６９２と小指の筋肉６９２とを同時に緊張させる（収縮させる）ことが求められる状況において、親指の筋肉６９２と小指の筋肉６９２とに振動を印可することにより、いずれかの筋肉６９２をより早く緊張させるべきか、より強く緊張させるべきかの情報を被指導者にフォードバックすることができる。このようにすることで、ピアノの演奏時に求められる複数の筋肉６９２の協調動作を、触覚を介して被指導者は習得することができる。

なお、筋電位は、被指導者の皮膚６９０のインピーダンスや脂肪等の影響により、ノイズが含まれることとなる。すなわち、筋肉６９２の安静時であっても、筋電位の大きさには個人差が存在する。そこで、本変形例においては、事前に、被指導者の筋肉６９２の安静時の筋電位（バックグラウンドノイズ）と、最大筋収縮時の筋電位とを測定する。そして、本変形例においては、安静時の筋電位と最大筋収縮時の筋電位との差を用いて、新たに検出された筋電位を正規化することにより、筋電位における個人差に対応することができ、精度よく筋肉６９２の弛緩、又は、緊張によって発生する筋電位を検出することができる。

また、上述の説明においては、筋電位自体を所定の閾値と比較して、振動によって被指導者にフィードバックしていたが、本変形例においては、これに限定されるものではない。例えば、本変形例においては、筋電位が所定の時間を超えて所定の閾値を超えた場合、もしくは、筋電位が所定の時間を超えて所定の閾値を下回った場合、振動によって被指導者にフィードバックしてもよい。すなわち、本変形例においては、筋電位に限定されるものではなく、筋活動時間等を用いてもよい。

また、本変形例においては、手指の筋肉６９２に限定されるものではなく、筋電位を検出することができれば、他の身体上の部分の筋肉であってもよく、特に限定されるものではない。さらに、本変形例においては、関節角度の情報や角速度といった筋電位以外の生体情報を用いてもよい。

（組み合わせ）
さらに、本変形例に係る筋活動量センサ装置６０は、上述した力覚機構７１０と組み合わせて用いてもよい。詳細には、被指導者の指先に、筋活動量センサ装置６０を装着し、手指の関節に、上述の外骨格ロボット７１２を装着してもよい。この場合、該当する筋肉をどの程度脱力させればよいのか、もしくは、どの程度緊張させればよいかの程度は、筋活動量センサ装置６０によって、被指導者にフィードバックする。一方、どのような方向に、どのような方向で指を動かすか等の情報は、外骨格ロボット７１２によって被指導者にフィードバックする。

このように組み合わせることにより、指先における触覚と、関節における力覚とによって、被指導者は、多感覚情報統合学習（マルチモダリティラーニング）を行うことができる。さらに、本変形例においては、視覚によるフィードバックや、聴覚によるフィードバックとも組み合わせることで、被指導者は、例えば、自身や他者（例えば、熟練者）との間における動作の違いや、自身の過去と現在における動作の違いをより容易に把握することができる。従って、本変形例においては、被指導者の「コツ」の習得支援、すなわち、パフォーマンスの習得支援を行うことができる。

さらに、本変形例においては、力覚機構７１０は、手指の関節に印加する力の程度や、印加する速度を変更してもよい（例えば、倍速、スローモーション等）。その際に、被指導者が演奏したピアノの音を出力してもよい。例えば、被指導者の手指の動きの速さを力覚機構７１０で再現して、被指導者の手指に力覚的に印加することにより、被指導者は、現時点での、自身の手指の動きの速さの限界を認識することができる。また、例えば、力覚機構７１０により、段階的に動きを早くしながら被指導者の手指に力覚的に印加することにより、被指導者の手指の動きが速くなるように誘導してもよい。

以上のように、本開示の第２の実施形態の各変形例によれば、各種のセンサを得られた、ユーザのパフォーマンスに関する情報を、当該ユーザにフィードバックするパフォーマンスの習得支援に利用可能な情報処理装置、情報処理方法及びプログラムを提供することができる。さらに、本実施形態の各変形例によれば、被指導者のパフォーマンスの習得支援、例えば、リモートレッスンやセルフレッスン等を行うことができる。

なお、以上説明した本開示の各実施形態、各実施例及び各変形例は、互いに組み合わせて実施することが可能であり、これらについても、本開示の技術的範囲に属するものと了解される。

＜＜７．第３の実施形態＞＞
上述の本開示の実施形態に係るフィードバック方法は、以下のように変形することも可能である。以下に、本開示の第３の実施形態として、各種のフィードバックの例を図３３及び図３４を参照して説明する。図３３及び図３４は、本開示の第３の実施形態に係るフィードバックの例を説明する説明図である。

上述した実施形態と同様に、ユーザ側装置７０は、受信したフィードバック情報５０６に基づき、被指導者にフィードバックを行う。詳細には、ユーザ側装置７０は、図３３に示すような表示画面９０２を演奏中又は演奏後の被指導者に向けて表示する。当該表示画面９０２は、その右側に、鍵盤を模式的示す鍵盤表示画面８７２を含み、その左側に、被指導者（もしくは、演奏者）が該当する鍵盤を打鍵する際の手指の速度の時系列データを示す時系列データ表示８７４を含む。これら鍵盤表示画面８７２及び時系列データ表示８７４は、例えば、被指導者等の演奏による各鍵盤の動きを再現したものであり、再現の際に速度を変更したり、再現する鍵盤や演奏の範囲を変更したりと、ユーザが所望する条件で再現することができる。

詳細には、鍵盤表示画面８７２に含まれる各鍵盤９０４は、被指導者（もしくは、演奏者）の演奏による各鍵盤の動きをアニメーションによって再現し（例えば、再現アニメーション速度は、ユーザの所望する速度に設定できる）、さらに、色彩、色彩の濃淡（グラデーション）や模様の違いによって、被指導者等が演奏の際に打鍵した鍵盤の移動量を示すことができる。本実施形態においては、例えば、鍵盤が底近くまで下がるほど該当する鍵盤９０４の色を濃く示し、鍵盤が上に上がるほど該当する鍵盤９０４の色を薄く示す。本実施形態においては、鍵盤表示画面８７２に含まれる各鍵盤９０４の動きによって該当する鍵盤の移動量を再現するだけでなく、各鍵盤９０４の色彩等によって移動量を示すことができることから、ユーザは、各鍵盤の移動量を容易に把握することができる。さらに、本実施形態においては、他のセンサ装置１０（例えば、被指導者等の手に装着されたグローブ型のセンサ装置１０、筋活動量センサ装置６０等）で取得したセンシングデータ５００に基づいて指の動き等を再現したアニメーションを、各鍵盤９０４等に重ねて表示してもよい。

また、本実施形態においては、被指導者等の演奏による各鍵盤の動きをアニメーションによって再現した各鍵盤９０４の動きに同期して、上記演奏時に取得された演奏音を再生してもよい。さらに、演奏音の再生についても、動きの再現と同様に、ユーザが所望する速度に設定することができる。

加えて、本実施形態においては、表示画面９０２は、移動量だけでなく、移動速度に関する情報も表示してもよい。例えば、図３３中の三角形状のタイミング表示９０６ａは、鍵盤の下降速度（打鍵速度又は移動速度）が最大になるタイミング付近で表示され、図３３中の三角形状のタイミング表示９０６ｂは、鍵盤の上昇速度が最大になるタイミング付近で表示される。なお、タイミング表示９０６の形状は、図３３に示されるような三角形に限定されるものではない。また、図中の四角形状のバー表示９０８ａ、９０８ｂは、棒グラフのように鍵盤の移動速度を示すバーである。例えば、鍵盤が下に向かって移動する際には、当該鍵盤の移動速度に応じて、所定の色彩又は模様を持つバー表示９０８が下に向かって伸び、一方、鍵盤が上昇する際には、所定の色彩又は模様を持つバー表示９０８が上に向かって伸びるように示される。本実施形態においては、上述したようなタイミング表示９０６やバー表示９０８を用いて表示を行うことにより、被指導者等が、鍵盤の移動速度、すなわち、打鍵速度や速度が最大になるタイミングを直感的に把握することができる。

また、本実施形態においては、お手本となるロールモデルとの直接的な比較も可能である。例えば、表示画面９０２においては、被指導者の演奏による鍵盤の動きをアニメーションで再現した上に、ワイヤーフレーム等を用いて、お手本となるロールモデルの演奏による鍵盤の動きを重ねてアニメーションとして描画してもよい。

また、本実施形態においては、図３４に示すような表示画面９１０を用いてフィードバックを行ってもよい。当該表示画面９１０も、上述と同様に、その右側に、鍵盤を模式的示す鍵盤表示画面８７２を含み、その左側に、被指導者（もしくは、演奏者）が該当する鍵盤を打鍵する際の手指の速度の時系列データを示す時系列データ表示８７４を含む。

さらに、本実施形態においては、ピアノの鍵盤部に、ウレタン等からなる弾性変形可能な部材と、位置センサとを設置するものとする。詳細には、本実施形態においては、上記部材は、各鍵盤が所定の距離（例えば１０ｍｍ）だけ下方に移動した際に、当該鍵盤の底面に接するように設けられる。さらに、上記位置センサは、各鍵盤の底面に設けられる。当該位置センサは、精密な位置の計測が可能であることから、鍵盤が深く打鍵された場合、鍵盤の底面が上記部材に接触し、さらに鍵盤が深く押し付けられることから上記部材がわずかに変形し、当該鍵盤が上記所定の距離よりもわずかに深く沈み込む状態を検出することができる。

従って、図３４に示すように、鍵盤表示画面８７２に含まれる各鍵盤９０４は、被指導者（もしくは、演奏者）の演奏による各鍵盤の動きをアニメーションによって再現するとともに、色彩、色彩の濃淡（グラデーション）、模様等の違いによって、被指導者（もしくは、演奏者）が演奏の際に打鍵した鍵盤の深さを示すことができる。具体的には、図３４においては、鍵盤９０４の縞状の模様によって、該当する鍵盤が所定の距離よりも深く沈みこんでいること、すなわち、不必要に鍵盤を押さえつけていることを示している。不必要に鍵盤を押さえつけることは、響きを減弱させ、音色を硬くさせ、さらには、演奏者が無駄なエネルギを使うことにもつながることから、一般的には、避けるべきとされている。本実施形態においては、該当する鍵盤が所定の距離よりも深く沈みこんでいることを示すために鍵盤９０４の色彩、模様等を変化させて表示することから、被指導者等は、各鍵盤の押さえつけの程度を容易に把握することができ、その結果、一般的に避けるべきとされている不必要な鍵盤の押さえつけを行わないように意識して演奏するようになる。

＜＜８．補足＞＞
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得部と、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出部と、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知部と、
を備える情報処理装置。
（２）
前記算出部は、予め設定されたパフォーマンスの状態と関係を持つ前記運動要素の協調情報を算出する、上記（１）に記載の情報処理装置。
（３）
各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部をさらに備え、
前記算出部は、前記記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから前記協調情報を算出する、
上記（２）に記載の情報処理装置。
（４）
複数の前記パフォーマンスの状態と、当該複数のパフォーマンスの状態の各々に対応する前記複数のセンシングデータとを用いて、前記各種のパフォーマンスの状態と前記運動要素の協調情報との関係を機械学習し、前記関係情報を習得する学習部をさらに備える、
上記（３）に記載の情報処理装置。
（５）
前記学習部は、前記関係情報に対して多変量解析を行って、前記各パフォーマンスの状態を特徴づける前記協調情報を第１の特徴情報として抽出する、上記（４）に記載の情報処理装置。
（６）
前記学習部は、前記取得した複数のセンシングデータに基づいて、前記ユーザの前記パフォーマンスを特徴づける前記協調情報を第２の特徴情報として抽出する、上記（４）に記載の情報処理装置。
（７）
前記学習部は、前記第２の特徴情報に基づき、前記ユーザの前記パフォーマンスの状態を分類する、上記（６）に記載の情報処理装置。
（８）
前記予め設定されたパフォーマンスの状態に関係する前記第１の特徴情報を選択し、
選択した前記第１の特徴情報と、前記算出部により算出された前記ユーザの前記協調情報とを比較し、
比較結果に基づき、前記フィードバック情報を生成する、
比較部をさらに備える、
上記（５）に記載の情報処理装置。
（９）
前記通知部は、生成された前記フィードバック情報に基づき、前記フィードバック情報の通知の形態を選択する、上記（８）に記載の情報処理装置。
（１０）
前記通知部は、表示装置を制御して所定の画像を表示させることにより、前記ユーザに対して前記フィードバック情報を通知する、上記（９）に記載の情報処理装置。
（１１）
前記通知部は、前記ユーザが打鍵した鍵盤上の位置を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、上記（１０）に記載の情報処理装置。
（１２）
前記通知部は、前記ユーザが打鍵した鍵盤の移動量、移動速度、移動加速度のうちの少なくとも１つの経時変化を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、上記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記経時変化とともに、前記鍵盤の下降開始時、下降終了時、上昇開始時、上昇終了時、及び、前記鍵盤の下降中又は上昇中における最大速度到達時、最大加速度到達時のうちの少なくとも１つを表示することにより、前記ユーザに対して前記フィードバック情報を通知する、上記（１２）に記載の情報処理装置。
（１４）
前記通知部は、前記経時変化と同期して、前記ユーザの打鍵に対応する楽譜を表示する、上記（１２）又は（１３）に記載の情報処理装置。
（１５）
前記通知部は、前記ユーザの身体に装着されたウェアラブル装置を制御して前記ユーザに対して触覚刺激を行わせることにより、前記ユーザに対して前記フィードバック情報を通知する、上記（９）に記載の情報処理装置。
（１６）
前記通知部は、前記ユーザの身体の一部の筋活動量と閾値との比較結果に基づき、前記ユーザに対して触覚刺激を行わせることにより、前記ユーザに対して前記フィードバック情報を通知する、上記（１５）に記載の情報処理装置。
（１７）
前記通知部は、音声出力装置を制御して所定の音を出力させることにより、前記ユーザに対して前記フィードバック情報を通知する、上記（９）に記載の情報処理装置。
（１８）
前記ユーザの属性情報を取得する属性情報取得部をさらに備え、
前記比較部は、取得した前記属性情報に基づいて、前記第１の特徴情報を選択する、
上記（８）に記載の情報処理装置。
（１９）
前記パフォーマンスの状態は、当該パフォーマンスにおける前記ユーザの前記運動要素の運動パターン、運動速度、運動正確性、及び運動量のうちの少なくとも１つによって示される、上記（２）に記載の情報処理装置。
（２０）
前記パフォーマンスの状態は、当該パフォーマンスによって生じる結果の状態によって示される、上記（２）に記載の情報処理装置。
（２１）
前記複数のセンシングデータは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、又は、位置センサから得られるセンシングデータのうちの少なくとも１つを含む、上記（１）～（２０）のいずれか１つに記載の情報処理装置。
（２２）
前記複数のセンシングデータは、前記ユーザを撮像する撮像装置、前記ユーザの身体の一部によって印加される圧力をセンシングする圧力センサ、又は、前記ユーザにおける核磁気共鳴をセンシングする核磁気共鳴センサから得られるセンシングデータのうちの少なくとも１つを含む、上記（１）～（２１）のいずれか１つに記載の情報処理装置。
（２３）
前記複数のセンシングデータは、前記ユーザの身体の一部によって打鍵される鍵盤の動きをセンシングするフォトリフレクタセンサから得られるセンシングデータのうちの少なくとも１つを含む、上記（１）～（２２）のいずれか１つに記載の情報処理装置。
（２４）
前記フォトリフレクタセンサは、各種のピアノの鍵盤の下に着脱可能に設けられる、上記（２３）に記載の情報処理装置。
（２５）
前記複数のセンシングデータは、前記パフォーマンスによって生じる音をセンシングする収音装置から得られたセンシングデータを含む、上記（１）～（２４）のいずれか１つに記載の情報処理装置。
（２６）
ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得することと、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出することと、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知することと、
を含む、情報処理方法。
（２７）
ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得する機能と、
取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する機能と、
算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する機能と、
をコンピュータに実現させるためのプログラム。

１ 情報処理システム
１０ センサ装置
２０ 圧力センサ装置
３０ サーバ
４０ フォトリフレクタセンサ装置
６０ 筋活動量センサ装置
７０ ユーザ側装置
９０ ネットワーク
１００ センサ部
１４０、３４０、７４０ 主制御部
１４２、３４２ データ取得部
１４４、３４４ 処理部
１５２、３５２ 出力制御部
１６０、３６０、７６０ 通信部
１９０ 電極
１９２、８２４ａ、８２４ｂ、８４４ マーカ
１９４ 高速撮影カメラ
１９６、２００ 圧力センサ
１９８ マイクロフォン
２０２ 突起
２０４ 穴
２１０、４１０、６２０ ＡＤ変換器
２１２、４１２、６３２、９００ 情報処理装置
３００ 入力部
３１０ 出力部
３４６ 算出部
３４８ 学習部
３５０ 比較部
３７０、７７０ 記憶部
３７２ ＤＢ
４００ フォトリフレクタセンサ
４００ａ 発光素子
４００ｂ 受光素子
４０２ 基板
５００ センシングデータ
５０２ 演奏状態
５０４ 協調度
５０６ フィードバック情報
６００ 白鍵
６０４、８３８、９０４ 鍵盤
６０４ａ 上部鍵盤
６０４ｂ 下部鍵盤
６１０ 筋電位センサ
６１２ バイブレータ
６３０ マイクロコントローラ
６８０ 筋電位
６８２ 閾値
６９０ 皮膚
６９２ 筋肉
７１０ 力覚機構
７１２ 外骨格ロボット
７１２ａ 外骨格部材
７１４ 表示部
７１６ 音声出力部
８００、８０６、８２０、８６２、８７０、８８０、８８０ａ、９０２、９１０ 表示画面
８０２、８０８、８６４ 手指表示画面
８０４ 一致指数バー
８１０ ベクトル
８３２、８３４、８４０、８６６ イメージ画像
８２２、８３６、８７２、８８２ 鍵盤表示画面
８２６ 打鍵力表示画面
８４２、８４２ａ、８４２ｂ、８４２ｃ 時系列データ
８４２ｄ 時系列区間
８５０ ウィンドウ
８６８ 領域表示
８７４、８８４ 時系列データ表示
８７６ 速度表示部
８８６ 楽譜表示画面
８８８ スライドバー
８９０ 枠
９０６、９０６ａ、９０６ｂ タイミング表示
９０８、９０８ａ、９０８ｂ バー表示
９５０ ＣＰＵ
９５２ ＲＯＭ
９５４ ＲＡＭ
９５６ 記録媒体
９５８ 入出力インタフェース
９６０ 力覚デバイス
９６２ 表示デバイス
９６４ 音声出力デバイス
９６８ 通信インタフェース
９７０ バス
９８０ センサ

Claims (18)

1. ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得部と、
   取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出部と、
   算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知部と、
   各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部と
   を備え、
   前記算出部は、前記記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから、予め設定された前記パフォーマンスの状態と関係を持つ前記運動要素の前記協調情報を算出する
   情報処理装置。
2. 複数の前記パフォーマンスの状態と、当該複数のパフォーマンスの状態の各々に対応する前記複数のセンシングデータとを用いて、前記各種のパフォーマンスの状態と前記運動要素の協調情報との関係を機械学習し、前記関係情報を習得する学習部をさらに備える、請求項１に記載の情報処理装置。
3. 前記学習部は、前記関係情報に対して多変量解析を行って、前記各パフォーマンスの状態を特徴づける前記協調情報を第１の特徴情報として抽出する、請求項２に記載の情報処理装置。
4. 前記学習部は、前記取得した複数のセンシングデータに基づいて、前記ユーザの前記パフォーマンスを特徴づける前記協調情報を第２の特徴情報として抽出する、請求項２に記載の情報処理装置。
5. 前記学習部は、前記第２の特徴情報に基づき、前記ユーザの前記パフォーマンスの状態を分類する、請求項４に記載の情報処理装置。
6. 前記予め設定されたパフォーマンスの状態に関係する前記第１の特徴情報を選択し、
   選択した前記第１の特徴情報と、前記算出部により算出された前記ユーザの前記協調情報とを比較し、
   比較結果に基づき、前記フィードバック情報を生成する、
   比較部をさらに備える、
   請求項３に記載の情報処理装置。
7. 前記通知部は、生成された前記フィードバック情報に基づき、前記フィードバック情報の通知の形態を選択する、請求項６に記載の情報処理装置。
8. 前記通知部は、表示装置を制御して所定の画像を表示させること、前記ユーザの身体に装着されたウェアラブル装置を制御して前記ユーザに対して触覚刺激を行わせること、及び、音声出力装置を制御して所定の音を出力させることのうちの少なくとも１つにより、前記ユーザに対して前記フィードバック情報を通知する、請求項７に記載の情報処理装置。
9. 前記通知部は、前記ユーザが打鍵した鍵盤上の位置を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、請求項８に記載の情報処理装置。
10. 前記通知部は、前記ユーザが打鍵した鍵盤の移動量、移動速度、移動加速度のうちの少なくとも１つの経時変化を表示することにより、前記ユーザに対して前記フィードバック情報を通知する、請求項８に記載の情報処理装置。
11. 前記ユーザの属性情報を取得する属性情報取得部をさらに備え、
    前記比較部は、取得した前記属性情報に基づいて、前記第１の特徴情報を選択する、
    請求項６に記載の情報処理装置。
12. 前記パフォーマンスの状態は、当該パフォーマンスにおける前記ユーザの前記運動要素の運動パターン、運動速度、運動正確性、運動量、及び、当該パフォーマンスによって生じる結果の状態のうちの少なくとも１つによって示される、請求項１に記載の情報処理装置。
13. 前記複数のセンシングデータは、前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、又は、位置センサから得られるセンシングデータのうちの少なくとも１つを含む、請求項１に記載の情報処理装置。
14. 前記複数のセンシングデータは、前記ユーザを撮像する撮像装置、前記ユーザの身体の一部によって印加される圧力をセンシングする圧力センサ、又は、前記ユーザにおける核磁気共鳴をセンシングする核磁気共鳴センサから得られるセンシングデータのうちの少なくとも１つを含む、請求項１に記載の情報処理装置。
15. 前記複数のセンシングデータは、前記ユーザの身体の一部によって打鍵される鍵盤の動きをセンシングするフォトリフレクタセンサから得られるセンシングデータのうちの少なくとも１つを含む、請求項１に記載の情報処理装置。
16. 前記複数のセンシングデータは、前記パフォーマンスによって生じる音をセンシングする収音装置から得られたセンシングデータを含む、請求項１に記載の情報処理装置。
17. 情報処理装置が、
    ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得ステップと、
    取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出ステップと、
    算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知ステップと
    を含み、
    前記算出ステップの処理では、各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから、予め設定された前記パフォーマンスの状態と関係を持つ前記運動要素の前記協調情報を算出する
    情報処理方法。
18. コンピュータを、
    ユーザの身体の複数の部分が動作することによって行われるパフォーマンスにおける複数の運動要素の状態をセンシングする１つ又は複数のセンサから複数のセンシングデータを取得するセンシングデータ取得部と、
    取得した前記複数のセンシングデータから、前記運動要素の動作協調性を示す協調情報を算出する算出部と、
    算出した前記協調情報に基づいて、前記ユーザにフィードバック情報を通知する通知部と、
    各種のパフォーマンスの状態と、当該各パフォーマンスの状態と関係を持つ前記運動要素の協調情報との関係を示す関係情報を格納する記憶部と
    を備え、
    前記算出部は、前記記憶部に予め格納された前記関係情報に基づいて、前記取得した複数のセンシングデータから、予め設定された前記パフォーマンスの状態と関係を持つ前記運動要素の前記協調情報を算出する
    情報処理装置として機能させるためのプログラム。

Images