JP7367690B2 - 情報処理装置 - Google Patents

Description

本開示は、情報処理装置に関する。

近年、各種のモーションセンサや生体情報センサの小型化、簡易化等が進んだことから、これらセンサによって容易に各種のセンシングデータを取得することが容易となり、例えば、ユーザのパフォーマンス（楽器演奏、スポーツ等）の習得の支援等に利用されるようになった。例えば、パフォーマンス（楽器演奏）に対して評価を行い、パフォーマンスの支援を行う技術の一例として、下記特許文献１に開示されている技術を挙げることができる。このような習得支援においては、複数のセンサから様々なセンシングデータを取得し、取得した複数のセンシングデータを解析することにより、習得支援に利用することができるデータを得ている。

特開２００９－４７８６１号公報

ところで、互いに異なる種類の複数のセンサを用いて複数のセンシングデータを取得しようとする場合、センシングデータの形式が異なる場合がある。例えば、生体情報センサからのセンシングデータは、アナログ形式のセンシングデータであることが一般的である。このような場合、生体情報センサからのセンシングデータは、他のセンサからのセンシングデータと同様にデジタル形式のセンシングデータにするためにデジタル形式に変換した後に、他のセンサからのセンシングデータとともに、解析が行われることとなる。さらに、ユーザのパフォーマンスの習得支援に有用なデータを取得するために、上述のような形式が混在する複数のセンシングデータであっても、互いに精度よく同期させることが求められる。

そこで、本開示においては、形式が混在するセンシングデータを精度よく同期させて取り扱うことができる、パフォーマンスの習得支援に利用可能な新規且つ改良された情報処理装置を提案する。

本開示によれば、ユーザの動作によるパフォーマンスに係る状態をセンシングする複数のセンサから得られた異なる形式の複数のセンシングデータを変換する変換部と、前記変換部で変換された前記センシングデータを処理する情報処理部と、前記情報処理部の処理結果に基づき、前記ユーザに対してフィードバック情報を出力する情報出力部と、を備え、前記変換部は、前記センサからのアナログ形式の前記センシングデータを、デジタル形式に変換して、前記情報処理部に出力するアナログ－デジタル信号変換部と、前記センサからのデジタル形式の前記センシングデータを、アナログ形式に変換して、前記アナログ－デジタル信号変換部に出力するデジタル－アナログ信号変換部と、を有する、情報処理装置を提供する。

以上説明したように本開示によれば、形式が混在するセンシングデータを精度よく同期させて取り扱うことができる、パフォーマンスの習得支援に利用可能な情報処理装置を提供することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システム１の構成例を説明する説明図である。 本開示の実施形態に係るセンサ装置１０の構成を示すブロック図である。 本開示の実施形態に係るサーバ３０の構成を示すブロック図である。 本開示の実施形態に係る変換装置２０及び演算装置２６の構成を示すブロック図である。 本開示の実施形態に係るフィードバック装置７０の構成を示すブロック図である。 本開示の実施形態に係る情報処理方法の一例を説明するフローチャートである。 本開示の実施形態に係る教師データの作成のフローチャートである。 特徴量の抽出の一例を説明するための説明図（その１）である。 特徴量の抽出の一例を説明するための説明図（その２）である。 データベースの構築の一例を説明するための説明図（その１）である。 データベースの構築の一例を説明するための説明図（その２）である。 教師データの作成の一例を説明するための説明図（その１）である。 教師データの作成の一例を説明するための説明図（その２）である。 本開示の実施形態に係る比較データの作成のフローチャートである。 本開示の実施形態に係る比較のフローチャートである。 比較の一例を説明するための説明図（その１）である。 比較の一例を説明するための説明図（その２）である。 本開示の実施形態に係る習得支援モードのフローチャートである。 本開示の実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１．本開示に係る実施形態を創作するに至るまでの経緯
２．本開示の実施形態
２．１．本開示の実施形態に係る情報処理システム１の概要
２．２．本開示の実施形態に係るセンサ装置１０の構成
２．３．本開示の実施形態に係るサーバ３０の構成
２．４．本開示の実施形態に係る変換装置２０及び演算装置２６の構成
２．５．本開示の実施形態に係るフィードバック装置７０の構成
２．６．本開示の実施形態に係る情報処理方法
２．６．１ 教師データの作成の詳細
２．６．２ 比較データの作成の詳細
２．６．３ 比較の詳細
２．７．まとめ
３．習得支援モードについて
４．本開示の実施形態の応用例
５．ハードウェア構成について
６．補足

＜＜１．本開示に係る実施形態を創作するに至るまでの経緯＞＞
まず、本開示に係る実施形態を説明する前に、本発明者らが本開示に係る実施形態を創作するに至るまでの経緯について説明する。

先に説明したように、近年、各種のモーションセンサや生体情報センサの小型化、簡易化等が進んだことから、これらセンサによって容易に各種のセンシングデータを取得することが容易となり、例えば、ユーザのパフォーマンス（楽器演奏、スポーツ等）の習得支援に利用されるようになった。このような習得支援においては、複数のセンサから様々なセンシングデータをリアルタイムで同時に取得し、取得したこれら複数のセンシングデータを解析することにより、習得支援に利用することができるデータを得ている。

さらに、このような解析を行う場合、複数のセンサにおいて、それぞれのセンシングデータの取得のタイミングやセンシング時間幅を揃える、すなわち、複数のセンシングデータ間で同期を取ることが求められる。なお、以下の説明において、「同期を取る」とは、複数のセンシングデータの間で、センシングデータの取得のタイミングやセンシング時間の幅を揃えることを意味するものとする。

ところで、生体情報センサからのセンシングデータは、時間の経過に従って変化する波形データ等のようなアナログ形式のセンシングデータであることが一般的である。一方、多くのセンサ、又は、ユーザが使用する電子楽器等の出力は、デジタル形式のセンシングデータ又はデータを出力することが一般的である。そこで、上述のような習得支援においては、これらの複数のセンシングデータを同時に解析するために、解析を行う前に、アナログ形式のセンシングデータをアナログ－デジタル信号変換器等によりデジタル形式のセンシングデータに変換する。従って、ユーザのパフォーマンスの習得支援に有用なデータを取得するためには、上述のような形式が混在する複数のセンシングデータであっても、互いに精度よく同期させることが求められる。

しかしながら、複数のセンシングデータは互いに形式が異なることに起因して上述のような変換を行っていることから、これら複数のセンシングデータを精度よく同期させることは難しい。

そこで、このような状況を鑑みて、本発明者らは、形式が混在するセンシングデータを精度よく同期させて取り扱うことができる、パフォーマンスの習得支援に利用可能な、本開示の実施形態を創作するに至った。以下、このような本開示の実施形態に係る情報処理システム及び情報処理方法を順次詳細に説明する。

なお、以下の説明においては、本開示の実施形態をピアノの演奏法の指導（技能習得）に適用した場合について説明する。しかしながら、本開示の実施形態は、ピアノの演奏法の指導に適用することに限定されるものではなく、他の楽器の演奏法や、スポーツ、伝統工芸の技能習得、運動機能障害のリハビリ等に適用することも可能である。また、本開示の実施形態においては、楽器についても、特にピアノに限定されるものではなく、各種の電子楽器であってもよく、もしくは、各種のアコースティック楽器であってもよい。

また、以下の説明においては、ユーザとは、例えば、ピアノの演奏法等の指導を受ける被指導者、本実施形態に係るデータベースの構築にあたり各種のセンシングデータが収集される演奏者（例えば、プロフェッショナルピアニスト）等の演奏を行う又は行おうとしている演奏者等が含まれ、さらに、本実施形態に係る情報処理システムを利用する指導者等も含まれる。

そして、以下の説明において、ピアノ演奏（パフォーマンス）に対する評価値（評価情報）とは、演奏における演奏者の演奏速度（テンポ、リズム）、演奏の正確性（リズム又は各音の音量の正確性）、演奏によって生じる音の音量（音波形のピーク）、音の響き（音波形の積分値）、音色（スペクトラム）、和音（複数音）における音同士の音量差や時間差（いわゆる、和音における「バランス」）、各音パラメータの最大値と最小値との差分（レンジ）、各音のパラメータの粒度（解像度）、演奏におけるエネルギー効率等を意味するものとする。さらに、以下の説明において、ピアノ演奏の評価値は、上述の複数のパラメータのうちトレードオフ関係にあるパラメータ（例えば、演奏の速度と正確性）が存在することから、このような場合を考慮して、各パラメータ（数値）の比率であってもよい。ところで、例えば、ピアノ演奏の指導においては、一般的に、演奏速度よりも演奏の正確性を優先的に身に着けることを重視して指導が行われる。この理由としては、速い演奏速度を維持しつつ、ミス動作を多い、正確性の低い演奏を繰り返した場合、被指導者の身体及び脳神経等に、ミス動作を覚え込ませてしまうことになるためである。一方で、正確性を身に着けることを過剰に重視して指導を行った場合、被指導者は、力みすぎて、自らの筋を固めて演奏する癖がつき、演奏におけるエネルギー効率の低下を招くこととなる。従って、本実施形態においては、評価値として、上述のようなトレードオフ関係にあるパラメータのバランスを考慮して、各パラメータの比率を用いてもよい。また、本開示の実施形態をピアノ演奏だけでなく他のユーザの動作に適用した場合には、パフォーマンスに対する評価値とは、ユーザが行う運動要素の運動パターン、運動速度、運動正確性、運動量（運動パワー、力積、仕事量等）、パフォーマンスにおけるエネルギー効率、パフォーマンスによって生じる結果の状態等であってもよい。

さらに、以下の説明において、複数のセンシングデータの同期を取るとは、複数のセンシングデータの取得や処理のタイミングを一致させ、複数のセンシングデータの時間幅を一致させることを意味するものとする。

加えて、以下の説明においては、一人の演奏家又は被指導者が１つの課題（例えば、楽曲、フレーズ、スケール、アルペジオ、和音等）を演奏したことを１トライアルと呼ぶ。なお、本開示の実施形態においては、１つのトライアルにおいて、複数のセンシングデータを取得することができる。

＜＜２．本開示の実施形態＞＞
＜２．１．本開示の実施形態に係る情報処理システム１の概要＞
まずは、本開示の実施形態に係る情報処理システム（情報処理装置）１の概要構成について、図１を参照して説明する。図１は、本実施形態に係る情報処理システム１の構成例を説明する説明図である。本実施形態に係る情報処理システム１は、サーバ（情報処理部）３０にて、ユーザ（被指導者又は演奏者）が動作することによって行われるパフォーマンスに係る状態をセンシングする複数のセンサ装置（センサ）１０から得られた複数のセンシングデータを解析する。さらに、当該情報処理システム１は、上記解析の結果に基づいて、フィードバック装置（情報出力部）７０を介して、様々な形態の情報をユーザにフィードバックする。

図１に示すように、本実施形態に係る情報処理システム１は、センサ装置１０、サーバ３０及びフィードバック装置７０を含み、これらは互いにネットワーク９０を介して通信可能に接続される。例えば、センサ装置１０、サーバ３０及びフィードバック装置７０は、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のアクセスポイント等）を介してネットワーク９０に接続されてもよい。すなわち、ネットワーク９０で用いられる通信方式は、有線又は無線を問わず任意の方式を適用することができる。以下に、本実施形態に係る情報処理システム１に含まれる各装置の概要について説明する。

（センサ装置１０）
センサ装置１０は、演奏者又は被指導者の動作によるパフォーマンスに係る状態をセンシングすることができる。詳細には、センサ装置１０は、被指導者又は演奏者の身体の一部に装着可能な各種の生体情報センサ、被指導者又は演奏者を撮像する撮像装置、被指導者又は演奏者が弾くピアノに設けられた圧力センサ又はフォトリフレクタセンサ、もしくは、当該ピアノの音を収音する収音装置（例えば、マイクロフォン）等であることができる。また、センサ装置１０は、信号を出力することができる電子ピアノ等の電子楽器自体であってもよい。さらに、本実施形態に係る情報処理システム１に含まれるセンサ装置１０は、数やその種類については特に限定されるものではない。なお、センサ装置１０の詳細については後述する。

（サーバ３０）
サーバ３０は、例えば、コンピュータ等により構成される。詳細には、サーバ３０は、センサ装置１０から演奏者又は被指導者の演奏（パフォーマンス）に係るセンシングデータを収集し、収集したセンシングデータを解析、処理し、解析及び処理の結果に基づいて、被指導者等へフィードバックを行うための情報（フィードバック情報）を出力する。また、サーバ３０は、例えば、ユーザが保有するコンピュータであってもよく、もしくは、本実施形態によってサービスを提供する、ユーザとは異なる場所に存在するサービス提供者が保有するコンピュータであってもよい。なお、サーバ３０の詳細については後述する。

（フィードバック装置７０）
フィードバック装置７０は、被指導者等に、サーバ３０からのフィードバック情報を提示（出力）するための装置であり、フィードバック情報を被指導者の演奏中又は演奏後等に可視化、力覚化、聴覚化、可聴化して通知（出力）する。例えば、フィードバック装置７０は、表示装置（ディスプレイ）や音声出力装置（スピーカ）を含む、タブレット、スマートフォン、ラップトップ型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ等のデバイス等であることができる。さらに、フィードバック装置７０は、被指導者の身体の一部に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）型、イヤーデバイス（ヘッドフォン）型、アンクレット型、腕輪型、首輪型、アイウェア型、グローブ型、パッド型、バッチ型、衣服型等の各種の方式のウェアラブルデバイスを採用することができる。なお、フィードバック装置７０の詳細については後述する。

なお、図１においては、本実施形態に係る情報処理システム１には、１つのセンサ装置１０及び１つのフィードバック装置７０が含まれるものとして示されているが、本実施形態においてはこれに限定されるものではない。本実施形態においては、例えば、情報処理システム１は、複数のセンサ装置１０及び複数のフィードバック装置７０を含むことができる。さらに、実施形態に係る情報処理システム１は、例えば、センサ装置１０からサーバ３０へセンシングデータを送信する際の中継装置のような他の通信装置等を含んでいてもよい。

＜２．２．本開示の実施形態に係るセンサ装置１０の構成＞
次に、本開示の実施形態に係るセンサ装置１０の構成について、図２を参照して説明する。図２は、本実施形態に係るセンサ装置１０の構成を示すブロック図である。本実施形態に係るセンサ装置１０は、図２に示すように、センサ部１００と、主制御部１４０と、通信部１６０とを主に有する。以下に、センサ装置１０の各機能部の詳細について説明する。

（センサ部１００）
センサ部１００は、例えば、被指導者又は演奏者の身体に装着することにより、演奏（パフォーマンス）中の被指導者又は演奏者の身体の各部分が行う各運動要素の状態を示すセンシングデータを取得することができる。例えば、センサ部１００は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、位置センサ、振動センサ、圧力センサ、曲げセンサ等の１つ又は複数のセンサデバイスにより実現される。上述のようなセンサデバイスは、運動要素によって与えられる加速度や角速度等の変化を検出し、検出された変化を示す複数のセンシングデータを生成する。なお、センサ部１００が、アナログ形式のセンシングデータを取得するセンサ（第１のセンサ）である場合には、センシングデータは、後述する変換装置（変換部）２０によってデジタル形式のセンシングデータに変換され、サーバ３０へ出力されることとなる。しかしながら、本実施形態においては、上述のセンサ部１００は、アナログ形式のセンシングデータを取得するセンサであることに限定されるものではなく、デジタル形式のセンシングデータを取得するセンサ（第２のセンサ）であってもよい。

また、センサ部１００は、例えば、被指導者又は演奏者の動作（演奏）によって移動するピアノの鍵盤（対象物）の上下動を検出する打鍵検出センサであってもよい。例えば、各鍵盤の下に打鍵検出センサを設置することにより、各鍵盤の上下動を検出することができる。具体的には、センサ部１００は、例えば、被指導者又は演奏者の運動要素によってピアノの鍵盤に与えられる圧力を検出する圧力センサや、鍵盤の上下動を光の反射により検出する受発光センサからなるフォトリフレクタセンサであることができる。なお、上述のようなセンサ部１００が、アナログ形式のセンシングデータを取得するセンサ（第１のセンサ）である場合には、センシングデータは、変換装置２０によってデジタル形式のセンシングデータに変換され、サーバ３０へ出力されることとなる。また、本実施形態においては、検出の対象となる対象物は、ピアノの鍵盤に限定されるものではなく、他の楽器（アコースティック楽器又は電子楽器）自体やその一部であってもよい。

また、本実施形態においては、センサ部１００は、被指導者又は演奏者を撮像する撮像装置であってもよく、この場合、高速撮影カメラ（撮像装置）によって、演奏者等の動きをキャプチャすることにより、演奏者等の関節の位置や動きを定量的に検出することができる。さらに、本実施形態においては、被指導者又は演奏者の眼球の動き（眼球運動）や瞳孔の大きさ（瞳孔径）を撮像装置によって検出してもよい。なお、上述のようなセンサ部１００が、アナログ形式のセンシングデータを取得するセンサ（第１のセンサ）である場合には、これまでの説明と同様に、センシングデータは、変換装置２０によってデジタル形式のセンシングデータに変換され、サーバ３０へ出力されることとなる。

また、本実施形態においては、センサ部１００は、核磁気共鳴を利用して、被指導者又は演奏者の口腔内又は気管内の状態や、唇又は舌の動き等を検出する核磁気共鳴センサであってもよい。具体的には、被指導者等が磁気共鳴画像装置（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）内で演奏を実行することにより、上述の状態や動き等を検出することができる。特に、本開示の実施形態を各種の吹奏楽器（フルート、オーボエ、クラリネット、トランペット等）の演奏法に適用する場合には、他の方法では検出が難しい唇や舌の動きが検出することができることから、上記ＭＲＩは有用となる。なお、上述のようなセンサ部１００が、アナログ形式のセンシングデータを取得するセンサ（第１のセンサ）である場合には、これまでの説明と同様に、センシングデータは、変換装置２０によってデジタル形式のセンシングデータに変換され、サーバ３０へ出力されることとなる。

また、本実施形態においては、センサ部１００は、筋電センサ、心拍センサ、脈拍センサ、血流センサ、呼吸センサ、脳波センサ、皮膚温度センサ、皮膚導電率（皮膚抵抗）センサ、発汗センサ等の生体情報センサであってもよい。ここで、筋電センサとは、筋肉を構成する筋線維から発生する微弱な電場を検知するセンサである。詳細には、筋電センサは、演奏者又は被指導者の腕等に装着された複数の電極によって、腕等の筋が収縮する際に筋線維において発生し、身体表面に伝播する電気信号による筋電位を測定することにより、筋の筋活動量を定量的に検出することができる。また、心拍センサは、心臓における拍動である心拍を検出センサであり、脈拍センサは、心臓における拍動（心拍）により、動脈を通じ全身に血液が送られることにより、動脈内壁に圧力の変化が生じ、体表面等に現れる動脈の拍動である脈拍を検出するセンサである。血流センサは、身体に赤外線を放射し、その赤外光の反射により血流量を検出するセンサである。さらに、呼吸センサは、呼吸量の変化を検出する呼吸流量計であることができる。脳波センサは、頭皮に複数の電極を装着し、測定した電極間の電位差の変動から雑音を除去することにより周期性のある波を抽出することにより脳波を検出するセンサである。皮膚温度センサは、演奏者又は被指導者の体温を検出するセンサであり、皮膚導電率センサは、演奏者又は被指導者の皮膚電気抵抗を検出するセンサである。また、発汗センサは、演奏者又は被指導者の発汗を検出するセンサである。なお、上述のようなセンサ部１００が、アナログ形式のセンシングデータを取得するセンサ（第１のセンサ）である場合には、これまでの説明と同様に、センシングデータは、変換装置２０によってデジタル形式のセンシングデータに変換され、サーバ３０へ出力されることとなる。

また、センサ部１００は、被指導者又は演奏者によって演奏されるピアノからの音を収音する収音装置であってもよい。例えば、センサ部１００は、ピアノの近傍に設けられたマイクロフォンであってもよい。なお、上述のようなセンサ部１００が、アナログ形式のセンシングデータを取得するセンサ（第１のセンサ）である場合には、これまでの説明と同様に、センシングデータは、変換装置２０によってデジタル形式のセンシングデータに変換され、サーバ３０へ出力されることとなる。

さらに、センサ部１００からのセンシングデータは、被指導者又は演奏者によって演奏される、すなわち、パフォーマンスで使用される電子楽器からの出力（音のデータ）であってもよい。言い換えると、本実施形態においては、センサ部１００は、電子楽器であってもよい。この場合、センサ部１００からのセンシングデータは、例えば、ＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に準じた、デジタル形式のデータとなる。

さらに、センサ部１００は、被指導者又は演奏者の位置情報を取得するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機等の位置情報センサを含んでいてもよい。また、センサ部１００は、被指導者又は演奏者が演奏する環境の状態を示す環境情報を取得するために、気圧センサ、温度センサ、及び、湿度センサ等の他の各種センサを含んでいてもよい。

また、本実施形態においては、センサ部１００は、既に各楽器メーカが出荷した楽器（アコースティック楽器又は電子楽器）に既に設けられている各種のセンサであってもよい。

（主制御部１４０）
主制御部１４０は、センサ装置１０内に設けられ、センサ装置１０の各ブロックを制御することができる。当該主制御部１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のハードウェアにより実現される。また、当該主制御部１４０は、データ取得部１４２、処理部１４４、及び出力制御部１５２として機能することができる。以下に、本実施形態に係る主制御部１４０のこれら機能部の詳細について説明する。

－データ取得部１４２－
データ取得部１４２は、センサ部１００を制御して、センサ部１００から出力されたセンシングデータを取得し、取得したセンシングデータを後述する処理部１４４へ出力する。

－処理部１４４－
処理部１４４は、上述したデータ取得部１４２から出力されたセンシングデータを、ネットワーク９０を介して送信可能な所定の形式に変換し、後述する出力制御部１５２に出力する。

－出力制御部１５２－
出力制御部１５２は、上述した処理部１４４から出力された所定の形式のセンシングデータを、後述する通信部１６０を制御してサーバ３０へ送信する。

（通信部１６０）
通信部１６０は、センサ装置１０内に設けられ、サーバ３０等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部１６０は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部１６０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

なお、センサ装置１０は、ＨＭＤ型、イヤーデバイス型、アンクレット型、腕輪型、首輪型、アイウェア型、パッド型、バッチ型、ベルト型、衣服型等の各種の方式のウェアラブルデバイスであってもよい。具体的には、これらウェアラブルデバイスは、様々なセンシングデータを取得するために、被指導者又は演奏者の手指、腕部、脚部、胴部、頭部、足先等にモーションキャプチャとして設けられることができる。また、センサ装置１０は、撮像装置、収音装置等の被指導者又は演奏者の周囲に設置される装置であってもよく、被指導者又は演奏者が使用する楽器自体であってもよく、特に限定されるものではない。さらに、本実施形態においては、センサ装置１０は、図２に示されるような形態に限定されるものではない。

＜２．３．本開示の実施形態に係るサーバ３０の構成＞
次に、本開示の実施形態に係るサーバ３０の構成について、図３を参照して説明する。図３は、本実施形態に係るサーバ３０の構成を示すブロック図である。先に説明したように、サーバ３０は、例えば、コンピュータ等により構成される。図３に示すように、サーバ３０は、入力部３００と、出力部３１０と、主制御部３４０と、通信部３６０と、記憶部３７０とを主に有する。以下に、サーバ３０の各機能部の詳細について説明する。

（入力部３００）
入力部３００は、サーバ３０へのデータ、コマンドの入力を受け付ける。より具体的には、当該入力部３００は、タッチパネル、キーボード等により実現され、被指導者又は演奏者の属性情報や後述する演奏に対する主観評価等の入力を受けつけることができる。

（出力部３１０）
出力部３１０は、例えば、ディスプレイ、スピーカ、映像出力端子、音声出力端子等により構成され、画像又は音声等により各種の情報を出力する。

（主制御部３４０）
主制御部３４０は、サーバ３０内に設けられ、サーバ３０の各ブロックを制御することができる。当該主制御部３４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。また、当該主制御部３４０は、データ取得部３４２、解析部（情報処理部）３４６及び出力制御部（情報出力部）３５２として機能することもできる。以下に、本実施形態に係る主制御部３４０のこれら機能部の詳細について説明する。

－データ取得部３４２－
データ取得部３４２は、上述したセンサ装置１０から送信されたセンシングデータを取得し、取得したセンシングデータを後述する処理部３４４へ出力する。

－処理部３４４－
処理部３４４は、上述したデータ取得部３４２から出力されたセンシングデータを解析、処理する。そして、出力制御部３５２は、解析及び処理の結果に基づいて、ユーザへフィードバックするフィードバック情報を生成することとなる。さらに、処理部３４４は、フィードバック情報を生成するための各種の情報からなるデータベース（ＤＢ）３７２（図１０参照）を構築することもできる。詳細には、処理部３４４は、上述したこれら機能を実現するために、図３に示すように、解析部３４６、学習部３４８、比較部３５０として機能する。以下に、本実施形態に係る処理部３４４のこれら機能部の詳細について説明する。

解析部３４６は、１つのトライアルで取得できた複数のセンシングデータに対して解析等を行い、被指導者又は演奏者の演奏（パフォーマンス）の状態を特徴づける特徴量を抽出する。特徴量は、解析部３４６によって各センシングデータを統計的に処理することにより、各センシングデータの最大値、最小値、平均値、積分値、周期、変化量として抽出することができる。より具体的には、特徴量は、筋活動のピークや関節角度が最大になったタイミング等であることができる。このように抽出された特徴量は、上記トライアルで取得した複数のセンシングデータに紐づけられて、ＤＢ３７２として後述する記憶部３７０に格納される。また、解析部３４６は、抽出した特徴量を後述する学習部３４８や比較部３５０等に出力してもよい。

さらに、解析部３４６は、１つのトライアルで取得できた複数のセンシングデータ（詳細には、例えば、演奏に係る音声データ）に対して解析等を行い、被指導者又は演奏者の演奏（パフォーマンス）に対する評価値を抽出してもよい。上記評価値は、例えば、ピアノ演奏に対する評価値であって、演奏における演奏者の演奏速度、演奏の正確性、演奏によって生じる音の音量、音の響き、音色、和音における音同士の音量差や時間差、各音パラメータの最大値と最小値との差分、各音のパラメータの粒度等であることができる。このように抽出された評価値は、上記トライアルで取得した複数のセンシングデータに紐づけられて、ＤＢ３７２として後述する記憶部３７０に格納される。また、解析部３４６は、抽出した評価値を後述する学習部３４８や比較部３５０等に出力してもよい。

学習部３４８は、センシングデータ、特徴量、評価値における互いの関係性に関する情報を、これらに対して多変量解析を行うことで取得する。詳細には、学習部３４８は、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器であり、例えば、センシングデータと評価値との関係性を重回帰分析等の多変量解析を行うことにより、機械学習することができる。そして、学習部３４８が機械学習で得た関係性の情報（関係情報）は、ＤＢ３７２として後述する記憶部３７０に格納されることができ、後述する比較部３５０によって行われる教師データの選択に利用することができる。

比較部３５０は、ＤＢ３７２から被指導者の手本となるセンシングデータを１つ又は複数選択し、新たに取得された被指導者の複数のセンシングデータのうち、選択されたセンシングデータ（教師データ）と同一項目のセンシングデータ（比較データ）と比較する。詳細には、比較部３５０は、例えば、教師データと比較データとの差分（ズレ）を算出したり、これらの整合度を算出したりしてもよい。また、比較部３５０は、教師データと比較データとを重畳することにより、比較を行ってもよい。

具体的には、比較部３５０は、例えば、ＤＢ３７２から正確な演奏を目指す被指導者のお手本となる代表的なセンシングデータを教師データとして選択し、選択した教師データと同一項目の被指導者のセンシングデータと比較する。この際、比較部３５０は、お手本となる代表的なセンシングデータが複数存在する場合には、各センシングデータと、当該センシングデータと同一項目の被指導者のセンシングデータとの差分を算出する。そして、比較部３５０は、差分が大きなセンシングデータを、被指導者の演奏がより正確になるために修正する必要性が高い要素に係るセンシングデータであるとして選択する。本実施形態においては、このように選択を行うことで、最も被指導者が習得できていない技術的要素にフォーカスすることができることから、正確な演奏を効率的に取得するために有用なフィードバック情報を生成することが可能となる。

もしくは、比較部３５０は、上述の学習部３４８で得た関係性の情報に基づいて、演奏の正確性（評価値）と関係性が高いと推定されるセンシングデータを教師データとして選択してもよい。本実施形態においては、このように選択を行うことで、正確な演奏を効率的に取得することが可能な技術的要素にフォーカスすることができることから、正確な演奏を効率的に習得するために有用なフィードバック情報を生成することが可能となる。

また、本実施形態においては、比較部３５０は、被指導者の属性情報（性別、年齢、体格、筋力、柔軟性、俊敏性等）等に基づいて、当該属性情報と同一、又は、類似する属性情報を持つ演奏家に係るセンシングデータを教師データとして選択してもよい。本実施形態においては、このような選択を行うことにより、被指導者の属性等に応じたテーラーメイドのフィードバックを行うことができることから、被指導者は効率的に習得を行うことができる。さらに、比較部３５０は、被演奏者の演奏の状態の過去と現在とを比較する場合には、被演奏者の過去のセンシングデータを選択してもよい。

また、本実施形態においては、比較部３５０は、センシングデータを比較することに限定されるものではなく、上述の解析部３４６によって抽出された特徴量を比較してもよい。このような場合であっても、お手本となる代表的な特徴量が複数存在する場合には、比較部３５０は、上述のような選択を行うことができる。

－出力制御部３５２－
出力制御部３５２は、比較部３５０による比較結果に基づき、フィードバック情報を生成し、後述する通信部３６０を制御して、フィードバック装置７０に送信する。送信されやフィードバック情報は、フィードバック装置７０を介して、ユーザに出力される。また、出力制御部３５２は、教師データと比較データとの差分（ズレ）を空間的に又は時間的に拡大又は縮小することで、差分を強調又は減弱する処理を行い、フィードバック情報を生成してもよい。具体的には、本実施形態においては、教師データとの差分が大きな技能レベルの被指導者には、習得のモチベーションを低下させることを避けるために、差分を減弱してフィードバックする。一方、本実施形態においては、教師データとの差分が小さな技能レベルの被指導者には、より高い技能レベルまで導くために、小さな差分を強調して、被指導者が容易に認識できるようにして、フィードバックする。すなわち、本実施形態においては、上述のような処理を行うことにより、被指導者のモチベーションの低下を避けつつ、教師データとの差分を容易に認識させることができることから、効率的なパフォーマンスの習得支援を実現することができる。

また、出力制御部３５２は、ユーザの状況等に基づき、フィードバック情報に好適な感覚モダリティ（視覚、聴覚、触覚等）を選択し、選択した感覚モダリティに応じたフィードバック装置７０へフィードバック情報を送信してもよい。本実施形態においては、ユーザの状況等に応じた感覚モダリティでフィードバック情報をユーザに提供することができることから、効率的なパフォーマンスの習得支援を実現することができる。

（通信部３６０）
通信部３６０は、サーバ３０内に設けられ、センサ装置１０やフィードバック装置７０等の外部装置との間で情報の送受信を行うことができる。なお、通信部３６０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

（記憶部３７０）
記憶部３７０は、サーバ３０内に設けられ、上述した主制御部３４０が各種処理を実行するためのプログラム、情報等を格納する。さらに、記憶部３７０は、各種の属性情報等（メタファイル）に紐づけられた複数のセンシングデータからなるＤＢ３７２を格納する。なお、記憶部３７０は、例えば、ハードディスク（Ｈａｒｄ Ｄｉｓｋ：ＨＤ）などの磁気記録媒体や、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）等により実現される。

なお、上記メタファイル（属性情報）は、被指導者又は演奏者に関する属性情報（名前、性別、年齢、身長、体重、体格、筋力、掌の大きさ、柔軟性、俊敏性、ピアノ演奏の経験年数、技能レベル、出身国、指導者名等）、演奏（パフォーマンス）に関する属性情報（演奏日時、楽曲名、曲のカテゴリ、作曲家名、作曲年代、作曲家カテゴリ、テンポ、音量、単音か復音かの情報、演奏家又は被指導者に与えた教示内容、演奏楽器、演奏場所等）、演奏を特徴づける特徴量、演奏に対する評価値（評価情報）、センシングに関する属性情報（センサ種類、サンプリング周波数、チャネル数等）、演奏に対する感性評価情報（演奏者が表現しようとしたイメージ、音色、響きの情報等）等を含むことができる。さらに、上記メタファイルは、トライアルの属性情報（コンクール名、コンクールの段階、観客動員数、ファン数、観客の評価情報、閲覧数等）を含むことができる。すなわち、当該メタファイルは、１つのトライアルにおいて取得される複数のセンシングデータ（センシングデータ群）のラベルとして機能し、例えば、当該センシングデータ群は、ある演奏家がこういう風に表現しようとしてある曲を演奏した際にセンシングされた情報であることを示すことができる。

また、本実施形態においては、サーバ３０は、図３に示されるような形態に限定されるものではなく、他の機能ブロック等を含んでいてもよい。

＜２．４．本開示の実施形態に係る変換装置２０及び演算装置２６の構成＞
ところで、先に説明したように、本実施形態に係る情報処理システム１に含まれるセンサ装置１０によって得られるセンシングデータは、アナログ形式のセンシングデータと、デジタル形式のセンシングデータとが混在する。そして、被指導者のパフォーマンスの習得支援に有用なデータを取得するためには、上述のような形式が混在する複数のセンシングデータであっても、互いに精度よく同期させることが求められる。

そこで、本実施形態においては、センサ装置１０とサーバ３０との間に、図４に示すような変換装置（変換部）２０及び演算装置２６が設けられることが好ましい。そこで、以下に、図４を参照して、本実施形態に係る変換装置２０及び演算装置２６を説明する。図４は、本実施形態に係る変換装置２０及び演算装置２６の構成を示すブロック図である。詳細には、本実施形態に係る情報処理システム１は、センサ装置１０とサーバ３０との間に、図４に示すような変換装置２０及び演算装置２６を含む。以下に、これら変換装置２０及び演算装置２６の詳細を説明する。

（変換装置２０）
図４に示すように、変換装置２０は、複数のセンサ装置１０から得られた異なる形式の複数のセンシングデータを変換する装置であり、デジタル－アナログ信号変換部２００と、アナログ－デジタル信号変換部２１０とを主に有する。以下に、変換装置２０のデジタル－アナログ信号変換部２００及びアナログ－デジタル信号変換部２１０の詳細を説明する。

－デジタル－アナログ信号変換部２００－
デジタル－アナログ信号変換部２００は、複数のセンサ装置１０のうちデジタル形式のセンシングデータを出力するセンサ装置（第２のセンサ）１０ｂから、後述する演算装置２６を介して受信したセンシングデータを、アナログ形式のセンシングデータに変換する。さらに、デジタル－アナログ信号変換部２００は、変換したアナログ形式のセンシングデータを、後述するアナログ－デジタル信号変換部２１０へ出力する。

詳細には、デジタル－アナログ信号変換部２００は、マイコンボード等からなる複数のデジタル－アナログ変換器（Ｄ／Ａコンバータ）２０２を有する。例えば、１つのセンサ装置１０ｂで取得された１つのセンシングデータは、後述する演算装置２６において複数のチャネルごとのセンシングデータとして抽出される。そして、抽出された各チャネルのセンシングデータが、それぞれ上記Ｄ／Ａコンバータ２０２に入力されることとなる。具体的には、センサ装置１０ｂが、ＭＩＤＩ規格に準じた、デジタル形式のセンシングデータであるＭＩＤＩ信号を出力する電子ピアノである場合には、ＭＩＤＩ信号の各パケットには、打鍵・離鍵等のイベントの情報（ステータス）、発生した音の高さの情報（ノート）、音の大きさの情報（ベロシティ）が含まれている。そこで、本実施形態においては、演算装置２６において、ＭＩＤＩ信号を上述のようなステータス、ノート、ベロシティのチャネルごとのセンシングデータとして抽出し、抽出したセンシングデータは、上記Ｄ／Ａコンバータ２０２に入力される。さらに、抽出したセンシングデータは、上記Ｄ／Ａコンバータ２０２によってアナログ形式のセンシングデータに変換され、後述するアナログ－デジタル信号変換部２１０に入力される。実施形態においては、このようにデジタル形式のセンシングデータをアナログ形式のセンシングデータに変換することにより、当該センシングデータを、最初からアナログ形式でセンサ装置１０ａから出力されるセンシングデータとともに同時に取り扱うことができる。

また、デジタル－アナログ信号変換部２００でアナログ形式に変換されたセンシングデータの一部は、例えば、特定の鍵盤をある強さ以上で叩いた瞬間等のイベントの発生のタイミングの情報を含む（イベント）。そこで、このようなイベントのセンシングデータは、デジタル－アナログ信号変換部２００でアナログ形式に変換され、トリガ信号として他のセンサ装置１０（例えば、アナログ形式のセンシングデータを取得するセンサ装置（第１のセンサ）１０ａ）に入力されてもよい。当該トリガ信号は、センサ装置１０ａにおいて、センシングデータの取得を開始する（駆動する）ために利用されることができる。

－アナログ－デジタル信号変換部２１０－
アナログ－デジタル信号変換部２１０は、複数のセンサ装置１０のうちアナログ形式のセンシングデータを出力するセンサ装置（第１のセンサ）１０ａからのセンシングデータを、デジタル形式のセンシングデータに変換する。さらに、アナログ－デジタル信号変換部２１０は、上述のデジタル－アナログ信号変換部２００からの変換されたアナログ形式のセンシングデータを、デジタル形式のセンシングデータに変換する。そして、アナログ－デジタル信号変換部２１０は、変換したセンシングデータを上述したサーバ３０へ出力する。詳細には、アナログ－デジタル信号変換部２１０は、マイコンボード等からなる複数のアナログ－デジタル変換器（Ａ／Ｄコンバータ）２１２を有し、各Ａ／Ｄコンバータ２１２は、アナログ形式の各センシングデータをデジタル形式に変換して、サーバ３０へ出力することができる。

そして、アナログ－デジタル信号変換部２１０は、複数のセンシングデータを同期させるために、マイコンボードに搭載されたクロック（第１の時計機構）２１４を有する。クロック２１４は、トリガ信号を各Ａ／Ｄコンバータ２１２もしくは各センサ装置１０ａに同時に出力し、当該トリガ信号によって各センシングデータの取得を開始させることにより、センシングデータの取得のタイミングを一致させることができる。すなわち、本実施形態においては、クロック２１４により、複数のセンサ装置１０ａからのセンシングデータを互いに精度よく同期させることができる。なお、クロック２１４は、時刻情報をサーバ３０へ出力してもよい。

（演算装置２６）
演算装置２６は、デジタル形式のセンシングデータを取得するセンサ装置１０ｂからのセンシングデータを取得し、取得したセンシングデータを各チャネル（例えば、ステータス、ノート、ベロシティ）のセンシングデータとして抽出する。さらに、演算装置２６は、複数のチャネルごとに抽出したセンシングデータを上述の変換装置２０へ出力する。詳細には、演算装置２６は、図４に示すように、受信部２６０と、演算部２７０とを主に有する。以下に、演算装置２６の受信部２６０及び演算部２７０の詳細を説明する。

－受信部２６０－
受信部２６０は、デジタル形式のセンシングデータを取得するセンサ装置１０ｂからのセンシングデータを受信し、後述する演算部２７０へ出力する。

－演算部２７０－
演算部２７０は、上述の受信部２６０から取得したセンシングデータを各チャネルのセンシングデータとして抽出する。例えば、演算部２７０は、先に説明したように、デジタル形式のセンシングデータであるＭＩＤＩ信号の各パケットに含まれるステータス、ノート、ベロシティを、各チャネルのセンシングデータとして抽出する。さらに、演算部２７０は、抽出した各チャネルのセンシングデータを上述した変換装置２０へ出力する。

そして、演算部２７０は、複数のセンシングデータを同期させるために、マイコンボードに搭載されたクロック（第２の時計機構）２７２を有していてもよい。クロック２７２は、センシングデータに時刻情報を紐づけることができる。本実施形態においては、クロック２７２により、センサ装置１０ｂからの複数のチャネルのセンシングデータは、同一の時刻情報が紐づけられることから、互いに時刻を一致させる、すなわち、同期させることができる。なお、クロック２７２は、時刻情報をサーバ３０へ出力してもよい。

さらに、サーバ３０においては、クロック２１４及びクロック２７２からの時刻情報に基づいて、変換装置２０からの複数のセンシングデータの同期を取ることができる。詳細には、デジタル形式のセンシングデータを取得するセンサ装置１０ｂからのセンシングデータは、事前にアナログ形式のセンシングデータに変換された後に、次いでデジタル形式のセンシングデータに変換される。一方、アナログ形式のセンシングデータを取得するセンサ装置１０ａからのセンシングデータは、事前にアナログ形式のセンシングデータに変換されることなく、デジタル形式のセンシングデータに変換される。従って、センサ装置１０ｂからのセンシングデータと、センサ装置１０ａからのセンシングデータとの間には、サーバ３０へ到達する時点で微小な時間差が生じることとなる。そこで、本実施形態においては、センサ装置１０ｂからのセンシングデータと、センサ装置１０ａからのセンシングデータとを精度よく同期させるために、サーバ３０において、上記時刻情報から得られるクロック２１４とクロック２７２との時間差に基づいてこれらセンシングデータに対して時間的なシフト処理を行う。従って、本実施形態によれば、形式が混在する複数のセンシングデータにおける時間軸を一致させ、これらセンシングデータを精度よく同期させて取り扱うことができる。

なお、クロック２７２は、演算装置２６内に設けられていなくてもよく、センサ装置１０ｂや、デジタル-アナログ信号変換部２００内の演算装置２６側、すなわち、センサ装置１０ｂ側に設けられていてもよい。

なお、本実施形態においては、変換装置２０及び演算装置２６は、図４にしめされるような形態に限定されるものではない。例えば、変換装置２０及び演算装置２６の両者又は一方が、上述のサーバ３０内に設けられていてもよい。もしくは、変換装置２０がセンサ装置１０ａ内に設けられていてもよく、演算装置２６がセンサ装置１０ｂ内に設けられていてもよく、特に限定されるものではない。しかしながら、センサ装置１０ａ、１０ｂ内に、変換装置２０及び演算装置２６のいずれか一方が設けられることは、演奏家又は被指導者の身体に装着される、もしくは、演奏家又は被指導者の動作によって運動する対象物に装着されるセンサ装置１０の重量が重くなることを意味する。そして、当該重さにより、演奏家又は被指導者のパフォーマンスに影響を与えることが予想される。また、このような場合、センサ装置１０ａ、１０ｂのセンシングデータにノイズが含まれやすくなることも予想される。従って、パフォーマンスへの影響やノイズを避けるために、変換装置２０及び演算装置２６は、センサ装置１０ａ、１０ｂ内以外に設けられることが好ましい。

以上のように、本実施形態に係る情報処理システム１は、上述したような変換装置２０を有することにより、アナログ形式のセンシングデータとデジタル形式のセンシングデータとが混在する場合であっても、これらセンシングデータを互いに精度よく同期させることが可能となる。その結果、上記情報処理システム１は、精度よく同期した、様々な情報を含む複数のセンシングデータを同時に解析することができることから、被指導者のパフォーマンスの習得支援に有用なデータを取得することが可能となる。

＜２．５．本開示の実施形態に係るフィードバック装置７０の構成＞
次に、本開示の実施形態に係るフィードバック装置７０の構成について、図５を参照して説明する。図５は、本実施形態に係るフィードバック装置７０の構成を示すブロック図である。先に説明したように、フィードバック装置７０は、タブレット、ラップトップ型ＰＣ、ノート型ＰＣ、ウェアラブルデバイス等のデバイスであることができる。さらに、図５に示すように、フィードバック装置７０は、力覚機構７１０と、表示部７１４と、音声出力部７１６と、主制御部７４０と、通信部７６０と、記憶部７７０とを主に有する。以下に、フィードバック装置７０の各機能部の詳細について説明する。

（力覚機構７１０）
力覚機構７１０は、サーバ３０から送信されたフィードバック情報に基づいて、被指導者の身体の一部（例えば、関節等）に力を印加する等の力覚（触覚）を伝える装置である。例えば、力覚機構は、被指導者の手に装着されたグローブ型ウェアラブルデバイス（ウェアラブル装置）であることができる。また、本実施形態においては、力覚機構７１０は、上述のようなグローブ型ウェアラブルデバイスに限定されるものではなく、例えば、被指導者の身体の一部に振動を与える振動装置や、筋肉に刺激を与える電気筋肉刺激を利用した刺激装置であってもよい。すなわち、本実施形態においては、力覚機構７１０は、被指導者の身体の一部に触覚刺激を与えることにより、フィードバック情報を被指導者に体感的にフィードバック（バイオフィードバック）することができるものであればよい。

（表示部７１４）
表示部７１４は、ユーザにフィードバック情報を表示するためのデバイスであり、例えば、ユーザに向けて、画像又は光によりフィードバック情報を出力する。例えば、表示部７１４は、ディスプレイ、発光素子（図示省略）等により実現される。さらに、表示部７１４は、映像出力端子等により実現されてもよい。

また、表示部７１４は、フィードバック情報６１０に基づくオブジェクトを拡張現実（ＡＲ）として、実空間に重畳して表示することができる投影装置であってもよい。このような投影装置は、例えば、被指導者の眼前に装着されるスマートグラス型ウェアラブルデバイスであることができる。当該スマートグラス型ウェアラブルデバイスには、透過型ディスプレイが設けられており、当該透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系を被指導者の眼前に保持し、当該虚像光学系の内側に上記オブジェクトを表示させる。また、上記投影装置は、被指導者の頭部に装着されるＨＭＤであってもよい。

（音声出力部７１６）
音声出力部７１６は、ユーザにフィードバック情報を音声出力するためのデバイスであり、例えば、被指導者に耳に装着されたヘッドフォンスピーカや、被指導者の近傍に設けられたスピーカ（図示省略）であってもよい。さらに、音声出力部７１６は、音声出力端子等により実現されてもよい。

このように、本実施形態においては、フィードバック情報等やユーザの状況等に応じて、上述した力覚機構７１０、表示部７１４及び音声出力部７１６のいずれかの好適な感覚モダリティに対応する手段を選択し、被指導者等にフィードバックを行うことができる。また、本実施形態においては、同時に力覚機構７１０、表示部７１４及び音声出力部７１６によって複数の感覚モダリティによるフィードバックを行ってもよく、特に限定されるものではない。

（主制御部７４０）
主制御部７４０は、フィードバック装置７０内に設けられ、フィードバック装置７０の各ブロックを制御することができる。当該主制御部７４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。

（通信部７６０）
通信部７６０は、サーバ３０等の外部装置との間で情報の送受信を行うことができる。なお、通信部７６０は、通信アンテナ、送受信回路やポート等の通信デバイスにより実現される。

（記憶部７７０）
記憶部７７０は、フィードバック装置７０内に設けられ、上述した主制御部７４０が各種処理を実行するためのプログラム等や、処理によって得た情報を格納する。なお、記憶部７７０は、例えば、ＨＤなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ等により実現される。

また、フィードバック装置７０は、図示しない入力部を有していてもよい。当該入力部は、フィードバック装置７０へのデータ、コマンドの入力を受け付ける機能を有する。より具体的には、当該入力部は、タッチパネル、ボタン、スイッチ、キー、キーボード、マイクロフォン、画像センサ等により実現される。

また、本実施形態においては、センサ装置１０のセンサ部１００の機能と、フィードバック装置７０の力覚機構７１０等を一体化して、１つのウェアラブルデバイスとしてもよい。なお、本実施形態においては、フィードバック装置７０は、図５に示されるような形態に限定されるものではなく、例えば、他の機能部を有していてもよい。

＜２．６．本開示の実施形態に係る情報処理方法＞
以上、本実施形態に係る情報処理システム１、及び当該情報処理システム１に含まれる、各装置の構成について詳細に説明した。次に、本実施形態に係る情報処理方法について、図６を参照して説明する。図６は、本実施形態に係る情報処理方法の一例を説明するフローチャートである。

図６に示すように、本実施形態に係る情報処理方法には、ステップＳ１００からステップＳ５００までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。

（ステップＳ１００）
まず、センサ装置１０は、被指導者又は演奏者の演奏前に、当該被指導者等の身体の一部に予め装着される、もしくは、被指導者等の周囲に設置される。そして、被指導者等が、トライアルとして、所定の演奏（楽曲、フレーズ、スケール、アルペジオ、和音等）を開始すると、センサ装置１０のセンサ部１００は、演奏中の被指導者等の演奏（動作）に伴って発生する身体又は楽器等の各運動や、楽器が発生させる音等をセンシングし、複数のセンシングデータを取得する。さらに、センサ装置１０は、取得したセンシングデータをサーバ３０へ出力する。

この際、センサ装置１０で取得しタセンシングデータは、上述の変換装置２０によって変換された後に、サーバ３０に入力されることとなる。従って、本実施形態に係る情報処理システム１は、先に説明したように、アナログ形式のセンシングデータとデジタル形式のセンシングデータとが混在する場合であっても、変換装置２０によって、これらセンシングデータを互いに精度よく同期させることが可能となる。その結果、サーバ３０は、この後に実行されるステップにおいて、精度よく同期した、様々な情報を含む複数のセンシングデータを同時に解析することができることから、被指導者のパフォーマンスの習得支援に有用なデータを取得することが可能となる。

なお、本実施形態においては、ＤＢ３７２を構築するための情報を取得するために、多数の演奏者（例えば、１００人程度の演奏者）に所定の演奏（楽曲、フレーズ、スケール、アルペジオ、和音等）を行わせ、多数のセンシングデータを収集することが好ましい。また、その際に、サーバ３０は、各演奏者の属性情報（性別、年齢、身長、体重、体格、筋力、掌の大きさ、柔軟性、俊敏性、ピアノ演奏の経験年数、技能レベル等）や演奏（パフォーマンス）に関する属性情報（日時、楽曲名、作曲家名、演奏楽器、演奏場所等）を取得してもよい。

（ステップＳ２００）
サーバ３０は、ステップＳ１００で取得した演奏家のセンシングデータに基づいて、教師データを生成する。生成した教師データは、ＤＢ３７２として格納される（アーカイブ化）。なお、当該ステップＳ２００の詳細については、後述する。

（ステップＳ３００）
サーバ３０は、ステップＳ１００で取得した被指導者のセンシングデータに基づいて、比較データを生成する。生成した比較データは、ＤＢ３７２として格納されてもよい。なお、当該ステップＳ３００の詳細については、後述する。

（ステップＳ４００）
サーバ３０は、ＤＢ３７２から教師データを選択し、選択した教師データを、上述のステップＳ３００で生成された比較データと比較する。そして、サーバ３０は、比較結果に基づいて、被指導者にフィードバックするためのフィードバック情報を生成する。なお、当該ステップＳ４００の詳細については、後述する。

（ステップＳ５００）
フィードバック装置７０は、上述のステップＳ４００で生成されたフィードバック情報に基づき、被指導者に向けてフィードバックを行う。

以下に、図６に示されるステップＳ２００、ステップＳ３００及びステップＳ４００の詳細について、説明する。

（２．６．１ 教師データの作成の詳細）
まずは、上述の図６のステップＳ２００である、教師データの作成の詳細を、図７から図１３を参照して説明する。図７は、本実施形態に係る教師データの作成のフローチャートである。図８及び図９は、特徴量５０６の抽出の一例を説明するための説明図である。また、図１０及び図１１は、データベース３７２の構築の一例を説明するための説明図であり、図１２及び図１３は、教師データの作成の一例を説明するための説明図である。

図７に示すように、教師データの作成は、ステップＳ２０１からステップＳ２１３までの複数のステップが含まれている。以下に、これら複数のステップの詳細を説明する。

（ステップＳ２０１）
サーバ３０は、１トライアルにおけるセンシングの開始から終了までに、各センサ装置１０が取得した複数のセンシングデータ（センシングデータ群）を１つのテキストファイルとして取得する。当該テキストファイルにはメタファイルが紐づけられており、当該メタファイルは、先に説明したように、演奏者に関する属性情報、演奏に関する属性情報等を含むことができる。さらに、上記メタファイルは、トライアルの属性情報（コンクール名、コンクールの段階、観客動員数、ファン数、観客の評価情報、閲覧数等）を含むこともできる。本実施形態においては、このようにセンシングデータ群にメタファイルを紐づけることにより、メタファイルに含まれる各種の情報を参照して、センシングデータ群を管理したり、教師データを選択したりすることを好適に、且つ、容易に行うことができる。

なお、メタファイルに含まれる上述の情報は、ユーザがサーバ３０に入力してもよく、もしくは、センシングデータから解析可能であれば、センシングデータを解析し、情報を自動抽出して生成してもよい。例えば、センシングデータに含まれる音の情報を解析することにより、演奏曲を自動抽出してもよく、周囲に存在する観客数を推定してもよく、もしくは、センシングデータに含まれる位置情報を解析して、演奏した場所を自動抽出してもよい。

（ステップＳ２０３）
サーバ３０は、ステップＳ２０１で取得した各センシングデータに含まれるノイズ等を、フィルタリングや統計処理（異常値検出）を行うことにより除去を行う（前処理）。

（ステップＳ２０５）
サーバ３０は、１つのトライアルで取得され、上述のステップＳ２０３で前処理された複数のセンシングデータに対して解析等を行い、演奏の状態を特徴づける特徴量を抽出する。このように抽出された特徴量は、後述するステップＳ２０９においてメタファイルに書き込まれることとなる。詳細には、図８に示すように、サーバ３０の解析部３４６により、センシングデータ５００が解析されて、特徴量５０６が抽出される。例えば、特徴量５０６は、解析部３４６によってセンシングデータ５００を統計的に処理することにより、センシングデータ５００の最大値、最小値、平均値、積分値、周期、変化量として抽出することができる。より具体的には、特徴量５０６として、例えば、図９に示される鍵盤の移動量の時系列データであるセンシングデータ５００上において、白丸、白三角、白四角のマーカによって示されるような、鍵盤が最も上方に位置した際のタイミングや、打鍵の上昇速度が最大になったタイミングや、打鍵の下降速度が最大になったタイミングが、抽出される。

サーバ３０の解析部３４６は、図８に示すように、１つのトライアルで取得され、上述のステップＳ２０３で前処理された複数のセンシングデータ（例えば、演奏に係る音声データ）５００に対して解析等を行い、演奏に対する評価値５０６ａを抽出してもよい。上記評価値５０６ａは、先に説明したように、例えば、演奏における演奏者の演奏速度、演奏の正確性、演奏によって生じる音の音量、音の響き、音色、和音における音同士の音量差や時間差、各音パラメータの最大値と最小値との差分、各音のパラメータの粒度等であることができる。このように抽出された評価値５０６ａは、特徴量５０６と同様に、後述するステップＳ２０９においてメタファイルに書き込まれることとなる。

（ステップＳ２０７）
さらに、サーバ３０は、上述の特徴量５０６や評価値５０６ａによって直接評価できない演奏（パフォーマンス）に対する感性の評価である感性評価の情報を取得する。例えば、サーバ３０は、トライアルの終了後に、演奏家に、自身の演奏に対する感性（輝きのある、流れるような、重厚な、つつみこむような、軽やかな、柔らかい、硬い等）を入力してもらうことで、感性評価を取得する。取得した感性評価は、特徴量５０６と同様に、後述するステップＳ２０９においてメタファイルに書き込まれることとなる。なお、感性評価の情報は、演奏家に直接入力してもらうことによって取得することに限定されるものではなく、演奏中の演奏家のつぶやき等を音声解析することにより、自動的に取得してもよい。本実施形態においては、このように音声解析によって自動的に取得することにより、演奏家の手を煩わせることなく、感性評価の情報を取得することができる。

また、本実施形態においては、感性評価の情報は、他の方法によっても取得してもよい。例えば、予め多数の人々（例えば、プロフェッショナルピアニスト等の専門家や、専門家以外の一般の人）に、様々な音楽（例えば、演奏家の演奏や、一般の人の演奏等、特に限定されない）を聴いてもらい、各音楽に対して感性評価を行ってもらう。次に、サーバ３０は、学習部３４８に対して、教師信号として上述の感性評価を入力し、入力信号として上記の音楽を入力し、音楽と感性評価との関係性を機械学習させる。そして、サーバ３０は、学習部３４８の機械学習によって得られた関係性を参照することにより、トライアルにおける演奏による音楽（響き等）に基づいて、トライアルにおける演奏に対する感性評価の情報を自動的に取得することができる。なお、本実施形態においては、上記専門家の感性評価が一般の人の感性評価よりも機械学習で得られる関係性に強く反映されるように、重み付けを行ってもよく、逆に、一般の人の感性評価が上記専門家の感性評価よりも機械学習で得られる関係性に強く反映されるように、重み付けを行ってもよい。さらに、本実施形態においては、サーバ３０は、ロボット等によるピアノに対する打鍵のパラメータ（打鍵力、打鍵のタイミング、打鍵の長さ等）と、ロボット等による打鍵による音や音楽等に対する感性評価と学習部３４８に入力し、当該学習部３４８に、ロボット等による打鍵による音等と感性評価との関係性を機械学習させ、上記関係性を取得してもよい。本実施形態においては、このように機械学習を参照することにより、演奏家の手を煩わせることなく、感性評価の情報を取得することができる。

（ステップＳ２０９）
サーバ３０は、ステップＳ２０５及びステップＳ２０７で取得した特徴量５０６、評価値５０６ａ及び感性評価の情報を上述のメタファイルに書き込む。本実施形態においては、センシングデータ群に特徴量５０６、評価値５０６ａ及び感性評価の情報を紐づけることにより、センシングデータ群を管理したり、教師データを選択したりすることを好適に、且つ、容易に行うことができる。

（ステップＳ２１１）
サーバ３０は、図１０に示すように、上述のステップＳ２０１からステップＳ２０９を繰り返し、複数のセンシングデータ群（テキストファイル）５０２と、各センシングデータ群５０２に紐づけるメタファイル５０４とを収集し、ＤＢ３７２を構築する。先に説明したように、ＤＢ３７２中のセンシングデータ群５０２は、メタファイル５０４に含まれる情報に基づき、管理することができる。例えば、図１１に示すように、各センシングデータ群５０２は、メタファイル５０４に含まれる情報に基づき、演奏者（ピアニストＡ、ピアニストＢ等）ごとに、演奏を行った時系列順に管理されることができる。なお、本実施形態においては、演奏家ごとにセンシングデータ群５０２を管理することに限定されるものではなく、曲名ごと、年齢ごと等、様々な条件で管理することができる。

（ステップＳ２１３）
サーバ３０は、上述のステップＳ２１１で構築されたデータベース３７２に基づき、教師データを作成する。本実施形態においては、当該教師データは、主に２つの方法から作成することができる。

１つ目の方法においては、１つのトライアルで得た各センシングデータ５００、又は、各特徴量５０６をそのまま教師データとして使用する。

２つ目の方法においては、複数の演奏家、又は、複数のトライアルの複数のセンシングデータ５００を用いて機械学習することにより、機械学習で得られた結果を教師データとして使用する。

例えば、図１２に示すように、サーバ３０は、学習部３４８に、センシングデータ群５０２と評価値５０６ａを含むメタファイル５０４とをそれぞれ入力信号及び教師信号として入力する。当該学習部３４８は、複数のセンシングデータ５００と評価値５０６ａとの関係性を、重回帰分析等の多変量解析を行うことにより、機械学習する。そして、学習部３４８は、上述の機械学習で得た関係性の情報（関係情報）６０８を、教師データとして出力してもよい。

この際、学習部３４８が取り扱う複数のセンシングデータ５００は、先に説明したように、変換装置２０により互いに精度よく同期している。従って、学習部３４８は、精度よく同期した複数のセンシングデータ５００を用いて多変量解析を行うことから、評価値５０６ａと関連性の高いセンシングデータ５００を抽出することが可能となり、精度の高い関係情報６０８を得ることが可能となる。

また、本実施形態においては、センシングデータ５００と評価値５０６ａとの関係性を示す関係情報６０８を教師データとして使用することに限定されるものではない。例えば、サーバ３０は、学習部３４８に、特徴量５０６と評価値５０６ａとをそれぞれ入力信号及び教師信号として入力する。当該学習部３４８は、図１３に示すように、特徴量５０６と評価値５０６ａとの関係性を、重回帰分析等の多変量解析を行うことにより、機械学習する。そして、学習部３４８は、上述の機械学習で得た関係性の情報（関係情報）６０８を、教師データとして出力してもよい。

このように、本実施形態においては、複数の演奏者又は複数のトライアルのセンシングデータの集合知を教師データとして用いることにより、パフォーマンスの質が高い演奏者と低い演奏者に特徴的な傾向がみられるセンシングデータ５００又は特徴量５０６の項目を抽出することができる。なお、上述の関係情報６０８は、この後のステップで比較を行う際の教師データとして使用されるだけでなく、比較のために、複数の教師データから１つ又は複数の教師データを選択する際に参照されてもよい。

なお、機械学習を行う際、各トライアルのセンシングの時間幅は必ずしも一致していないため、サーバ３０は、各トライアルのセンシングデータの時間幅を、例えば、鍵盤を打鍵したタイミング等を基準にして、揃えることが好ましい。

（２．６．２ 比較データの作成の詳細）
次に、上述の図６のステップＳ３００である、比較データの作成の詳細は、図１４に示される。図１４は、本実施形態に係る比較データの作成のフローチャートである。図１４に示すように、比較データの作成は、ステップＳ３０１からステップＳ３０９までの複数のステップが含まれている。なお、図１４のステップＳ３０１からステップＳ３０９は、図７のステップＳ２０１、ステップＳ２０３、ステップＳ２０７、ステップＳ２０９、ステップＳ２１３にそれぞれ対応するため、ここでは詳細な説明を省略する。

（２．６．３ 比較の詳細）
次に、上述の図６のステップＳ４００である、比較の詳細を、図１５から図１７を参照して説明する。図１５は、本実施形態に係る比較のフローチャートであり、図１６及び図１７は、比較の一例を説明するための説明図である。図１５に示すように、本実施形態に係る比較は、ステップＳ４０１からステップＳ４１１までの複数のステップが含まれている。以下に、これら各ステップの詳細を説明する。

（ステップＳ４０１）
まずは、サーバ３０は、教師データの選択として、被指導者が演奏した課題（楽曲、フレーズ、スケール、アルペジオ、和音等）もしくはその一部を含むセンシングデータ群５０２をＤＢ３７２から選択する。この際、サーバ３０は、メタファイル５０４に含まれる演奏に関する属性情報に基づき選択を行うことができる。この際、複数のセンシングデータ群５０２がＤＢ３７２に存在する場合には、サーバ３０は、これら複数のセンシングデータ群５０２のリストを作成し、ユーザに対して表示することが好ましい。そして、ユーザは、上記リストから、比較したいセンシングデータ群５０２を選択する。この際、ユーザは、被指導者以外の演奏家の演奏に係るセンシングデータ群５０２を選択してもよく、被指導者の過去の演奏に係るセンシングデータ群５０２を選択してもよい。

また、複数のセンシングデータ群５０２がＤＢ３７２に存在する場合には、サーバ３０は、被指導者の属性情報（性別、年齢、体格、筋力、柔軟性、俊敏性等）等に応じて、当該属性情報に近い演奏家の属性情報を持つセンシングデータ群５０２を抽出して、ユーザに推薦してもよい。もしくは、サーバ３０は、被指導者のトライアルにおけるセンシングに関する属性情報（センサ種類、サンプリング周波数、チャネル数等）等に応じて、当該属性情報に近いセンシングに関する属性情報を持つセンシングデータ群５０２を抽出して、ユーザに推薦してもよい。さらに、サーバ３０は、被指導者のトライアルの属性情報（コンクール名、コンクールの段階等）やユーザが所望するトライアルの属性情報（観客動員数、ファン数、観客の評価情報、閲覧数等）に応じて、これら属性情報に近いトライアルの属性情報を持つセンシングデータ群５０２を抽出して、ユーザに推薦してもよい。加えて、サーバ３０は、ユーザが所望する感性評価、演奏に対する評価値５０６ａに応じて、センシングデータ群５０２を抽出して、ユーザに推薦してもよい。本実施形態においては、このようにすることで、ユーザの選択肢を減らし、ユーザが容易にセンシングデータ群５０２を選択することができる。

（ステップＳ４０３）
次に、ユーザは、所望のパフォーマンスの状態（例えば、有名ピアニストのようにすばやく弾く等）を実現するために、身体運動のどのような部分及び動作の特徴量５０６（例えば、筋の使い方、身体の動き等）を比較するかを選択する。すなわち、ユーザは、上述のステップＳ４０１で選択したセンシングデータ群５０２から、教師データとして用いる１つ又は複数のセンシングデータ５００、特徴量５０６、又は、関係情報６０８を選択する。この際、教師データの候補となり得るデータは、センシングデータ群５０２内に膨大に存在する可能性があることから、サーバ３０により、好適な教師データを抽出して、ユーザに推薦してもよく、もしくは、好適な教師データを自動的に選択してもよい。

例えば、サーバ３０は、ステップＳ４０１で選択されたセンシングデータ群５０２内の各センシングデータ５００と、当該センシングデータ５００と同一項目の被指導者のセンシングデータ５００との差分を算出する。そして、サーバ３０は、差分が大きなセンシングデータ５００を、教師データとしてユーザに推薦する。また、例えば、サーバ３０は、関係情報６０８を参照して、ユーザが所望する演奏の状態（評価値５０６ａ）と関係性が高いと推定されるセンシングデータ５００を教師データとして自動的に選択してもよい。本実施形態においては、このようにすることで、ユーザの選択肢を減らし、ユーザが容易に教師データを選択することができる。

（ステップＳ４０５）
次に、ユーザは、後述するステップＳ４１１で生成されるフィードバック情報をユーザにフィードバックするのに好適な感覚モダリティ（視覚、聴覚、触覚等）を選択する。本実施形態においては、フィードバック情報は、例えば、表示装置を介して視覚でフィードバックされることもでき、音声出力装置を介して聴覚でフィードバックされることもでき、もしくは、被指導者の身体に装着されたウェアラブル装置（力覚機構）を介して触覚でフィードバックされることができる。さらに、本実施形態においては、複数の感覚モダリティが選択されてもよい。

（ステップＳ４０７）
次に、サーバ３０は、ステップＳ４０３選択した教師データと、当該教師データと同一項目である被指導者のセンシングデータ５００（比較データ）との差分を算出する、もしくは、教師データと比較データとを重畳して、比較を行う。例えば、図１６に示すように、サーバ３０の比較部３５０は、教師データ６００と比較データ６０２とを比較する。そして、この後のステップＳ４１１において、比較結果に基づいて、フィードバック情報６１０が生成されることとなる。なお、当該ステップＳ４０７においては、先に説明したように、選択した教師データ６００と比較データ６０２とを差分を算出してもよく、図１７に示すように、教師データ６００と比較データ６０２とを重畳してもよい。

（ステップＳ４０９）
次に、サーバ３０は、上述のステップＳ４０７で得られた教師データと比較データとの差分を空間的に又は時間的に拡大又は縮小することにより、差分の強調又は減弱を行ってもよい。具体的には、本実施形態においては、教師データ６００との差分が大きな技能レベルの被指導者には、習得のモチベーションを低下させることを避けるために、差分を所定の縮小率で縮小する。例えば、教師データ６００における打鍵力を１とした場合に、被指導者の打鍵力（比較データ）が８０％程度不足している場合には、サーバ３０は、打鍵力の差分を８０％のままで提供するのではなく、差分を２０％に縮小（減弱）して提供する。一方、本実施形態においては、教師データ６００との差分が小さな技能レベルの被指導者には、より高い技能レベルまで導くために、小さな差分を所定の倍率で拡大して、被指導者が容易に認識できるようにする。例えば、被指導者の打鍵のタイミング（比較データ）が教師データ６００と比べて０．０１秒速い場合には、サーバ３０は、打鍵のタイミングの差分を０．０１秒のままで提供するのではなく、差分を０．１秒に拡大（強調）して容易に認識できるようにして提供する。すなわち、本実施形態においては、上述のような差分の処理を行うことにより、被指導者のモチベーションの低下を避けつつ、教師データ６００との差分を容易に認識させることができることから、効率的なパフォーマンスの習得支援を実現することができる。なお、本実施形態においては、被指導者の技能レベルの変化に応じて、差分に対する拡大率又は縮小率を段階的に調整してもよい。また、時間的な拡大又は縮小とは、フィードバック情報の提供に関する時間をスローダウン又はスピードアップさせることを意味する。

（ステップＳ４１１）
サーバ３０は、上述のステップＳ４０１からステップＳ４０９における処理に従って、ユーザにフィードバックするフィードバック情報６１０を生成する。

＜２．７．まとめ＞
以上説明したように、上述した本開示の実施形態によれば、形式が混在するセンシングデータを精度よく同期させて取り扱うことができる、パフォーマンスの習得支援に利用可能な情報処理システム１を提供することができる。

＜＜３．習得支援モードについて＞＞
ところで、上述した本開示の実施形態においては、上述の情報処理システム１によって提供されるフィードバックによる習得支援の効果をより高めるために、以下に説明するような習得支援モードを設けることが好ましい。そこで、以下に、図１８を参照して、本開示の実施形態に係る習得支援モードについて説明する。図１８は、本実施形態に係る習得支援モードのフローチャートである。なお、当該習得支援モードを実行するか否かは、ユーザによって予め選択することができるものとする。

ところで、被指導者の習得に影響を及ぼすフィードバックの要素としては、フィードバック情報６１０の内容に関わる要素として、比較に用いる教師データ６００の項目（どのセンシングデータ５００や特徴量５０６を選択するか）や、比較の方法（教師データ６００と比較データ６０２との差分を算出するのか、これらのデータを重畳するのか）等を挙げることができる。また、フィードバック情報６１０の出力に関わる要素として、差分の強調又は減弱の程度や、フィードバック情報をフィードバックするのに感覚モダリティ等を挙げることができる。これらの要素は、いずれの要素がどのようであれば習得支援により効果的であるかは、習得しようとするパフォーマンスや、被指導者の特性や状況に応じて異なってくる。そこで、本実施形態に係る取得支援モードにおいては、いずれの要素をどのようにすれば習得支援に効果的であるかをリアルタイムで探索し、より効果の高いフィードバックを提供する。

例えば、所望のパフォーマンスを実現できなかった場合に、その原因となる要素（特徴量）は複数存在することが多い。例えば、演奏中に打鍵ミスをした場合、被指導者の腕のフォームが悪い、筋肉に余分な力が入っていた、打鍵する鍵盤を見るタイミングが遅い等、打鍵ミスの原因となる要素は、複数存在する。そこで、当該学習支援モードで得ることができるアルゴリズムにより、「これを直せば最速で打鍵ミスしなくなる」という要因を選択することが可能である。例えば、アルゴリズムは、複数の要因（特徴量）の中で、比較データと教師データとが最もかけ離れているものを選択する、もしくは、多数の演奏家の経験によって重要だと言われている特徴量を選択する。このようなアルゴリズムを利用することにより、習得支援をより効果的に行うことができる。

例えば、当該習得支援モードにおいては、被指導者に、同じ課題のトライアルを数回程度（例えば、３回から５回）繰り返し行わせ、サーバ３０は、センシングデータ群５０２を取得、解析、及び、フィードバック情報６１０の提示を繰り返す。

この際、サーバ３０は、センシングデータ５００から、被指導者の演奏（パフォーマンス）に対する評価値５０６ａ（パフォーマンスの状態）を抽出し、前回のトライアルからの評価値５０６ａの変化を算出する。この際、評価値５０６ａの向上が確認されない場合には、サーバ３０は、比較に用いる教師データ６００の項目、比較の方法、差分の強調又は減弱の程度、感覚モダリティ等を変更し、次回トライアル前にフィードバックを行う。一方、評価値５０６ａが向上していることが確認された場合には、サーバ３０は、比較する教師データ６００、比較の方法、差分の強調又は減弱の程度、感覚モダリティ等を変更することなく、次回トライアル前にフィードバックを行う。

さらに、このようなトライアルとフィードバックとを繰り返し実施することにより、サーバ３０の学習部３４８は、評価値５０６ａと、教師データ６００の項目、比較の方法、差分の強調又は減弱の程度、感覚モダリティとの関係性を機械学習することができる。すなわち、機械学習によって、被指導者が特定のパフォーマンスの状態を向上するために好適な比較する教師データ６００の項目、比較の方法、差分の強調又は減弱の程度、感覚モダリティ等を明らかにすることができる。そして、サーバ３０は、このような機械学習によって得られた関係性に基づくアルゴリズムを用いて、次回からのフィードバックの際に、好適な教師データ６００の項目、比較の方法、差分の強調又は減弱の程度、感覚モダリティを選択したり、ユーザに推薦したりすることができる。また、サーバ３０は、このようにして得られたアルゴリズムを、他の被指導者に適用してもよい。例えば、属性情報（名前、性別、年齢、身長、体重、体格、筋力、掌の大きさ等）が類似する被指導者であれば、特定のパフォーマンスの状態を向上するために好適な比較する教師データ６００の項目、比較の方法、差分の強調又は減弱の程度、感覚モダリティも類似する傾向を持つと推定されることから、サーバ３０は、被指導者の属性情報に基づき、アルゴリズムの適用を判断してもよい。

さらに、当該習得支援モードでは、被指導者の運動機能の向上（筋力、関節可動域、敏捷性、感覚機能）が、特定のパフォーマンスの状態の向上と相関があるとされる場合、サーバ３０は、フィードバックとともに、運動機能の向上トレーニングの推奨も行うことが好ましい。例えば、演奏時のリズムが一定に揃わず、リズムが不正確である演奏者ほど、指先の触覚機能が低いことや、指同士を独立に動かす機能が低いことが知られている。そこで、サーバ３０は、被指導者が「正確性の向上」というパフォーマンスの向上を目指す場合、被指導者に、運動機能の向上トレーニングとして、指の独立運動訓練や、触覚機能トレーニング（知覚学習訓練）を推奨する。

詳細には、図１８に示すように、本実施形態に係る習得支援モードは、ステップＳ６０１からステップＳ６０９までの複数のステップが含まれている。以下に、これら各ステップの詳細を説明する。

（ステップＳ６０１）
フィードバック装置７０は、上述の説明と同様に、サーバ３０から受信したフィードバック情報６１０に基づき、被指導者に向けてフィードバックを行う。

（ステップＳ６０３）
被指導者は、フィードバックを参考にしながら、前回と同じ課題のトライアルを実行する。サーバ３０は、実行したトライアルに係るセンシングデータ群５０２を取得する。

（ステップＳ６０５）
サーバ３０は、上述のステップＳ６０３で取得したセンシングデータ群５０２に基づき、被指導者の演奏に対する評価値５０６ａを抽出する。さらに、サーバ３０は、前回のトライアルからの評価値５０６ａの変化を算出する。

（ステップＳ６０７）
サーバ３０は、評価値５０６ａの向上が確認されない場合には、比較する教師データ６００の項目、比較の方法、差分の強調又は減弱の程度、感覚モダリティ等の変更を選択する。一方、サーバ３０は、評価値５０６ａが向上していることが確認された場合には、比較する教師データ６００、比較の方法、差分の強調又は減弱の程度、感覚モダリティ等を変更しないことを選択する。

上述のステップＳ６０５及びステップＳ６０７の際に、サーバ３０は、評価値５０６ａと、教師データ６００の項目、比較の方法、差分の強調又は減弱の程度、感覚モダリティとの関係性を機械学習する。サーバ３０は、先に説明したように、当該機械学習で得られた関係性に基づくアルゴリズムを用いて、次回のフィードバックを行ってもよい。

（ステップＳ６０９）
次に、サーバ３０は、上述のステップＳ６０７の選択に基づき、フィードバック情報６１０を生成する。さらに、サーバ３０は、被指導者に推奨する運動機能の向上トレーニングを選択する。

＜＜４．本開示の実施形態の応用例＞＞
以上、本開示の実施形態について説明した。次に、本開示の実施形態の応用例について、より具体的に説明する。なお、以下に示す応用例は、本開示の実施形態の応用例の一例であって、本開示の実施形態が下記の応用例に限定されるものではない。

本開示の実施形態の応用例の１つとしては、音楽の演奏法の習得以外に、スポーツや、アート（絵画、書道等）や舞台芸術・伝統芸能、各操作シミュレータ（自動車、航空機等）やゲームの技能取得支援を挙げることができる。例えば、テニスラケット等に上述のセンサ装置１０を装着することにより、ユーザのテニスのパフォーマンスの向上に必要な技能要素を特定し、ユーザに自動でコーチングする等を行うことができる。

また、本開示の実施形態の応用例の１つとしては、運動機能疾患を罹患した患者の診断の支援や、治療効果の評価、将来的な運動機能疾患の予測支援等を挙げることができる。例えば、音楽療法の現場では、楽器の演奏練習によって、脳卒中後の運動機能や認知機能が回復することが知られているが、そのメカニズムについては明らかになっていない部分が多い。そこで、本実施形態においては、患者の脳活動に関するデータと楽器演奏等の動作に関するデータとを精度よく同期させて取得させることも可能であることから、メカニズムを明らかにする有益な情報を取得することが期待される。

さらに、本実施形態において構築されたＤＢ３７２は、技能習得のための各種のコーチング方法を開発するためにも有益であることから、単独で、売買の対象となることも可能である。

＜＜５． ハードウェア構成について＞＞
図１９は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示す説明図である。図１９では、情報処理装置９００は、上述のサーバ３０のハードウェア構成の一例を示している。

情報処理装置９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インタフェース９５８とを有する。さらに、情報処理装置９００は、力覚デバイス９６０と、表示デバイス９６２と、音声出力デバイス９６４と、通信インタフェース９６８と、センサ９８０とを有する。また、情報処理装置９００は、例えば、データの伝送路としてのバス９７０で各構成要素間を接続する。

（ＣＰＵ９５０）
ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１または２以上のプロセッサや、各種処理回路等で構成され、情報処理装置９００全体を制御する主制御部３４０として機能する。

（ＲＯＭ９５２及びＲＡＭ９５４）
ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。ＲＯＭ９５２及びＲＡＭ９５４は、情報処理装置９００において、例えば、上述の記憶部３７０の機能を果たす。

（記録媒体９５６）
記録媒体９５６は、上述の記憶部３７０として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーション等の様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、ハードディスク等の磁気記録媒体や、フラッシュメモリ等の不揮発性メモリが挙げられる。また、記録媒体９５６は、情報処理装置９００から着脱可能であってもよい。

（入出力インタフェース９５８、力覚デバイス９６０、表示デバイス９６２及び音声出力デバイス９６４）
入出力インタフェース９５８は、例えば、力覚デバイス９６０、表示デバイス９６２及び音声出力デバイス９６４等を接続する。入出力インタフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。

力覚デバイス９６０は、上述の力覚機構７１０として機能し、表示デバイス９６２は、上述した表示部７１４として機能し、音声出力デバイス９６４は、上述した音声出力部７１６として機能する。力覚デバイス９６０としては、被指導者の身体に装着されるウェアラブルデバイスを挙げることができる。音声出力デバイス９６４としては、スピーカやヘッドフォンスピーカ等を挙げることができる。また、表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を挙げることができる。

なお、入出力インタフェース９５８が、情報処理装置９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能であることは、言うまでもない。

（通信インタフェース９６８）
通信インタフェース９６８は、通信部３６０として機能する情報処理装置９００が備える通信手段であり、ネットワーク９０を介して（あるいは、直接的に）、外部装置と、無線又は有線で通信を行うための通信部（図示省略）として機能する。ここで、通信インタフェース９６８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子および送受信回路（有線通信）等が挙げられる。

以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、図１９に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して外部装置等と通信を行う場合や、スタンドアローンで処理を行う構成である場合には、通信インタフェース９６８を備えていなくてもよい。また、通信インタフェース９６８は、複数の通信方式によって、１または２以上の外部装置と通信を行うことが可能な構成を有していてもよい。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。

＜＜６．補足＞＞
なお、先に説明した本開示の実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置（例えば、サーバ３０）として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法で処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの動作によるパフォーマンスに係る状態をセンシングする複数のセンサから得られた異なる形式の複数のセンシングデータを変換する変換部と、
前記変換部で変換された前記センシングデータを処理する情報処理部と、
前記情報処理部の処理結果に基づき、前記ユーザに対してフィードバック情報を出力する情報出力部と、
を備え、
前記変換部は、
前記センサからのアナログ形式の前記センシングデータを、デジタル形式に変換して、前記情報処理部に出力するアナログ－デジタル信号変換部と、
前記センサからのデジタル形式の前記センシングデータを、アナログ形式に変換して、前記アナログ－デジタル信号変換部に出力するデジタル－アナログ信号変換部と、
を有する、
情報処理装置。
（２）
前記アナログ－デジタル信号変換部は、前記アナログ形式のセンシングデータを出力する第１のセンサからの前記センシングデータを同期させるための第１の時計機構を有する、上記（１）に記載の情報処理装置。
（３）
前記デジタル形式のセンシングデータを出力する第２のセンサ側に設けられ、前記第２のセンサからの前記センシングデータを同期させるための第２の時計機構をさらに備える、上記（２）に記載の情報処理装置。
（４）
前記情報処理部は、
前記第１の時計機構と前記第２の時計機構とを間の時間差に基づいて、
前記第１のセンサからの前記センシングデータと前記第２のセンサからの前記センシングデータとを同期させる、
上記（３）に記載の情報処理装置。
（５）
前記デジタル－アナログ信号変換部は、前記第２のセンサからの前記センシングデータを、前記アナログ形式に変換して、前記第１のセンサの駆動のためのトリガ信号として前記第１のセンサに出力する、
上記（３）又は（４）に記載の情報処理装置。
（６）
前記第１のセンサは、
前記ユーザの身体に装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、位置センサ、
前記ユーザの動作によって運動する対象物の動きをセンシングする、当該対象物に搭載された圧力センサ又はフォトリフレクタセンサ、
前記ユーザを撮像する撮像装置、及び、
前記パフォーマンスによって生じる音をセンシングする収音装置
のうちの少なくとも１つを含む、上記（３）～（５）のいずれか１つに記載の情報処理装置。
（７）
前記生体情報センサは、前記ユーザの心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、瞳孔径、及び、核磁気共鳴のうちの少なくとも１つをセンシングする、上記（６）に記載の情報処理装置。
（８）
前記対象物は、アコースティック楽器又は電子楽器である、上記（６）に記載の情報処理装置。
（９）
前記第２のセンサは、
前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、曲げセンサ、位置センサ、及び、
前記ユーザが使用する電子楽器、
のうちの少なくとも１つを含む、上記（３）～（８）のいずれか１つに記載の情報処理装置。
（１０）
前記デジタル－アナログ信号変換部から出力された前記センシングデータを、前記センシングデータの属性情報と紐づけて格納する記憶部をさらに備える、上記（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
前記属性情報は、前記ユーザに関する属性情報、前記パフォーマンスに関する属性情報、前記パフォーマンスを特徴づける特徴量、前記パフォーマンスに対する評価情報、前記センシングに関する属性情報、及び、前記パフォーマンスに対する感性評価情報のうちの少なくとも１つを含む、上記（１０）に記載の情報処理装置。
（１２）
前記情報処理部は、前記デジタル－アナログ信号変換部から出力された前記センシングデータを解析して、前記パフォーマンスの状態を特徴づける特徴量を抽出する解析部を有する、上記（１１）に記載の情報処理装置。
（１３）
前記パフォーマンスに対する感性評価情報は、前記パフォーマンスごとに前記ユーザによって入力される、上記（１１）に記載の情報処理装置。
（１４）
前記パフォーマンスに対する感性評価情報は、機械学習によってあらかじめ得られた、パフォーマンスに係る状態と感性評価との関係性を参照して、前記パフォーマンスに係る状態に基づいて取得される、上記（１１）に記載の情報処理装置。
（１５）
前記パフォーマンスに対する評価情報は、トレードオフ関係にある、異なる種類の前記各パフォーマンスに対する評価情報に係る数値による比率を含む、上記（１１）に記載の情報処理装置。
（１６）
前記情報処理部は、前記記憶部に格納された前記複数のセンシングデータから１つ又は複数の前記センシングデータを教師データとして選択し、選択した教師データと、新たにセンシングした前記ユーザの前記パフォーマンスに係る前記センシングデータである比較データと比較する、比較部を有する、上記（１０）～（１５）のいずれか１つに記載の情報処理装置。
（１７）
前記比較部は、前記教師データと前記比較データの差分を算出する、又は、前記教師データと前記比較データとを重畳することで、比較を行う、上記（１６）に記載の情報処理装置。
（１８）
前記情報出力部は、強調、又は、減弱する処理を行った前記差分を、フィードバック情報として出力する、上記（１７）に記載の情報処理装置。
（１９）
前記情報出力部は、前記フィードバック情報を、表示装置、前記ユーザの身体に装着されたウェアラブル装置、及び、音声出力装置のうちの少なくとも１つを介して、出力する、上記（１８）に記載の情報処理装置。
（２０）
前記情報処理部は、
前記ユーザの前記パフォーマンスの状態の変化に基づいて、
前記教師データとして用いる前記センシングデータ、前記比較部の比較の方法、前記差分に対する処理、及び、前記フィードバック情報を出力する装置のうちの少なくとも１つを変更する、
上記（１９）に記載の情報処理装置。

１ 情報処理システム
１０ センサ装置
２０ 変換装置
２６ 演算装置
３０ サーバ
７０ フィードバック装置
９０ ネットワーク
１００ センサ部
１４０、３４０、７４０ 主制御部
１４２、３４２ データ取得部
１４４、３４４ 処理部
１５２、３５２ 出力制御部
１６０、３６０、７６０ 通信部
２００ Ｄ／Ａ信号変換部
２０２ Ｄ／Ａコンバータ
２１０ Ａ／Ｄ信号変換部
２１２ Ａ／Ｄコンバータ
２１４、２７２ クロック
２６０ 受信部
２７０ 演算部
３００ 入力部
３１０ 出力部
３４６ 解析部
３４８ 学習部
３５０ 比較部
３７０、７７０ 記憶部
３７２ ＤＢ
５００ センシングデータ
５０２ センシングデータ群
５０４ メタファイル
５０６ 特徴量
５０６ａ 評価値
６００ 教師データ
６０２ 比較データ
６０８ 関係情報
６１０ フィードバック情報
７１０ 力覚機構
７１４ 表示部
７１６ 音声出力部
９００ 情報処理装置
９５０ ＣＰＵ
９５２ ＲＯＭ
９５４ ＲＡＭ
９５６ 記録媒体
９５８ 入出力インタフェース
９６０ 力覚デバイス
９６２ 表示デバイス
９６４ 音声出力デバイス
９６８ 通信インタフェース
９７０ バス
９８０ センサ

Claims (20)

1. ユーザの動作によるパフォーマンスに係る状態をセンシングする複数のセンサから得られた異なる形式の複数のセンシングデータを変換する変換部と、
   前記変換部で変換された前記センシングデータを処理する情報処理部と、
   前記情報処理部の処理結果に基づき、前記ユーザに対してフィードバック情報を出力する情報出力部と、
   を備え、
   前記変換部は、
   前記センサからのアナログ形式の前記センシングデータを、デジタル形式に変換して、前記情報処理部に出力するアナログ－デジタル信号変換部と、
   前記センサからのデジタル形式の前記センシングデータを、アナログ形式に変換して、前記アナログ－デジタル信号変換部に出力するデジタル－アナログ信号変換部と、
   を有する、
   情報処理装置。
2. 前記アナログ－デジタル信号変換部は、前記アナログ形式のセンシングデータを出力する第１のセンサからの前記センシングデータを同期させるための第１の時計機構を有する、請求項１に記載の情報処理装置。
3. 前記デジタル形式のセンシングデータを出力する第２のセンサ側に設けられ、前記第２のセンサからの前記センシングデータを同期させるための第２の時計機構をさらに備える、請求項２に記載の情報処理装置。
4. 前記情報処理部は、
   前記第１の時計機構と前記第２の時計機構とを間の時間差に基づいて、
   前記第１のセンサからの前記センシングデータと前記第２のセンサからの前記センシングデータとを同期させる、
   請求項３に記載の情報処理装置。
5. 前記デジタル－アナログ信号変換部は、前記第２のセンサからの前記センシングデータを、前記アナログ形式に変換して、前記第１のセンサの駆動のためのトリガ信号として前記第１のセンサに出力する、
   請求項３に記載の情報処理装置。
6. 前記第１のセンサは、
   前記ユーザの身体に装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、生体情報センサ、曲げセンサ、位置センサ、
   前記ユーザの動作によって運動する対象物の動きをセンシングする、当該対象物に搭載された圧力センサ又はフォトリフレクタセンサ、
   前記ユーザを撮像する撮像装置、及び、
   前記パフォーマンスによって生じる音をセンシングする収音装置
   のうちの少なくとも１つを含む、請求項３に記載の情報処理装置。
7. 前記生体情報センサは、前記ユーザの心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、瞳孔径、及び、核磁気共鳴のうちの少なくとも１つをセンシングする、請求項６に記載の情報処理装置。
8. 前記対象物は、アコースティック楽器又は電子楽器である、請求項６に記載の情報処理装置。
9. 前記第２のセンサは、
   前記ユーザに装着された、加速度センサ、ジャイロセンサ、角速度センサ、振動センサ、圧力センサ、曲げセンサ、位置センサ、及び、
   前記ユーザが使用する電子楽器、
   のうちの少なくとも１つを含む、請求項３に記載の情報処理装置。
10. 前記デジタル－アナログ信号変換部から出力された前記センシングデータを、前記センシングデータの属性情報と紐づけて格納する記憶部をさらに備える、請求項１に記載の情報処理装置。
11. 前記属性情報は、前記ユーザに関する属性情報、前記パフォーマンスに関する属性情報、前記パフォーマンスを特徴づける特徴量、前記パフォーマンスに対する評価情報、前記センシングに関する属性情報、及び、前記パフォーマンスに対する感性評価情報のうちの少なくとも１つを含む、請求項１０に記載の情報処理装置。
12. 前記情報処理部は、前記デジタル－アナログ信号変換部から出力された前記センシングデータを解析して、前記パフォーマンスの状態を特徴づける特徴量を抽出する解析部を有する、請求項１１に記載の情報処理装置。
13. 前記パフォーマンスに対する感性評価情報は、前記パフォーマンスごとに前記ユーザによって入力される、請求項１１に記載の情報処理装置。
14. 前記パフォーマンスに対する感性評価情報は、機械学習によってあらかじめ得られた、パフォーマンスに係る状態と感性評価との関係性を参照して、前記パフォーマンスに係る状態に基づいて取得される、請求項１１に記載の情報処理装置。
15. 前記パフォーマンスに対する評価情報は、トレードオフ関係にある、異なる種類の前記各パフォーマンスに対する評価情報に係る数値による比率を含む、請求項１１に記載の情報処理装置。
16. 前記情報処理部は、前記記憶部に格納された前記複数のセンシングデータから１つ又は複数の前記センシングデータを教師データとして選択し、選択した教師データと、新たにセンシングした前記ユーザの前記パフォーマンスに係る前記センシングデータである比較データと比較する、比較部を有する、請求項１０に記載の情報処理装置。
17. 前記比較部は、前記教師データと前記比較データの差分を算出する、又は、前記教師データと前記比較データとを重畳することで、比較を行う、請求項１６に記載の情報処理装置。
18. 前記情報出力部は、強調、又は、減弱する処理を行った前記差分を、フィードバック情報として出力する、請求項１７に記載の情報処理装置。
19. 前記情報出力部は、前記フィードバック情報を、表示装置、前記ユーザの身体に装着されたウェアラブル装置、及び、音声出力装置のうちの少なくとも１つを介して、出力する、請求項１８に記載の情報処理装置。
20. 前記情報処理部は、
    前記ユーザの前記パフォーマンスの状態の変化に基づいて、
    前記教師データとして用いる前記センシングデータ、前記比較部の比較の方法、前記差分に対する処理、及び、前記フィードバック情報を出力する装置のうちの少なくとも１つを変更する、
    請求項１９に記載の情報処理装置。

Images