JP6697461B2 - 感覚共有システム、操作機器、および感覚共有方法 - Google Patents

Description

本発明は、感覚共有システム、操作機器、および感覚共有方法に関する。

従来から、ユーザがジェスチャをすることにより情報を提示する様々な技術が存在する。例えば、特許文献１では、ユーザによって操作される周辺機器の位置パラメータに基づいて双方向性コンテンツを出力している。

特開２０１２−８０５３３号公報

上記特許文献１をはじめとする従来技術では、ジェスチャ（例えば、ハンドジェスチャ）により情報を提供している。しかし、上記情報を提供するためには、ユーザがジェスチャすることが必要であり、そのジェスチャを再現したい場合には、ユーザ自身がそのジェスチャを繰り返さなければならないという問題があった。

本発明は、上記に鑑みてなされたものであって、ユーザ自身がジェスチャを繰り返すことなく再現することが可能な感覚共有システム、操作機器、および感覚共有方法を提供することを目的とする。

上記課題を解決するために、本発明にかかる感覚共有システムは、第１のユーザからの操作を受け付ける第１の操作インタフェース部と、前記第１の操作インタフェース部が受け付けた前記操作を示す第１の操作情報をサーバ装置に送信する第１の通信部と、を備えた第１の操作機器と、前記第１の操作情報を前記サーバ装置から受信する第２の通信部と、第２のユーザからの操作を受け付ける第２の操作インタフェース部と、前記第２の通信部が受信した前記第１の操作情報に基づいて、前記第２の操作インタフェース部により前記操作を再現する操作制御部と、を備えた第２の操作機器と、を備えることを特徴とする感覚共有システムとして構成される。

また、本発明は、上記感覚共有システムで用いられる操作機器、上記感覚共有システムで実行される感覚共有方法としても把握される。

本発明によれば、ユーザ自身がジェスチャを繰り返すことなく再現することが可能となる。

本発明にかかる感覚共有システム、操作機器、および感覚共有方法を適用した感覚共有システムの構成例を示す図である。 操作機器の機能的な構成を示すブロック図である。 端末装置の機能的な構成を示すブロック図である。 記憶部が記憶するデータの例を示す図である。 操作情報テーブルの例を示す図である（表形式）。 操作情報テーブルの例を示す図である(グラフ形式)。 操作補正テーブルの例を示す図である。 サーバ装置の機能的な構成を示すブロック図である。 サーバ記憶部が記憶するデータの例を示す図である。 指示操作情報テーブルの例を示す図である。 操作補正履歴テーブルの例を示す図である。 指示操作情報テーブル格納処理の処理手順を示すフローチャートである。 比較学習処理の処理手順を示すフローチャートである。 操作値と時間とを軸とした電気信号の値を示すグラフである。 操作値と時間とを軸とした電気信号の値を示すグラフである（棒グラフ）。 モデル化された操作を表示部２０２に表示する様子を示す図である。 ユーザ情報の例を示す図である。

以下に添付図面を参照して、本発明にかかる感覚共有システム、操作機器、および感覚共有方法の実施の形態を詳細に説明する。

図１は、本発明にかかる感覚共有システム、操作機器、および感覚共有方法を適用した感覚共有システム１０００の構成例を示す図である。図１に示すように、感覚共有システム１０００は、本システムのユーザが使用する操作機器１００と、操作機器１００をコントロールするための端末装置２００と、端末装置２００を管理するサーバ装置３００とを有し、端末装置２００とサーバ装置３００とは、互いにネットワークＮを介して接続されている。

なお、ネットワークＮは、インターネット等の一般的な公衆回線網である。また、操作機器１００と端末装置２００とは互いにＵＳＢ（Universal Serial Bus）等のバスにより接続されている。さらに、複数の操作機器１００(例えば、操作機器１００ａ、１００ｂ)が端末装置２００に接続されていてもよく、サーバ３００に複数の端末装置２００が接続されていてもよい。また、以下では、操作機器１００と端末装置２００とが異なる筐体である前提で説明しているが、１つの筐体として構成してもよい。

本システムでは、手本となる操作を示すユーザ（例えば、ピアノ教室の先生）である指示ユーザ（第１のユーザ）が使用する操作機器１００を操作機器１００Ａ、操作機器１００Ａに接続されている端末装置２００を端末装置２００Ａと表記し、上記指示ユーザが示す手本にしたがって操作するユーザ（例えば、ピアノ教室の生徒）である操作ユーザ（第２のユーザ）が使用する操作機器１００を操作機器１００Ｂ、操作機器１００Ｂに接続されている端末装置２００を端末装置２００Ｂと表記している。以下では、これらのユーザを総称する場合には単にユーザと記載している。

さらに、以下では、指示ユーザの操作を操作ユーザに伝達する場合について記載しているが、操作ユーザの操作を指示ユーザに伝達してもよい。すなわち、第１のユーザと第２のユーザとは、必要に応じて適宜入れ替えてもよい。この場合、指示ユーザが操作ユーザの操作を把握することができる。また、以下では、ユーザが操作対象（例えば、ピアノ）を操作する例について示しているが、概念的には、ユーザ自身の動作（例えば、走る）を含むものである。まず、操作機器１００について説明する。

操作機器１００は、ユーザが自身のジェスチャによる操作（あるいはその感覚）を検出して伝達するための機器であり、例えば、ポゼストハンドにより構成される。

図２は、操作機器１００の機能的な構成を示すブロック図である。図２に示すように、操作機器１００は、操作インタフェース部１０１と、操作制御部１０２と、端末インタフェース部１０３とを有して構成されている。

操作インタフェース部１０１は、ユーザの操作を操作機器１００に伝達するためのインタフェースであり、ジェスチャするユーザの部位(例えば、親指、人差し指等の各指)に装着される。操作インタフェース部１０１は、ユーザから受けた操作を電気信号に変換し、変換した電気信号を操作制御部１０２に出力する。また、操作インタフェース部１０１は、操作制御部１０２から出力された電気信号を受けて上記部位を動作させる。以下では、操作ユーザが各部位を操作するために、操作インタフェース部１０１が操作ユーザによる操作を受けて出力した電気信号を操作電気信号と表記している。また、操作ユーザの部位に指示ユーザの操作を伝達するために、操作制御部１０２から出力されて操作インタフェース部１０１が受けた電気信号を指示電気信号と表記している。これらの電気信号を総称する場合には単に電気信号と記載している。

操作制御部１０２は、電気信号を操作インタフェース部１０１または端末インタフェース部１０３に出力するためのユニットである。操作制御部１０２は、入力された電気信号が操作電気信号である場合にはその操作電気信号を端末インタフェース１０３に出力し、入力された電気信号が指示電気信号である場合にはその指示電気信号を操作インタフェース１０１に出力する。また、操作制御部１０２は、操作機器１００が有する各部の動作を制御する。

端末インタフェース部１０３は、操作制御部１０１から出力された操作電気信号を端末装置２００に送信し、または端末装置２００から指示電気信号を受信するためのインタフェースである。上記各部の具体的な動作については、フローチャートを用いて後述する。続いて、端末装置２００について説明する。

端末装置２００は、操作機器１００を制御するコントローラやＰＣ（Personal Computer）等の情報処理装置から構成される。

図３は、端末装置２００の機能的な構成を示すブロック図である。図３に示すように、端末装置２００は、記憶部２０１と、表示部２０２と、操作情報記録部２０３と、操作補正部２０４と、機器インタフェース部２０５と、通信部２０６とを有して構成されている。

記憶部２０１は、例えば、メモリチップやディスク等の一般的な記憶媒体や記憶装置から構成され、本システムで使用される各種データを記憶する。

図４は、記憶部２０１が記憶するデータの例を示す図である。図４に示すように、記憶部２０１は、操作情報テーブル２０１１と、操作補正テーブル２０１２とを記憶する。

図５は、操作情報テーブル２０１１の例を示す図である。操作情報テーブル２０１１は、ユーザがジェスチャしたときに操作インタフェース部１０１を介して各部位から受信した電気信号を記憶するテーブルである。図５に示すように、操作情報テーブル２０１１は、ユーザが操作機器１００を用いてジェスチャする部位である操作部位と、操作部位によりジェスチャされるタイミングを示す時間とが対応付けられ、時間ごと部位ごとの電気信号の値が記憶されている。

図５では、例えば、時間１における部位１のジェスチャにより生じた電気信号の値はａ１１であり、時間ｎにおける部位１のジェスチャにより生じた電気信号はｃ１ｎであることを示している。同様に、時間１における部位ｎのジェスチャにより生じた電気信号の値はｃｎ１であり、時間ｎにおける部位ｎのジェスチャにより生じた電気信号はｅｎｎであることを示している。操作情報テーブル２０１１は、操作情報記録部２０３により記録される。

なお、図５では、操作部位における電気信号の値をテーブル形式で保持することとしたが、図６に示すように、電気信号の値である操作値と時間とを軸とした座標面上に、上記電気信号の値をプロットし、グラフ形式によって保持することとしてもよい。このように、電気信号の値をグラフ形式で保持し、例えば、操作記録部２０３がディスプレイ等の表示部２０２に表示することにより、ユーザは、ジェスチャした操作部位により電気信号の値（例えば、鍵盤をたたく強さ）やタイミングを、一目で把握することができる。図６では、部位１、部位ｎにおける電気信号の値は、時間が経過するにつれて徐々に大きくなり時間２／ｎのタイミングで値が最大となっていることを示している。同様に、部位２における電気信号の値は、時間ｎのタイミングで値が最大となっていることを示している。

図７は、操作補正テーブル２０１２の例を示す図である。操作補正テーブル２０１２は、操作ユーザの操作部位による操作電気信号と指示ユーザの操作部位による指示電気信号との差分値を記憶するテーブルである。図７に示すように、操作補正テーブル２０１２は、補正対象となる操作部位を示す補正部位と、補正部位によりジェスチャされるタイミングを示す時間とが対応付けられ、時間ごと部位ごとに上記差分値が記憶されている。

図７では、例えば、時間１における部位１のジェスチャにより生じた操作電気信号の値と、時間１における部位１のジェスチャにより生じた指示電気信号の値との差分値が０．５（ｍＶ）であることを示している。すなわち、時間１における部位１のジェスチャにより生じた操作電気信号の値を、時間１における部位１のジェスチャにより生じた指示電気信号の値に補正するためには、０．５（ｍＶ）だけ操作電気信号の値を上げる必要があることを示している。同様に、時間１における部位ｎのジェスチャにより生じた操作電気信号の値を、時間１における部位ｎのジェスチャにより生じた指示電気信号の値に補正するためには、１．０（ｍＶ）だけ操作電気信号の値を下げる必要があることを示している。このように、操作補正テーブル２０１２には、操作電気信号と指示電気信号との差分値が時間ごと部位ごとに記憶されている。操作補正テーブル２０１２は、操作補正部２０４により記録される。

なお、操作補正テーブル２０１２についても、操作情報テーブル２０１１と同様、グラフ形式により保持されていてもよい。この場合、上記差分値やタイミングを、一目で把握することができる。例えば、図６に示すように、操作ユーザの部位ｎおよび指示ユーザの部位ｎの電気信号の値である操作値の差分値の範囲（網掛け部分）を、上記操作値と時間とを軸とした座標面上にプロットし、グラフ形式によって保持することとしてもよい。続いて、図３に戻って、表示部２０２以降の各部について説明する。

表示部２０２は、例えば、ＬＣＤ（Liquid Crystal Display）等のディスプレイから構成され、上述したように、操作ユーザや指示ユーザが操作機器１００を操作した時の電気信号の値を示すテーブルやグラフ、操作電気信号と指示電気信号との差分値を示すテーブル等の各種情報を表示する。

操作情報記録部２０３は、操作機器１００から受け取った電気信号を、それぞれのユーザについて、時間ごと部位ごとに操作情報テーブル２０１１に記録し、記録した操作情報テーブル２０１１を、通信部２０６を介してサーバ装置３００に送信する。以下では、指示電気信号が操作情報テーブル２０１１に記録された場合に、その操作情報テーブル２０１１をサーバ装置３００に送信しているが、操作電気信号が記録された操作情報テーブル２０１１をサーバ装置３００に送信してもよい。ユーザが本システムを使用する際にログインする等して得られたログインＩＤ、あるいは端末装置２００や操作機器１００にあらかじめ付されたＩＤを識別すること等により、指示ユーザであるか操作ユーザであるかを識別することができる。

操作補正部２０４は、サーバ装置３００から受信した指示電気信号の値が記録された操作情報テーブル２０１１と、操作機器１００から受け取った操作電気信号の値が記録された操作情報テーブル２０１１とを比較して両者の差分値を求め、その値を操作補正テーブル２０１２に記録し、記録した操作補正テーブル２０１２を表示部２０２に表示する。また、端末装置２００の操作補正部２０４は、上記差分値により操作機器１００Ｂの操作をキャリブレーションする。さらに、操作補正部２０４は、記録した操作補正テーブル２０１２をサーバ装置３００に送信する。送信された操作補正テーブル２０１２は、ユーザごとに蓄積される。

なお、以下では、操作補正テーブル２０１２を表示部２０２に表示しているが、操作電気信号の値が記録された操作情報テーブル２０１１、指示電気信号の値が記録された操作情報テーブル２０１１を表示部２０２に表示してもよい。この場合、操作ユーザは、手本となる指示ユーザの各部位の電気信号の値を確認することができ、指示ユーザが各部位をどのように動かしてジェスチャをしているのか、さらには自身が動かしている各部位との違いを容易に把握することができる。

機器インタフェース部２０５は、操作補正部２０４が求めた上記差分値、操作情報記録部２０３が記録した電気信号、サーバ装置３００から受信された電気信号を操作機器１００に送信し、または操作機器１００から出力された電気信号を受け取るためのインタフェースである。

通信部２０６は、サーバ装置３００から電気信号を受信し、または上記差分値や電気信号をサーバ装置３００に送信するためのインタフェースである。上記各部の具体的な動作については、フローチャートを用いて後述する。続いて、サーバ装置３００について説明する。

サーバ装置３００は、端末装置２００を管理するサーバ等の情報処理装置から構成される。

図８は、サーバ装置３００の機能的な構成を示すブロック図である。図３に示すように、サーバ装置３００は、サーバ記憶部３０１と、指示操作情報取得部３０２と、類似操作判定部３０３と、サーバ通信部３０４とを有して構成されている。

サーバ記憶部３０１は、記憶部２０１と同様、例えば、メモリチップやディスク等の一般的な記憶媒体や記憶装置から構成され、本システムで使用される各種データを記憶する。

図９は、サーバ記憶部３０１が記憶するデータの例を示す図である。図９に示すように、サーバ記憶部３０１は、指示操作情報テーブル３０１１と、操作補正履歴テーブル３０１２とを記憶する。

図１０は、指示操作情報テーブル３０１１の例を示す図である。指示操作情報テーブル３０１１は、指示ユーザが操作機器１００を用いてジェスチャしたときに各部位から受信した指示電気信号を記憶するテーブルである。指示操作情報テーブル３０１１の構成については、操作情報テーブル２０１１と同様であるためここではその説明を省略するが、図１０では、例えば、時間１における部位１のジェスチャにより生じた指示電気信号の値はＡ１１であり、時間ｎにおける部位１のジェスチャにより生じた指示電気信号はＣ１ｎであることを示している。同様に、時間１における部位ｎのジェスチャにより生じた指示電気信号の値はＣｎ１であり、時間ｎにおける部位ｎのジェスチャにより生じた指示電気信号はＥｎｎであることを示している。指示操作情報テーブル３０１１は、指示操作情報取得部３０２により記録される。

なお、図１０では、操作部位における電気信号の値をテーブル形式で保持することとしたが、図５に示した場合と同様に、指示電気信号の値である操作値と時間とを軸とした座標面上に、上記指示電気信号の値をプロットし、グラフ形式によって保持することとしてもよい。この場合、指示ユーザは、ジェスチャした操作部位により指示電気信号の値（例えば、鍵盤をたたく強さ）やタイミングを、一目で把握することができる。

図１１は、操作補正履歴テーブル３０１２の例を示す図である。操作補正テーブル３０１２は、操作補正テーブル２０１２を履歴形式で記憶したテーブルである。図１１に示すように、操作補正履歴テーブル３０１２は、操作補正テーブル２０１２が記録される都度、サーバ記憶部３０１に記憶される。操作補正履歴テーブル３０１２の構成については、図７に示した操作補正テーブル２０１２と同様であるためここではその説明を省略するが、図１１では、例えば、ある操作ユーザについて、２０１５年４月１日、２０１５年４月２日の操作補正テーブル２０１２が、操作補正履歴テーブル３０１２に記憶されている。

なお、操作補正履歴テーブル３０１２についても、操作情報テーブル２０１１や操作補正テーブル２０１２等と同様、グラフ形式により保持されていてもよい。この場合、上記差分値やタイミングを、過去に遡及して一目で把握することができる。続いて、図８に戻って、指示操作情報取得部３０２以降の各部について説明する。

指示操作情報取得部３０２は、指示ユーザが使用する端末装置２００からサーバ通信部３０４を介して受信した指示電気信号を指示操作情報テーブル３０１１に記録する。また、指示操作情報取得部３０２は、操作ユーザが使用する端末装置２００からサーバ通信部３０４を介して受信した指示操作情報取得要求に従って、指示操作情報テーブル３０１１に記憶されている指示ユーザの操作値を取得し、サーバ通信部３０４を介して要求された端末装置２００に送信する。また、指示操作情報取得部３０２は、操作ユーザが使用する端末装置２００からサーバ通信部３０４を介して受信した上記差分値を操作補正履歴テーブル３０１２に記録する。

なお、本実施の形態では、サーバ装置３００側では指示操作情報テーブル３０１１が記憶されているが、各操作ユーザがジェスチャした結果である操作情報テーブル２０１１をそれぞれの操作機器１００が接続された端末装置２００から受信し、記憶してもよい。このように、操作ユーザのそれぞれについて操作情報テーブル２０１１をサーバ装置３００側で記憶し、指示操作情報取得部３０２が指示操作情報テーブル３０１１と操作情報テーブル２０１１とを比較することにより、指示ユーザと操作ユーザのそれぞれの操作の違いの程度を把握することができる。

例えば、図１４に示すように、操作ユーザや指示ユーザの部位ごとに、電気信号の値である操作値と時間とを軸とした座標面上に、上記電気信号の値をプロットし、グラフ形式によって保持することとしてもよい。このように、電気信号の値をグラフ形式で保持し、例えば、操作記録部２０３がディスプレイ等の表示部２０２に表示することにより、操作ユーザや指示ユーザは、他の操作ユーザとの違いや指示ユーザとの違いを一目で把握することができる。図１４では、部位ｎにおける電気信号の値は、操作ユーザ１は全体を通して指示ユーザよりも大きく（例えば、鍵盤をたたく強さが強い）、操作ユーザ２は全体を通して指示ユーザよりも小さい（例えば、鍵盤をたたく強さが弱い）ことを示している。

さらに、図１５に示すように、操作ユーザや指示ユーザの時間ごと部位ごとに、電気信号の値である操作値とユーザとを軸とした棒グラフによって保持することとしてもよい。このように、電気信号の値をグラフ形式で保持し、例えば、操作記録部２０３がディスプレイ等の表示部２０２に表示することにより、操作ユーザや指示ユーザは、部位ごとに、ある時間における他の操作ユーザとの違いや指示ユーザとの違いを一目で把握することができる。図１５では、時間１における部位ｎの電気信号の値は、操作ユーザ１は指示ユーザよりも大きく（例えば、鍵盤をたたく強さが強い）、操作ユーザ２は指示ユーザよりも小さい（例えば、鍵盤をたたく強さが弱い）ことを示している。

類似操作判定部３０３は、指示操作情報取得部３０２が上記差分値を操作補正履歴テーブル３０１２に記録すると、記録された上記差分値と、指示操作情報テーブル３０１１に記憶されている指示ユーザの操作値とを参照し、指示ユーザの操作値から上記差分値の範囲内にある操作値が記録されている他の指示操作情報テーブル３０１１を検索し、検索されたその差分値の範囲内にある操作値が記録されている他の指示操作情報テーブル３０１１を、操作ユーザが操作している操作値に類似する操作値を含む指示操作情報テーブル３０１１であると判定し、サーバ通信部３０４を介して端末装置２００に送信する。

すなわち、類似操作判定部３０３は、指示ユーザの操作値（例えば、指示ユーザが楽曲Ａについて操作したときの操作値）を基準として、上記差分値の範囲内にある操作値を含む他の指示操作情報テーブル３０１１（例えば、指示ユーザが楽曲Ｂについて操作したときの操作値）を、その操作ユーザの練習に相応しい類似の指示操作情報テーブル３０１１であると判定し、その操作ユーザに対して、指示操作情報テーブル３０１１に記憶されている操作値に近い他の指示操作情報テーブル３０１１を、より易しい練習用の指示操作情報テーブル３０１１として端末装置２００に送信する。このように、操作値が近い他の指示操作情報テーブル３０１１を、上記差分値を送信した操作ユーザの端末装置２００に送信することにより、その操作ユーザの操作値と指示操作情報テーブル３０１１の操作値との間に乖離がある場合であっても、上記差分値と上記指示操作情報テーブル３０１１の操作値との間の範囲内にある操作値が記憶されている上記他の指示操作情報テーブル３０１１を用いて操作することができるので、当初目標としていた指示操作情報テーブル３０１１の操作値に近づける練習を段階的に行うことができる。

サーバ通信部３０４は、上記指示操作情報テーブル３０１１や他の指示操作情報テーブル３０１１を端末装置２００に送信し、または上記取得要求や差分値を端末装置２００から受信するためのインタフェースである。上記各部の具体的な動作については、フローチャートを用いて後述する。

なお、上述した各部は、実際には、例えば、ＣＰＵ（Central Processing Unit）等のコントローラや演算装置を有した操作機器１００、端末装置２００、サーバ装置３００にインストールされたプログラムを実行することにより実現される。

上記プログラムは、ＲＯＭ等に予め組み込まれて提供されたり、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供したり、配布してもよい。さらには、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供したり、配布してもよい。続いて、本システムで行なわれる処理について説明する。

図１２は、本システムで行なわれる指示ユーザの操作値を指示操作情報テーブル３０１１に格納するための処理（指示操作情報テーブル格納処理）の処理手順を示すフローチャートである。図１２に示すように、指示操作情報テーブル格納処理では、まず、指示ユーザが使用する端末装置２００の操作情報記録部２０３は、各部位の操作値を操作情報テーブル２０１１に記録する（Ｓ１２０１）。実際には、操作情報記録部２０３は、例えば、指示ユーザが本システムを使用する際にログインする等して得られたログインＩＤ、あるいは指示ユーザが使用する端末装置２００や操作機器１００にあらかじめ付されたＩＤに対応付けて上記操作情報テーブル２０１１に操作値を記録する。

操作情報記録部２０３は、通信部２０４を介して上記操作値を記録した操作情報テーブル２０１１をサーバ装置３００に送信し（Ｓ１２０２）、サーバ装置３００の指示操作情報取得部３０２は、指示ユーザが使用する端末装置２００から受信した操作情報テーブル２０１１を、指示操作情報テーブル３０１１に記録する（Ｓ１２０３）。このとき、指示操作情報取得部３０２は、端末装置２００から受信した上記操作情報テーブル２０１１に対応付けられているＩＤと、あらかじめ指示ユーザとしてシステムに登録されているユーザとを比較して、当該ユーザが指示ユーザであると判定している。Ｓ１２０３の処理が終了すると、図１２に示した指示操作情報格納処理が終了し、操作情報テーブル２０１１が指示操作情報テーブル３０１１としてサーバ装置３００に記憶され、システム内で共有化される。

その後、操作ユーザが操作する操作機器１００に接続された端末装置２００の操作情報記録部２０３は、サーバ装置３００に記憶された指示操作情報テーブル３０１１をダウンロードする等して取得し（Ｓ１２０４）、操作機器１００の操作制御部１０２は、端末装置２００が取得した上記指示操作情報テーブル３０１１を読み取り、読み取った指示操作情報テーブル３０１１に記憶されている操作値を出力して指示ユーザの操作を再現する（Ｓ１２０５）。

図１３は、本システムで行なわれる指示ユーザの操作値と操作ユーザの操作値とを比較して両者の差を提示する処理（比較学習処理）の処理手順を示すフローチャートである。図１３に示すように、比較学習処理では、まず、操作ユーザの端末装置２００は、各部位の操作値を記録すると（Ｓ１３０１）、指示操作情報テーブル３０１１の取得要求をサーバ装置３００に送信する（Ｓ１３０２）。

サーバ装置３００の指示操作情報取得部３０２は、その取得要求に従って、該当する指示操作情報テーブル３０１１を取得し、端末装置２００に送信する（Ｓ１３０３、１３０４）。該当する指示操作情報テーブル３０１１とは、例えば、操作ユーザの操作値（例えば、操作ユーザが楽曲Ａについて操作したときの操作値）に対応する指示ユーザの操作値（例えば、指示ユーザが楽曲Ａについて操作したときの操作値）を含む指示操作情報テーブル３０１１のことである。

指示操作情報テーブル３０１１を受け取った端末装置２００は、Ｓ１３０１で記録した操作情報テーブル２０１１と、Ｓ１３０４で受信した指示操作情報テーブル３０１１とを比較し、両者の差分値を操作補正テーブル２０１２に記録し（Ｓ１３０５）、その操作補正テーブル２０１２を表示部に表示する（Ｓ１３０６）。このとき、端末装置２００の操作補正部２０４は、上記差分値により操作機器１００Ｂの操作をキャリブレーションする。このようなキャリブレーションにより、操作ユーザは、指示ユーザの操作値と操作ユーザ自身の操作値との乖離度を、直接自身の肌で感覚的に把握することができる。

操作ユーザが上記キャリブレーションによって指示ユーザの操作に近づくことが出来ればよいが、操作ユーザの習熟度等によっては、必ずしも上記指示操作情報テーブル３０１１との差分値により操作機器１００をキャリブレーションしただけでは上達しない場合も考えられる。そこで、操作補正部２０４は、その操作補正テーブル２０１２をサーバ装置３００に送信する（Ｓ１３０７）。

サーバ装置３００の指示操作情報取得部３０２は、受信した操作補正テーブル２０１２を操作補正履歴テーブル３０１２に格納し（Ｓ１３０８）、類似操作判定部３０３は、格納された操作補正テーブル２０１２と、記憶されている指示操作情報テーブル３０１１とを参照し、指示操作情報テーブル３０１１に記憶されている操作値から操作補正テーブル２０１２に記憶されている上記差分値の範囲内にある操作値が記録されている他の指示操作情報テーブル３０１１を検索し（Ｓ１３０９）、検索された他の指示操作情報テーブル３０１１を、操作ユーザが操作している操作値に類似する操作値を含む指示操作情報テーブル３０１１であると判定し、端末装置２００に送信する（Ｓ１３１０）。

端末装置２００の操作情報記録部２０３は、サーバ装置３００から受信した上記類似する操作値を含む指示操作情報テーブル３０１１と、Ｓ１３０１で記録した操作情報テーブル２０１１とを比較し、Ｓ１３０５、Ｓ１３０６の場合と同様に、操作補正テーブル２０１２に差分値を記録し（Ｓ１３１１、Ｓ１３１２）、その操作補正テーブル２０１２を表示部に表示する（Ｓ１３１３）。

このとき、端末装置２００の操作補正部２０４は、新たに受信した上記差分値により操作機器１００Ｂの操作をキャリブレーションする。このようなキャリブレーションにより、操作ユーザは、操作ユーザ自身の操作値との乖離度が小さい指示ユーザの操作値により、段階的に指示ユーザの操作を学習することができるようになる。操作ユーザは、自身が納得するまで上記ステップを繰り返すことにより、集中的かつ段階的に指示ユーザの操作を学習することができる。Ｓ１３１３の処理が終了すると、図１３に示した比較学習処理が終了する。

このように、本システムでは、上記各処理を実行して、指示ユーザの操作値をサーバ装置に記憶し、操作ユーザや指示ユーザやその操作値を含む指示操作情報テーブルを受信してその操作値を出力することにより、手本となる指示ユーザの操作値を、指示ユーザが都度操作することなく容易に再現することができる。

また、操作ユーザの操作値と指示ユーザの操作値との差分値を示すことにより、操作ユーザは指示ユーザとの操作の違いを感覚的に把握すると共に、その差分値を示す電気信号を操作機器１００に伝達してキャリブレーションすることにより、操作ユーザの操作を指示ユーザの操作に近づけるように補助することができる。さらには、操作ユーザの操作と指示ユーザの操作とに乖離があった場合でも、その差分値によりキャリブレーションするため、操作ユーザはあたかも指示ユーザが操作した時のような感覚で操作機器を操作することができる。

さらに、なかなか上達できない場合など、手本とする指示ユーザの操作値に類似する操作値を含む指示操作情報テーブルを検索して操作ユーザに提示することにより、操作ユーザと指示ユーザとの間の操作に乖離がある場合であっても、段階的に指示ユーザの操作に近づくことができる。

なお、上記実施の形態では、操作ユーザの操作値と指示ユーザの操作値との差分値により操作機器１００をキャリブレーションした場合について説明した。しかし、本システムでは、操作ユーザや指示ユーザの操作補正テーブル２０１２を、サーバ装置３００に操作補正履歴テーブル３０１２として履歴で蓄積している。したがって、操作ユーザは、端末装置２００がサーバ装置３００から操作補正履歴テーブル３０１２を受信し、操作ユーザの操作値と指示ユーザの操作値との乖離度を時系列に把握することができ、自身の上達具合を確認することができる。

また、他の操作ユーザの操作補正履歴テーブル３０１２をサーバ装置３００から受信して、他の操作ユーザの操作値と自身の操作値とを比較し、客観的に操作ユーザ自身の操作を把握することができる。さらに、指示ユーザにとっては、操作ユーザの上達具合を一人一人確認することができ、操作ユーザの得手不得手を容易に把握することができ、その結果をフィードバックすることができる。なお、本実施の形態では、サーバ装置３００には操作補正履歴テーブル３０１２が履歴で記憶されている前提で説明したが、端末装置２００から操作情報テーブル２０１２をサーバ装置３００が受信し、操作補正履歴テーブル３０１２と同様に履歴で記憶してもよい。この場合、上記のとおり、差分値ではなく操作値により自身の操作を把握することができる。

また、上記実施の形態では、操作情報テーブル２０１１、操作補正テーブル２０１２、あるいは電気信号の値を表示部２０２に表示したが、さらに操作ユーザにとってわかりやすいものとするために、これらのテーブルや電気信号の値から、指示ユーザおよび操作ユーザそれぞれの操作機器による操作をモデル化し、表示部２０２に表示したり、あるいは様々な手法でスコアリングした上で表示部２０２に表示してもよい。

図１６は、モデル化された操作を表示部２０２に表示する様子を示す図である。図１６に示す例では、親指と人差し指に、指示ユーザと操作ユーザとの間で操作値の差分が生じていることを示している。もちろん、このような表示とともに、実際の差分値を、差分が生じている指に対応付けて（図１６では親指と人差し指の付近に）表示してもよい。

さらに、本システムでは、指示ユーザや操作ユーザがログインして使用する前提で説明したが、ログインして本システムを使用するために、あらかじめユーザや操作機器を含むユーザ情報をサーバ装置３００に登録してもよい。

図１７は、ユーザ情報の例を示す図である。図１７に示すように、ユーザ情報には、例えば、指示ユーザや操作ユーザを識別するためのユーザＩＤおよびパスワードと、そのユーザの操作機器を識別するための操作機器ＩＤと、そのユーザの身長、体重、年齢等の身体的な特徴を示す情報とが対応付けて記憶されている。図１７では、例えば、ユーザＩＤ「Ｕ０００１」、パスワード「ｘｘｘｘｘ」によって識別されるユーザは、操作機器ＩＤが「Ａ０００１」によって識別される操作機器を操作し、身長、体重、年齢が、それぞれ、α１、β１、γ１であることを示している。

このように、ユーザ情報を登録し、上記操作情報テーブル２０１１、操作補正テーブル２０１２、電気信号の値を対応付けてサーバ装置３００に記憶させておくことにより、例えば、複数の操作ユーザのなかで、どのような身体的特徴を有した操作ユーザがどのような操作の傾向にあるか等、操作ユーザ（あるいは指示ユーザ）と実際の操作との関係性について、様々な角度で分析することが可能となる。

上記実施の形態では、ユーザによる操作の例として、ピアノ教室における先生である指示ユーザと操作ユーザである生徒が操作としてピアノを弾く場合について説明した。しかし、これに限らず、例えば、操作機器を指示ユーザである競技指導者の脚や腕に装着して走り方等の様々な運動の手本を操作ユーザである陸上競技者に示したり、指示ユーザである親が箸の持ち方等の日常の様々な行為の手本を操作ユーザである子供に示したり、さらには医療従事者である指示ユーザがリハビリの手本を患者である操作ユーザに示すなど、業種を問わず、ユーザの各部位に操作機器を装着して操作や感覚を伝達することが必要な様々なシーンに、本システムを活用することができる。

本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記各実施の形態に開示されている複数の構成要素を組み合わせた発明を形成してもよい。

例えば、上記実施の形態では、サーバ装置３００に指示操作情報テーブル等を記憶してシステム内で共有することとした。しかし、指示ユーザが使用する操作機器や端末装置がマスタとなるように設定し、操作ユーザが使用する操作機器や端末装置がスレーブとなるように設定した上で、指示ユーザが使用する端末装置に指示操作情報テーブル等を記憶しておき、操作ユーザが使用する操作機器や端末装置から直接アクセスする等、サーバ装置３００が有する一または複数の機能を、指示ユーザが使用する操作機器や端末装置に保持することとしてもよい。この場合、サーバ装置３００を設ける必要がなくなるため、より簡素な構成で上記各効果を得ることができる。

１０００ 感覚共有システム
１００ 操作機器
１０１ 操作インタフェース部
１０２ 操作制御部
１０３ 端末インタフェース部
２００ 端末装置
２０１ 記憶部
２０１１ 操作情報テーブル
２０１２ 操作補正テーブル
２０２ 表示部
２０３ 操作情報記録部
２０４ 操作補正部
２０５ 機器インタフェース部
２０６ 通信部
３００ サーバ装置
３０１ サーバ記憶部
３０１１ 指示操作情報テーブル
３０１２ 操作補正履歴テーブル
３０２ 指示操作情報取得部
３０３ 類似操作判定部
３０４ サーバ通信部
Ｎ ネットワーク

Claims (8)

1. 第１のユーザからの操作を受け付ける第１の操作インタフェース部と、
   前記第１の操作インタフェース部が受け付けた前記操作を示す第１の操作情報をサーバ装置に送信する第１の通信部と、を備えた第１の操作機器と、
   前記第１の操作情報を前記サーバ装置から受信する第２の通信部と、
   第２のユーザからの操作を受け付ける第２の操作インタフェース部と、
   前記第２の通信部が受信した前記第１の操作情報に基づいて、前記第２の操作インタフェース部により前記操作を再現する操作制御部と、前記第１の操作情報と前記第２の操作インタフェース部が受け付けた前記操作を示す第２の操作情報との差分に基づいて、前記第２の操作インタフェース部により再現される操作を前記第１の操作情報を示す前記操作に補正する操作補正部と、を備えた第２の操作機器と、を備え、
   前記第１の操作機器は、
   前記第１の操作インタフェース部が、前記操作以外の他の操作を示す複数の前記第１の操作情報を受け付け、
   前記第１の通信部が前記サーバ装置に、前記他の操作を示す複数の前記第１の操作情報を送信し、
   前記第２の操作機器は、
   前記第２の通信部が、前記差分を示す操作補正情報を前記サーバ装置に送信し、前記他の操作を示す複数の前記第１の操作情報のうち、前記差分が所定の範囲にある前記第１の操作情報を前記サーバ装置から受信し、
   前記操作補正部が、前記差分が所定の範囲にある前記第１の操作情報と前記第２の操作情報との差分に基づいて、前記第２の操作インタフェース部により再現される操作を前記差分が所定の範囲にある前記第１の操作情報を示す前記操作に補正する、
   ことを特徴とする感覚共有システム。
2. 前記第１の操作インタフェース部および前記第２の操作インタフェース部は、それぞれ、前記第１のユーザの部位および前記第２のユーザの部位ごとに入力を受け付け、
   前記操作制御部は、前記部位ごとに前記操作を再現する、
   ことを特徴とする請求項１に記載の感覚共有システム。
3. 第１の操作機器が有する第１のユーザからの操作を受け付ける第１の操作インタフェース部が受け付けた前記操作を示す第１の操作情報および前記操作以外の他の操作を示す複数の前記第１の操作情報をサーバ装置から受信する通信部と、
   第２のユーザからの操作を受け付ける第２の操作インタフェース部と、
   前記通信部が受信した前記第１の操作情報に基づいて、前記第２の操作インタフェース部により前記操作を再現する操作制御部と、
   前記第１の操作情報と前記第２の操作インタフェース部が受け付けた前記操作を示す第２の操作情報との差分に基づいて、前記第２の操作インタフェース部により再現される操作を前記第１の操作情報を示す前記操作に補正する操作補正部と、
   前記第１の操作情報と前記第２の操作情報とを表示部に表示する操作情報記録部と、を備え、
   前記通信部が、前記差分を示す操作補正情報を前記サーバ装置に送信し、前記他の操作を示す複数の前記第１の操作情報のうち、前記差分が所定の範囲にある前記第１の操作情報を前記サーバ装置から受信し、
   前記操作補正部が、前記差分が所定の範囲にある前記第１の操作情報と前記第２の操作情報との差分に基づいて、前記第２の操作インタフェース部により再現される操作を前記差分が所定の範囲にある前記第１の操作情報を示す前記操作に補正する、
   ことを特徴とする操作機器。
4. 前記操作情報記録部は、前記表示部に、前記第１の操作情報と前記第２の操作情報との差分を表示する、
   ことを特徴とする請求項３に記載の操作機器。
5. 前記第１の操作インタフェース部および前記第２の操作インタフェース部は、それぞれ、前記第１のユーザの部位および前記第２のユーザの部位ごとに入力を受け付け、
   前記操作制御部は、前記部位ごとに前記操作を再現し、
   前記操作情報記録部は、前記部位ごとに前記表示部に表示する、
   ことを特徴とする請求項３または４に記載の操作機器。
6. 前記通信部は、複数の前記第１のユーザについての前記第１の操作情報を前記サーバ装置から受信し、
   前記操作情報記録部は、複数の前記第１のユーザについての前記第１の操作情報と前記第２の操作情報とを表示部に表示する、
   ことを特徴とする請求項３〜５のいずれか１項に記載の操作機器。
7. 第１のユーザからの操作を受け付ける第１の操作ステップと、
   前記第１の操作ステップにおいて受け付けた前記操作を示す第１の操作情報をサーバ装置に送信する第１の通信ステップと、
   前記第１の操作情報を前記サーバ装置から受信する第２の通信ステップと、
   第２のユーザからの操作を受け付ける第２の操作ステップと、
   前記第２の通信ステップにおいて受信した前記第１の操作情報に基づいて、操作インタフェース部により前記操作を再現する操作制御ステップと、
   前記第１の操作ステップおよび前記第２の操作ステップが行われた場合に、前記第１の操作情報と前記第２の操作ステップにおいて受け付けた前記操作を示す第２の操作情報との差分に基づいて、前記操作インタフェース部により再現される操作を前記第１の操作情報を示す前記操作に補正する操作補正ステップと、を含み、
   前記第１の操作ステップにおいて、前記操作以外の他の操作を示す複数の前記第１の操作情報を受け付け、
   前記第１の通信ステップにおいて、前記サーバ装置に、前記他の操作を示す複数の前記第１の操作情報を送信し、
   前記第２の通信ステップにおいて、前記差分を示す操作補正情報を前記サーバ装置に送信し、前記他の操作を示す複数の前記第１の操作情報のうち、前記差分が所定の範囲にある前記第１の操作情報を前記サーバ装置から受信し、
   前記操作補正ステップにおいて、前記差分が所定の範囲にある前記第１の操作情報と前記第２の操作情報との差分に基づいて、前記操作インタフェース部により再現される操作を前記差分が所定の範囲にある前記第１の操作情報を示す前記操作に補正する、
   ことを特徴とする感覚共有方法。
8. 前記第１の操作ステップおよび前記第２の操作ステップでは、それぞれ、前記第１のユーザの部位および前記第２のユーザの部位ごとに入力を受け付け、
   前記操作制御ステップでは、前記部位ごとに前記操作を再現する、
   ことを特徴とする請求項７に記載の感覚共有方法。

Images