JP7281810B2 - 映像表示システム - Google Patents

Description

特許法第３０条第２項適用 （証明書１）平成３１年１月８日公開 ｈｔｔｐｓ：／／ｗｗｗ．ｆａｃｅｂｏｏｋ．ｃｏｍ／３４６７０５４１５４３６０６３／ｐｏｓｔｓ／１９３４０４３２６３３６８９２９？ｓｆｎｓ＝ｍｏ ｈｔｔｐｓ：／／ｗｗｗ．ｆａｃｅｂｏｏｋ．ｃｏｍ／１２８４３５８２１１４３４６０／ｐｏｓｔｓ／３０５０２３７２６８１８００１？ｓｆｎｓ＝ｍｏ （証明書２）平成３１年１月９日公開 ｈｔｔｐ：／／ｈ２ｌ．ｉｐ／２０１９／０１／０９／ｐｒｅｓｓｒｅｌｅａｓｅ２０１９０１０９＿ｈ２ｌ＿ｄｏｃｏｍｏ／ ｈｔｔｐｓ：／／ｆｉｒｓｔ－ｖｒ．ｃｏｍ／ｐｒｅｓｓｒｅｌｅａｓｅ２０１９０１０９＿ｈ２ｌ＿ｄｏｃｏｍｏ／ （証明書３）平成３１年１月９日公開 ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００１５．０００００６８３１．ｈｔｍｌ （証明書４）平成３１年１月９日公開 ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ｈ２ｌｉｎｃ／ｓｔａｔｕｓ／１０８２８５０６６６３０７９７７２１６ ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ｈ２ｌｉｎｃ／ｓｔａｔｕｓ／１０８２８５３４２９６５８０５８７５２ ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＦｉｒｓｔＶＲｏｆｆｉｃｉａｌ／ｓｔａｔｕｓ／１０８２８５１６２５５０３４０４０３２ ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＦｉｒｓｔＶＲｏｆｆｉｃｉａｌ／ｓｔａｔｕｓ／１０８２８５３８５０２７５４９１８４３ （証明書５）平成３１年２月２６日公開 ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝１ｕｕＹｇＳＰｔＣｕＹ

本発明は、人の運動を検出して映像を表示する映像表示システムに関する。

人が健康を維持、向上させるには、日常生活の合間に適度な運動を行うことが推奨される。このため、スポーツジムや公共運動施設等が設けられ、多くの人々が利用している。

発明者らは、先に特許文献１に記載されるような電気刺激装置を提案した。この特許文献１で提案した電気刺激装置は、ユーザの前腕に装着されるバンドに複数の電極を取り付けて、前腕の筋肉に電気刺激を与える装置である。
また、発明者らは、非特許文献１に記載される、筋肉の隆起を検出する赤外線センサを複数個装備した新たな電気刺激装置を開発した。
更に、発明者らは、特許文献２に記載される、ユーザの腕に装着した状態や個人差に左右されず、短時間で手指の動きと電極との対応関係を明確にし、誤動作が極めて少なく、高い精度で目的の手指を駆動できる、電気刺激装置と、これを用いる電気刺激システムを開発した。

特開２０１４－１０４２４１号公報 特許第６３３４５８８号公報

「銃を撃った衝撃、指先に「じわっ」筋電刺激コントローラーUnlimited Hand」ASCII.JP×デジタル、２０１６年５月１２日、２０１７年６月２７日閲覧＜http://ascii.jp/elem/000/001/161/1161772/＞

近年、仮想現実（virtual reality：ＶＲ）を採用するスポーツジムが増加傾向にある。スポーツ施設におけるＶＲの採用事例の殆どは、ランニングマシンとも呼ばれるトレッドミルに代表される機械や、フィットネスバイクと呼ばれる据置型の自転車漕ぎ運動器具に、ＶＲ映像を大型スクリーンに表示させるものが多い。これら運動器具は、歩行や自転車漕ぎといった、主に人の足の運動を検出する。
しかしながら、人の腕の運動を検出するＶＲスポーツ施設等は未だ市場に現れていない。

本発明は係る課題に鑑みてなされたものであり、低価格な装置を用いて、ユーザの運動に呼応して変化する映像を表示できる映像表示システムを提供することを目的とする。

上記課題を解決するために、本発明の映像表示システムは、ユーザの体の腕に取り付けられ、ユーザの体の動きに伴って変化する、ユーザの腕の回転と姿勢を示す四元数データである回転姿勢データを出力する回転姿勢センサと、回転姿勢データに基づき、回転姿勢センサが取り付けられているユーザの腕が、円弧状の軌跡における所定の位置に存在していることを検出してトリガ信号を出力する動作検出部と、トリガ信号に基づいて、３Ｄ空間を表現する映像データについて、前記３Ｄ空間内を所定の距離だけ移動する再生制御を実行する再生制御部と、再生制御部から出力される映像データを表示する表示部と、を備える。
そして、本発明の映像システムにおいて、回転姿勢センサは、ユーザの右腕に取り付けられる第一の回転姿勢センサと、ユーザの左腕に取り付けられる第二の回転姿勢センサと、を有し、動作検出部は、第一の回転姿勢センサから出力される第一の四元数データに基づき、ユーザの右腕が円弧状の軌跡の下端の所定の位置に位置している時に、トリガ信号を出力する第一腕回転検査部と、第二の回転姿勢センサから出力される第二の四元数データに基づき、ユーザの左腕が円弧状の軌跡の下端の所定の位置に位置している時に、トリガ信号を出力する第二腕回転検査部と、を有し、再生制御部は、第一腕回転検査部及び第二腕回転検査部からトリガ信号を受けると、映像データについて、３Ｄ空間内を所定の距離だけ移動する再生制御を実行する。

本発明によれば、低価格な装置を用いて、ユーザの運動に呼応して変化する映像を表示できる映像表示システムを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施形態に係る映像表示システムの、全体構成と使用状態を示す概略図である。 筋肉センサ装置の外観斜視図である。 筋肉センサ装置をユーザの腕に装着する最初の段階を示す図である。 筋肉センサ装置をユーザの腕に装着した状態を示す図である。 筋肉センサ装置のハードウェア構成を示すブロック図である。 映像表示装置のハードウェア構成を示すブロック図である。 本発明の第一の実施形態に係る映像表示システムのソフトウェア機能を示すブロック図である。 腕回転テーブルの一例を示す図である。 本発明の第二の実施形態に係る映像表示システムの、全体構成と使用状態を示す概略図である。 電気刺激装置の外観斜視図である。 電極配置面の平面図である。 電気刺激装置を前腕に装着する直前の状態と、直後の状態を示す図である。 電気刺激装置の使用形態の一例である、電気刺激装置を有する電気刺激システムを示す模式図である。 電気刺激装置のハードウェア構成を示すブロック図である。 電気刺激装置のソフトウェア機能を示すブロック図である。 映像表示装置のソフトウェア機能を示すブロック図である。 ユーザがパドリングを行う過程における左腕の軌跡と、第二電気刺激装置がユーザの腕の筋肉を刺激する範囲を説明する概略図である。

［第一の実施形態：映像表示システム１０１：全体構成］
図１は、本発明の第一の実施形態に係る映像表示システム１０１の、全体構成と使用状態を示す概略図である。
ユーザ１０２はクッション１０３の上に座り、ダブルブレードパドル（以下、単に「パドル」と略す）１０４を両手に持つ。そして、あたかもユーザ１０２の腰周りに水面があるようなイメージで、パドル１０４を交互に回転させて、水をユーザ１０２の後方に掻いて漕ぐ動作（paddling：パドリング）を行う。なお、クッション１０３はカヤックを模倣する形状のものが望ましいが、市販の座椅子を用いてもよい。

ユーザ１０２の腕１０２ａには筋肉センサ装置１０５が装着されている。
ユーザ１０２の頭１０２ｂにはＶＲゴーグル１０６が装着されている。このＶＲゴーグル１０６は、周知のスマートフォンよりなる映像表示装置１０７を収納して、映像表示装置１０７のタッチパネルディスプレイ１０７ａを利用して、ユーザ１０２にＶＲ画面を表示する器具である。

筋肉センサ装置１０５と、ＶＲゴーグル１０６に収納された映像表示装置１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信にてデータ通信を行う。筋肉センサ装置１０５には回転姿勢センサ５１２（図５参照）が内蔵されており、回転姿勢センサ５１２が四元数データを出力することで、映像表示装置１０７はユーザ１０２の腕１０２ａの位置情報を把握する。そして、映像表示装置１０７はユーザ１０２のパドリング動作を検出して、パドリング動作に呼応してＶＲ画面を変化させる。こうして、ユーザ１０２は映像表示装置１０７が描画するＶＲ空間においてカヤックを漕ぐことが可能になる。

図１ではわかりやすさのために、ユーザ１０２はカヤックに使用される本物のパドル１０４を持っているが、本物のパドル１０４の握り心地や重量等を模倣できるのであれば、単なる棒でもよい。
また、図１ではＶＲゴーグル１０６にはスマートフォンを収納して利用する簡易型のものを例示しているが、液晶ディスプレイを内蔵するスタンドアロン型ＶＲゴーグルを使用してもよい。また、ＶＲ環境を実現するには必ずしもＶＲゴーグル等を使わずとも、ユーザ１０２を取り囲むドーム型スクリーンとプロジェクタを用いてもよいし、もっと簡易的には一般的な平面液晶ディスプレイを使用してもよい。そして、これらの表示手段を利用する際には、ＶＲ画面を表示する手段として、スマートフォンの代わりにパソコンを利用する場合もある。

［筋肉センサ装置１０５：外観］
図２Ａは、本発明の実施形態の例である筋肉センサ装置１０５の表面側の外観斜視図である。図２Ｂは、本発明の実施形態の例である筋肉センサ装置１０５の裏面側の外観斜視図である。筋肉センサ装置１０５は、大まかに本体部２０１と、表側ベルト２０２と、裏側ベルト２０３で構成される。
本体部２０１には中央に電源スイッチ２０４が設けられており、内部に後述する近距離無線通信部と回転姿勢センサ５１２等を含むマイコンと電子回路、そしてリチウム二次電池が収納されている。

表側ベルト２０２は本体部２０１を覆い、筋肉センサ装置１０５のベルト部分の全体を構成する。表側ベルト２０２の親側２０２ａ（図３参照）の先端にはバックル２０５が設けられ、剣先側２０２ｂにはバックル２０５に対応する穴２０６が複数個設けられている。このバックル２０５と穴２０６は、裏側ベルト２０３をユーザ１０２の腕１０２ａに適切に密着させる役割を果たす。
裏側ベルト２０３には円筒形状に形成されている筋変位センサの検出孔２０７が複数個設けられている。筋変位センサは、近赤外線ＬＥＤとフォトトランジスタの組よりなるフォトリフレクタを構成する。詳細は図５にて後述する。

［筋肉センサ装置１０５の装着状態］
次に、筋肉センサ装置１０５をユーザ１０２の腕１０２ａに装着する方法について、図３及び図４を参照して説明する。
図３は、筋肉センサ装置１０５をユーザ１０２の腕１０２ａに装着する最初の段階を示す。図４は、筋肉センサ装置１０５をユーザ１０２の腕１０２ａに装着した状態を示す。
まず、筋肉センサ装置１０５を装着するユーザ１０２は、図３に示すように掌１０２ｃを上に向ける。次に、図３に示すように、筋肉センサ装置１０５の本体部２０１をユーザ１０２の手首１０２ｄの近傍に載せる。そして、腕時計を腕１０２ａに装着する要領で、表側ベルト２０２の親側２０２ａの先端に設けられているバックル２０５に、表側ベルト２０２の剣先側２０２ｂを通して、腕１０２ａに巻き付ける。その後、剣先側２０２ｂに設けられている穴２０６をバックル２０５に嵌め込むことで、図４に示すように、筋肉センサ装置１０５をユーザ１０２の腕１０２ａに固定することができる。

筋肉センサ装置１０５をユーザ１０２の腕１０２ａに固定すると、裏側ベルト２０３に複数個設けられている筋変位センサの検出孔２０７が、ユーザ１０２の腕１０２ａの皮膚表面に密着する。円筒形状の検出孔２０７は、筋変位センサとユーザ１０２の腕１０２ａの皮膚表面との距離を一定に保つ役割を担う。筋変位センサとユーザ１０２の腕１０２ａの皮膚表面との距離が一定に保たれることで、筋変位センサはユーザ１０２の腕１０２ａの筋肉の状態を、アナログ電圧信号に正しく変換することが可能になる。

［筋肉センサ装置１０５：ハードウェア構成］
図５は、筋肉センサ装置１０５のハードウェア構成を示すブロック図である。
バス５０１に接続されているＣＰＵ５０２、ＲＯＭ５０３、ＲＡＭ５０４、Ａ／Ｄ変換器５０５、そして第二シリアルインターフェース５０６（図５中「第二シリアルＩ／Ｆ」と略記）は、周知のワンチップマイコン５０７を構成する。

図５では１４個の筋変位センサが設けられている例が示されているが、筋変位センサの数はこれに限定されない。
筋変位センサ５２１は、赤外線ＬＥＤである赤外線発光素子５２１ａと、光センサである赤外線受光素子５２１ｂで構成される。同様に、筋変位センサ５２２は、赤外線発光素子５２２ａと赤外線受光素子５２２ｂで、…筋変位センサ５３４は、赤外線発光素子５３４ａと赤外線受光素子５３４ｂで構成される。
筋変位センサ５２１、５２２、…５３４を構成する赤外線ＬＥＤである赤外線発光素子５２１ａ、５２２ａ、…５３４ａのアノードは電源電圧ノード＋Ｖｃｃに接続されている。赤外線発光素子５２１ａ、５２２ａ、…５３４ａのカソードは第一マルチプレクサ５０８を通じて電流制限抵抗Ｒ５０９の一端に接続されている。電流制限抵抗Ｒ５０９の他端は接地されている。
なお、これ以降、筋変位センサ５２１、５２２、…５３４を区別せず、一纏めに呼ぶ場合には、筋変位センサ群５４０と総称する。

筋変位センサ５２１、５２２、…５３４を構成するフォトトランジスタである赤外線受光素子５２１ｂ、５２２ｂ、…５３４ｂのコレクタは電源電圧ノード＋Ｖｃｃに接続されている。赤外線受光素子５２１ｂ、５２２ｂ、…５３４ｂのエミッタは第二マルチプレクサ５１０を通じてＡ／Ｄ変換器５０５に接続されていると共に、抵抗Ｒ５１１ａ、Ｒ５１１ｂ、…Ｒ５１１ｎを通じて接地されている。

第一マルチプレクサ５０８及び第二マルチプレクサ５１０が、第二シリアルインターフェース５０６から制御信号を受けて、周期的に切り替え制御されることで、Ａ／Ｄ変換器５０５には時分割で１４個の筋変位センサ５２１、５２２、…５３４の電圧信号が入力される。
この第一マルチプレクサ５０８及び第二マルチプレクサ５１０は、複数の筋変位センサ５２１、５２２、…５３４のうちの１個を選択する。なお、第一マルチプレクサ５０８及び第二マルチプレクサ５１０を総称して、センサ用マルチプレクサと呼ぶ。

ワンチップマイコン５０７のバス５０１には、回転姿勢センサ５１２と近距離無線通信部５１３も接続されており、回転姿勢センサ５１２が出力する姿勢情報及び加速度情報は、Ａ／Ｄ変換器５０５でＡＤ変換された１４個の筋変位センサ５２１、５２２、…５３４の情報と共に、近距離無線通信部５１３を通じて映像表示装置へ送信される。
ワンチップマイコン５０７のバス５０１には更に、第一シリアルインターフェース５１４（図５中「第一シリアルＩ／Ｆ」と略記）が接続されている。なお、この第一シリアルインターフェース５１４は、ＲＯＭ５０３に格納されているファームウェアをアップデートする際に用いられる他に、不図示の蓄電池に電力を供給するためにも用いられる。

回転姿勢センサ５１２は、六軸センサまたは九軸センサとも呼ばれる、四元数データを出力するセンサである。
四元数（quaternion:クォータニオン）は、近年の回転姿勢センサ５１２において標準的な、物品の回転と姿勢を表すデータ形式である。
六軸センサの場合は、三次元加速度センサが出力する三次元加速度データと、三次元角速度センサが出力する三次元角速度データをマイコン７０１（図７参照）が読み込み、演算して、四元数データを出力する。
九軸センサの場合は、三次元加速度センサが出力する三次元加速度データと、三次元角速度センサが出力する三次元角速度データに加えて、三次元地磁気センサが出力する三次元姿勢データをマイコン７０１が読み込み、演算して、四元数データを出力する。

筋変位センサ群５４０は、ユーザ１０２の皮膚に赤外線ＬＥＤを用いて近赤外線を照射し、その反射光をフォトトランジスタで受光することで、筋肉の緊張状態をアナログ信号として検出する。すなわち、筋変位センサ配置面から腕の筋肉の表面までの距離の変化を検出する。
筋肉が収縮すると、筋肉が存在する皮膚の部分に生じる隆起によって、フォトリフレクタと筋肉の表面部分との距離が変動する。フォトリフレクタはこの距離の変動によって生じる近赤外線反射光の強弱を、フォトトランジスタで検出する。近赤外線は皮膚表面を透過する性質を有するので、筋肉の隆起状態を検出することに適している。

［映像表示装置１０７：ハードウェア構成］
図６は、映像表示装置１０７のハードウェア構成を示すブロック図である。
周知のスマートフォン等の情報処理装置よりなる映像表示装置１０７は、バス６０１に接続された、ＣＰＵ６０２、ＲＯＭ６０３、ＲＡＭ６０４、表示部６０５、透明電極を有する静電式位置検出装置を含む操作部６０６を備える。表示部６０５は例えばＬＣＤディスプレイであり、表示部６０５と操作部６０６は、周知のタッチパネルディスプレイ１０７ａを構成する。
また、バス６０１には、電気的に書き換え可能なフラッシュメモリ等の不揮発性ストレージ６０７と、近距離無線通信部６０８が接続されている。
不揮発性ストレージ６０７には、ネットワークＯＳと、情報処理装置を映像表示装置１０７として機能させるためのプログラムが格納されている。

［第一の実施形態：映像表示システム１０１：ソフトウェア機能］
図７は、本発明の第一の実施形態に係る映像表示システム１０１のソフトウェア機能を示すブロック図である。
筋肉センサ装置１０５の筋変位センサ群５４０から出力される信号は、Ａ／Ｄ変換器５０５によってデジタルの筋変位データに変換される。
回転姿勢センサ５１２はマイコン７０１を内蔵しており、マイコン７０１は四元数データと三次元の加速度データを出力する。
筋変位データと四元数データと加速度データは、近距離無線送信部７０２によって変調され、映像表示装置１０７へ送信される。

映像表示装置１０７の近距離無線受信部７０３は、筋肉センサ装置１０５から送信された電波を受信し、四元数データを復調する。四元数データは腕回転検査部７０４に入力される。
腕回転検査部７０４は、近距離無線受信部７０３から入力される四元数データと、腕回転テーブル７０８を読み込む。そして腕回転検査部７０４は、四元数データが腕回転テーブル７０８に記録されている各レコードの値の範囲内にあるか否かを検査した上で、ユーザ１０２の腕１０２ａが正しく回転軌跡をなぞっているのか否かを判定する。
ユーザ１０２がパドリングを行うと、ユーザ１０２の腕１０２ａは概ね円弧状の軌跡を描く。腕回転検査部７０４は、ユーザ１０２の腕１０２ａが円弧状の軌跡をなぞっている状態を、ユーザ１０２が持つパドル１０４が水を掻いている状態であるものとみなす。

図８は、腕回転テーブル７０８の一例を示す図である。
腕回転テーブル７０８は、順番フィールド、Ｘ軸フィールド、Ｘ軸誤差フィールド、Ｙ軸フィールド、Ｙ軸誤差フィールド、Ｚ軸フィールド、Ｚ軸誤差フィールド、Ｗ軸フィールド、Ｗ軸誤差フィールドを有する。
順番フィールドには、レコードの順番を示す正の整数あるいは自然数が格納される。
Ｘ軸フィールドには、順番フィールドに格納されている時間における、ユーザ１０２の腕１０２ａの位置情報のうち、四元数のＸ軸における標準的な値が格納される。
Ｘ軸誤差フィールドには、順番フィールドに格納されている時間における、ユーザ１０２の腕１０２ａの位置情報のうち、四元数のＸ軸における標準的な値に許される誤差範囲が格納される。
以下、Ｙ軸フィールド、Ｙ軸誤差フィールド、Ｚ軸フィールド、Ｚ軸誤差フィールド、Ｗ軸フィールド、Ｗ軸誤差フィールドも同様の値が格納される。

この腕回転テーブル７０８の各レコードは、「腕１０２ａの三次元角度そのもの」に対して設定された腕１０２ａの姿勢と誤差範囲になる。つまり、腕回転テーブル７０８とは「正解の三次元角度（四元数）の軌跡」を示す、ユーザ１０２の腕１０２ａの回転動作における正解データが四元数及び誤差範囲にて記述されている。
腕回転検査部７０４は、各時間で測定された計測結果が誤差範囲内であるかどうかの判定を行い、誤差範囲内であれば、順番フィールドの値をバッファに記憶する。
例えば図８において、（Ｘ，Ｙ，Ｚ，Ｗ）が（0.29，0.1，0.1，0.1）であれば、３番目のレコードの誤差範囲内であるので、順番フィールドの値である「２」をバッファに記憶する。
一方、例えば（Ｘ，Ｙ，Ｚ，Ｗ）が（0.2，0.13，0.1，0.1）であれば、どのレコードとも誤差範囲外であるので、順番フィールドの値をバッファに記憶しない。

腕回転検査部７０４は、四元数データが腕回転テーブル７０８に記録されている各レコードの値の範囲内にあるか否かを検査し、腕回転テーブル７０８の該当するレコードを特定する。次に腕回転検査部７０４は、腕回転テーブル７０８の該当するレコードの順番フィールドに記載されている値を読み出す。そして腕回転検査部７０４は、四元数データが腕回転テーブル７０８に記録されている各レコードの値の範囲内にあるか否かを検査し、腕回転テーブル７０８の該当するレコードを特定する。次に腕回転検査部７０４は、腕回転テーブル７０８の該当するレコードの順番フィールドに記載されている値を読み出す。

腕回転検査部７０４は、近距離無線受信部７０３から入力される四元数データについて、腕回転テーブル７０８の各レコードとの照合処理を行い、レコード毎に順番フィールドの値を読み出して、図示しないバッファに順次記憶する。腕回転検査部７０４は、バッファに記憶された順番フィールドの値が、予め定められた正解順番に合致していれば、ユーザ１０２の腕１０２ａは正しく回転軌跡をなぞったものと判定する。

例えば、正解の順番フィールドの値が[2->1]である場合、腕回転検査部７０４は以下のような判断を行う。
ケース１[5->2->1]:映像再生を進める。
ケース２[2->3->5]:映像再生は進めない。
ケース３[2->3->4->1]:映像再生を進める。
特にケース３のように、途中にノイズが介在していたとしても、間に正解シーケンスの数字がその順番で含まれていれば、映像再生を進めるように構成する。

図７に戻って、映像表示システム１０１のソフトウェア機能の説明を続ける。
腕回転検査部７０４は、ユーザ１０２の腕１０２ａが円弧状の軌跡をなぞっていると判断した時に、３Ｄ仮想空間においてカヤックが予め定められた所定の距離だけ移動するものと定め、後続の再生制御部７０５にトリガ信号を出力する。
再生制御部７０５は、腕回転検査部７０４からトリガ信号を受けると、動画ファイル７０６を所定の時間だけ再生し、一時停止する。例えば２秒間、再生を進めて、一時停止を行う。動画ファイル７０６には河川や海辺等でカヤックを漕いで進む動画が収録されており、動画ファイル７０６の再生を進めると、動画を見るユーザ１０２はあたかも河川や海辺をカヤックで進んでいるような擬似的感覚を得ることができる。
動画ファイル７０６から再生制御部７０５によって出力される動画データは、表示処理部７０７によって周知のデコード処理等が施され、表示部６０５に表示される。

なお、図７に示す映像表示装置１０７では、動画ファイル７０６の再生速度は一定で、ユーザ１０２がパドリングを行う度に動画ファイル７０６を再生する時間間隔も例えば２秒と、固定した時間間隔であった。つまり、映像表示装置１０７は筋肉センサ装置１０５から受信したデータのうち、四元数データのみを利用し、加速度データは捨てていた。これに対し、三次元の加速度データをスカラ値に変換した後、再生制御部７０５に与えて、動画ファイル７０６の再生速度及び再生時間を加速度の大小に応じて変化させてもよい。つまり、ユーザ１０２が速くパドリングを行ったときは、動画ファイル７０６の再生速度を早くして、動画再生時間を長くする。逆に、ユーザ１０２が遅くパドリングを行ったときには、動画ファイル７０６の再生速度を遅くして、動画再生時間を短くする。

［第二の実施形態：映像表示システム１０１：全体構成］
第一の実施形態に係る映像表示システム１０１は、筋肉センサ装置１０５をユーザ１０２の腕１０２ａに装着して、ＶＲ空間内におけるカヤックのパドリングを再現するシステムであった。ユーザ１０２はパドル１０４あるいはパドル１０４に類する棒を持って、パドリングを行う。この時、映像表示装置１０７は筋肉センサ装置１０５から得られるデータのうち、ユーザ１０２の腕１０２ａの四元数データ、つまり座標情報のみを使用する。

ユーザ１０２がパドリングを行う際、パドル１０４または棒は空を切る、つまり空振り状態である。実際に水をかき分ける動作ではないため、ユーザ１０２の腕１０２ａには、水をかき分ける際に生じる負荷の感覚が得られない。勿論、ユーザ１０２が座るクッション１０３の両脇に水槽を設置すれば、ユーザ１０２は実際に水をかき分けることができる。しかし、水槽の設置は大掛かりになるし、部屋が水浸しになってしまう。
そこで、発明者らが開発した、特許文献２に示される電気刺激装置を使用して、ユーザ１０２の腕１０２ａに、水をかき分ける際に生じる負荷の感覚を擬似的に生じさせることが考えられる。

図９は、本発明の第二の実施形態に係る映像表示システム９０１の、全体構成と使用状態を示す概略図である。
図９に示す本発明の第二の実施形態に係る映像表示システム９０１の、図１に示す本発明の第一の実施形態に係る映像表示システム１０１との相違点は、ユーザ１０２が両腕に電気刺激装置を装着している点である。

ユーザ１０２はクッション１０３の上に座り、パドル１０４を両手に持つ。そして、あたかもユーザ１０２の腰周りに水面があるようなイメージでパドリングを行う。
ユーザ１０２の右腕１０２ｅには、第一電気刺激装置９０２ａが装着されている。ユーザ１０２の左腕１０２ｆには、第二電気刺激装置９０２ｂが装着されている。第一電気刺激装置９０２ａと第二電気刺激装置９０２ｂは、同一の装置構成である。これ以降、第一電気刺激装置９０２ａと第二電気刺激装置９０２ｂを区別しない場合には、単に電気刺激装置９０２と称する。
ユーザ１０２の頭１０２ｂには、ＶＲゴーグル１０６が装着されている。このＶＲゴーグル１０６は、周知のスマートフォンである映像表示装置９０３を収納して、映像表示装置９０３のタッチパネルディスプレイ１０７ａを利用して、ユーザ１０２にＶＲ画面を表示する器具である。

第一電気刺激装置９０２ａび第二電気刺激装置９０２ｂと、ＶＲゴーグル１０６に収納された映像表示装置９０３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信にてデータ通信を行う。電気刺激装置９０２には回転姿勢センサ５１２が内蔵されており、回転姿勢センサ５１２が四元数データを出力することで、映像表示装置９０３はユーザ１０２の両腕の位置情報を把握する。そして、映像表示装置９０３はユーザ１０２のパドリング動作を検出して、パドリング動作に呼応してＶＲ画面を変化させる。こうして、ユーザ１０２は映像表示装置９０３が描画するＶＲ空間においてカヤックを漕ぐことが可能になる。

更に、映像表示装置９０３はユーザ１０２のパドリング動作に呼応して、電気刺激を指示する信号を第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂに送信する。第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂは電気刺激を指示する信号を受信して、ユーザ１０２の筋肉に電気刺激を与える。すると、ユーザ１０２はあたかも水をかき分けているかのような錯覚を、電気刺激を通じて得ることができる。

［電気刺激装置９０２の外観］
図１０は、電気刺激装置９０２の外観斜視図である。
電気刺激装置９０２はＶ字形状のバンド１００１を備える。このバンド１００１はシリコーンゴム等の柔軟性を有する樹脂シートで構成されている。バンド１００１の両翼部分は、水平線Ｌ１００５から等しい傾斜角度θ１及びθ２だけ傾斜した形状である。傾斜角度θ１及びθ２は例えば３２°である。バンド１００１の表面側の中心部分には長方形形状の回路収納ボックス１００３が設けられている。回路収納ボックス１００３には、後述するワンチップマイコン５０７（図１４参照）や回転姿勢センサ５１２、二次電池などが内蔵されている。

回路収納ボックス１００３の、一方の短辺側の側面には、第一シリアルインターフェース端子１００４が設けられている。第一シリアルインターフェース端子１００４は例えばｍｉｃｒｏＵＳＢ用の端子である。電気刺激装置９０２はこの第一シリアルインターフェース端子１００４を通じて、内蔵する不図示の二次電池を充電する。また、第一シリアルインターフェース端子１００４をパソコン等に接続して、演算処理部の構成要素であるファームウェアをアップデートする等の機能拡張が可能である。

バンド１００１の回路収納ボックス１００３が取り付けられた面とは反対側の裏面（図１０の下側の面）は、図１１にて後述する電極配置面１００１ａである。
電気刺激装置９０２は、後述する図１２Ａ及び図１２Ｂの装着例で説明するように、バンド１００１の裏面である電極配置面１００１ａをユーザ１０２の前腕に巻き付けることで、ユーザ１０２の腕１０２ａに装着される。すなわち、バンド１００１はユーザ１０２の体表面に密着される。

図１１は、電極配置面１００１ａの平面図である。
電極配置面１００１ａには、ユーザ１０２の前腕の筋肉に電気刺激信号を与えるための電極１１０１～１１０８と、その電極１１０１～１１０８とペアで使用される接地電極である電極１１１１～１１１３，１１１６，１１１７とを備える。但し、接地電極については対向する複数の電極について共通で使用するため、電極１１０１～１１０８と電極１１１１～１１１３，１１１６，１１１７の数は一致しない。
加えて、電極配置面１００１ａは、ユーザ１０２の前腕の筋肉の動きを検出する筋変位センサ１１２１～１１２８を備える。

電極配置面１００１ａの右側（図中の左側）には、右側電極配置箇所１１３１が設けられており、右側電極配置箇所１１３１には４個の電極１１０１，１１０２，１１１１，１１１２が配置される。４個の電極１１０１，１１０２，１１１１，１１１２の内で、電極１１０１は第一の電極であり、電極１１０２は第二の電極である。また、電極１１１１は電極１１０１に対向する接地電極であり、電極１１１２は電極１１０２に対向する接地電極である。

電極１１０１と電極１１１１は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Ｌに隣接して配置される。
電極１１０２と電極１１１２も前腕の筋肉に刺激を与える電極であり、周方向Ｈに対して傾斜角度θ２で、傾斜した状態で配置されたほぼ長方形の電極である。電極１１０２と電極１１１２とは、腕の長手方向Ｌに隣接して配置される。

電極配置面１００１ａの中央には、中央電極配置箇所１１３２が設けられており、中央電極配置箇所１１３２には５個の電極１１０３，１１０４，１１０５，１１０８，１１１３が配置される。５個の電極１１０３，１１０４，１１０５，１１０８，１１１３の内で、電極１１０３は第三の電極であり、電極１１０４は第四の電極であり、電極１１０５は第五の電極である。これら３個の電極１１０３，１１０４，１１０５は、腕の長手方向に伸びて、腕の周方向にほぼ平行に並んで配置されている。また、電極１１０８は第八の電極である。この電極１１０８は、腕の周方向に長く伸びた電極である。電極１１１３は、電極１１０３，１１０４，１１０５，１１０８に対向して共通に使用される接地電極である。

電極１１０３と電極１１０４と電極１１０５とは、それぞれのチャンネルごとに前腕のそれぞれ別の筋肉に刺激を与える電極であり、接地電極として電極１１１３が共通に使用される。３つの電極１１０３，１１０４，１１０５は、腕の周方向Ｈに並んで配置され、この３つの電極１１０３，１１０４，１１０５と長手方向Ｌに隣接して配置される共通の接地電極である電極１１１３は、腕の周方向Ｈに長く伸びた長方形の電極である。
電極１１０８は、腕の周方向Ｈに長く伸びた長方形の電極であり、電極１１１３に隣接して配置される。電極１１１３は、電極１１０８の接地電位としても使用される。なお、電極１１０８は予備に使用される電極であり、この電極１１０８は腕の周方向Ｈに長く伸びているため、腕の複数の筋肉に同時に刺激を与えることができる。

電極配置面１００１ａの左側部（図１１中の右側）には、左側電極配置箇所１１３３が設けられており、左側電極配置箇所１１３３には４個の電極１１０６，１１０７，１１１６，１１１７が配置される。４個の電極１１０６，１１０７，１１１６，１１１７の内で、電極１１０６は第六の電極であり、電極１１０７は第七の電極である。また、電極１１１６は電極１１０６に対向する接地電極であり、電極１１１７は電極１１０７に対向する接地電極である。

電極１１０６と電極１１１６は前腕の筋肉に刺激を与える電極であり、周方向Ｈに対して傾斜角度θ１と同じ角度で傾斜した状態で配置された、ほぼ長方形の電極である。
電極１１０７と電極１１１７は前腕の筋肉に刺激を与える電極であり、装着時に腕の長手方向Ｌに隣接して配置される。

電極配置面１００１ａの右側電極配置箇所１１３１の近傍には、２個所に筋変位センサ１１２１，１１２２が配置されている。電極配置面１００１ａの中央電極配置箇所１１３２の近傍には、４個所に筋変位センサ１１２３，１１２４，１１２５，１１２６が配置されている。電極配置面１００１ａの左側電極配置箇所１１３３の近傍には、２個所に筋変位センサ１１２７，１１２８が配置されている。

８個の筋変位センサ１１２１～１１２８は周知のフォトリフレクタである。これらの筋変位センサはそれぞれ赤外線発光素子１１２１ａ～１１２８ａと赤外線受光素子１１２１ｂ～１１２８ｂ（図１４参照）とで構成されており、筋変位センサ配置面から腕の筋肉の表面までの距離の変化を検出する。赤外線発光素子１１２１ａ～１１２８ａは例えば近赤外線ＬＥＤであり、赤外線受光素子１１２１ｂ～１１２８ｂは例えばフォトトランジスタである。

筋肉が収縮すると、筋肉が存在する皮膚の部分に生じる隆起によって、フォトリフレクタと筋肉の表面部分との距離が変動する。フォトリフレクタはこの距離の変動によって生じる近赤外線反射光の強弱を、フォトトランジスタで検出する。近赤外線は皮膚表面を透過する性質を有するので、筋肉の隆起状態を検出することに適している。

なお、電極配置面１００１ａの右側電極配置箇所１１３１、中央電極配置箇所１１３２、左側電極配置箇所１１３３を除く個所には、粘着性を有する樹脂材（不図示）が配置され、その樹脂材の粘着性で、電極配置面１００１ａを前腕に巻き付けた状態で装着できるようにしている。

［電気刺激装置９０２の装着例］
図１２Ａは、電気刺激装置９０２を前腕に装着する直前の状態を示す図である。
図１２Ｂは、電気刺激装置９０２を前腕に装着した直後の状態を示す図である。
図１２Ａに示すように、ユーザ１０２の右腕１０２ｅの前腕ＲＡの手首寄りの個所に、バンド１００１の電極配置面１００１ａ（図１１）の中央部分が触れた状態とする。このときには、図１２Ａに示すように手のひらが上側となった位置とする。また、ほぼＶ字形状をしたバンド１００１の中央にある回路収納ボックス１００３が、手のひら側を向くようにする。

そして、ユーザ１０２は、バンド１００１の両翼を、矢印Ｆ１と矢印Ｆ２で示すように手首に巻き付ける作業を行う。
このようにして、図１２Ｂに示すように、電気刺激装置９０２が前腕ＲＡに巻き付いた状態で装着される。このときには、電極配置面１００１ａに配置した粘着性を有する樹脂材の粘着性で、前腕ＲＡに巻き付いた状態が維持される。
なお、樹脂材の粘着性だけで前腕ＲＡに巻き付いた状態とするのは一例であり、例えばバンド１００１の両端に何らかのクリップ機構を設けて、両者が重なった状態で装着されるようにしてもよい。

このように電気刺激装置９０２は、バンド１００１を前腕ＲＡに巻き付けて固定するため、簡単に装着することができる。そして、バンド１００１がほぼＶ字形状をしているため、ユーザ１０２は装着方向が判りやすく、確実に図１２Ｂに示すような決められた方向に装着することができる。

ところで、図１２Ａ及び図１２Ｂに図示されているように、電気刺激装置９０２は、ユーザ１０２の前腕ＲＡの手首寄りの箇所に巻きつけられる。しかし、その際、電気刺激装置９０２がユーザ１０２の前腕ＲＡの定位置に定まるような指標は前腕ＲＡには設けられていない。つまり、ユーザ１０２が電気刺激装置９０２を前腕ＲＡに装着する度に、その装着位置が微妙にずれることが往々にして生じる。すると、ユーザ１０２が電気刺激装置９０２を前腕に装着する度に、電気刺激装置９０２の電極配置面１００１ａに設けられている電極と筋変位センサと、ユーザ１０２の腕１０２ａの筋肉との相対的な位置関係がずれることとなる。
この「ズレ」を解消するため、発明者らは特許文献２に記載される電極確率行列を作成し、この電極確率行列を更新することで、電気刺激装置９０２における電極と手指の動きとの対応関係を較正する技術を発明した。

［映像表示システム９０１］
図１３は、本発明の実施形態に係る映像表示システム９０１を示す模式図である。
第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信機能を有する。
これら第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂは映像表示装置９０３に接続されて、映像表示装置９０３との接続を確立することが可能である。
図１３中、映像表示装置９０３には近距離無線通信部４０２が接続されており、電気刺激装置９０２との間で双方向通信が確立される。

映像表示装置９０３には、ＶＲ空間でカヤックのパドリングを実現するアプリケーションプログラムが稼働している。そして、映像表示装置９０３は、このアプリケーションプログラムに対するユーザ１０２の操作に応じて、第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂに対し、ユーザ１０２の所定の筋肉へ電気刺激を与える命令を近距離無線通信にて送信する。第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂは、映像表示装置９０３から受信した電気刺激の命令に基づき、ユーザ１０２の所望の筋肉へ電気刺激を与える。

第一電気刺激装置９０２ａは、内蔵する回転姿勢センサ５１２から第一の四元数データを取得して、映像表示装置９０３に送信する。映像表示装置９０３は、第一電気刺激装置９０２ａから受信した第一の四元数データに基づいて第一の電気刺激データを生成し、第一電気刺激装置９０２ａに送信する。そして第一電気刺激装置９０２ａは、第一の電気刺激データに基づいて、指定された電極に電気刺激電圧を印加する。
第二電気刺激装置９０２ｂも同様に、内蔵する回転姿勢センサ５１２から第二の四元数データを取得して、映像表示装置９０３に送信する。映像表示装置９０３は、第二電気刺激装置９０２ｂから受信した第二の四元数データに基づいて第二の電気刺激データを生成し、第二電気刺激装置９０２ｂに送信する。そして第二電気刺激装置９０２ｂは、第二の電気刺激データに基づいて、指定された電極に電気刺激電圧を印加する。

［映像表示装置９０３のハードウェア構成］
映像表示装置９０３のハードウェア構成は、図６で説明した第一の実施形態における映像表示装置９０３と全く同一であるので、説明を省略する。

［電気刺激装置９０２のハードウェア構成］
図１４は、電気刺激装置９０２のハードウェア構成を示すブロック図である。
バス１４０１に接続されているＣＰＵ１４０２、ＲＯＭ１４０３、ＲＡＭ１４０４、Ａ／Ｄ変換器１４０５、そして第二シリアルインターフェース１４０６（「第二シリアルＩ／Ｆ」と略記）は、周知のワンチップマイコン１４０７を構成する。
筋変位センサ１１２１、１１２２、…１１２８を構成する赤外線ＬＥＤである赤外線発光素子１１２１ａ、１１２２ａ、…１１２８ａのアノードは電源電圧ノード＋Ｖｃｃに接続されている。赤外線発光素子１１２１ａ、１１２２ａ、…１１２８ａのカソードは第一マルチプレクサ１４０８を通じて電流制限抵抗Ｒ１４０９の一端に接続されている。電流制限抵抗Ｒ１４０９の他端は接地されている。

筋変位センサ１１２１、１１２２、…１１２８を構成するフォトトランジスタである赤外線受光素子１１２１ｂ、１１２２ｂ、…１１２８ｂのコレクタは電源電圧ノード＋Ｖｃｃに接続されている。赤外線受光素子１１２１ｂ、１１２２ｂ、…１１２８ｂのエミッタは第二マルチプレクサ１４１０を通じてＡ／Ｄ変換器１４０５に接続されていると共に、抵抗Ｒ１４１１ａ、Ｒ１４１１ｂ、…Ｒ１４１１ｈを通じて接地されている。

第一マルチプレクサ１４０８及び第二マルチプレクサ１４１０が、第二シリアルインターフェース１４０６から制御信号を受けて、周期的に切り替え制御される。これにより、Ａ／Ｄ変換器１４０５には時分割で８個の筋変位センサ１１２１、１１２２、…１１２８の電圧信号が入力される。この第一マルチプレクサ１４０８及び第二マルチプレクサ１４１０は、複数の筋変位センサ１１２１、１１２２、…１１２８のうちの１個を選択するセンサ用マルチプレクサと総称することができる。

ワンチップマイコン１４０７のバス１４０１には回転姿勢センサ５１２と近距離無線通信部１４１３も接続されている。第一の実施形態に係る筋肉センサ装置１０５に内蔵されているものと同様の回転姿勢センサ５１２は、四元数データ及び三次元の加速度データを出力する。四元数データ及び三次元の加速度データは、Ａ／Ｄ変換器１４０５を通じて得られた８個の筋変位センサ１１２１、１１２２、…１１２８の情報と共に、近距離無線通信部１４１３を通じて映像表示装置９０３へ送信される。
ワンチップマイコン１４０７のバス１４０１には更に、第一シリアルインターフェース１４１４（「第一シリアルＩ／Ｆ」と略記）が接続されている。なお、この第一シリアルインターフェース１４１４は、不図示の蓄電池に電力を供給するために用いられる他、ＲＯＭ１４０３に格納されているファームウェアをアップデートする際にも用いられる。

第二シリアルインターフェース１４０６には更に、周知のチョークコイルとコンデンサとトランジスタスイッチよりなる昇圧回路１４１５が接続されている。そして、第二シリアルインターフェース１４０６から昇圧回路１４１５に、例えば１００ｋＨｚで、ほぼ電源電圧＋Ｖｃｃに等しい電圧の矩形波パルス信号が供給される。この矩形波パルス信号は、昇圧回路１４１５内の不図示のトランジスタスイッチをオン・オフ制御する。
そして、昇圧回路１４１５によって矩形波パルス信号の電圧は２倍に昇圧される。昇圧回路１４１５が出力する電気刺激電圧は、ＰＷＭスイッチ１４１６と第三マルチプレクサ１４１７を通じて電極１１０１、１１０２、…１１０８に供給される。

ＰＷＭスイッチ１４１６は第二シリアルインターフェース１４０６によって制御され、昇圧回路１４１５によって昇圧された電気刺激電圧にＰＷＭ変調を施す。電気刺激電圧は、ＰＷＭ変調にてデューティ比が変化されるため、筋肉に与える電気刺激電圧が所望の電圧に変更される。第三マルチプレクサ１４１７も第二シリアルインターフェース１４０６を通じて制御され、映像表示装置９０３から近距離無線通信部１４１３を通じて受信した命令に指定された電極が選択される。そして選択された電極にＰＷＭ変調された電気刺激電圧が印加される。
第三マルチプレクサ１４１７は、複数の電極１１０１、１１０２…１１０８のうちの１個を選択する、電極用マルチプレクサということもできる。

［電気刺激装置９０２のソフトウェア機能］
図１５は、本発明の第二の実施形態に係る映像表示システム９０１のうち、電気刺激装置９０２のソフトウェア機能を示すブロック図である。
映像表示装置９０３のソフトウェア機能は図１６で詳細を説明するため、図１５では簡略化した記載にしている。

第一電気刺激装置９０２ａは、映像表示装置９０３に対し、ユーザ１０２の右腕１０２ｅの筋肉の変動と第一電気刺激装置９０２ａ自体の姿勢と加速度を映像表示装置９０３へ送信する。そして、映像表示装置９０３から受信した命令に従って、ユーザ１０２の右腕１０２ｅの筋肉に電気刺激を与える。
８個の筋変位センサ１１２１～１１２８よりなる筋変位センサ群１５０１が出力するアナログ信号は、Ａ／Ｄ変換器１４０５によって筋変位データに変換され、回転姿勢センサ５１２が出力する四元数データ及び三次元の加速度データと共に、近距離無線送信部１５０２を通じて映像表示装置９０３へ送信される。

映像表示装置９０３は、第一電気刺激装置９０２ａから近距離無線受信部１５０３を通じて筋変位データと四元数データ及び三次元の加速度データを受信すると、これらを情報処理部１５０４に供給する。
情報処理部１５０４は、第一電気刺激装置９０２ａから受信した四元数データに後述する処理を行い、動画ファイル７０６の再生制御を行う。情報処理部１５０４が動画ファイル７０６から取得した動画データは、表示部６０５に表示される。

情報処理部１５０４は、四元数データに基づいて、第一電気刺激装置９０２ａの電極１１０１～１１０８に電気刺激電圧を印加するための電気刺激データを生成する。情報処理部１５０４で生成された電気刺激データは、近距離無線送信部１５０５を通じて第一電気刺激装置９０２ａに送信される。

第一電気刺激装置９０２ａの電極駆動制御部１５０６は、近距離無線受信部１５０７を通じて、映像表示装置９０３から出力される電気刺激データを受信すると、電気刺激データに基づいて所望の電極１１０１～１１０８に電気刺激電圧を印加する。なお、電極１１０１～１１０８及び電極１１１１～１１１３は、電極駆動制御部１５０６によってユーザの筋肉に電気刺激を与える電極群を構成する。

電極駆動制御部１５０６は、ユーザ１０２の筋肉に対する電気刺激を指示する電気刺激データに基づいて、この電気刺激電圧を電極１１０１～１１０８に印加する。電気刺激電圧は、電極駆動制御部１５０６から電極１１０１～１１０８に印加されることで、ユーザ１０２の筋肉に印加される。

以上、第一電気刺激装置９０２ａと映像表示装置９０３とのデータ通信の流れを説明した。第二電気刺激装置９０２ｂと映像表示装置９０３とのデータ通信も、第一電気刺激装置９０２ａと同時かつ同様に実行される。

［映像表示装置９０３のソフトウェア機能］
図１６は、映像表示装置９０３のソフトウェア機能を示すブロック図である。
近距離無線受信部１５０３を通じて第一電気刺激装置９０２ａから受信した第一の四元数データは、第一腕回転検査部１６０１に入力される。
近距離無線受信部１５０３を通じて第二電気刺激装置９０２ｂから受信した第二の四元数データは、第二腕回転検査部１６０２に入力される。
第一腕回転検査部１６０１及び第二腕回転検査部１６０２は、近距離無線受信部１５０３から入力される四元数データと、腕回転テーブル７０８を読み込む。そして第一腕回転検査部１６０１及び第二腕回転検査部１６０２は、四元数データが腕回転テーブル７０８に記録されている各レコードの値の範囲内にあるか否かを検査した上で、ユーザ１０２の腕１０２ａが正しく回転軌跡をなぞっているのか否かを判定する。

ユーザ１０２がパドリングを行うと、ユーザ１０２の腕１０２ａは概ね円弧状の軌跡を描く。第一腕回転検査部１６０１及び第二腕回転検査部１６０２は、ユーザ１０２の腕１０２ａが円弧状の軌跡をなぞっている状態を、ユーザ１０２が持つパドル１０４が水を掻いている状態であるものとみなす。
第一腕回転検査部１６０１及び第二腕回転検査部１６０２が、腕回転テーブル７０８を参照して円弧状の軌跡を判定する手順は、第一の実施形態における腕回転検査部７０４と同様であるので、詳細な説明を割愛する。
そして第一腕回転検査部１６０１及び第二腕回転検査部１６０２は、ユーザ１０２の腕１０２ａが円弧状の軌跡をなぞっていると判定した時に、３Ｄ仮想空間においてカヤックが予め定められた所定の距離だけ移動するものと定め、後続の再生制御部１６０３にトリガ信号を出力する。

再生制御部１６０３は、第一腕回転検査部１６０１及び第二腕回転検査部１６０２からトリガ信号を受けると、動画ファイル７０６を所定の時間だけ再生する。例えば２秒間、再生を進める。動画ファイル７０６には河川や海辺等でカヤックを漕いで進む動画が収録されており、動画ファイル７０６の再生を進めると、動画を見るユーザ１０２はあたかも河川や海辺をカヤックで進んでいるような擬似的感覚を得ることができる。
動画ファイル７０６から再生制御部１６０３によって出力される動画データは、表示処理部７０７によって周知のデコード処理等が施され、表示部６０５に表示される。

一方、近距離無線受信部１５０３を通じて第一電気刺激装置９０２ａから受信した第一の四元数データと、第二電気刺激装置９０２ｂから受信した第二の四元数データは、腕座標算出部１６０４にも入力される。
腕座標算出部１６０４は、第一の四元数データに基づいて、ユーザ１０２の右腕１０２ｅが円弧状の軌跡の下半分に位置していると判断した時に、第一電気刺激装置９０２ａに対する電気刺激データを出力する。
同様に腕座標算出部１６０４は、第二の四元数データに基づいて、ユーザ１０２の左腕１０２ｆが円弧状の軌跡の下半分に位置していると判断した時に、第二電気刺激装置９０２ｂに対する電気刺激データを出力する。

なお、図１６に示す映像表示装置９０３では、動画ファイル７０６の再生速度は一定で、ユーザ１０２がパドリングを行う度に動画ファイル７０６を再生する時間間隔も例えば２秒と、固定した時間間隔であった。つまり、映像表示装置９０３は第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂから受信したデータのうち、四元数データのみを利用し、加速度データは捨てていた。
これに対し、第一の実施形態に係る映像再生システムと同様に、第一電気刺激装置９０２ａ及び第二電気刺激装置９０２ｂから受信する三次元の加速度データをそれぞれスカラ値に変換した後、再生制御部１６０３に与えて、動画ファイル７０６の再生速度及び再生時間を加速度の大小に応じて変化させてもよい。つまり、ユーザ１０２が速くパドリングを行ったときは、動画ファイル７０６の再生速度を早くし、動画再生時間を長くする。逆に、ユーザ１０２が遅くパドリングを行った場合には、動画ファイル７０６の再生速度を遅くして、動画再生時間を短くする。

図１７は、ユーザ１０２がパドリングを行う過程における左腕１０２ｆの軌跡と、第二電気刺激装置９０２ｂがユーザ１０２の腕の筋肉を刺激する範囲を説明する概略図である。
図１７Ａは、ユーザ１０２がパドル１０４を持つ左手を前に、右手を後ろに構えた状態を示す概略図である。
図１７Ｂは、ユーザ１０２がパドル１０４を持つ左手を下に、右手を上に構えた状態を示す概略図である。
図１７Ｃは、ユーザ１０２がパドル１０４を持つ左手を後ろに、右手を前に構えた状態を示す概略図である。
図１７Ｄは、ユーザ１０２がパドル１０４を持つ左手を上に、右手を下に構えた状態を示す概略図である。

映像表示装置９０３の腕座標算出部１６０４は、ユーザ１０２の右腕１０２ｅに装着されている第一電気刺激装置９０２ａから出力される第一の四元数データと、左腕１０２ｆに装着されている第二電気刺激装置９０２ｂから出力される第二の四元数データを読み込む。
そして腕座標算出部１６０４は、第一電気刺激装置９０２ａの三次元座標情報と第二電気刺激装置９０２ｂの三次元座標情報を比較して、第二電気刺激装置９０２ｂの高さが第一電気刺激装置９０２ａの高さより低いと判断した時に、第二電気刺激装置９０２ｂに対して電気刺激データを出力する。
同様に腕座標算出部１６０４は、第一電気刺激装置９０２ａの三次元座標情報と第二電気刺激装置９０２ｂの三次元座標情報を比較して、第一電気刺激装置９０２ａの高さが第二電気刺激装置９０２ｂの高さより低いと判断した時に、第一電気刺激装置９０２ａに対して電気刺激データを出力する。

したがって、図１７Ａと図１７Ｃの状態では、第一電気刺激装置９０２ａの高さと第二電気刺激装置９０２ｂの高さが等しいので、第一電気刺激装置９０２ａび第二電気刺激装置９０２ｂのいずれにも、映像表示装置９０３からの電気刺激データは出力されない。
図１７Ｂの状態において、映像表示装置９０３から第二電気刺激装置９０２ｂに電気刺激データが出力される。
図１７Ｄの状態において、映像表示装置９０３から第一電気刺激装置９０２ａに電気刺激データが出力される。

［映像表示装置９０３の機能拡張：３Ｄ仮想空間内のカヤック操舵］
図１６では、再生制御部１６０３は動画ファイル７０６の再生、つまり所定時間の再生及び一時停止を制御した。この動画ファイル７０６は、カヤックが直進することを想定して作成されている。
図１６に示す映像表示装置９０３の機能ブロック図を見ると、第一腕回転検査部１６０１と、第二腕回転検査部１６０２と、ユーザ１０２の腕の座標情報を演算する機能ブロックである腕座標算出部１６０４が独立して設けられている。

すなわち、図１６に示す映像表示装置９０３は、第一腕回転検査部１６０１と第二腕回転検査部１６０２を設けることにより、ユーザ１０２が片腕のみでパドリングを行っている状態を検出することが可能である。例えば、ユーザ１０２が右腕１０２ｅを高く上げ、左腕１０２ｆのみでパドリングを行えば、カヤックは原理的には右折することとなる。勿論、逆もまた然りである。

そして、動画ファイル７０６の代わりにＶＲの３Ｄ仮想空間を表示する仮想空間表示機能を再生制御部１６０３と連動させることで、ユーザ１０２がカヤックを自在にパドリングで操り、仮想現実空間を探索することが可能になる。
図１６中、点線枠で示す３Ｄ空間映像出力部１６０５は、再生制御部１６０３からカヤックの進行方向を示す座標情報を得て、所定の３Ｄ仮想空間映像を再生制御部１６０３へ出力する。

例えば、再生制御部１６０３は、右腕１０２ｅと左腕１０２ｆで交互に１回ずつ漕げば、仮想空間内のカヤックが直進するものと定義する。その上で、再生制御部１６０３は、左腕１０２ｆのみで連続して２回以上漕いだら、仮想空間内のカヤックが１回漕ぐ毎に右１５°方向に所定の距離だけ進むものと定義する。同様に、再生制御部１６０３は、右腕１０２ｅのみで連続して２回以上漕いだら、仮想空間内のカヤックが１回漕ぐ毎に左１５°方向に所定の距離だけ進むものと定義する。すなわち、再生制御部１６０３がユーザ１０２の右腕１０２ｅと左腕１０２ｆの動作に対応する操舵動作を定義する。
以上のように再生制御部１６０３において、ユーザ１０２の右腕１０２ｅと左腕１０２ｆの動作に対応する操舵動作を定義すると、例えば、左腕１０２ｆだけで６回漕げば、仮想空間内のカヤックは右９０°方向に旋回できることがわかる。

３Ｄ空間映像出力部１６０５の具体例の一つとして、例えば米Ｇｏｏｇｌｅ社が提供する、地図情報連動型市街地撮影画像提供サービスであるＳＴＲＥＥＴ ＶＩＥＷ（登録商標）がある。三次元静止画像の集合体である、このＳＴＲＥＥＴ ＶＩＥＷ（登録商標）を再生制御部１６０３に連動させれば、任意の街中を仮想空間に見立てて、パドリングでカヤックを操舵して街中を探索することが可能になる。

なお、仮想空間内でカヤックを左右旋回する機能は、第二の実施形態に係る電気刺激装置９０２の他、第一の実施形態に係る筋肉センサ装置１０５でも実施可能である。左右の腕にそれぞれ筋肉センサ装置１０５を装着すれば、ユーザ１０２の筋肉に電気刺激を与えることができない以外、仮想空間内でカヤックを自在に移動させることが可能である。

上述のように、映像表示装置９０３は、動画ファイル７０６が提供する動画データ、３Ｄ空間映像出力部１６０５が提供する３Ｄ仮想空間映像データ、風景等を撮影した静止画像データ等を表示可能である。すなわち、表示部６０５に表示する対象は動画データに限られない。これら、動画データ、３Ｄ仮想空間映像データ、静止画像データ等を、３Ｄ空間を表現する映像データと総称する。
再生制御部１６０３は、トリガ信号に基づいて、３Ｄ空間を表現する映像データについて、３Ｄ空間内を所定の距離だけ移動する再生制御を実行する。

また、第一の実施形態及び第二の実施形態において、筋肉センサ装置１０５及び電気刺激装置９０２の何れも、筋変位センサのデータを使用していない。
したがって、第一の実施形態においては、筋肉センサ装置１０５に代えてユーザ１０２の腕１０２ａに回転姿勢センサ５１２と近距離無線通信部を設けることで、筋肉センサ装置１０５と同等の機能として、動画ファイル７０６の再生によってカヤックを直進させることができる。

同様に、第二の実施形態においては、電気刺激装置９０２に代えてユーザ１０２の両腕に四元数データを出力する回転姿勢センサ５１２と近距離無線通信部を設けることで、電気刺激装置９０２と同等の機能として、仮想空間内においてカヤックを操舵することができる。但し、この場合には、ユーザ１０２の腕１０２ａに電気刺激を与えることができない。
更に、回転姿勢センサ５１２と映像表示装置９０３をＵＳＢケーブル等で有線接続すれば、近距離無線通信部が不要になる。

前述のように、回転姿勢センサ５１２は、マイコン７０１が演算処理を行うことで、回転姿勢センサ５１２が装着された箇所の回転と姿勢を表す四元数データを出力する。このマイコン７０１の四元数データ演算機能をホスト側である映像表示装置１０７で実行してもよい。すなわち、筋肉センサ装置１０５には三次元加速度センサと三次元角速度センサを実装し、三次元加速度センサが出力する三次元加速度データと、三次元角速度センサが出力する三次元角速度データを、映像表示装置１０７に直接送信する。映像表示装置１０７はこれら三次元加速度データと三次元角速度データを受信して、四元数データを演算する。つまり、四元数データ演算機能を筋肉センサ装置１０５の側に設けるか、映像表示装置１０７の側に設けるかはどちらでもよい。
このことから、筋肉センサ装置１０５は、装着された箇所の回転と姿勢を示す情報を映像表示装置１０７に送信する、と考えることができる。そして、四元数データ演算機能を内包する回転姿勢センサ５１２と、四元数データ演算機能を内包しない三次元加速度センサと三次元角速度センサを、装着された箇所の回転と姿勢を示すデータを出力する回転姿勢検出部と総称することができる。

第一の実施形態に係る映像表示システム９０１において、回転姿勢検出部は、ユーザ１０２の腕１０２ａに取り付けられ、ユーザ１０２の体の動きに伴って変化する、装着された箇所の回転と姿勢を示す回転姿勢データを出力するセンサである。回転姿勢検出部が出力する、装着された箇所の回転と姿勢を示す回転姿勢データは、腕回転検査部７０４が再生制御部１６０３に動画ファイル７０６を一定時間だけ再生するためのトリガ信号を出力するに必要なデータとなる。
腕回転検査部７０４がトリガ信号を出力することができれば、回転姿勢検出部は腕に限らず、足や腰等、ユーザ１０２の体の任意の箇所に取り付けてもよい。この場合、腕回転検査部７０４は、ユーザ１０２の体の動きからトリガ信号を出力する動作検出部となる。

勿論、ユーザ１０２の体の動きもカヤックのパドリングに限定されない。他にも、回転姿勢センサ５１２がユーザ１０２の体の動きを検出する対象として実施可能であるものとして、ジョギング、ランニング、フィットネスバイク等が考えられ、また、フィットネスバイクに代えてロードバイクとローラー台を用いた室内サイクリング練習も考えられる。

本発明の実施形態においては、映像表示システム９０１を開示した。
ユーザ１０２は腕等の体表面に筋肉センサ装置１０５または電気刺激装置９０２を装着する。
映像表示装置９０３の動作検出部は、ユーザ１０２が所定の動作を行うことに呼応して回転姿勢センサ５１２から出力される四元数データに基づいて、トリガ信号を出力する。
映像表示装置９０３の再生制御部１６０３は、トリガ信号に基づいて、３Ｄ空間を表現する映像データの再生を制御する。
ユーザ１０２は３Ｄ仮想空間内でカヤックのパドリング等、所定の動作に呼応して表示部６０５に表示される３Ｄ空間の映像の変化を見ることで、３Ｄ空間内の移動を疑似体験することができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…映像表示システム、１０２…ユーザ、１０３…クッション、１０４…パドル、１０５…筋肉センサ装置、１０６…ＶＲゴーグル、１０７…映像表示装置、１０７ａ…タッチパネルディスプレイ、２０１…本体部、２０２…表側ベルト、２０３…裏側ベルト、２０４…電源スイッチ、２０５…バックル、２０６…穴、２０７…検出孔、４０２…近距離無線通信部、５０１…バス、５０２…ＣＰＵ、５０３…ＲＯＭ、５０４…ＲＡＭ、５０５…Ａ／Ｄ変換器、５０６…第二シリアルインターフェース、５０７…ワンチップマイコン、５０８…第一マルチプレクサ、５１０…第二マルチプレクサ、５１２…回転姿勢センサ、５１３…近距離無線通信部、５１４…第一シリアルインターフェース、５２１～５３４…筋変位センサ、５２１ａ～５３４ａ…赤外線発光素子、５２１ｂ～５３４ｂ…赤外線受光素子、５４０…筋変位センサ群、６０１…バス、６０２…ＣＰＵ、６０３…ＲＯＭ、６０４…ＲＡＭ、６０５…表示部、６０６…操作部、６０７…不揮発性ストレージ、６０８…近距離無線通信部、７０１…マイコン、７０２…近距離無線送信部、７０３…近距離無線受信部、７０４…腕回転検査部、７０５…再生制御部、７０６…動画ファイル、７０７…表示処理部、９０１…映像表示システム、９０２…電気刺激装置、９０２ａ…第一電気刺激装置、９０２ｂ…第二電気刺激装置、９０３…映像表示装置、１００１…バンド、１００１ａ…電極配置面、１００３…回路収納ボックス、１００４…第一シリアルインターフェース端子、１１０１～１１０８、１１１１、１１１２、１１１３、１１１６、１１１７…電極、１１２１～１１２８…筋変位センサ、１１２１ａ～１１２８ａ…赤外線発光素子、１１２１ｂ～１１２８ｂ…赤外線受光素子、１１３１…右側電極配置箇所、１１３２…中央電極配置箇所、１１３３…左側電極配置箇所、１４０１…バス、１４０２…ＣＰＵ、１４０３…ＲＯＭ、１４０４…ＲＡＭ、１４０５…Ａ／Ｄ変換器、１４０６…第二シリアルインターフェース、１４０７…ワンチップマイコン、１４０８…第一マルチプレクサ、１４１０…第二マルチプレクサ、１４１３…近距離無線通信部、１４１４…第一シリアルインターフェース、１４１５…昇圧回路、１４１６…ＰＷＭスイッチ、１４１７…第三マルチプレクサ、１５０１…筋変位センサ群、１５０２…近距離無線送信部、１５０３…近距離無線受信部、１５０４…情報処理部、１５０５…近距離無線送信部、１５０６…電極駆動制御部、１５０７…近距離無線受信部、１６０１…第一腕回転検査部、１６０２…第二腕回転検査部、１６０３…再生制御部、１６０４…腕座標算出部、１６０５…３Ｄ空間映像出力部

Claims (2)

1. ユーザの体の腕に取り付けられ、前記ユーザの体の動きに伴って変化する、前記ユーザの腕の回転と姿勢を示す四元数データである回転姿勢データを出力する回転姿勢センサと、
   前記回転姿勢データに基づき、前記回転姿勢センサが取り付けられている前記ユーザの腕が、円弧状の軌跡における所定の位置に存在していることを検出してトリガ信号を出力する動作検出部と、
   前記トリガ信号に基づいて、３Ｄ空間を表現する映像データについて、３Ｄ空間内を所定の距離だけ移動する再生制御を実行する再生制御部と、
   前記再生制御部から出力される前記映像データを表示する表示部と、を備え、
   前記回転姿勢センサは、前記ユーザの右腕に取り付けられる第一の回転姿勢センサと、 前記ユーザの左腕に取り付けられる第二の回転姿勢センサと、を有し、
   前記動作検出部は、前記第一の回転姿勢センサから出力される第一の四元数データに基づき、前記ユーザの右腕が円弧状の軌跡の下端の所定の位置に位置している時に、トリガ信号を出力する第一腕回転検査部と、前記第二の回転姿勢センサから出力される第二の四元数データに基づき、前記ユーザの左腕が円弧状の軌跡の下端の所定の位置に位置している時に、トリガ信号を出力する第二腕回転検査部と、を有し、
   前記再生制御部は、前記第一腕回転検査部及び前記第二腕回転検査部からトリガ信号を受けると、前記映像データについて、前記３Ｄ空間内を所定の距離だけ移動する再生制御を実行する、
   映像表示システム。
2. さらに、第一の回転姿勢センサが収納されてユーザの一方の腕に装着される第一電気刺激装置と、第二の回転姿勢センサが収納されてcユーザの他方の腕に装着される第二電気刺激装置と、前記第一電気刺激装置及び前記第二電気刺激装置と近距離無線通信を行い前記表示部に前記映像データを表示する映像表示装置と、を有し、
   前記第一電気刺激装置は、
   前記ユーザの体表面に密着される第一のバンドと、
   前記バンドによって前記ユーザの体表面近傍に固定される前記第一の回転姿勢センサと、
   前記バンドの一方の面に複数個配置されている第一の電極群と、前記映像表示装置から所望の筋肉を動かすための第一の電気刺激データを受信する第一の近距離無線受信部と、
   前記第一の近距離無線受信部を通じて前記映像表示装置から出力される電気刺激データに基づいて、前記第一の電極群のうちの所望の電極に電気刺激電圧を印加する第一の電極駆動制御部と、
   前記第一の回転姿勢センサから出力される第一の四元数データを前記映像表示装置に送信する第一の近距離無線送信部と、を備え、
   前記第二電気刺激装置は、
   前記ユーザの体表面に密着される第二のバンドと、
   前記バンドによって前記ユーザの体表面近傍に固定される前記第二の回転姿勢センサと、
   前記バンドの一方の面に複数個配置されている第二の電極群と、
   前記映像表示装置から所望の筋肉を動かすための第二の電気刺激データを受信する第二の近距離無線受信部と、
   前記第二の近距離無線受信部を通じて前記映像表示装置から出力される電気刺激データに基づいて、前記第二の電極群のうちの所望の電極に電気刺激電圧を印加する第二の電極駆動制御部と、
   前記第二の回転姿勢センサから出力される第二の四元数データを前記映像表示装置に送信する第二の近距離無線送信部と、を備え、
   前記映像表示装置は、
   前記第一電気刺激装置から前記第一の四元数データを受信すると共に、前記第二電気刺激装置から前記第二の四元数データを受信する第三の近距離無線受信部と、
   前記第三の近距離無線受信部を通じて前記第一の回転姿勢センサから出力される第一の四元数データに基づき、前記ユーザの右腕が円弧状の軌跡の下端の、所定の位置に位置している時にトリガ信号を出力する前記第一腕回転検査部と、
   前記第三の近距離無線受信部を通じて前記第二の回転姿勢センサから出力される第二の四元数データに基づき、前記ユーザの左腕が円弧状の軌跡の下端の、所定の位置に位置している時にトリガ信号を出力する前記第二腕回転検査部と、
   前記第一の四元数データに基づいて、前記ユーザの一方の腕が所定の軌跡の所定の位置に位置していると判断した時に、前記第一電気刺激装置に対する前記第一の電気刺激データを出力すると共に、前記第二の四元数データに基づいて、前記ユーザの他方の腕が所定の軌跡の所定の位置に位置していると判断した時に、前記第二電気刺激装置に対する前記第二の電気刺激データを出力する腕座標算出部と、
   前記第一の電気刺激データを前記第一電気刺激装置に送信すると共に、前記第二の電気刺激データを前記第二電気刺激装置に送信する、第三の近距離無線送信部と、を備える、
   請求項１に記載の映像表示システム。

Images