JP7060544B2 - 運動用設備 - Google Patents

Description

本発明は、映像と運動の体験を同時に提供する技術に関する。

特許文献１、２には運動器具と映像装置とを組合せた運動用設備が開示されている。

また近年では、より臨場感を増した運動用設備が提案されている。非特許文献１には、大型ディスプレイにより映像を提供し、運動中の映像体験を向上する運動用設備が提案されている。また、非特許文献２－４には、ヘッドマウントディスプレイにより映像を提供し、運動中の映像体験を向上する運動用設備が提案されている。

特開２０００－２９６１８５号公報 特開２０１１－９７９８８号公報

"THE TRIP（登録商標）"、LesMILLS（登録商標）、[online]、[2019年3月19日検索]、インターネット<URL : https://www.lesmills.com/workouts/fitness-classes/the-trip/> "ICAROS PRO（ICAROSは登録商標）"、ICAROS GmbH、[online]、[2019年3月19日検索]、インターネット<URL : https://www.icaros.com/en/products/icaros-pro/> "HOLOFIT（登録商標）"、FUN AND BODY、[online]、[2019年3月19日検索]、インターネット<URL : http://www.funandbody.com/wp-content/uploads/2017/07/05a3b4350d60984d4ba358da5d52b3ee.pdf> VirZOOM、"VirZOOM"、[online]、[2019年3月19日検索]、インターネット<URL : https://www.virzoom.com/>

非特許文献１に示された運動用設備では、ユーザは大型ディスプレイに表示される映像を見ながら運動を行う。大型ディスプレイにより臨場感や没入感が増す効果はある程度は期待できる。しかし、運動器具での運動でユーザの身体が動いても大型ディスプレイに表示される映像はその動きに追従しない。そのため、ユーザが実際に映像の世界に入ったような高い臨場感および没入感が得られるとは言えなかった。

非特許文献２－４に示された運動用設備は、ヘッドマウントディスプレイに表示される映像を見ながら運動を行う。ヘッドマウントディスプレイにはユーザの視点から見える仮想現実の映像が表示されるので、高い臨場感や没入感が期待できる。

しかし、ヘッドマウントディスプレイは額に密着しているので、ユーザが運動で汗をかいたときに不快に感じる可能性があるという問題があった。また、汗でヘッドマウントディスプレイの画面が曇り映像が見えなくなる可能性があるという問題もあった。また、ヘッドマウントディスプレイと顔の間に髪の毛が挟まってユーザに不快感を与える可能性があるという問題もあった。また、ヘッドマウントディスプレイの重さが運動の妨げになる可能性があるという問題もあった。また、運動することでヘッドマウントディスプレイがずれてしまう可能性があるという問題もあった。

また、ヘッドマウントディスプレイを着用している状態では、ユーザは足元や周囲の状況が全く分からないことに不安感を持つことがあった。また、ユーザは足元や周囲が見えない状況で身体のバランスに気を配らなければならないことがあった。

本開示のひとつの目的は、ユーザに高い臨場感や没入感を与えつつ、ユーザの不安感や不快感を低減することが可能な運動用設備を提供することである。

本開示のひとつの態様に従う運動用設備は、ユーザに所定の運動を行わせるための運動装置と、前記ユーザが前記運動装置により運動を行うとき、所定の基準座標系における前記ユーザの視点位置を測定する測定装置と、前記視点位置から、固定された画面を介して前記基準座標系の仮想空間上の物体を見たときの見え方を疑似する前記物体の表示映像を、前記視点位置に応じて生成し、前記表示映像を前記画面に表示する映像装置と、を有する。

ユーザに高い臨場感や没入感を与えつつ、ユーザの不安感や不快感を低減することができる。

第１実施形態による運動用設備の概略構成図である。 視点位置に追従する表示映像について説明するための概念図である。 視点位置の算出について説明するための概念図である。 運動用設備の設置例を示す平面図である。 運動用設備による運動ゲームの処理を示すフローチャートである。 映像装置が表示するゲーム映像の一例を示す図である。 第２実施形態による運動用設備について説明するための平面図である。 第３実施形態においてユーザの状態を特定する方法について説明するための概念図である。 ユーザの特定部位が出入する領域の画素の深度値の総和の一例を示すグラフである。 第４実施形態による運動用設備の概略平面図である。 第５実施形態による運動用設備の概略構成図である。 第６実施形態による運動用設備の概略構成図である。 高さ方向の追従性の制御例を示すグラフである。 第７実施形態における表示映像の生成について説明するための概念図である。

以下、本発明の実施形態について図面を参照して説明する。

（第１実施形態）
図１は、第１実施形態による運動用設備の概略構成図である。運動用設備１０は運動装置１１と測定装置１２と映像装置１３とを有している。測定装置１２は、情報処理装置１４とセンサ１６とで実現されている。映像装置１３は、情報処理装置１４と投射装置１５とスクリーン１７とで実現されている。スクリーン１７は３面のスクリーン１７Ａ、１７Ｂ、１７Ｃを有している。情報処理装置１４はプロセッサでソフトウェアプログラムを実行するコンピュータであり、測定装置１２と映像装置１３とに共用されている。

運動装置１１は、ユーザ１９に所定の運動を行われるための運動装置である。本実施形態では、運動装置１１は、ユーザ１９に自転車こぎ運動をさせるためのフィットネスバイクである。

測定装置１２は、ユーザ１９が運動装置１１で運動を行うとき、所定の基準座標系におけるユーザ１９の視点位置１９Ａを測位する。視点位置１９Ａは、目の位置に相当する位置である。処理に用いる具体的な視点位置１９Ａは特に限定されないが、例えば、両目の中間点、頭部の中心点、両目の中心から所定寸法だけ頭部の内側の位置などを視点位置１９Ａとして用いることができる。

図１には基準座標系の一例として、ユーザ１９の右方向に向かうＸ軸と上方向に向かうＹ軸と後ろ方向に向かうＺ軸とを有する直行座標系が示されている。投射装置１５、センサ１６、スクリーン１７は位置および姿勢がこの基準座標系に固定されている。姿勢は、Ｘ軸周り方向のＹａｗとＹ軸周り方向のＰｉｔｃｈとＺ軸周り方向のＲｏｌｌとで表される。

映像装置１３は、視点位置１９Ａから、固定された画面を介して、基準座標系の仮想空間上の物体を見たときの見え方を疑似する物体の表示映像を、視点位置１９Ａに応じて生成し、その表示映像をその画面に表示する。本実施形態では、基準座標系に固定された画面はスクリーン１７の画面である。スクリーン１７は３面のスクリーン１７Ａ、１７Ｂ、および１７Ｃを有しているので、映像装置１３は、スクリーン１７Ａ、１７Ｂ、１７Ｃのそれぞれの画面に、視点位置１９Ａからそれぞれの画面を介して見える仮想空間上の物体の表示映像を、それぞれの画面に表示する。例えば、映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像として予め内部の記憶装置に格納しておき、ユーザ１９にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理により、三次元映像から表示映像を生成する。その際、映像装置１３は、例えば、スクリーン１７Ａの画面に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをスクリーン１７Ａの画面、すなわち二次元の面に投影させるような射影変換を行う。スクリーン１７Ｂ、１７Ｃについても映像装置１３は同じ処理で表示映像を生成する。

以上、本実施形態によれば、ユーザ１９の視点位置１９Ａに応じた映像がスクリーン１７に表示されるので、ユーザ１９に運動と映像を融合した高い臨場感や没入感を与えることができる。また、本実施形態では、ヘッドマウントディスプレイではなく固定された画面に映像を表示する方式を採用しているので、ヘッドマウントディスプレイを付けて運動するときのような不安感や不快感をユーザ１９に与えることはない。

なお、ここでは映像装置１３が三次元映像を元映像として表示映像を生成する例を示したが、元映像は二次元映像であってもよい。二次元映像を基にスクリーン１７の画面に表示す表示映像を生成する処理の例については後述する。

また、ここでは運動装置１１の一例としてフィットネスバイクを例示したが、他の運動装置であってもよい。他の例として、ユーザ１９にランニングおよび／またはウォーキングの運動を行わせるためのトレドミル、ユーザ１９に船漕ぎ運動を行わせるためのローイングマシン、乗馬運動を行わせるための乗馬運動マシン、ユーザ１９に腕と足を連動した運動を行わせるためのクロストレーナー、ユーザ１９に階段運動を行わせるためのステアクライマなどがある。

また、ここでは、ヘッドマウントディスプレイのようにユーザの頭部と共に動く画面ではない、固定された画面の一例として、スクリーン１７の画面を示した。そして、投射装置１５からスクリーン１７の画面に映像を投射する例を示したが、映像装置１３は他の構成も可能である。他の例として、投射装置１５とスクリーン１７に代えて液晶ディスプレイあるいは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等のディスプレイ装置を用いてもよい。

以下、本実施形態の運動用設備１０を更に詳しく説明する。

測定装置１２は、視点位置１９Ａを継続的に測定し、映像装置１３は、表示映像を視点位置１９Ａに追従するように生成し、スクリーン１７の画面に表示する。これによれば、ユーザ１９が運動することで頭部が動いたときにそれに伴って動く視点位置１９Ａに追従して映像が変化するので、ユーザ１９に運動と映像を融合した高い臨場感や没入感を与えることができる。視点位置１９Ａへの追従は、描画内容がその時点の視点位置１９Ａから見た見え方の画像を生成し、描画することである。

図２は、視点位置に追従する表示映像について説明するための概念図である。これは運動用設備１０を上から見た概念図である。物体２１～２８は、スクリーン１７Ａ～１７Ｃに表示映像として表示される基準座標系に配置された仮想的な物体である。ユーザ１９が自転車こぎ運動を行うことにより、視点位置１９Ａが、図２において実線と破線とで示されているように左右に動くものとする。視点位置１９Ａが図２に示すように移動すると、スクリーン１７Ａ、１７Ｂ、１７Ｃの画面に表示すべき画像は変化する。例えば、視点位置１９Ａが左側（実線）にあるときには物体２２の全体がスクリーン１７Ａに表示されるが、視点位置１９Ａが右側（破線）にあるときには物体２２はスクリーン１７Ａとスクリーン１７Ｂに跨ぐように表示される。

本実施形態の測定装置１２は、ユーザ１９の頭部を含む領域を撮像する撮像部と、撮像部にて撮像されたユーザ１９の頭部の位置に基づいて視点位置１９Ａを定める算出部とを有する構成である。撮像部は図１に示したセンサ１６により実現される。算出部は図１に示した情報処理装置１４により実現される。

本実施形態では、センサ１６（撮像部）は、各画素におけるセンサ１６から物体（ここではユーザ１９の人体）までの深度を測定するデプスセンサである。情報処理装置１４により実現される算出部は、センサ１６で測定された各画素の深度に基づいて、人体の形状を推定し、その人体における頭部の位置に基づいて視点位置１９Ａを算出する。これによれば、各画素の深度から人体形状を推定し、その人体形状における頭部の位置を用いるので、運動によりユーザ１９の体の位置や向きが様々に変化しても視点位置を高い精度で特定できる。

図３は、視点位置の算出について説明するための概念図である。基準座標系におけるセンサ１６の位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）と姿勢（Ｙａｗ_ｓ，Ｐｉｔｃｈ_ｓ，Ｒｏｌｌ_ｓ）が予め設定されている。センサ１６で取得される各画素の深度と、センサ１６の位置および姿勢とから視点位置１９Ａの座標（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）とを算出することができる。なお、図３に示すように、スクリーン１７Ｂの基準座標系における位置（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）、姿勢（Ｙａｗ_ｍ，Ｐｉｔｃｈ_ｍ，Ｒｏｌｌ_ｍ）、および形状（Ｈｅｇｈｔ_ｍ，Ｗｉｄｔｈ_ｍ）も予め設定されている。スクリーン１７Ａ、１７Ｃも同様に位置、姿勢、および形状が予め設定されている。

センサ１６が撮像する画像は、深度画像であってもよいし、深度画像と可視画像であってもよい。例えば、撮像部は、深度画像を撮像するセンサと、可視画像を撮像するカメラとを含み、算出部は、深度画像と可視画像の両方を用いて視点位置１９Ａを算出することにしてもよい。

また、図１および図３の例では、センサ１６は、ユーザ１９の背後に設置された例を示したが、ユーザ１９の前方にスクリーン１７に重ならない位置に配置することも可能である。

また、算出部は、センサ１６で取得される各画素の深度に基づいて人体の形状を推定し、その人体における頭部の位置に基づいて視点位置１９Ａを算出するものとしたが、他の構成も可能である。センサ１６は、一例として、ユーザ１９の頭部よりも高い位置にあり、算出部は、センサ１６で取得される各画素の深度から頭部の領域を抽出し、その領域の画像における位置に基づいて頭部の位置を算出し、頭部の位置に基づいて視点位置１９Ａを算出するものであってもよい。これによれば、頭上の撮像装置（カメラ）でユーザ１９の頭部を捉えて視点位置を定めるので、逆立ち等により頭上のカメラからユーザの頭部が撮影できなくなるような運動でなければ、ユーザが運動しても視点位置を決めることができる。

センサ１６の設置位置と視点位置１９Ａを算出する処理とは任意に組み合わせることが可能である。

また、ここでは、映像装置１３は、ユーザ１９の正面を含む所定範囲に拡がるスクリーン１７と、スクリーン１７に表示映像を投射する投射装置１５（プロジェクタ）と、を有する。これによれば、スクリーンとプロジェクタとで映像を表示するので、フィットネスジム等に小さい設置面積で設備を構築することができる。

なお、ここでいうユーザ１９の正面とは、ユーザ１９が運動装置１１を使用しているときに顔が向く方向として予め固定された方向を意味するものであり、ユーザ１９が動いても変化する者ではない（以下、同様）。また、本構成は一例であり、他の構成も可能である。他の例として、映像装置１３は、ユーザ１９の正面を含む所定範囲に拡がる液晶もしくは有機ＥＬなどのディスプレイ装置、を有するものであってもよい。

図４は、運動用設備の設置例を示す平面図である。図４を参照すると、２つの運動用設備１０が横並びに設置されている。運動用設備１０は、ユーザ１９の正面にある前方壁３１と、その壁と９０度の角度をなして接する側方壁３２とを有し、前方壁３１と側方壁３２とで三方が囲われている。

映像装置１３は、ユーザ１９の正面を含む所定範囲に広がるスクリーン１７Ａ～１７Ｃと、ユーザ１９の頭部よりも高い位置にありスクリーン１７Ａ～１７Ｃに表示映像を投射する投射装置１５（プロジェクタ）とを有しており、前方壁３１と側方壁３２とが連続的にスクリーン１７Ａ、１７Ｂ、１７Ｃを構成している。これによれば、ユーザ１９の正面の前方壁３１と側方の側方壁３２とで連続的にスクリーン１７Ａ～１７Ｃを構成するので、設備の横幅を抑えつつユーザ１９に横方向に広がりのある映像を提供し、高い臨場感および没入感を与えることができる。

なお、ここでは、投射装置１５をユーザ１９の頭部よりも高い位置に設置する例を示した。具体的には、スクリーンまでの距離が短くても大きな画面に映像を表示できる１台の超短焦点プロジェクタをユーザ１９の頭部より高い位置に配置し、前方壁３１および側方壁３２のスクリーン１７Ａ～１７Ｃに映像を投射する例である。しかし、他の構成も可能である。例えば、リアプロジェクション方式プロジェクタを用いてスクリーンの背後から表示映像を投射する構成を採用しても良い。また、プロジェクタからミラーを介してスクリーンに表示映像を投射することにより、プロジェクタとスクリーンとの相対位置の自由度を向上する構成を採用してもよい。

また、ここでは、スクリーン１７をユーザ１９の正面と両側方の三面に構成する例を示したが、他の構成も可能である。天井、床、およびユーザの背面のいずれか１つあるいは２つあるいは全てにもスクリーン１７を構成し、４面、５面、あるいは６面にスクリーン１７を構成することにしてもよい。

また、ここでは、１台のプロジェクタを用いる例を示したが、複数のプロジェクタを用いてもよい。その場合にスクリーンの平面の数と同数のプロジェクタを用いても良い。本実施形態のように３面のスクリーン１７Ａ～１７Ｃを配置した場合に、それぞれのスクリーンに対応させて３台プロジェクタを配置してもよい。あるいは、スクリーンの数とプロジェクタの台数が一致していなくてもよい。例えば、３面のスクリーン１７Ａ～１７Ｃに２台のプロジェクタで表示映像を投射する構成も可能である。また、３面のスクリーン１７Ａ～１７Ｃに４台のプロジェクタで表示映像を投射する構成も可能である。

また、図４に示した設置例では、２つの運動用設備１０が横方向に並べて配置され、２つの運動用設備１０がそれらの間の側方壁３２を共用し、その側方壁３２の両面が一方の運動用設備１０のスクリーン１７Ａと他方の運動用設備１０のスクリーン１７Ｃを構成している。これによれば、ユーザ１９に横方向に広がりのある映像を提供できる複数の運動用設備１０を限られた設置面積で効率的に構築することができる。

また、本実施形態の運動装置１１であるフィットネスバイクは自転車こぎという、運動により移動することを疑似する運動を行うための装置であり、ユーザ１９の状態および／または運動装置１１の状態に基づく通知情報を映像装置１３に送信する。この通知情報は移動距離に関する情報である。移動距離に関する情報は、その情報に基づいて移動距離および移動速度を算出することを可能にする情報である。情報の例として、ペダルを１回転させる毎に発生するパルス信号、１分間に何回転するかというようなペダルの回転速度を表すコード信号などがある。ペダルの１回転により所定距離だけ移動するものと定めることによりパルス信号から移動距離を算出することができる。そして移動距離とその移動に要する時間とに基づいて移動速度を算出することができる。また、ペダルの１回転により所定距離だけ移動するものと定めることによりペダルの回転速度から移動速度を算出することができる。そして移動速度とその移動時間とに基づいて移動距離を算出することができる。

映像装置１３は、運動装置１１から受信した通知情報に基づいて表示映像を制御する。具体例として、映像装置１３は、通知情報から移動速度を算出し、その移動速度でユーザ１９が仮想空間内を移動しているような表示映像を表示する。例えば通知情報から得られる移動速度が速くなれば仮想空間上で移動する速度も速くなる。これによれば、ユーザおよび／または運動装置の状態を映像に反映させることができるので、臨場感や没入感を高めることができる。

ユーザ１９が仮想空間内を移動しているような表示映像とは、仮想空間の景色を移動させる映像であっても良いし、移動を想起させる映像効果を施した映像であってもよい。あるいは、景色を移動させ、かつ、移動を想起させる映像効果を施した映像であってもよい。また、ユーザ１９が仮想空間を移動しているような表示映像は、通知情報から算出した移動速度あるいは移動距離に基づくものでなくてもよい。通知情報に基づいて移動があれば、予め定めた速度で仮想空間内を移動するような表示映像を表示することにしてもよい。

また、映像装置１３は、通知情報に基づく表示映像の制御として、ユーザ１９が運動を止めた移動しなくなったら仮想空間上での移動を停止する。そのとき、次の操作を促すメニュー情報を表示映像に重畳して表示することにしてもよい。また、映像装置１３は、ユーザ１９が所定の運動を行ったことで所定の通知情報が受信されたら、表示映像の場面を切り替えることにしてもよい。

本実施形態による運動用設備１０は、一例として、ユーザ１９にゲームを提供するものである。

以下、本実施形態による運動用設備１０がゲームを提供する構成および動作について説明する。

本実施形態のゲームは、スクリーン１７上の映像にて自転車で走行するインストラクタと同様の運動を運動装置１１にて行うゲームである。具体的には、本ゲームは、ユーザ１９の運動による移動距離および移動速度を利用したゲームである。ユーザ１９は、映像内のインストラクタが自転車をこぐ速度の所定範囲内の速度で所定目標距離だけ走行するように、運動装置１１で自転車漕ぎ運動を行うゲームである。本ゲームによれば、ユーザ１９は疑似場面でのインストラクタについていくように自転車を漕ぐ運動を行うことで自然と効果的な運動を行うことができる。

図５は、運動用設備による運動ゲームの処理を示すフローチャートである。

映像装置１３は、ゲーム開始時にゲーム映像の表示を開始する（ステップＳ１０１）。映像装置１３は、ユーザ１９から見える疑似場面において行動するオブジェクトの映像をゲーム映像としてスクリーン１７に継続的に表示する。具体的には、映像装置１３は、疑似場面において擬人化されたオブジェクトが自転車を漕いで走行する映像を表示する。ゲーム映像は実写映像であってもよいし、ＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）映像であってもよい。

さらに、映像装置１３は、指標値の計測を開始する（ステップＳ１０２）。計測される指標値には、ユーザ１９の状態が、オブジェクトの疑似場面上での行動と所定条件を満たしている時間に応じた指標値が含まれる。具体的には、映像装置１３は、プレイ時間とシンクロ距離を計測する。プレイ時間はゲーム開始からの経過時間である。

シンクロ距離は、ユーザ１９の状態が、オブジェクトの疑似場面上での行動と所定条件を満たしている時間に応じた指標値の一例であり、ユーザ１９が運動装置１１のペダルを漕ぐ速度と、疑似場面においてオブジェクトが自転車を漕ぐ速度との差が所定値以下である時間にユーザ１９が自転車で走行した距離に相当する距離の累積値である。

例えば、オブジェクトの自転車のペダルの回転速度を、オブジェクトが自転車を漕ぐ速度とし、それを目標回転速度とする。目標回転速度はゲームの中で予め設定されている。目標回転速度は、固定値であってもよいし、変動する値であってもよい。運動装置１１のペダルの回転速度を、ユーザ１９が運動装置１１のペダルを漕ぐ速度とし、これを実測回転速度とする。運動装置１１から映像装置１３へ送信される通知情報に示されているか、あるいは通知情報から算出可能である。

映像装置１３は、実測回転速度と目標回転速度の差が所定値以下であるとき、ユーザ１９がオブジェクトに同期していると判断し、ユーザ１９がオブジェクトに同期してる時間をシンクロ時間として計測する。

シンクロ時間をＴｓｙｎ［ｓｅｃ］とし、目標回転速度をＲ［ｒｐｍ（ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ）］とし、ペダルが１回転する間に自転車が前進する距離をｌ［ｍ］とすると、シンクロ距離Ｌｓｙｎ［ｍ］は式（１）により算出することができる。
Ｌｓｙｎ＝ｌ×Ｔｓｙｎ×（Ｒ／６０） …（１）
なお、式（１）は目標回転速度を用いてシンクロ距離を算出するものであるが、これに限定されない。目標回転速度ではなくその代わりに実測回転速度を用いてシンクロ距離を算出することにしてもよい。

図６は、映像装置が表示するゲーム映像の一例を示す図である。図６には映像装置１３のスクリーン１７Ａ、１７Ｂ、１７Ｃが示されている。スクリーン１７Ａ、１７Ｃは、実際には、上述したようにユーザ１９の正面のスクリーン１７Ｂと９０度の角度をなして、ユーザ１９を囲むように配置されるものであるが、図６では映像の内容が見やすくなるようにスクリーン１７Ｂと同一平面に開いた状態で示している。

図６を参照すると、スクリーン１７Ａ～１７Ｃには、疑似場面において自転車で走行するインストラクタを模擬する擬人化されたオブジェクト４１が表示されている。ユーザ１９が運動装置１１のペダルを漕ぐとそれに伴って、疑似場面の背景映像が移動する。ユーザ１９はオブジェクト４１とともに疑似場面の中で自転車を漕いで走行する。

また、オブジェクト４１の近傍には目標回転速度を示す目標回転速度提示部４２が表示されている。ここでは目標回転速度は６０［ｒｐｍ］である。また、スクリーン１７Ｂの右下の領域には実測回転速度を示す実測回転速度提示部４３が表示されている。ユーザ１９は運動装置１１のペダルを５８［ｒｐｍ］で回転させている。また、スクリーン１７Ｂの右上の領域にはゲーム状態表示部４４が表示されている。ゲーム状態表示部４４には、シンクロ距離と、インストラクタの速度の所定範囲内の速度で走行すべき距離（目標距離）とが表示されている。ここではシンクロ距離が５８９［ｍ］であり、目標距離が３０００［ｍ］である。

図５に戻り、映像装置１３は、シンクロ距離Ｌｓｙｎが所定の目標距離（閾値Ｌｔｈ）に達しているか否か判定する（ステップＳ１０３）。シンクロ距離Ｌｓｙｎが目標距離Ｌｔｈに達していれば、映像装置１３はゲームクリアと決定し、その旨を表示する（ステップＳ１０４）。

シンクロ距離が目標距離に達していなければ、映像装置１３は、プレイ時間Ｔｐｌｙが制限時間（閾値Ｔｍａｘ）に達しているか否か判定する（ステップＳ１０５）。プレイ時間Ｔｐｌｙが制限時間Ｔｍａｘに達していたら映像装置１３はゲームオーバーと決定し、その旨を表示する（ステップＳ１０６）。

以上のように、本実施形態による運動用設備１０では、映像装置１３は、ユーザ１９から見える疑似場面で行動するオブジェクト４１を継続的に表示し、ユーザ１９の状態がオブジェクト４１の疑似場面での行動と所定条件を満たしている時間に応じた指標値を計測し、その指標値が所定値に達すると、疑似場面で運動の終了を表示する。ユーザ１９はオブジェクト４１の行動と所定条件を満たすように運動を行うことで、疑似場面の中でインストラクターに着いて運動を行っているような臨場感や没入感を伴う運動を行わせることができる。また、疑似場面でオブジェクト４１に好適な行動を行わせることで、ユーザに効果的な運動を行わせることができる。疑似場面においてオブジェクト４１も自転車に乗って走行するので、ユーザは同じ速度で走行するように運動を調整することで容易に効果的な運動を行うことができる。

なお、映像装置１３は、例えばゲーム中に、ユーザ１９の視点位置１９Ａが所定範囲外に出たことに応じて画面の表示を変化させる。例えば、ユーザが運動をやめときや運動装置１１を停止させたときに、それと連動して、映像を停止したり、メニューその他テキストを含む所定の画像を表示したりする。ユーザ１９が運動装置１１から降りたようなときに画面の表示を変化させることができるので、運動用設備１０としての利便性を高めることができる。

また、本実施形態ではオブジェクトが、ユーザ１９が行う運動と同様の運動を行う例を示したが、他の行動をしてもよい。例えば、オブジェクトはオートバイでユーザ１９を先導するインストラクターを模擬したものであってもよい。また、オブジェクトは、ユーザ１９の前方を走行する自動車に乗車しており、ユーザ１９に声をかけるイストラクタを模擬したものであってもよい。また、オブジェクトは擬人化したものでなくてもよい。例えば、ユーザ１９が目標とするマーカーのオブジェクトを表示してもよい。また、複数のオブジェクトを表示してもよい。

また、本実施形態では、オブジェクト４１がユーザ１９と実質的に同じ行動を疑似場面で行う。これにより、疑似場面でのオブジェクト４１の行動を真似ることで、ユーザ１９は容易に運動を行うことができる。

上述したように、本実施形態のゲームの基本部分において、運動装置１１は、ユーザ１９に自転車による走行を模擬する運動を行わせるためのフィットネスバイクである。映像装置１３は、疑似場面で自転車により走行するオブジェクト４１を表示し、ユーザ１９がペダルを漕ぐ速度が、オブジェクト４１が自転車のペダルを漕ぐ速度と所定条件を満たしている時間を計測し、計測された時間が所定時間に達すると、疑似場面でオブジェクトが自転車による走行の終了を表示するというものである。本ゲームに以下のような構成および動作を加えてもよい。

映像装置１３は、ユーザ１９がペダルを漕ぐ速度と、オブジェクト４１がペダルを漕ぐ速度との差分に応じて、オブジェクト４１がユーザ１９に速度の調整を促す映像を表示するようにしてもよい。

また、測定装置１２は、ユーザ１９が身体の所定部位（例えば首あるいは胴体）または運動装置１１を傾けたこと、または運動装置１１のハンドルを傾けたことを指示行動として特定し、映像装置１３は、指示行動が特定されたら、疑似場面でのユーザ１９の自転車に所定の動きをさせたときにユーザ１９から見える疑似場面の映像を表示してもよい。その際、例えば、測定装置１２は、センサ１６で取得した深度の画像に基づいて人体の形状を推定し、その人体の形状に基づいて、所定の部位が傾いたことを特定すればよい。測定装置１２は、センサ１６で取得した深度の画像に基づいて運動装置１１の形状を推定し、その形状に基づいて、運動装置１１あるは運動装置１１のハンドルが傾いたことを特定すればよい。

フィットネスバイクは実際には移動しないため、疑似場面での自転車の動きをフィットネスバイクの動きにより表現するのは困難である。しかし、本構成によれば、首を傾ける等の直感的な動作により、疑似場面で自転車に動きを与えことができる。

具体的には、測定装置１２は、ユーザ１９が身体の所定部位（例えば首あるいは胴体）または運動装置１１を傾けたこと、または運動装置１１のハンドルを傾けたことを、その傾けた方向を指示する方向指示行動として特定し、映像装置１３は、方向指示行動が特定されたら、映像装置１３は、疑似場面において、方向指示行動で指示された方向へユーザ１９の自転車を移動させてよい。例えば、コース上でのユーザ１９の自転車の横方向の位置を変化させることができ、障害物を避けて追い越すといった行動が可能となる。

また、測定装置１２は、ユーザ１９が運動装置１１のペダルに立ち上がるのを特定し、映像装置１３は、ユーザ１９がペダルに立ち上がると、疑似場面でのユーザ１９が所定の行動をしたときのユーザ１９から見える疑似場面の映像を表示することにしてもよい。フィットネスバイクなどの運動装置１１上でのユーザ１９の行動は制限される。しかし、本構成によれば、ペダルに立ち上がるという動作により、疑似場面でユーザ１９に行動をさせることができる。例えば、疑似場面において、手を伸ばしてコース上にある物体を掴み取るというような行動を疑似することができる。

また、複数の運動用設備１０を連携させたゲームも可能である。各運動用設備１０のユーザ１９同士が対戦したり、協力して目的を達成したりすることが可能である。

その場合、ある運動用設備１０の映像装置１３は他運動用設備１０へ自身のユーザ（自ユーザ）１９の状態に基づく自ユーザ情報を送信し、他運動用設備１０からその他運動用設備１０のユーザ（他ユーザ）１９の状態に基づく他ユーザ情報を受信し、他ユーザ情報に基づいて、自ユーザ１９から見える疑似場面で行動するオブジェクトを表示することにしてもよい。このとき、自ユーザ情報および他ユーザ情報の送受信は、有線あるいは無線通信あるいはそれらの併用などどのような通信手段で実現してもよい。そして、複数の運動用設備１０は隣接していてもよいし、遠隔地にあってもよい。

なお、本実施形態では、スクリーン１７Ａとスクリーン１７Ｂが９０度の角度をなし、スクリーン１７Ｃとスクリーン１７Ｂが９０度の角度をなす構成を例示したが、他の構成も可能である。画面は、互いに所定の角度をなす複数の平面上の部分画面を含んでおり、映像装置１３は、複数の平面の各々について、その平面上の部分画面を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、その表示映像を平面上の部分画面に表示する。所定の角度をなす複数の平面の画面を用いることでユーザに広角度にわたる映像を提供するので、運動中のユーザに高い臨場感および没入感を与えることができる。上記複数の平面というのは、本実施形態に例示した３つに限定されない。２つあるいは４つ以上の平面の画面を用いてもよい。

また、本実施形態では、映像装置１３は、視点位置１９Ａに追従して表示映像を生成するものであるが、その追従性を水平方向と垂直方向とで異ならせてもよい。測定装置１２は、水平面上の二次元位置および高さ方向の位置を含む三次元座標として視点位置１９Ａを測定する。映像装置１３は、視点位置１９Ａの水平面上と高さ方向とで異なる、視点位置１９Ａに対する追従処理により表示映像を生成すればよい。筋力による水平方向の頭部の動きと、筋力だけでなく重力の影響を受ける上下方向の頭部の動きとは異なる特性を示す場合がある。それらに異なる追従処理を施すことにより、ユーザ１９に更に好適な映像の提供が可能となる。

また、本実施形態では、映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像として予め内部の記憶装置に格納しておき、ユーザ１９にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理により、三次元映像から表示映像を生成するものとしたが、変形例として、その表示映像を左右の眼の視差を与えた２つの映像からなる三次元映像としてもよい。映像装置１３は、表示映像を画面に表示する表示装置と、ユーザが着用する三次元眼鏡装置とを有し、表示装置は、視点位置１９Ａに応じて、視差を有する左右の眼用の２つの表示映像を生成し、画面に表示する。三次元眼鏡装置は、２つの表示映像をユーザ１９の左右の眼にそれぞれ見せる。ユーザ１９の視点位置１９Ａに応じた映像を左右の眼に視差を持たせることで、ユーザ１９に映像の立体感を与え、より高い臨場感や没入感を与えることができる。

なお、本変形例による表示装置および三次元眼鏡の三次元映像の方式は特に限定されない。例えば、アナグリフ式であってもよいし、偏光式であってもよいし、液晶シャッター式であってもよい。なお、一般に三次元眼鏡はヘッドマウントディスプレイのように不安感や不快感を与えることはない。

（第２実施形態）
第１実施形態では、図１や図４に示したように、映像装置１３は１台の投射装置１５が３面のスクリーン１７Ａ、１７Ｂ、１７Ｃに表示映像を投射する構成を例示した。これに対して、第２実施形態では、３台の投射装置を用いる例を示す。第２実施形態の運動用設備の構成および動作は、基本的に第１実施形態のものと同様であるが、３台の投射装置を有する構成とその構成に関連する動作が第１実施形態のものと異なる。以下、主に第２実施形態における第１実施形態と異なる点について説明する。

図７は、第２実施形態による運動用設備について説明するための平面図である。図７に示すように、本実施形態の運動用設備１０は、３台の投射装置５１Ａ、５２Ｂ、５３Ｃを備えている。投射装置５１Ａはスクリーン１７Ａに表示映像を投射する。投射装置５１Ｂはスクリーン１７Ｂに表示映像を投射する。投射装置５１Ｃはスクリーン１７Ｃに表示映像を投射する。投射装置５１Ａ、５１Ｂ、５１Ｃからスクリーン１７Ａ、１７Ｂ、１７Ｃにそれぞれの映像を投射する構成なので、広い面積に明るい映像を表示することができる。

（第３実施形態）
第１実施形態では、映像装置１３は、運動装置１１からの、移動距離に関する通知情報に基づいて、移動距離および移動速度を算出する例を示した。これに対して、第３実施形態は、ユーザの視点位置を特定する測定装置がユーザの運動の状態を特定して映像装置１３に通知し、映像装置１３は測定装置１２から通知されたユーザの運動の状態に基づいて移動距離および移動速度を算出する。

第３実施形態の運動用設備の構成および動作は、基本的に第１実施形態のものと同様であるが、ユーザの視点位置を特定する測定装置がユーザの運動の状態を特定して映像装置１３に通知し、映像装置１３は測定装置１２から通知されたユーザの運動の状態に基づいて移動距離および移動速度を算出するという構成および動作が第１実施形態のものと異なる。以下、主に第３実施形態における第１実施形態と異なる点について説明する。

測定装置１２は、視点位置を特定するために運動装置１１により運動を行うユーザ１９を撮像している。本実施形態では、測定装置１２が撮像した画像データをユーザ１９の状態を特定するのにも利用する。このように測定装置１２はユーザ１９を撮像した画像データをユーザ１９の状態の取得とユーザ１９の視点位置の取得に兼用するので、効率的な構成により臨場感や没入感を得られる運動を実現することができる。ここでいうユーザ１９の状態には、ユーザ１９が動的な状態と静的な状態とが含まれる。動的な状態としてユーザ１９が自転車漕ぎ運動を行っていることおよびそのときのペダルの回転速度を特定することができる。また、静的な状態として、ユーザ１９がサドルから臀部を離していること、ユーザ１９が運動を停止していること、ユーザ１９が運動装置１１に乗っていること、ユーザ１９が手を挙げていること、などを特定することができる。

ここではユーザ１９が自転車漕ぎ運動を行っていることと、そしてそのときのペダルの回転速度とを特定する例を示すことにする。

映像装置１３は、ユーザ１９の状態に基づいて、移動を模擬する運動におけるユーザ１９の模擬的な移動に応じて変化する、ユーザ１９から見える仮想空間の映像をスクリーン１７の画面に表示する。撮像されたユーザ１９の状態から認定される疑似的な世界でのユーザ１９の移動に応じて変化する映像を画面に表示するので、第１実施形態と同様に、ユーザ１９に映像の中の世界で運動しているような臨場感や没入感を与えることができる。

具体的には、測定装置１２のセンサ１６は、各画素における物体（ここではユーザ１９および周辺の物体）までの深度を測定し、情報処理装置１４は、センサ１６で測定される各画素の深度に基づいてユーザの状態を特定する。深度画像に利用してユーザ１９の状態を特定するので、画面に表示される映像やユーザ１９の着用物の色の影響を抑え安定的にユーザ１９の状態を定めることができる。

本実施形態の運動用設備１０は、ユーザ１９が身体の特定部位を反復動作させる運動を行うための設備である。具体的には、ユーザ１９はフィットネスバイクにより両足を交互に上下させる動作を行う。情報処理装置１４により実現される算出部は、所定領域の画素の深度値に基づいて、ユーザ１９の状態を特定する。特定部位の反復動作による所定領域の深度値の変化で運動を認定するので、ユーザの着用物の色や形状の影響を抑えて安定的に反復動作を認定できる。

より具体的には、算出部は、反復動作により特定部位が出入する領域の画素の深度値の総和に基づく指標値によりユーザ１９の状態を特定する。特定部位はここでは足である。反復動作により所定部位が出入りする領域の画素値の総和は特定部位が映っているときと映っていないときとで変化するので、その総和に基づいてユーザの状態を特定することができる。

図８は、第３実施形態においてユーザの状態を特定する方法について説明するための概念図である。図８に示すように、ユーザ１９が運動装置１１で運動すると、ペダル付近の領域６０は、ユーザ１９の足が出たり入ったりし、画素の深度値が変化する。このようにユーザ１９の運動により画素の深度値が変化する領域を運動装置１１に応じて予め設定しておく。

算出部は、ユーザ１９の反復動作により特定部位（図８では足）が出入する領域の画素の深度値の総和に基づく指標値によりユーザの状態を特定する。深度値の総和に基づく指標値は例えば深度値の総和や深度値の平均値などである。反復動作により所定部位が出入りする領域の画素値の総和は特定部位が映っているときと映っていないときとで変化するので、その総和に基づいてユーザの状態を特定することができる。

図９は、ユーザの特定部位が出入する領域の画素の深度値の総和の一例を示すグラフである。図９には、ユーザ１９が自転車漕ぎ運動を行っているときの領域６０の各画素の深度値の総和の時間変化を示すグラフである。総和値に極大点と極小点が周期的に表れているので、ユーザ１９が一定速度で自転車漕ぎを行っていることが分かる。また、その周期からペダルの回転速度を算出することができる。例えば、極大点から極小点を経て極大点に戻る時間はペダルの回転周期を表している。

なお、本実施形態では、深度値の総和に基づく指標値によってユーザ１９の状態を特定する例を示したが、他の手法も可能である。例えば、領域６０のカラー画像やモノクロ画像などの通常の可視画像のＲＧＢ等の画素値の総和に基づく指標値によってユーザ１９の状態を特定することしてもよい。領域６０にユーザ１９の足が出入りすれば、画素値の総和は変化するので、画素値の総和に基づく指標値からユーザ１９の状態を特定できる。また、ユーザ１９の足あるいは運動装置１１のペダルにマーカーを装着すれば、通常の可視画像の画素値からユーザ１９の状態を特定する精度が向上する。マーカーとして反射板、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、二次元バーコード等が利用できる。また、深度画像における各画素の深度値と可視画像における各画素の画素値の両方を用いてユーザ１９の状態を特定することにしてもよい。

本実施形態では、映像装置１３は、上述のように特定したユーザの状態を表示映像の制御に利用する。例えば、ペダルの回転速度を、上述したゲームにおける実測回転速度として、シンクロ時間Ｔｓｙｎの算出と、スクリーン１７に表示する実測回転速度提示部４３（図６参照）に表示する値とに用する。

また、本実施形態の測定装置１２は、ユーザ１９の状態を特定する処理の前にパラメータのキャリブレーションを行ってもよい。例えば、ゲームの開始前にユーザ１９に自転車漕ぎ運動を行うように促し、その間に好適なパラメータを取得することにしてもよい。

測定装置１２の算出部は、ユーザ１９が運動を行っているときに、指標値の実質的な極大値と極小値を取得する。その後、算出部は、その取得した極大値と極小値とをユーザ１９の状態を特定するのに用いる。実質的な極大値と極小値とは、例えば、指標値が極大点あるいは極小点に達したと判定できる閾値であってもよい。極大値から所定値を減算した値を指標値が極大点に達したことを判定するための閾値としてもよい。極小値に所定値を加算した値を指標値が極小点に達したことを判定するための閾値としてもよい。これによれば、指標値の実質的な極大値と極小値を取得しユーザの状態の特定に用いるので、ユーザ毎の特定部位の大きさの違いや着用物の違いがあってもユーザの状態の良好な特定が可能である。

（第４実施形態）
第１実施形態では、３つの平面のスクリーン１７Ａ、１７Ｂ、１７Ｃを用いる例を示したが、他の構成も可能である。第４実施形態では曲面のスクリーンを用いる構成を例示する。

図１０は、第４実施形態による運動用設備の概略平面図である。第４実施形態の運動用設備１０は、図１に示した第１実施形態の運動用設備における３つのスクリーン１７Ａ、１７Ｂ、１７Ｃの代わりに、１つの曲面のスクリーン７１が用いられてる点で第１実施形態のものと異なる。それ以外の点では第４実施形態は第１実施形態と同様である。

本実施形態の映像装置１３の処理も基本的には第１実施形態のものと同様である。映像装置１３は、視点位置１９Ａから、固定されたスクリーン７１の画面を介して、基準座標系の仮想空間上の物体を見たときの見え方を疑似する物体の表示映像を、視点位置１９Ａに応じて生成し、その表示映像を基準座標系に固定されたスクリーン７１の画面に表示する。

スクリーン７１は曲面の画面を有している。より具体的には、スクリーン７１は、ユーザ１９の少なくとも頭部を囲む円筒形の内面の周方向の少なくとも一部にわたる曲画面を含む形状である。

映像装置１３は、スクリーン７１の画面に、視点位置１９Ａからそれぞれの画面を介して見える仮想空間上の物体の表示映像を、それぞれの画面に表示する。例えば、映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像として予め内部の記憶装置に格納しておき、ユーザ１９にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理により、三次元映像から表示映像を生成する。その際、映像装置１３は、スクリーン７１の画面に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをスクリーン７１の画面、すなわち二次元の面に投影させるような射影変換を行う。

本実施形態においても、第１実施形態と同様に、映像装置１３は、ユーザ１９の正面を含みユーザ１９の周囲の少なくとも一部を囲む画面を有し、その画面を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、その表示映像を画面に表示する。ユーザ１９の周囲の少なくとも一部を囲む画面を用いることでユーザ１９に広角度にわたる映像を提供するとともに、視点位置１９Ａに追従して表示映像を制御することで、画面の形状によらずユーザ１９にとって自然な映像を表示できるので、運動中のユーザ１９に高い臨場感および没入感を与えることができる。

また、本実施形態では、スクリーン７１の画面は、ユーザ１９の少なくとも頭部を囲む円筒形の内面の周方向の少なくとも一部にわたる曲画面を含み、映像装置１３は、その曲画面の各部分を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、その表示映像をその曲画面の各部分に表示する。円筒内面の周方向の少なくとも一部にわたる曲画面を用いることでユーザ１９に広角度にわたる映像を提供するので、運動中のユーザ１９に高い臨場感および没入感を与えることができる。

（第５実施形態）
第５実施形態では第４実施形態のものと異なる曲面のスクリーンを用いる構成を例示する。

図１１は、第５実施形態による運動用設備の概略構成図である。第５実施形態の運動用設備１０は、図１に示した第１実施形態の運動用設備における３つのスクリーン１７Ａ、１７Ｂ、１７Ｃの代わりに、１つの曲面のスクリーン７２が用いられてる点で第１実施形態のものと異なる。それ以外の点では第５実施形態は第１実施形態と同様である。

本実施形態の映像装置１３の処理も基本的には第１実施形態のものと同様である。映像装置１３は、視点位置１９Ａから、固定された画面を介して、基準座標系の仮想空間上の物体を見たときの見え方を疑似する物体の表示映像を、視点位置１９Ａに応じて生成し、その表示映像を基準座標系に固定されたスクリーン７２の画面に表示する。

スクリーン７２はの画面は、ユーザ１９の少なくとも頭部を囲む球形の内面の一部にわたる曲画面を含む形状である。

映像装置１３は、スクリーン７２の画面に、視点位置１９Ａからそれぞれの画面を介して見える仮想空間上の物体の表示映像を、それぞれの画面に表示する。例えば、映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像として予め内部の記憶装置に格納しておき、ユーザ１９にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理により、三次元映像から表示映像を生成する。その際、映像装置１３は、スクリーン７２の画面に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをスクリーン７２の画面、すなわち二次元の面に投影させるような射影変換を行う。

本実施形態では、スクリーン７２の画面は、ユーザ１９の少なくとも頭部を囲む球形の内面の一部にわたる曲画面を含み、映像装置１３は、その曲画面の各部分を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａの動きに追従して生成し、その表示映像をその曲画面の各部分に表示する。球内面の周方向の一部にわたる曲画面を用いることでユーザ１９に広角度にわたる映像を提供するので、運動中のユーザ１９に高い臨場感および没入感を与えることができる。

（第６実施形態）
第１実施形態では、運動装置１１が自転車漕ぎ運動を行うためのフィットネスバイクである例を示したが、他の構成も可能である。第６実施形態では運動装置１１が、ランニングまたはウォーキングを行うためのトレッドミルである例を示す。

図１２は、第６実施形態による運動用設備の概略構成図である。第６実施形態による運動用設備１０は、第１実施形態によるものと比べ、運動装置１１の代わりに運動装置８１を有する点で異なる。それ以外の点で第６実施形態は基本的に第１実施形態のものと同様である。

運動装置８１は、踏台上でランニングまたはウォーキングを行う装置である。特に、走る動作においては、ユーザ１９の視点位置１９Ａは重力の影響を受けて上下方向の動きの速度が第１実施形態のフィットネスバイクのそれよりも速くなる。

そのため、本実施形態では、必須ではない構成として、測定装置１２が、水平面上の二次元位置および高さ方向の位置を含む三次元座標として視点位置１９Ａを測定し、映像装置１３が、視点位置１９Ａの水平面上と高さ方向とで異なる、視点位置１９Ａに対する追従処理により、表示映像を生成するという構成を採用している。筋力による水平方向の頭部の動きと更に重力の影響を受ける上下方向の頭部の動きとは異なる特性を示す場合がある。それらに異なる追従処理を施すことにより、ユーザに更に好適な映像の提供が可能となる。

以下に、より詳しく説明する。

本実施形態の映像装置１３は、運動開始直後から一定時間については、視点位置１９Ａの高さ方向の動きに対する追従性を、水平面上の動きに対する追従性と等しくする。そして、その間に映像装置１３は、視点位置１９Ａの高さの代表値を算出する。一定時間が経過したら、映像装置１３は、追従性を徐々にゼロまで低下させていく。追従性をゼロにしたときには視点位置１９Ａの高さを上記代表値に固定する。視点位置１９Ａの代表値としては、例えば、所定回あるいは所定期間の視点位置１９Ａの高さの平均値あるいは中央値などを用いればよい。

本実施形態では、一例として、視点位置１９Ａの高さ方向の移動距離に対して１以下の係数を乗算することにより、追従性を低下させるものとする。

図１３は、高さ方向の追従性の制御例を示すグラフである。図１３のグラフには、高さ方向の移動距離に対する係数の時間変化が示されている。運動開始後一定時間（ｔ＝０～ｔ１）には係数は１である。ｔ＝ｔ１～ｔ２の間は係数が一定の傾きで減少する。ｔ＝ｔ２に係数がゼロになり、それ以降は係数をゼロである。ここでは時間を基準に制御を行っているが、時間の代わりに走行距離を基準として制御を行ってもよい。

以上のように、映像装置１３は、視点位置１９Ａの高さ方向の動きに対する追従性を、水平面上の動きに対する追従性よりも低くしているため、上下方向の動きに水平方向の動きよりも早い動きが含まれる場合に表示映像が上下に過敏に変化するのを抑制することができる。

また、映像装置１３は、ユーザ１９が走り始めてから所定時間あるいは所定距離に到達するまでは、視点位置１９Ａの高さ方向の動きと水平面上の動きとに対して等しく追従し、前記所定時間あるいは前記所定距離に到達したら前記高さ方向の追従性を低下させている。これにより、ユーザ１９が運動装置１１での運動に慣れてきた頃に追従性を低下させることができるので、臨場感や没入感を維持しつつ自然に追従性を低下させることができる。

また、映像装置１３は、測定装置１２で測定される視点位置１９Ａに基づいて視点位置１９Ａの高さ方向の代表値を決定し、視点位置１９Ａの高さ方向の位置を代表値に固定して表示映像を生成する。これにより、視点位置１９Ａの高さが適切な位置に固定されるので、水平方向の追従性により自然な映像の表示を行うことができる。

（第７実施形態）
第１実施形態では、映像装置１３は、仮想空間上の三次元オブジェクトを表す三次元映像を元映像とし、その三次元映像から表示映像を生成して表示する例を示した。これに対して、第７実施形態では二次元の平面映像を元映像とする例を示す。平面映像は時系列の複数の平面画像のフレームで構成されている。

第７実施形態の運動用設備１０の基本的な構成は、図１に示した第１実施形態のものと同様である。

平面映像は通常の映画の映像のように１つの平面に表示するための映像である。そのままの平面映像をスクリーン１７Ａ、１７Ｂ、１７Ｃに亘るように表示すると、ユーザ１９にとって不自然な映像となり、臨場感や没入感は低くなってしまう。本実施形態の運動用設備１０は、平面映像に所定の処理を施すことにより臨場感および没入感を高めるものである。

図１４は、第７実施形態における表示映像の生成について説明するための概念図である。これは運動用設備１０を上から見た概念図である。

本実施形態では、映像装置１３は、平面映像に含まれる平面画面を、仮想空間上の画像変換用仮想物体１０１の表面にテクスチャとして貼り付け、測定装置１２により特定された視点位置１９Ａから、スクリーン１７Ａ、１７Ｂ、１７Ｃを介して画像変換用仮想物体１０１を見たときの見え方を疑似する各表示画面を生成し、その各表示画面を各スクリーン１７Ａ、１７Ｂ、１７Ｃに表示する。スクリーン１７Ａ、１７Ｂ、１７Ｃは、上述のとおり、ユーザ１９の正面を含みユーザ１９の周囲の少なくとも一部を囲むように配置されている。画像変換用仮想物体１０１は、一例として、側方部がユーザ１９のいる側に湾曲した曲面を持った物体であり、映像装置１３は、平面画像をその曲面にテクスチャとして貼り付ける処理を行う。このようにすることで、ユーザ１９を囲むような映像をユーザ１９の視点位置１９Ａに応じて表示することができ、ユーザ１９に高い臨場感および没入感を与えることができる。

なお、映像装置１３は、測定装置１２により一旦得られた視点位置１９Ａに固定し、その視点位置１９Ａから見たときの見え方を疑似する表示画面を生成してもよいが、好適には、測定装置１２は、視点位置１９Ａを継続的に測定し、映像装置１３は、表示映像を視点位置１９Ａに追従して生成し、スクリーン１７Ａ、１７Ｂ、１７Ｃの画面に表示する。

ここでいう平面映像は、例えばカメラで撮影した実写映像でもよいし、三次元映像をプリレンダリングして二次元映像化したものであってもよい。また、カメラ、タブレット、スマートフォン、パーソナルコンピュータなどの外部デバイスからリアルタイムに取り込んだ画像（ミラーリングしている画像）であってもよい。

また、そのどちらにおいても３６０度映像（すなわち３６０度カメラで撮影した実写と３６０度映像としてプリレンダリングした平面映像）でもよいし、通常の平面画面に表示するためのスクリーン映像であってもよい。

なお、本実施形態では、互いに９０度の角度をなして連なるスクリーン１７Ａ、１７Ｂ、１７Ｃに表示映像を表示する例を示したが、他の構成も可能である。

映像装置１３は、ユーザ１９の正面を含みユーザ１９の周囲の少なくとも一部を囲む画面を有し、その画面を介して物体を見たときの見え方を疑似する表示映像を、視点位置１９Ａに応じて生成し、その表示映像を画面に表示すればよい。例えば、図１０に示した第４実施形態のスクリーン７１に映像を表示してもよいし、図１１に示した第５実施形態のスクリーン７２に映像を表示してもよい。

（第８実施形態）
第１実施形態では、映像装置１３は、元映像を予め映像データを格納しておき、その元映像から表示映像を生成して表示する例を示した。これに対して、第８実施形態では、映像装置１３は、映像信号の外部入力インタフェースを有し、外部入力インタフェースから入力する元映像からリアルタイムで表示映像を生成して表示するものである。

第８実施形態の運動用設備１０は、映像装置１３に上記外部入力インタフェースを有する点で第１実施形態と異なるが、その他の基本的な構成は第１実施形態のものと同様である。外部インタフェースから入力される元映像は、第１実施形態と同様の三次元映像であってもよいし、第７実施形態と同様の平面映像であってもよい。

以上説明した各実施形態は、本開示内容を説明のための例示的構成であり、本開示の範囲をそれらの実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、これらを組み合わせたり、他の様々な態様で実施したりすることができる。また、各実施形態の説明において射影変換の具体的な演算式など詳細を明記していない部分があるが、当業者であれば各実施形態を実施できることは言うまでもない。

１０…運動用設備、１１…運動装置、１２…測定装置、１３…映像装置、１４…情報処理装置、１５…投射装置、１６…センサ、１７、１７Ａ、１７Ｂ、１７Ｃ…スクリーン、１９…ユーザ、１９Ａ…視点位置、２１～２８…物体、３１…前方壁、３２…側方壁、４１…オブジェクト、４２…目標回転速度提示部、４３…実測回転速度提示部、４４…ゲーム状態表示部、５１Ａ…投射装置、５１Ｂ…投射装置、５１Ｃ…投射装置、６０…領域、７１…スクリーン、７２…スクリーン、８１…運動装置、１０１…画像変換用仮想物体

Claims (19)

1. ユーザに移動することを疑似する運動を行わせるための運動装置と、
   前記ユーザが前記運動装置により前記運動を行うとき、所定の基準座標系における前記ユーザの視点位置を測定する測定装置と、
   固定され身に着けない画面を備え、前記視点位置から、前記画面を介して前記基準座標系の仮想空間上の物体を見たときの見え方を疑似し、前記ユーザが該仮想空間内を移動しているような前記物体の表示映像を、前記視点位置に応じて生成し、前記表示映像を前記画面に表示する映像装置と、
   を有する運動用設備。
2. 前記測定装置は、前記視点位置を継続的に測定し、
   前記映像装置は、前記表示映像を前記視点位置に追従して生成し、前記画面に表示する、
   請求項１に記載の運動用設備。
3. 前記測定装置は、
   前記ユーザの頭部を含む領域を撮像する撮像部と、
   前記撮像部にて撮像された前記頭部の位置に基づいて前記視点位置を定める算出部と、
   を有する請求項１に記載の運動用設備。
4. 前記撮像部は前記ユーザの頭部よりも高い位置にある撮像装置であり、
   前記算出部は、前記撮像装置により取得された画像から前記頭部の領域を抽出し、前記領域の前記画像における位置に基づいて前記頭部の位置を算出する、
   請求項３に記載の運動用設備。
5. 前記撮像部は、各画素における該撮像部から物体までの深度を測定するセンサ装置を含み、
   前記算出部は、前記センサ装置で測定される前記各画素の深度に基づいて人体の形状を推定し、前記人体における頭部の位置に基づいて前記視点位置を定める、
   請求項３に記載の運動用設備。
6. 前記映像装置は、前記ユーザの正面を含む所定範囲に拡がるスクリーンと、前記スクリーンに前記表示映像を投射するプロジェクタと、を有する、
   請求項１に記載の運動用設備。
7. 前記映像装置は、前記ユーザの正面を含む所定範囲に拡がるディスプレイ装置を有する、
   請求項１に記載の運動用設備。
8. 前記ユーザの正面にある第１壁と、
   前記第１壁と９０度の角度をなして接する第２壁と、
   を更に有し、
   前記映像装置は、前記ユーザの正面を含む所定範囲に拡がるスクリーンと、前記スクリーンに前記表示映像を投射するプロジェクタと、を有し、
   前記第１壁および前記第２壁が連続的に前記スクリーンを構成する、
   請求項１に記載の運動用設備。
9. 複数の前記運動用設備が横方向に並べて配置され、
   隣り合う２つの運動用設備が前記第２壁を共用し、
   前記第２壁の両面が前記２つの運動用設備のそれぞれの前記スクリーンの一部を構成する、
   請求項８に記載の運動用設備。
10. 前記運動装置は、前記ユーザの状態および／または前記運動装置の状態に基づく通知情報を前記映像装置に送信し、
    前記映像装置は、前記通知情報に基づいて前記表示映像を制御する、
    請求項１に記載の運動用設備。
11. 前記映像装置は、前記ユーザの正面を含み前記ユーザの周囲の少なくとも一部を囲む画面を有し、該画面を介して前記物体を見たときの見え方を疑似する前記表示映像を、前記視点位置の動きに追従して生成し、該表示映像を該画面に表示する、
    請求項２に記載の運動用設備。
12. 前記画面は、互いに所定の角度をなす複数の平面上の部分画面を含み、
    前記映像装置は、前記複数の平面の各々について、該平面上の部分画面を介して前記物体を見たときの見え方を疑似する前記表示映像を、前記視点位置の動きに追従して生成し、該表示映像を該平面上の部分画面に表示する、
    請求項１１に記載の運動用設備。
13. 前記画面は、前記ユーザの少なくとも頭部を囲む円筒形の内面の周方向の少なくとも一部にわたる曲画面を含み、
    前記映像装置は、該曲画面の各部分を介して前記物体を見たときの見え方を疑似する前記表示映像を、前記視点位置の動きに追従して生成し、該表示映像を該曲画面の各部分に表示する、
    請求項１１に記載の運動用設備。
14. 前記画面は、前記ユーザの少なくとも頭部を囲む球形の内面の一部にわたる曲画面を含み、
    前記映像装置は、該曲画面の各部分を介して前記物体を見たときの見え方を疑似する前記表示映像を、前記視点位置の動きに追従して生成し、該表示映像を該曲画面の各部分に表示する、
    請求項１１に記載の運動用設備。
15. 前記映像装置は、前記視点位置が所定範囲外に出たことに応じて前記画面の表示を変化させる、
    請求項１に記載の運動用設備。
16. 前記映像装置は、前記表示映像を前記画面に表示する表示装置と、前記ユーザが着用する三次元眼鏡装置とを有し、
    前記表示装置は、前記視点位置に応じて、視差を有する左右の眼用の２つの表示映像を生成し、前記画面に表示し、
    前記三次元眼鏡装置は、前記２つの表示映像を前記ユーザの左右の眼にそれぞれ見せる、
    請求項１に記載の運動用設備。
17. 前記映像装置は、平面映像に含まれる平面画像を前記仮想空間上の画像変換用仮想物体の表面にテクスチャとして貼り付けて、前記視点位置から前記画像変換用仮想物体を見たときの見え方を疑似する前記物体の表示画像を生成し、前記表示画像を用いて前記表示映像を生成する、
    請求項１１に記載の運動用設備。
18. 前記画像変換用仮想物体は、側方部が前記ユーザのいる側に湾曲した曲面を持った物体であり、
    前記映像装置は、前記平面画像を前記曲面に貼り付ける、
    請求項１７に記載の運動用設備。
19. 前記映像装置は、映像信号を受信し、該映像信号に基づいて前記表示映像を生成する、
    請求項１に記載の運動用設備。

Images