JP6713785B2 - Control device, providing method, and program - Google Patents
Control device, providing method, and program Download PDFInfo
- Publication number
- JP6713785B2 JP6713785B2 JP2016030364A JP2016030364A JP6713785B2 JP 6713785 B2 JP6713785 B2 JP 6713785B2 JP 2016030364 A JP2016030364 A JP 2016030364A JP 2016030364 A JP2016030364 A JP 2016030364A JP 6713785 B2 JP6713785 B2 JP 6713785B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- user
- audio
- motion
- present
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、制御装置、提供方法及びプログラムに関する。 The present invention relates to a control device, a providing method, and a program.
近年、コンピュータなどだけでなく、様々な物体に通信機能を持たせて、相互に通信することで、これらの物体の制御や計測などを行うモノのインターネット（ＩｏＴ）の技術が着目され始めている。 2. Description of the Related Art In recent years, not only computers but also various objects have communication functions, and by communicating with each other, Internet of Things (IoT) technology for controlling and measuring these objects has begun to be noticed.
モノのインターネットの技術を用いて、ゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったエンタテイメント装置と、当該エンタテイメント装置とは別体の外部装置と、を通信により連携させることが検討されている。例えば、仮想空間内に配置された視点から当該仮想空間を見た様子を表す映像が表示される一人称視点のゲームにおいて、表示される映像や出力される音声とフィットネス装置とを連携させることが検討されている。このような連携では、例えばユーザが使用しているフィットネス装置の動作速度に応じた速度で仮想空間内を視点が移動する、あるいは、当該フィットネス装置の動作速度に応じた周期で音声が出力されるようにする、等のゲーム演出を行うことが考えられる。 Using the technology of the Internet of Things, it is considered to make an entertainment device such as a game console, a DVD player, a Blu-ray (registered trademark) player, and the like, and an external device separate from the entertainment device, communicate with each other. ing. For example, in a first-person viewpoint game in which a video showing how the virtual space is viewed from a viewpoint placed in the virtual space is displayed, it is considered to link the displayed video or output audio with the fitness device. Has been done. In such cooperation, for example, the viewpoint moves in the virtual space at a speed corresponding to the operation speed of the fitness device used by the user, or voice is output at a cycle corresponding to the operation speed of the fitness device. It is conceivable to perform a game effect such as
例えば上述のように、ユーザが知覚する外部装置の動作と当該ユーザに提供される映像や音声とを連携させる場面では、外部装置の動作とユーザに提供される映像や音声とを同期させることが重要となる。しかし従来はこのような同期を実現する技術が存在しなかった。 For example, as described above, in a situation in which the operation of the external device perceived by the user is linked to the video or audio provided to the user, the operation of the external device may be synchronized with the video or audio provided to the user. It becomes important. However, in the past, there has been no technology for realizing such synchronization.
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが知覚する装置の動作と当該ユーザに提供される映像や音声とを同期させることができる制御装置、提供方法及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and one of its objects is to provide a control device capable of synchronizing the operation of the device perceived by the user with the video and audio provided to the user. To provide a method and a program.
上記課題を解決するために、本発明に係る制御装置は、外部装置と通信可能である、前記外部装置とは別体の制御装置であって、動作の指示を前記外部装置に出力する動作指示出力部と、ユーザによって知覚される、前記指示に応じた前記外部装置の動作を特定する動作特定部と、特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記外部装置の動作の開始タイミングを推定する推定部と、推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する提供部、を含む。 In order to solve the above problems, a control device according to the present invention is a control device that is capable of communicating with an external device and is separate from the external device, and that outputs an operation instruction to the external device. An output unit, a motion specifying unit that specifies a motion of the external device according to the instruction, which is perceived by a user, and a predetermined video or audio after the certain period based on the specified motion. An estimation unit that estimates the start timing of the operation of the external device corresponding to the above, and starts the reproduction of the predetermined video or audio at the estimated start timing to provide the predetermined video or audio to the user. Including a provider.
本発明の一態様では、前記推定部は、特定される前記動作に基づいて、前記所定の映像又は音声に対応する、前記外部装置の単位動作が行われる時間の長さを推定し、前記提供部は、推定される前記時間の長さにて前記所定の映像又は音声を前記ユーザに提供する。 In one aspect of the present invention, the estimation unit estimates a length of time during which a unit operation of the external device is performed, which corresponds to the predetermined video or audio, based on the identified operation, and the provision is performed. The unit provides the predetermined video or audio to the user for the estimated length of time.
また本発明の一態様では、前記動作指示出力部は、前記ユーザによる前記外部装置に対する操作に応じた動作の指示を前記外部装置に出力する。 Further, in one aspect of the present invention, the operation instruction output unit outputs, to the external device, an operation instruction according to an operation performed on the external device by the user.
また本発明の一態様では、前記提供部は、前記ユーザが装着するヘッドマウントディスプレイの向きと、特定される前記外部装置の動作と、に応じた映像を前記ヘッドマウントディスプレイに表示させる。 Further, in one aspect of the present invention, the providing unit causes the head mounted display to display an image according to the orientation of the head mounted display worn by the user and the operation of the specified external device.
この態様では、前記提供部は、特定される前記外部装置の動作に応じて動くオブジェクトが配置された仮想空間を、前記ヘッドマウントディスプレイの向きに応じた方向から見た様子を表す映像を前記ヘッドマウントディスプレイに表示させてもよい。 In this aspect, the providing unit provides the head with an image showing a state in which a virtual space in which an object that moves according to the operation of the specified external device is placed is viewed from a direction according to the orientation of the head-mounted display. It may be displayed on the mount display.
また本発明の一態様では、前記動作指示出力部は、さらに、前記ユーザに提供される前記映像又は前記音声に応じた動作の指示を、前記外部装置とは異なる外部装置に出力する。 In one aspect of the present invention, the operation instruction output unit further outputs an operation instruction according to the video or the audio provided to the user to an external device different from the external device.
また、本発明に係る提供方法は、動作の指示を装置に出力するステップと、ユーザによって知覚される、前記指示に応じた前記装置の動作を特定するステップと、特定される前記動作に基づいて、前記期間より後の期間である、所定の映像又は音声に対応する動作が行われる期間を推定するステップと、推定される前記期間の開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供するステップ、を含む。 Further, the providing method according to the present invention is based on the step of outputting an operation instruction to the device, the step of identifying the operation of the apparatus according to the instruction, which is perceived by the user, and the operation identified based on the operation. Estimating a period in which an operation corresponding to a predetermined video or audio is performed, which is a period subsequent to the period, and starting the reproduction of the predetermined video or audio at the estimated start timing of the period. And providing the predetermined video or audio to the user.
また、本発明に係るプログラムは、動作の指示を装置に出力する手順、ユーザによって知覚される、前記指示に応じた前記装置の動作を特定する手順、特定される前記動作に基づいて、前記期間より後の期間である、所定の映像又は音声に対応する動作が行われる期間を推定する手順、推定される前記期間の開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する手順、をコンピュータに実行させる。 In addition, the program according to the present invention, based on the procedure of outputting the operation instruction to the device, the procedure of identifying the operation of the apparatus according to the instruction, which is perceived by the user, and the operation based on the identified operation, A procedure for estimating a period in which an operation corresponding to a predetermined image or sound, which is a later period, is performed, by starting the reproduction of the predetermined image or sound at the estimated start timing of the period, Causing the computer to execute the procedure for providing the video or audio of the above to the user.
以下、本発明の一実施形態について、図面を参照しながら説明する。 An embodiment of the present invention will be described below with reference to the drawings.
図１は、本発明の一実施形態に係るエンタテインメントシステム１０の全体構成の一例を示す図である。図１に示すように本実施形態に係るエンタテインメントシステム１０には、ヘッドマウントディスプレイ（ＨＭＤ）１２、エンタテインメント装置１４、中継装置１６、ディスプレイ１８、カメラマイクユニット２０、コントローラ２２、が含まれる。また本実施形態に係るエンタテインメントシステム１０には、ハブ装置２４、フィットネス装置２６、送風機２８、芳香器３０、も含まれる。
FIG. 1 is a diagram showing an example of the overall configuration of an
図２Ａは、本実施形態に係るＨＭＤ１２の構成の一例を示す図である。本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、制御部４０、記憶部４２、入出力部４４、表示部４６、センサ部４８、音声出力部５０が含まれる。
FIG. 2A is a diagram showing an example of the configuration of the
制御部４０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
The
記憶部４２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部４２には、制御部４０によって実行されるプログラムなどが記憶される。
The
入出力部４４は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。
The input/
表示部４６は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部４６は、ＨＭＤ１２の筐体に収容される。表示部４６は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部４６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部４６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
The
センサ部４８は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部４８は、ＨＭＤ１２の回転量、移動量などの計測結果を示すモーションデータを所定のフレームレートで、制御部４０に出力する。
The
音声出力部５０は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部５０は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。
The
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。
The
図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、制御部６０、記憶部６２、通信部６４、入出力部６６が含まれる。
FIG. 2B is a diagram showing an example of the configuration of the
制御部６０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
The
記憶部６２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部６２には、制御部６０によって実行されるプログラムなどが記憶される。
The
通信部６４は、例えばネットワークボードや無線ＬＡＮモジュールなどの通信インタフェースなどである。
The
入出力部６６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
The input/
本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。
The
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
The
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
The
ＨＭＤ１２と中継装置１６、及び、エンタテインメント装置１４と中継装置１６は、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
The
本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、左右に並んで２つ配置されている操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。
The
また本実施形態に係るコントローラ２２は、例えば加速度センサやモーションセンサなどといったセンサを備えている。本実施形態に係るコントローラ２２は、コントローラ２２が備えるセンサによって計測される回転量、移動量などを示すモーションデータを所定のフレームレートでエンタテインメント装置１４に送信する。
Further, the
図１に示すように本実施形態に係るコントローラ２２は、フィットネス装置２６の着座部２６ａの前方に固定されており、フィットネス装置２６の動きと連動して動くようになっている。そのためコントローラ２２が備えるセンサによって、フィットネス装置２６の回転量、移動量が計測されることとなる。このようにして本実施形態に係るコントローラ２２は、フィットネス装置２６の回転量、移動量などを示すモーションデータを所定のフレームレートでエンタテインメント装置１４に送信することとなる。
As shown in FIG. 1, the
本実施形態に係るハブ装置２４は、エンタテインメント装置１４と接続されたサーバコンピュータなどのコンピュータであり、エンタテインメント装置１４と通信可能である。
The
本実施形態に係るフィットネス装置２６は、例えばユーザが着座部２６ａに座ることで乗ることが可能な乗馬型フィットネス装置である。
The
本実施形態に係るフィットネス装置２６は、動作速度を数段階（例えば１０段階）で設定可能となっている。そして本実施形態に係るフィットネス装置２６では、設定された動作速度で着座部２６ａが８の字状に周期的に揺動する揺動運動が行われる。
The
本実施形態では例えば、フィットネス装置２６に、動作速度を示す値として０以上９以下のいずれかの整数値が設定される動作速度設定値を示すデータが記憶されることとする。なお本実施形態では、動作速度設定値が「０」である場合は、フィットネス装置２６は停止する。また本実施形態では、それぞれの動作速度設定値には、対応する動作速度が予め定められており、動作速度設定値が大きいほど動作速度が速くなるようになっている。すなわち動作速度設定値が大きいほど、フィットネス装置２６の単位時間あたりの回転量や移動量は大きい。また動作速度設定値が大きいほど、着座部２６ａの揺動運動の周期は短い。
In the present embodiment, for example, it is assumed that the
ここで例えば動作速度設定値が「ｎ」である場合の動作速度を、第ｎの動作速度と呼ぶこととする（ｎは０以上９以下の整数）。なお上述のように、値ｎが大きい程、第ｎの動作速度は速く、また第０の動作速度は０である。本実施形態では、動作速度設定値が「ｎ」に変更された際には、フィットネス装置２６は、第ｎの動作速度に達するまで徐々に速度が変化する。また例えば動作速度設定値が「０」に変更された際には、フィットネス装置２６は、徐々に速度が遅くなってやがて停止する。
Here, for example, the operation speed when the operation speed setting value is “n” is referred to as the nth operation speed (n is an integer of 0 or more and 9 or less). As described above, the larger the value n is, the faster the nth operating speed is, and the 0th operating speed is zero. In the present embodiment, when the motion speed setting value is changed to “n”, the
本実施形態では上述のように、コントローラ２２が、当該コントローラ２２が備えるセンサによって計測される、揺動運動を行うフィットネス装置２６のモーションデータを所定のフレームレートでエンタテインメント装置１４に送信する。例えばフィットネス装置２６の動作速度が速くなると、コントローラ２２が送信するモーションデータが示す単位時間あたりの回転量や移動量の値は大きくなる。また逆にフィットネス装置２６の動作速度が遅くなると、コントローラ２２が送信するモーションデータが示す単位時間あたりの回転量や移動量の値は小さくなる。
In the present embodiment, as described above, the
エンタテインメント装置１４は、上述のようにして所定のフレームレートでコントローラ２２から受信するモーションデータに基づいて、フィットネス装置２６の動作速度や揺動運動の周期を特定できることとなる。
As described above, the
また本実施形態に係るフィットネス装置２６の前方には、ユーザによって把持される操作部材である手綱部２６ｂが取り付けられている。図３は、ユーザが左手Ｌ及び右手Ｒで手綱部２６ｂを握っている様子の一例を示す図である。手綱部２６ｂは、圧力センサを備えており、ユーザが左右の手のそれぞれによって手綱部２６ｂを握る力の強さを検出することができるようになっている。
Further, in front of the
そして本実施形態に係るフィットネス装置２６は、手綱部２６ｂが備える圧力センサが検出する、左手Ｌが握る力の強さ及び右手Ｒが握る力の強さを示す圧力データを、所定のフレームレートでハブ装置２４に送信する。そして本実施形態では、ハブ装置２４が、フィットネス装置２６から受信した圧力データを所定のフレームレートでエンタテインメント装置１４に送信する。なお本実施形態では、左手Ｌが握る力の強さに対応付けられる、コントローラ２２が備える左側のアナログスティックの傾きの大きさを示す値が、圧力データにおける左手Ｌが握る力の強さを示すデータの値として設定されることとする。また右手Ｒが握る力の強さに対応付けられる、コントローラ２２が備える右側のアナログスティックの傾きの大きさを示す値が、圧力データにおける右手Ｒが握る力の強さを示すデータの値として設定されることとする。このように本実施形態では、圧力データのデータ形式は、コントローラ２２がエンタテインメント装置１４に出力する、アナログスティックの傾きの大きさを示すデータのデータ形式と同様のものとなる。
Then, the
エンタテインメント装置１４は、上述のようにして所定のフレームレートでハブ装置２４から受信する圧力データの値に基づいて、ユーザが手綱部２６ｂを握っている左手Ｌの力の強さ及び右手Ｒの力の強さを特定できることとなる。
The
本実施形態に係る送風機２８は、出力される風の強さが数段階で（例えば３段階で）設定可能な送風機である。
The
本実施形態に係る芳香器３０は、収容された液状芳香剤を吸い上げて揮散するように構成されており、出力される香りの強さが数段階で（例えば３段階で）設定可能である、電動式の芳香器である。
The
また本実施形態に係るハブ装置２４、フィットネス装置２６、送風機２８、芳香器３０は、いずれも、例えばＡｌｌＪｏｙｎ（登録商標）などといったＩｏＴの規格に準拠した通信を行うために必要なプログラムがインストールされている。そのため本実施形態に係るハブ装置２４、フィットネス装置２６、送風機２８、芳香器３０は、互いに、例えばＡｌｌＪｏｙｎなどといったＩｏＴの規格に準拠した通信を行うことができるようになっている。
In addition, the
そして本実施形態に係るハブ装置２４は、エンタテインメント装置１４から受信するデータを、ＩｏＴの規格に準拠した通信により、フィットネス装置２６、送風機２８、又は、芳香器３０に送信できるようになっている。また本実施形態では、ハブ装置２４は、フィットネス装置２６、送風機２８、又は、芳香器３０から受信するデータを、エンタテインメント装置１４に送信できるようになっている。
Then, the
本実施形態では、図１に示すように、エンタテインメントシステム１０が配置されている実空間において、フィットネス装置２６の後方から前方に向かう方向がＸ１軸正方向であることとする。また、Ｘ１軸正方向を水平面に沿って左に９０度回転させた方向がＹ１軸正方向であることとする。また鉛直上向きの方向がＺ１軸正方向であることとする。なお本実施形態に係るフィットネス装置２６は、初期状態において、フィットネス装置２６の後方から前方に向かう方向がＸ１軸正方向となるよう実空間内に配置されていることとする。また本実施形態では、フィットネス装置２６に固定されているコントローラ２２に設定された基準となる位置をＰ１とし、コントローラ２２の後方から前方に向かう基準となる方向をＱ１とする。コントローラ２２が送信するモーションデータは、位置Ｐ１及び方向Ｑ１の変化量を示していることとなる。また本実施形態では、ＨＭＤ１２に設定された基準の位置をＰ２とし、ＨＭＤ１２の後方から前方に向かう基準の方向をＱ２とする。
In the present embodiment, as shown in FIG. 1, in the real space in which the
そして本実施形態では、エンタテインメント装置１４で生成される、図４に例示する、野原を模した仮想空間７０内に配置された仮想カメラ７２に設定された視点から視線方向を見た様子を表す映像が、ＨＭＤ１２の表示部４６に表示される。なお本実施形態では、表示部４６に表示される画像は所定のフレームレート（例えば１／６０秒間隔）で更新される。
In the present embodiment, an image generated by the
本実施形態に係る仮想空間７０には、様々な仮想オブジェクト７４が配置されている。仮想空間７０には、例えば、ユーザの操作対象となる馬の仮想オブジェクト７４である馬オブジェクト７４ａが配置されている。また仮想空間７０には、花の仮想オブジェクト７４である花オブジェクト７４ｂ、きのこの仮想オブジェクト７４であるきのこオブジェクト７４ｃ、木の仮想オブジェクト７４である木オブジェクト７４ｄ、７４ｅ、７４ｆも配置されている。
Various virtual objects 74 are arranged in the
また本実施形態では、初期状態における仮想空間７０において、馬オブジェクト７４ａの後方から前方に向かう水平方向がＸ２軸正方向であることとする。またＸ２軸正方向を仮想空間７０における水平面に沿って左に９０度回転させた方向がＹ２軸正方向であることとする。また仮想空間７０における鉛直上向き方向がＺ２軸正方向であることとする。また本実施形態では、馬オブジェクト７４ａに設定された基準となる位置をＰ３とし、馬オブジェクト７４ａの後方から前方に向かう基準の向きをＱ３とする。なお、位置Ｐ３及び向きＱ３は、Ｘ２軸、Ｙ２軸、Ｚ２軸から構成されるグローバル座標系で定義されることとする。
Further, in the present embodiment, in the
また本実施形態では、仮想空間７０に配置されている馬オブジェクト７４ａに、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系が設定されている。当該ローカル座標系では、馬オブジェクト７４ａの後方から前方に向かう方向がＸ３軸正方向であることとする。また、馬オブジェクト７４ａの後方から前方を見た際における右から左に向かう方向がＹ３軸正方向であることとする。また、馬オブジェクト７４ａの下から上に向かう方向がＺ３軸正方向であることとする。
Further, in the present embodiment, the
そして本実施形態では、図５に示すように、仮想カメラ７２に設定された視点の位置Ｐ４及び視線方向Ｑ４は、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系で定義されることとする。本実施形態では、初期状態において、ＨＭＤ１２の基準方向Ｑ２は、Ｘ１軸正方向を向いていることとする。そしてこの場合において、仮想カメラ７２の視点の位置Ｐ４は、馬に乗ったユーザの視点の位置として適切な位置Ｐ４に設定され、視線方向Ｑ４はＸ３軸正方向を向いていることとする。
In the present embodiment, as shown in FIG. 5, the viewpoint position P4 and the line-of-sight direction Q4 set in the
また本実施形態では、フィットネス装置２６の動作速度又は揺動運動の周期の長さに基づいて、馬オブジェクト７４ａの移動速度、すなわち位置Ｐ３の移動速度が決定される。ここでは例えばフィットネス装置２６の揺動運動の周期の長さに基づいて、位置Ｐ３の移動速度が決定されることとする。
Further, in the present embodiment, the moving speed of the
また本実施形態では馬オブジェクト７４ａは、一完歩の動作を周期とする３次元アニメーションで、歩いて移動する様子が表現される。本実施形態では、馬オブジェクト７４ａが移動している間は、所定のフレームレートで仮想空間７０に配置される馬オブジェクト７４ａの形状や姿勢が変化することとする。また本実施形態では、馬オブジェクト７４ａの移動中は、一完歩の動作を周期とする３次元アニメーションの再生が繰り返し行われることとする。
In addition, in the present embodiment, the
なお本実施形態では例えば、馬オブジェクト７４ａの３次元アニメーションをキーフレーム方式で実現することとする。図６には、本実施形態における４つのキーフレームの馬オブジェクト７４ａ（７４ａａ、７４ａｂ、７４ａｃ、及び、７４ａｄ）の一例が示されている。なお馬オブジェクト７４ａａと馬オブジェクト７４ａｃの高さｈ１は、馬オブジェクト７４ａｂと馬オブジェクト７４ａｄの高さｈ２より低いこととする。本実施形態では例えば、フィットネス装置２６の動作速度又は揺動運動の周期の長さに基づいて決定されたタイミングに、これらのキーフレームの馬オブジェクト７４ａが仮想空間７０に配置されることとなる。そしてこれらのタイミング以外のタイミングについては、前後のキーフレームの馬オブジェクト７４ａを補間することで生成される馬オブジェクト７４ａが仮想空間７０に配置されることとなる。
In this embodiment, for example, the three-dimensional animation of the
また本実施形態では、エンタテインメント装置１４は、所定のキーフレームの馬オブジェクト７４ａが仮想空間７０に配置されるタイミングに、馬の蹄の音の出力指示をＨＭＤ１２に送信する。例えば馬オブジェクト７４ａａ、又は、馬オブジェクト７４ａｃが仮想空間７０に配置されるタイミングに馬の蹄の音の出力指示がＨＭＤ１２に送信される。ＨＭＤ１２は、当該出力指示の受信に応じて、音声出力部５０から馬の蹄の音を出力させる。
Further, in the present embodiment, the
本実施形態では図１に示すように、ユーザはＨＭＤ１２を装着した状態でフィットネス装置２６の着座部２６ａに座ることによって、エンタテインメントシステム１０を利用する。そして本実施形態では、ユーザが手綱部２６ｂを操作することで、フィットネス装置２６の揺動運動の周期、馬オブジェクト７４ａの仮想空間７０内における位置Ｐ３や向きＱ３を変化させることができるようになっている。またＨＭＤ１２を装着したユーザが頭部を動かすことで、馬オブジェクト７４ａに対する相対的な視点の位置Ｐ４や視線方向Ｑ４を変化させることができるようになっている。また上述のように、本実施形態では、馬オブジェクト７４ａの移動に応じてＨＭＤ１２の音声出力部５０から馬の蹄の音が出力されることとなる。
In the present embodiment, as shown in FIG. 1, the user uses the
図７Ａ、図７Ｂ、及び図７Ｃは、それぞれ、表示部４６に表示される映像を構成するフレーム画像の一例である表示画像８０を示す図である。図７Ａには表示画像８０ａが示されており、図７Ｂには表示画像８０ｂが示されており、図７Ｃには表示画像８０ｃが示されている。
7A, 7B, and 7C are diagrams each showing a display image 80 that is an example of a frame image that constitutes a video displayed on the
図７Ａに示す表示画像８０ａには、上述の高さｈ１の馬オブジェクト７４ａａの像が配置されており、図７Ｂに示す表示画像８０ｂ、及び、図７Ｃに示す表示画像８０ｃには、上述の高さｈ２の馬オブジェクト７４ａｂの像が配置されている。
An image of the horse object 74aa having the height h1 described above is arranged in the
また図７Ｂに示す表示画像８０ｂが表示される際の上述の位置Ｐ３は、図７Ａに示す表示画像８０ａが表示される際の上述の位置Ｐ３よりも前である。また図７Ａに示す表示画像８０ａが表示される際の、上述の向きＱ３、位置Ｐ４、及び、視線方向Ｑ４と、図７Ｂに示す表示画像８０ｂが表示される際の、上述の向きＱ３、位置Ｐ４、及び、視線方向Ｑ４とは同じである。
The above-described position P3 when the
また、図７Ｂに示す表示画像８０ｂが表示される際の上述の位置Ｐ３、向きＱ３、及び、位置Ｐ４は、図７Ｃに示す表示画像８０ｃが表示される際の上述の位置Ｐ３、向きＱ３、及び、位置Ｐ４と同じである。また図７Ｃに示す表示画像８０ｃが表示される際の視線方向Ｑ４は、図７Ｂに示す表示画像８０ｂが表示される際の視点の視線方向Ｑ４よりも右を向いている。そのため、図７Ｃに示す表示画像８０ｃ内において馬オブジェクト７４ａｂの像が配置されている位置が、図７Ｂに示す表示画像８０ｂ内において馬オブジェクト７４ａｂの像が配置されている位置よりも左になっている。
Further, the above-described position P3, direction Q3, and position P4 when the
このように本実施形態では、上述の位置Ｐ３、向きＱ３、位置Ｐ４、及び、視線方向Ｑ４の変化に応じて、ＨＭＤ１２の表示部４６に表示される映像が変化することとなる。
As described above, in the present embodiment, the image displayed on the
以上のようにして本実施形態によれば、ユーザは、フィットネス装置２６の揺動運動、表示部４６に表示される映像、及び、音声出力部５０から出力される音声から醸し出される、あたかも野原の中で乗馬をしているような感覚を楽しむことができることとなる。
As described above, according to the present embodiment, the user is evoked from the swinging motion of the
以下、ユーザの操作に応じた、フィットネス装置２６の動作速度の変化についてさらに説明する。
Hereinafter, the change in the operation speed of the
本実施形態では初期状態では、フィットネス装置２６の動作速度設定値は「０」であり、フィットネス装置２６は停止していることとする。また、仮想空間７０に配置された馬オブジェクト７４ａは停止していることとする。
In this embodiment, in the initial state, the operating speed set value of the
そして本実施形態では、上述のように、エンタテインメント装置１４が所定のフレームレートで圧力データをフィットネス装置２６から受信して、当該圧力データに応じた動作指示をハブ装置２４経由でフィットネス装置２６に送信する。そして動作指示を受信したフィットネス装置２６は、当該動作指示に応じて、フィットネス装置２６の動作速度を変更する。このようにして本実施形態では、ユーザが手綱部２６ｂを操作することで、フィットネス装置２６の動作速度を変更できるようになっている。
Then, in the present embodiment, as described above, the
例えば、フィットネス装置２６が停止している際に、ユーザが手綱部２６ｂを両手で強く第１の所定時間だけ握ったとする。ここでは例えば、ユーザが手綱部２６ｂを強さＦ１よりも強い強さで１秒間握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌ及び右手Ｒの力の強さがともに強さＦ１より強い期間が、１秒間に達したことを認識する。するとエンタテインメント装置１４は、動作開始指示をハブ装置２４経由でフィットネス装置２６に送信する。
For example, it is assumed that the user strongly grips the
そして動作開始指示を受信したフィットネス装置２６は、動作速度設定値を「１」に変更し、フィットネス装置２６の動作速度が第１の動作速度となるようフィットネス装置２６の動作速度を徐々に速くする。
Then, the
このようにして本実施形態では、フィットネス装置２６が停止している際に、ユーザが手綱部２６ｂを両手で強く握ると、フィットネス装置２６は、動作を開始することとなる。
As described above, in the present embodiment, when the user strongly grips the
また例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で柔らかく第２の所定時間だけ握ったとする。ここでは例えば、ユーザが手綱部２６ｂを強さＦ２よりも強く強さＦ１より弱い強さで０．１秒間握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌ及び右手Ｒの力の強さがともに強さＦ２よりも強く強さＦ１よりも弱い期間が、０．１秒間に達したことを認識する。するとエンタテインメント装置１４は、速度増加指示をハブ装置２４経由でフィットネス装置２６に送信する。
Further, for example, it is assumed that the user softly grips the
そして速度増加指示を受信したフィットネス装置２６は、動作速度設定値を１だけ増加させて、動作速度を速くする。例えば動作速度設定値が「４」から「５」に変更された場合、フィットネス装置２６は、当該変更に応じて、フィットネス装置２６の動作速度が第５の動作速度となるようフィットネス装置２６の動作速度を徐々に速くする。
Then, the
このようにして本実施形態では、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で柔らかく握ると、フィットネス装置２６の動作速度は速くなることとなる。
In this way, in the present embodiment, when the user softly grasps the
また例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で強く第３の所定時間だけ握ったとする。ここでは例えば、ユーザが手綱部２６ｂを強さＦ１よりも強い強さで０．１秒間握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌ及び右手Ｒの力の強さがともに強さＦ１より強い期間が、０．１秒間に達したことを認識する。するとエンタテインメント装置１４は、速度減少指示をハブ装置２４経由でフィットネス装置２６に送信する。
Further, for example, it is assumed that the user strongly grips the
そして速度減少指示を受信したフィットネス装置２６は、動作速度設定値を１だけ減少させて、動作速度を遅くする。例えば動作速度設定値が「５」から「４」に変更された場合、フィットネス装置２６は、当該変更に応じて、フィットネス装置２６の動作速度が第４の動作速度となるようフィットネス装置２６の動作速度を徐々に遅くする。
Then, the
また本実施形態では、速度減少指示の送信後においても、ユーザが手綱部２６ｂを強さＦ１よりも強い強さで握っている場合は、その期間、エンタテインメント装置１４は、速度減少指示の送信を継続する。そしてフィットネス装置２６は、速度減少指示を受信している間は、動作速度設定値を減少させて、動作速度を徐々に遅くする。
Further, in the present embodiment, even after the speed reduction instruction is transmitted, if the user holds the
このようにして本実施形態では、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを両手で強く握り続けると、フィットネス装置２６の動作速度は徐々に遅くなり、最終的には停止することとなる。
Thus, in the present embodiment, when the user keeps firmly holding the
以上のようにして，本実施形態によれば、ユーザの操作に応じて、フィットネス装置２６の動作速度が変化することとなる。
As described above, according to the present embodiment, the operation speed of the
以下、仮想空間７０に配置された馬オブジェクト７４ａの位置Ｐ３や向きＱ３の制御、及び、馬オブジェクト７４ａの形状や姿勢の制御についてさらに説明する。
Hereinafter, the control of the position P3 and the direction Q3 of the
本実施形態に係るエンタテインメント装置１４は、コントローラ２２から所定のフレームレート、揺動運動を行うフィットネス装置２６の回転量、移動量などを示すモーションデータを受信する。そして本実施形態に係るエンタテインメント装置１４は、受信するモーションデータに基づいて、ある期間のフィットネス装置２６の動作を特定する。そしてエンタテインメント装置１４は、特定される動作に基づいて、この期間よりも後である、フィットネス装置２６の揺動運動を推定する。例えば、フィットネス装置２６の揺動運動の周期及びその開始タイミングが推定される。そしてエンタテインメント装置１４は、推定される開始タイミング及びその周期に基づいて、馬オブジェクト７４ａの仮想空間７０内における位置Ｐ３や向きＱ３を変化させる。またエンタテインメント装置１４は、推定される開始タイミング及びその周期に基づいて、配置される馬オブジェクト７４ａの形状や姿勢を決定して、決定される形状や姿勢の馬オブジェクト７４ａを仮想空間７０に配置する。
The
図８は、現在時刻までのフィットネス装置２６の揺動運動と、次の周期の揺動運動の開始タイミング及びその周期の推定値、との関係の一例を模式的に示す図である。図６に示すように、例えば現在時刻がｔａ０であることとする。またこのときフィットネス装置２６は、現在の揺動運動の周期が半分終了した状態となっていることとする。そして当該揺動運動の周期の開始タイミングである時刻はｔａ１であり、その前の揺動運動の周期の開始タイミングである時刻はｔａ２であることとする。
FIG. 8: is a figure which shows typically an example of the rocking motion of the
この場合、時刻ｔａ１から始まっているフィットネス装置２６の現在の揺動運動の周期Ｔａ１の半分（Ｔａ１／２）は、ｔａ０−ｔａ１であることとなる。すなわち、周期Ｔａ１は、（ｔａ０−ｔａ１）×２と推定される。また前回の揺動運動の周期Ｔａ２は、ｔａ１−ｔａ２であり、その前の揺動運動の周期Ｔａ３は、ｔａ２−ｔａ３であることとなる。
In this case, half (Ta1/2) of the current cycle Ta1 of the swing motion of the
そして本実施形態では、現在時刻ｔａ０までのフィットネス装置２６の揺動運動に基づいて、現在時刻ｔａ０より後のフィットネス装置２６の揺動運動の開始タイミング及びその周期が推定される。例えば、図６には、現在時刻ｔａ０より、Ｔｂ１／２だけ後のタイミングが、次の揺動運動の開始タイミングｔｂ１として示されている。ここで例えば、Ｔａ１の推定値、すなわち（ｔａ０−ｔａ１）×２が、Ｔｂ１の推定値とされてもよい。また例えば、前回の揺動運動の周期Ｔａ２が、Ｔｂ１の推定値とされてもよい。また例えば、直近の揺動運動の周期の平均（Ｔａ１＋Ｔａ２＋Ｔａ３）／３、あるいは、（Ｔａ２＋Ｔａ３）／２が、Ｔｂ１の推定値とされてもよい。なお、周期Ｔｂ１の推定値は上述のものに限定されない。
Then, in the present embodiment, the start timing and the cycle of the swing motion of the
また時刻ｔｂ１から開始される揺動運動の周期Ｔｂ２の推定方法も特に問わない。上述のように、（ｔａ０−ｔａ１）×２、（Ｔａ１＋Ｔａ２＋Ｔａ３）／３、（Ｔａ２＋Ｔａ３）／２などが、Ｔｂ２の推定値とされてもよい。図６には、時刻ｔｂ１より周期Ｔｂ２だけ後のタイミングが、ｔｂ２として示されている。 Further, the method of estimating the period Tb2 of the swing motion started from time tb1 is not particularly limited. As described above, (ta0-ta1)×2, (Ta1+Ta2+Ta3)/3, (Ta2+Ta3)/2, etc. may be used as the estimated value of Tb2. In FIG. 6, the timing after the period tb2 from the time tb1 is shown as tb2.
そして本実施形態では、推定された時刻ｔｂ１が、次の周期における馬オブジェクト７４ａの３次元アニメーションの開始タイミングとして決定される。すなわち、時刻ｔｂ１であるフレームに、図６に示す馬オブジェクト７４ａａが仮想空間７０に配置されることとなる。また周期Ｔｂ２が、次の周期における３次元アニメーションの周期として決定される。そのため、時刻（３ｔｂ１＋ｔｂ２）／４であるフレームに、馬オブジェクト７４ａｂが仮想空間７０に配置されることとなる。また、時刻（ｔｂ１＋ｔｂ２）／２であるフレームに、馬オブジェクト７４ａｃが仮想空間７０に配置されることとなる。また、時刻（ｔｂ１＋３ｔｂ２）／４であるフレームに、馬オブジェクト７４ａｄが仮想空間７０に配置されることとなる。そして上述のフレーム以外の、時刻ｔｂ１から時刻ｔｂ２までの間のフレームについては、前後のキーフレームの馬オブジェクト７４ａを補間することで生成される馬オブジェクト７４ａが仮想空間７０に配置されることとなる。
Then, in the present embodiment, the estimated time tb1 is determined as the start timing of the three-dimensional animation of the
また本実施形態では、推定されたＴｂ２に基づいて、馬オブジェクト７４ａの移動速度が決定される。例えば、所定の距離Ｘを推定された周期Ｔｂ２で割った値が、馬オブジェクト７４ａの移動速度Ｖの値として決定される。なおここで所定の距離Ｘを推定された周期Ｔｂ１で割った値が、馬オブジェクト７４ａの移動速度Ｖの値として決定されてもよい。
Further, in the present embodiment, the moving speed of the
また本実施形態では、例えば、所定の馬オブジェクト７４ａが仮想空間７０に配置されるタイミング、例えば、馬オブジェクト７４ａｂや７４ａｄが仮想空間７０に配置されるタイミングが、馬の蹄の音の出力指示の送信タイミングとして決定される。
Further, in the present embodiment, for example, the timing at which the
また本実施形態では例えばフィットネス装置２６が停止している状態から動作している状態に変化したことをエンタテインメント装置１４が特定した場合は、仮想空間７０内における馬オブジェクト７４ａの移動が開始される。また逆に、フィットネス装置２６が動作している状態から停止している状態に変化したことをエンタテインメント装置１４が特定した場合は、仮想空間７０内における馬オブジェクト７４ａの移動が終了される。なおフィットネス装置２６の停止している状態から動作している状態への変化、及び、フィットネス装置２６の動作している状態から停止している状態への変化は、例えばコントローラ２２から受信するモーションデータを微分することで特定可能である。
Further, in the present embodiment, for example, when the
このように本実施形態では、フィットネス装置２６が停止している状態から動作している状態に変化したことが特定されるタイミングと馬オブジェクト７４ａの仮想空間内における移動の開始タイミングとは同期することとなる。またフィットネス装置２６が動作している状態から停止している状態に変化したことが特定されるタイミングと馬オブジェクト７４ａの仮想空間内における移動の終了タイミングとは同期することとなる。
As described above, in the present embodiment, the timing at which it is specified that the
また本実施形態では、ユーザが手綱部２６ｂを操作することで、馬オブジェクト７４ａの進行方向を変更できるようになっている。
Further, in this embodiment, the user can change the traveling direction of the
例えば図９に示すように、向きＱ３０を向いた馬オブジェクト７４ａが位置Ｐ３０に配置されていることとする。
For example, as shown in FIG. 9, it is assumed that the
そして例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを左手Ｌで柔らかく握ったとする。ここでは例えば、ユーザが手綱部２６ｂを、左手Ｌは強さＦ２よりも強い強さで、右手Ｒは強さＦ２よりも弱い強さで、握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことを認識する。
Then, for example, it is assumed that the user softly grips the
するとエンタテインメント装置１４は、例えばＺ２軸正方向から見て、Ｘ２−Ｙ２平面に沿って、向きＱ３０から反時計回りに角度θだけ回転させた向きＱ３１に沿って、位置Ｐ３０から距離Ｌだけ離れた位置Ｐ３１を特定する。そして次のフレームでは、向きＱ３１を向いた馬オブジェクト７４ａが位置Ｐ３１に配置されることとなる。このようにフィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを左手Ｌで柔らかく握った場合は、馬オブジェクト７４ａは左前に移動するよう制御されることとなる。
Then, the
また例えば、フィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを右手Ｒで柔らかく握ったとする。ここでは例えば、ユーザが手綱部２６ｂを右手Ｒは強さＦ２よりも強い強さで、左手Ｌは強さＦ２よりも弱い強さで、握ったとする。この場合はエンタテインメント装置１４が、ユーザが手綱部２６ｂを握っている右手Ｒの力の強さが強さＦ２よりも強く、左手Ｌの力の強さが強さＦ２よりも弱いことを認識する。
Further, for example, it is assumed that the user softly grips the
するとエンタテインメント装置１４は、例えばＺ２軸正方向から見て、Ｘ２−Ｙ２平面に沿って、向きＱ３０から時計回りに角度θだけ回転させた向きＱ３２に沿って、位置Ｐ３０から距離Ｌだけ離れた位置Ｐ３２を特定する。そして次のフレームでは、向きＱ３２を向いた馬オブジェクト７４ａが位置Ｐ３２に配置されることとなる。このようにフィットネス装置２６が動いている際に、ユーザが手綱部２６ｂを右手Ｒで柔らかく握った場合は、馬オブジェクト７４ａは右前に移動するよう制御されることとなる。
Then, when viewed from the Z2-axis positive direction, for example, the
なおユーザが手綱部２６ｂを握っている左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことも、右手Ｒの力の強さが強さＦ２よりも強く、左手Ｌの力の強さが強さＦ２よりも弱いことも認識されなかったとする。
The strength of the left hand L holding the
この場合は、エンタテインメント装置１４は、例えば向きＱ３０に沿って、位置Ｐ３０から距離Ｌだけ離れた位置Ｐ３３を特定する。そして次のフレームでは、向きＱ３０を向いた馬オブジェクト７４ａが位置Ｐ３３に配置されることとなる。このようにユーザが手綱部２６ｂを左手Ｌで柔らかく握ったとも右手Ｒで柔らかく握ったとも認識されなかった場合は、馬オブジェクト７４ａはまっすぐ前に移動するよう制御されることとなる。
In this case, the
なお以上の説明における距離Ｌは、例えば、馬オブジェクト７４ａの移動速度Ｖの値に基づいて特定される、１フレームあたりの馬オブジェクト７４ａの移動距離である。本実施形態では、距離Ｌの長さは、移動速度Ｖの値に比例する。
The distance L in the above description is, for example, the moving distance of the
以上のようにして本実施形態では、馬オブジェクト７４ａの位置Ｐ３や向きＱ３、及び、馬オブジェクト７４ａの姿勢や形状が制御されることとなる。
As described above, in the present embodiment, the position P3 and the direction Q3 of the
本実施形態では、速度増加指示の送信からフィットネス装置２６の動作速度が実際に所望の速度になるまでの間には一定程度の時間がかかる。ここで例えばエンタテインメント装置１４が速度増加指示をフィットネス装置２６に送信するタイミングに、馬オブジェクト７４ａの移動速度を速くしたとする。この場合、ユーザは表示部４６に表示される映像から得られる仮想空間７０内における馬オブジェクト７４ａの移動速度が速くなったことの知覚に遅れてフィットネス装置２６の動作速度が速くなったことを知覚する。このような、ユーザが知覚するフィットネス装置２６の動作と当該ユーザに提供される映像や音声とが同期しない状況は、ユーザにとって違和感がある。
In the present embodiment, it takes a certain amount of time from the transmission of the speed increase instruction until the operating speed of the
一方本実施形態では上述のように、エンタテインメント装置１４が、コントローラ２２が送信するモーションデータによって特定されるフィットネス装置２６の動作速度の実際の変化に応じて、馬オブジェクト７４ａの移動速度が変化する。また本実施形態では、上述のように、ある期間におけるフィットネス装置２６の揺動運動の周期に基づいて、その後のフィットネス装置２６の揺動運動の周期及びその開始タイミングが推定される。そして推定された開始タイミングから、一完歩の動作を周期とする馬オブジェクト７４ａの３次元アニメーションが開始される。また推定された周期が、当該３次元アニメーションの周期となる。そのため本実施形態によれば、ユーザが知覚するフィットネス装置２６の動作と当該ユーザに提供される映像や音声とが同期することとなる。
On the other hand, in the present embodiment, as described above, the
以下、ＨＭＤ１２の位置及び向きに基づく、仮想カメラ７２の視点の位置Ｐ４及び視線方向Ｑ４の制御についてさらに説明する。
The control of the viewpoint position P4 and the line-of-sight direction Q4 of the
例えば図１０に示すように、初期状態における実空間内におけるＨＭＤ１２の位置がＰ２０であり、ＨＭＤ１２の向きがＱ２０であることとする。上述のように、向きＱ２０は、Ｘ１軸正方向である。そして初期状態における仮想カメラ７２の視点は位置Ｐ４０に配置され、視線方向Ｑ４０を向いていることとする。上述のように、視線方向Ｑ４０はＸ３軸正方向である。
For example, as shown in FIG. 10, the position of the
そしてあるフレームにおけるＨＭＤ１２の位置がＰ２１であり、向きがＱ２１である場合、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系において仮想カメラ７２の視点が位置Ｐ４１に配置され、視線方向Ｑ４１を向いていることとする。ここで、Ｘ１軸、Ｙ１軸、Ｚ１軸から構成される座標系において、位置Ｐ２０を視点として位置Ｐ２１を終点とするベクトルをベクトルａ１とする。またＸ３軸、Ｙ３軸、Ｚ３軸から構成される座標系において、位置Ｐ４０を視点として位置Ｐ４１を終点とするベクトルをベクトルａ２とする。
When the position of the
この場合、ベクトルａ２は、ベクトルａ１に比例する。このように本実施形態では馬オブジェクト７４ａを基準とした仮想カメラ７２の位置Ｐ４は、ＨＭＤ１２の実空間内における位置Ｐ２に応じたものとなっている。またＸ１軸、Ｙ１軸、Ｚ１軸から構成される座標系における向きＱ２０を基準とした向きＱ２１の向きは、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成される座標系における向きＱ４０を基準とした向きＱ４１の向きと一致する。
In this case, the vector a2 is proportional to the vector a1. As described above, in the present embodiment, the position P4 of the
このように本実施形態では、ＨＭＤ１２の位置に応じた位置Ｐ４からＨＭＤ１２の向きに応じた視線方向Ｑ４を見た様子を示す映像がエンタテインメント装置１４で生成されることとなる。そして当該映像がＨＭＤ１２に送信されて、ＨＭＤ１２の表示部４６に表示されることとなる。
As described above, in the present embodiment, the
また本実施形態では、エンタテインメント装置１４は、馬オブジェクト７４ａの移動速度に応じた風量で風を出力する指示を、ハブ装置２４を経由して送風機２８に送信する。送風機２８は当該指示に応じた風量の風を出力する。また本実施形態では、エンタテインメント装置１４は、馬オブジェクト７４ａの位置に応じた強さで香りを出力する指示を、ハブ装置２４を経由して芳香器３０に送信する。芳香器３０は当該指示に応じた風量の風を出力する。このようにすると、ユーザの乗馬における臨場感がさらに高まることとなる。
Further, in the present embodiment, the
以下、本実施形態に係るエンタテインメント装置１４の機能並びに本実施形態に係るエンタテインメント装置１４で実行される処理についてさらに説明する。なお本実施形態に係るエンタテインメント装置１４は、フィットネス装置２６の動作、及び、ＨＭＤ１２に送信される映像及び音声を制御する制御装置としての役割を担うこととなる。また本実施形態に係るエンタテインメント装置１４は、外部装置（本実施形態では例えば、フィットネス装置２６）と通信可能であり、また、当該外部装置とは別体である。
Hereinafter, the function of the
図１１は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図１１に示す機能のすべてが実装される必要はなく、また、図１１に示す機能以外の機能が実装されていても構わない。
FIG. 11 is a functional block diagram showing an example of functions implemented in the
図１１に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、仮想オブジェクトデータ記憶部９０、推定揺動データ記憶部９２、移動速度データ記憶部９４、移動方向データ記憶部９６、視点データ記憶部９８、圧力データ受付部１００、移動方向決定部１０２、動作指示決定部１０４、動作指示出力部１０６、コントローラモーションデータ受付部１０８、動作特定部１１０、推定部１１２、移動速度決定部１１４、仮想オブジェクト制御部１１６、ＨＭＤモーションデータ受付部１１８、視点制御部１２０、映像生成部１２２、映像送信部１２４、音声出力指示送信部１２６、を含んでいる。
As shown in FIG. 11, the
仮想オブジェクトデータ記憶部９０、推定揺動データ記憶部９２、移動速度データ記憶部９４、移動方向データ記憶部９６、視点データ記憶部９８は、記憶部６２を主として実装される。圧力データ受付部１００、動作指示出力部１０６、コントローラモーションデータ受付部１０８は、通信部６４を主として実装される。移動方向決定部１０２、動作指示決定部１０４、動作特定部１１０、推定部１１２、移動速度決定部１１４、仮想オブジェクト制御部１１６、視点制御部１２０、映像生成部１２２は、制御部６０を主として実装される。ＨＭＤモーションデータ受付部１１８、映像送信部１２４、音声出力指示送信部１２６は、入出力部６６を主として実装される。
The virtual object
以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムを制御部６０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給される。
The above functions may be implemented by causing the
仮想オブジェクトデータ記憶部９０は、本実施形態では、仮想空間７０や仮想オブジェクト７４に関するポリゴンデータやテクスチャデータなどの仮想オブジェクトデータを記憶する。仮想オブジェクトデータ記憶部９０は、本実施形態ではまた、仮想空間７０内における仮想オブジェクト７４の位置や向きを示すデータも記憶する。例えば、馬オブジェクト７４ａの位置及び向きを示す馬オブジェクト配置データが記憶される。馬オブジェクト配置データには、例えば、Ｘ２軸、Ｙ２軸、Ｚ２軸から構成されるグローバル座標系における、上述の位置Ｐ３の座標値、及び、上述の向きＱ３を表すベクトルの成分の値が含まれる。仮想オブジェクトデータ記憶部９０は、また、キーフレームの馬オブジェクト７４ａａ、７４ａｂ、７４ａｃ、及び、７４ａｄも記憶する。
In the present embodiment, the virtual object
推定揺動データ記憶部９２は、本実施形態では、フィットネス装置２６の揺動運動の周期及びその開始タイミングの推定値を示すデータを記憶する。推定揺動データ記憶部９２は例えば、フィットネス装置２６の揺動運動の次の周期の長さ（例えば図８の周期Ｔｂ２）を示す推定周期データ、及び、当該次の周期の開始タイミング（例えば図８の時刻ｔｂ１）を示す推定開始タイミングデータを記憶する。
In the present embodiment, the estimated rocking
移動速度データ記憶部９４は、本実施形態では、ユーザによる操作対象となる仮想オブジェクト７４、ここでは例えば馬オブジェクト７４ａの移動速度Ｖを示す移動速度データを記憶する。
In the present embodiment, the moving speed
移動方向データ記憶部９６は、本実施形態では、ユーザによる操作対象となる仮想オブジェクト７４、ここでは例えば馬オブジェクト７４ａの移動方向を示す移動方向データを記憶する。本実施形態では、移動方向データは、「左前」、「まっすぐ」、又は、「右前」のいずれかの値をとることとする。
In the present embodiment, the moving direction
視点データ記憶部９８は、本実施形態では、仮想カメラ７２に設定された視点の位置Ｐ４及び視線方向Ｑ４を示す視点データを記憶する。視点データは、例えば、Ｘ３軸、Ｙ３軸、Ｚ３軸から構成されるローカル座標系における、位置Ｐ４の座標値及び視線方向Ｑ４を表すベクトルの成分の値を含んでいる。
In the present embodiment, the viewpoint
圧力データ受付部１００は、本実施形態では、フィットネス装置２６から出力される圧力データを、ハブ装置２４経由で受け付ける。圧力データ受付部１００は、例えば、所定のフレームレートで圧力データを受け付ける。
In the present embodiment, the pressure
移動方向決定部１０２は、本実施形態では、圧力データ受付部１００が受け付ける圧力データに基づいて、上述のようにして、移動方向データの値を決定する。そして移動方向決定部１０２は、移動方向データ記憶部９６に記憶されている移動方向データの値を、決定された値に更新する。移動方向決定部１０２は、例えば、所定のフレームレートで移動方向データの値を更新する。例えばユーザが手綱部２６ｂを握っている左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことが特定された際には、移動方向データの値は「左前」に更新される。また例えばユーザが手綱部２６ｂを握っている右手Ｒの力の強さが強さＦ２よりも強く、左の力の強さが強さＦ２よりも弱いことが特定された際には、移動方向データの値は「右前」に更新される。また左手Ｌの力の強さが強さＦ２よりも強く、右手Ｒの力の強さが強さＦ２よりも弱いことも、右手Ｒの力の強さが強さＦ２よりも強く、左手Ｌの力の強さが強さＦ２よりも弱いことも特定されなかった際には、移動方向データの値は「まっすぐ」に更新される。
In the present embodiment, the moving
動作指示決定部１０４は、本実施形態では、圧力データ受付部１００が受け付ける圧力データに基づいて、上述のようにして、フィットネス装置２６に出力する動作指示を決定する。動作指示決定部１０４は、例えば、直近の所定数のフレームにおいて圧力データ受付部１００が受け付けた圧力データの値を保持する。そして、動作指示決定部１０４は、例えば、保持する圧力データの値に基づいて、動作開始指示、速度増加指示、速度減少指示などの動作指示を決定する。また本実施形態では、動作指示決定部１０４が、フィットネス装置２６の動作速度設定値を保持していることとする。
In the present embodiment, the motion
動作指示出力部１０６は、本実施形態では、動作の指示を外部装置に出力する。動作指示出力部１０６は、例えば、動作指示決定部１０４による動作指示の決定に応じて、決定された動作指示を、ハブ装置２４経由で、フィットネス装置２６に出力する。
In this embodiment, the operation
また上述のように本実施形態では、動作指示出力部１０６は、ユーザによる外部装置（ここでは例えばフィットネス装置２６）に対する操作に応じた動作の指示を当該外部装置に出力する。この場合は、ユーザは外部装置を操作することで当該外部装置の動作を制御できることとなる。
Further, as described above, in the present embodiment, the operation
コントローラモーションデータ受付部１０８は、本実施形態では、コントローラ２２が送信する、フィットネス装置２６の回転量、移動量などを示すモーションデータを受け付ける。コントローラモーションデータ受付部１０８は、例えば、所定のフレームレートで当該モーションデータを受け付ける。
In the present embodiment, the controller motion
動作特定部１１０は、本実施形態では、ユーザによって知覚される、動作の指示に応じた外部装置の動作を特定する。動作特定部１１０は、例えば、直近の所定数のフレームにおいてコントローラモーションデータ受付部１０８が受け付けたモーションデータの値を保持する。そして、動作特定部１１０は、例えば、保持するモーションデータの値に基づいて、フィットネス装置２６の動作を特定する。ここでは例えば、フィットネス装置２６の揺動運動の周期の開始タイミングである、時刻ｔａ３、ｔａ２、ｔａ１、及び現在時刻ｔａ０などが特定される。また例えば、フィットネス装置２６の停止している状態から動作している状態への変化やフィットネス装置２６の動作している状態から停止している状態への変化が特定される。
In the present embodiment, the
推定部１１２は、本実施形態では例えば、動作特定部１１０が特定する、ある期間における外部装置の動作に基づいて、当該ある期間より後である、所定の映像又は音声に対応する、外部装置の動作の開始タイミングを推定する。ここで所定の映像としては、例えば、一完歩の動作を周期とする馬オブジェクト７４ａの３次元アニメーションの映像などが相当する。推定部１１２は例えば、上述したように、フィットネス装置２６の揺動運動の開始タイミングとして、図８に示す時刻ｔｂ１を推定する。またここで推定部１１２は、外部装置の単位動作が行われる時間の長さ、ここでは例えば、図８に示す、フィットネス装置２６の揺動運動の周期Ｔｂ２を推定してもよい。そして推定部１１２は、推定揺動データ記憶部９２に記憶されている推定周期データの値を、推定された周期Ｔｂ２に更新する。また推定部１１２は、推定揺動データ記憶部９２に記憶されている推定開始タイミングデータの値を、推定された時刻ｔｂ１に更新する。
In the present embodiment, the
移動速度決定部１１４は、本実施形態では、外部装置の動作に基づいて、仮想オブジェクト７４の移動速度を決定する。移動速度決定部１１４は、例えば、推定部１１２が推定する周期Ｔｂ２に基づいて、馬オブジェクト７４ａの移動速度Ｖを決定する。そして移動速度決定部１１４は、移動速度データ記憶部９４に記憶されている移動速度データの値を、決定された移動速度Ｖの値に更新する。
In the present embodiment, the moving
なお、推定部１１２によるフィットネス装置２６の揺動運動の周期及び開始タイミングの推定が行われるタイミングは特に問わない。例えば、フィットネス装置２６の揺動運動の周期が半分終了したタイミングや、所定のキーフレームの馬オブジェクト７４ａが配置されるタイミングに、上述の推定が行われるようにしてもよい。また同様に移動速度決定部１１４による、移動速度Ｖの更新タイミングも特に問わない。
It should be noted that there is no particular limitation on the timing at which the
仮想オブジェクト制御部１１６は、本実施形態では、所定のフレームレートで、仮想空間７０内の馬オブジェクト７４ａの形状、姿勢、位置Ｐ３、向きＱ３を更新する。ここで位置Ｐ３の変化量や向きＱ３の変化量は、例えば、移動速度データ記憶部９４に記憶されている移動速度データの値、及び、移動方向データ記憶部９６に記憶されている移動方向データの値に基づいて、上述したように決定される。例えば、移動方向データの値が「左前」である場合は、馬オブジェクト７４ａは左前に移動するよう制御される。また例えば、移動方向データの値が「右前」である場合は、馬オブジェクト７４ａは右前に移動するよう制御される。また例えば、移動方向データの値が「まっすぐ」である場合は、馬オブジェクト７４ａはまっすぐ前に移動するよう制御される。
In this embodiment, the virtual
また仮想オブジェクト制御部１１６は、本実施形態では、推定揺動データ記憶部９２に記憶されている推定開始タイミングデータが示す開始タイミングから始まる周期において、仮想空間７０に配置される馬オブジェクト７４ａを生成する。例えば上述のように、時刻ｔｂ１から時刻ｔｂ２までの間の各フレームにおいて、仮想空間７０に配置される馬オブジェクト７４ａが生成されることとなる。
Further, in the present embodiment, the virtual
そして仮想オブジェクト制御部１１６は、本実施形態では、生成された馬オブジェクト７４ａを、配置されるフレームを示すデータに関連付けた上で、仮想オブジェクトデータ記憶部９０に記憶させる。なおここで、あるフレームを示すデータに関連付けられた生成された馬オブジェクト７４ａが既に記憶されている場合には、当該馬オブジェクト７４ａが更新されるようにしてもよい。このようにして記憶された馬オブジェクト７４ａは、関連付けられるフレームが到来するまで記憶され、当該フレームが到来した際に仮想空間７０に配置されることとなる。
Then, in the present embodiment, the virtual
また仮想オブジェクト制御部１１６は、所定のタイミング、例えば、キーフレームの馬オブジェクト７４ａが配置されるタイミングを、次の周期における馬の蹄の音の出力指示の送信タイミングとして決定してもよい。
Further, the virtual
ＨＭＤモーションデータ受付部１１８は、本実施形態では、ユーザが装着するＨＭＤ１２から、ＨＭＤ１２の位置及び向きを示すモーションデータを受け付ける。
In this embodiment, the HMD motion
視点制御部１２０は、本実施形態では、ＨＭＤモーションデータ受付部１１８が受け付けるモーションデータに基づいて、上述のようにして、仮想カメラ７２の位置Ｐ４及び視線方向Ｑ４を決定する。そして視点制御部１２０は、本実施形態では、決定された位置Ｐ４及び視線方向Ｑ４に従って、仮想カメラ７２を仮想空間７０内に配置する。
In the present embodiment, the
映像生成部１２２は、本実施形態では、ユーザが装着するＨＭＤ１２の向きと、特定される外部装置（ここでは例えばフィットネス装置２６）の動作に応じた映像を生成する。映像生成部１２２は、例えば、所定のフレームレートで上述の映像を生成する。映像生成部１２２は、例えば、特定される外部装置（ここでは例えばフィットネス装置２６）の動作に応じて動く馬オブジェクト７４ａが配置された仮想空間７０を、ＨＭＤ１２の向きに応じた仮想カメラ７２の視線方向Ｑ４から見た様子を表す映像を生成する。なお本実施形態では、仮想カメラ７２の視点の位置Ｐ４から視線方向Ｑ４から見た様子を表す映像が生成されることとなる。また映像生成部１２２は、推定部１１２が推定する開始タイミングに再生が開始される映像を生成することとなる。
In the present embodiment, the
映像送信部１２４は、本実施形態では、映像生成部１２２が生成する映像をＨＭＤ１２に表示させる。映像送信部１２４は、例えば、所定のフレームレートで、映像生成部１２２が生成する映像をＨＭＤ１２に送信する。ＨＭＤ１２は、エンタテインメント装置１４から受信する映像を所定のフレームレートで表示部４６に表示させる。
In the present embodiment, the
音声出力指示送信部１２６は、本実施形態では、音声をＨＭＤ１２から出力させる。音声出力指示送信部１２６は、例えば、所定のキーフレームの馬オブジェクト７４ａが仮想空間７０に配置されるタイミングに、馬の蹄の音の出力指示をＨＭＤ１２に送信する。ＨＭＤ１２は、例えば、エンタテインメント装置１４からの馬の蹄の音の出力指示の受信に応じて、馬の蹄の音を音声出力部５０から出力させる。
In the present embodiment, the voice output
本実施形態では、映像生成部１２２、映像送信部１２４、及び、音声出力指示送信部１２６が、推定される開始タイミングに所定の映像又は音声の再生を開始することで、当該所定の映像又は音声をユーザに提供する提供部としての役割を担うこととなる。また本実施形態では、推定される時間の長さ（例えば、周期Ｔｂ２）にて所定の映像又は音声がユーザに提供されることとなる。
In the present embodiment, the
また本実施形態では、動作指示出力部１０６は、さらに、ユーザに提供される映像又は音声に応じた動作の指示を、上述の外部装置（ここでは例えばフィットネス装置２６）とは異なる外部装置（ここでは例えば送風機２８や芳香器３０）に出力する。このようにユーザに提供される映像又は音声に応じた風量による風の出力やユーザに提供される映像又は音声に応じた強さによる香りの出力が行われると、ユーザの乗馬における臨場感がさらに高まることとなる。
Further, in the present embodiment, the operation
以下、本実施形態に係るエンタテインメント装置１４において行われる、馬オブジェクト７４ａの移動速度の決定処理の流れの一例を、図１２に示すフロー図を参照しながら説明する。なお、以下においては、所定のキーフレームの馬オブジェクト７４ａが配置されるタイミングに、揺動運動の周期の長さＴ、及び、移動速度Ｖの決定が行われる場合についての処理の流れの一例を説明することとする。
Hereinafter, an example of the flow of the process of determining the moving speed of the
まず、コントローラモーションデータ受付部１０８が、コントローラ２２が送信する、フィットネス装置２６の回転量、移動量などを示すモーションデータを受け付ける（Ｓ１０１）。そして動作特定部１１０は、フィットネス装置２６が所定の状態であるか否かを確認する（Ｓ１０２）。ここでは例えばフィットネス装置２６の揺動運動の周期が半分終了した状態であるか否かが確認される。そして所定の状態ではないことが確認された場合は（Ｓ１０２：Ｎ）、Ｓ１０１に示す処理に戻る。
First, the controller motion
一方、フィットネス装置２６が所定の状態であることが確認された場合は（Ｓ１０２：Ｙ）、動作特定部１１０が、保持しているモーションデータの値に基づいて、ある期間におけるフィットネス装置２６の揺動運動を特定する（Ｓ１０３）。ここでは例えば、時刻ｔａ３、時刻ｔａ２、時刻ｔａ１、時刻ｔａ０などが特定される。そして推定部１１２が、Ｓ１０３に示す処理で特定された、ある期間の揺動運動に基づいて、それ以後の揺動運動を推定する（Ｓ１０４）。ここでは例えば上述の開始タイミングｔｂ１、及び、周期Ｔｂ２が推定される。そして推定部１１２は、推定揺動データ記憶部９２に記憶されている推定周期データの値を、Ｓ１０３に示す処理で特定された周期Ｔｂ２に更新し、推定開始タイミングデータの値を、Ｓ１０３に示す処理で特定された時刻ｔｂ１に更新する（Ｓ１０５）。そして移動速度決定部１１４は、Ｓ１０５に示す処理で更新された周期Ｔｂ２に基づいて、馬オブジェクト７４ａの移動速度Ｖを決定する（Ｓ１０６）。そして移動速度決定部１１４は、移動速度データ記憶部９４に記憶されている移動速度データの値を、Ｓ１０６に示す処理で決定された移動速度Ｖの値に更新する（Ｓ１０７）。
On the other hand, when it is confirmed that the
そして仮想オブジェクト制御部１１６が、次の周期における各フレームに配置される馬オブジェクト７４ａを生成する（Ｓ１０８）。そして仮想オブジェクト制御部１１６が、Ｓ１０８に示す処理で生成された馬オブジェクト７４ａを、配置されるフレームを示すデータに関連付けた上で、仮想オブジェクトデータ記憶部９０に記憶させて（Ｓ１０９）、Ｓ１０１に示す処理に戻る。
Then, the virtual
なおＳ１０９に示す処理で、配置されるフレームを示すデータに関連付けられた馬オブジェクト７４ａが仮想オブジェクトデータ記憶部９０に既に記憶されている場合がある。この場合は、仮想オブジェクト制御部１１６は、当該馬オブジェクト７４ａを、Ｓ１０７に示す処理で生成された馬オブジェクト７４ａに更新してもよい。
In the process shown in S109, the
また推定揺動データ記憶部９２が、上述の周期Ｔｂ１及び周期Ｔｂ２を示す推定周期データを記憶してもよい。また推定部１１２は、上述の周期Ｔｂ１及び周期Ｔｂ２を示す推定周期データを推定揺動データ記憶部９２に記憶させてもよい。また移動速度決定部１１４は、推定部１１２が推定する周期Ｔｂ１に基づいて、馬オブジェクト７４ａの移動速度Ｖを決定してもよい。
Further, the estimated swing
本処理例では、Ｓ１０１〜Ｓ１０８に示す処理が、所定のフレームレートで繰り返し実行されることとなる。 In this processing example, the processing shown in S101 to S108 is repeatedly executed at a predetermined frame rate.
以下、本実施形態に係るエンタテインメント装置１４において行われる、ＨＭＤ１２に送信される映像を構成するフレーム画像である表示画像８０の生成処理の流れの一例を、図１３に示すフロー図を参照しながら説明する。
Hereinafter, an example of the flow of the generation process of the display image 80, which is the frame image forming the video transmitted to the
まずＨＭＤモーションデータ受付部１１８が、ＨＭＤ１２の位置及び向きを示すモーションデータを受け付ける（Ｓ２０１）。そして仮想オブジェクト制御部１１６が、当該フレームにおける馬オブジェクト７４ａの位置Ｐ３及び向きＱ３を特定する（Ｓ２０２）。位置Ｐ３及び向きＱ３は、例えば、直前のフレームにおける馬オブジェクト７４ａの位置Ｐ３及び向きＱ３、移動速度データ記憶部９４に記憶されている移動速度データ、及び、移動方向データ記憶部９６に記憶されている移動方向データに基づいて特定される。
First, the HMD motion
そして仮想オブジェクト制御部１１６は、Ｓ１０７に示す処理で生成された、当該フレームにおける馬オブジェクト７４ａを、Ｓ２０２に示す処理で特定された位置Ｐ３に、向きＱ３に沿って配置する（Ｓ２０３）。
Then, the virtual
そして視点制御部１２０が、Ｓ２０１に示す処理で受け付けたモーションデータに基づいて、仮想カメラ７２の位置Ｐ４及び視線方向Ｑ４を決定する（Ｓ２０４）。そして視点制御部１２０が、Ｓ２０３に示す処理で配置された馬オブジェクト７４ａの位置Ｐ３及び向きＱ３、及び、Ｓ２０４に示す処理で決定された位置Ｐ４及び視線方向Ｑ４に基づいて、仮想空間７０内に仮想カメラ７２を配置する（Ｓ２０５）。
Then, the
そして、映像生成部１２２が、Ｓ２０５に示す処理で配置された仮想カメラ７２が、馬オブジェクト７４ａ等の仮想オブジェクト７４が配置された仮想空間７０を見た様子を示す表示画像８０を生成する（Ｓ２０６）。
Then, the
本処理例では、Ｓ２０１〜Ｓ２０６に示す処理が、所定のフレームレートで繰り返し実行されることとなる。 In this processing example, the processing of S201 to S206 will be repeatedly executed at a predetermined frame rate.
なお、本発明は上述の実施形態に限定されるものではない。 The present invention is not limited to the above embodiment.
例えば、コントローラ２２から受信するモーションデータに基づいて特定される、仮想空間７０内における馬オブジェクト７４ａの位置や向きが、フィットネス装置２６の位置や向きに連動するようにしてもよい。例えば、実空間内における、コントローラ２２に設定された基準となる位置Ｐ１の変化に応じて、仮想空間７０内における、馬オブジェクト７４ａに設定された基準となる位置をＰ３が変化するようにしてもよい。また例えば、実空間内における、コントローラ２２の後方から前方に向かう基準となる方向をＱ１の変化に応じて、仮想空間７０内における、馬オブジェクト７４ａの後方から前方に向かう基準の向きをＱ３が変化するようにしてもよい。
For example, the position or orientation of the
また例えば、カメラ２０ａが撮影する画像内におけるコントローラ２２の位置及び向きに基づいて、フィットネス装置２６の移動速度や揺動運動の周期が特定されるようにしてもよい。また同様にカメラ２０ａが撮影する画像内におけるＨＭＤ１２の位置及び向きに基づいて、仮想カメラ７２に設定された視点の位置Ｐ４及び視線方向Ｑ４が決定されるようにしてもよい。
Further, for example, the moving speed of the
また例えば、着座部２６ａが圧力センサを備えていてもよい。そして例えば、ユーザが左に体を傾けたことに応じて、馬オブジェクト７４ａが左前に移動するようにしてもよい。また例えば、ユーザが右に体を傾けたことに応じて、馬オブジェクト７４ａが右前に移動するようにしてもよい。
Further, for example, the
また例えば、ＨＭＤ１２を装着したユーザが頭部を激しく動かした際に、フィットネス装置２６の動作速度が遅くなる、あるいはフィットネス装置２６が停止するようにしてもよい。
Further, for example, when the user wearing the
また例えば、ユーザの体が動きすぎているときや、ユーザの姿勢がよくない場合に、このことを表すアニメーション等のメッセージが表示部４６に表示されるようにしてもよい。あるいはこの場合に、メッセージの音声が音声出力部５０から出力されるようにしてもよい。
Further, for example, when the user's body is moving too much or the user's posture is not good, a message such as an animation indicating this may be displayed on the
また例えば、動作が制御される外部装置は、フィットネス装置２６である必要はなく、例えば、内蔵された可動式の球体部によるもみ上げやもみ下げが可能な、マッサージ機能を備えたクッション等の可動式のクッション、可動式の座布団、あるいは、可動式の椅子などであっても構わない。
In addition, for example, the external device whose movement is controlled does not have to be the
また本発明は、ユーザが知覚する装置の動作と当該ユーザに提供される映像や音声とを同期させる場面一般に適用可能である。例えば当該ユーザに提供される映像や音声と照明の明るさとが同期されるようにしてもよい。また例えば、外部装置が出力する画像や音や姿勢などと、ユーザに提供される映像や音声とが同期させるようにしてもよい。 Further, the present invention can be applied to general scenes in which the operation of the device perceived by the user is synchronized with the video and audio provided to the user. For example, the video and audio provided to the user may be synchronized with the brightness of the illumination. Further, for example, the image, sound, posture, etc. output by the external device may be synchronized with the image or sound provided to the user.
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。 Further, the specific character strings and numerical values described above and the specific character strings and numerical values in the drawings are examples, and the present invention is not limited to these character strings and numerical values.
１０ エンタテインメントシステム、１２ ヘッドマウントディスプレイ（ＨＭＤ）、１４ エンタテインメント装置、１６ 中継装置、１８ ディスプレイ、２０ カメラマイクユニット、２０ａ カメラ、２０ｂ マイク、２２ コントローラ、２４ ハブ装置、２６ フィットネス装置、２６ａ 着座部、２６ｂ 手綱部、２８ 送風機、３０ 芳香器、４０ 制御部、４２ 記憶部、４４ 入出力部、４６ 表示部、４８ センサ部、５０ 音声出力部、６０ 制御部、６２ 記憶部、６４ 通信部、６６ 入出力部、７０ 仮想空間、７２ 仮想カメラ、７４ 仮想オブジェクト、７４ａ，７４ａａ，７４ａｂ，７４ａｃ，７４ａｄ 馬オブジェクト、７４ｂ 花オブジェクト、７４ｃ きのこオブジェクト、７４ｄ 木オブジェクト、８０，８０ａ，８０ｂ，８０ｃ 表示画像、９０ 仮想オブジェクトデータ記憶部、９２ 推定揺動データ記憶部、９４ 移動速度データ記憶部、９６ 移動方向データ記憶部、９８ 視点データ記憶部、１００ 圧力データ受付部、１０２ 移動方向決定部、１０４ 動作指示決定部、１０６ 動作指示出力部、１０８ コントローラモーションデータ受付部、１１０ 動作特定部、１１２ 推定部、１１４ 移動速度決定部、１１６ 仮想オブジェクト制御部、１１８ ＨＭＤモーションデータ受付部、１２０ 視点制御部、１２２ 映像生成部、１２４ 映像送信部、１２６ 音声出力指示送信部。 10 entertainment system, 12 head mounted display (HMD), 14 entertainment device, 16 relay device, 18 display, 20 camera microphone unit, 20a camera, 20b microphone, 22 controller, 24 hub device, 26 fitness device, 26a seating portion, 26b Reins, 28 Blower, 30 Fragrance, 40 Control, 42 Storage, 44 Input/Output, 46 Display, 48 Sensor, 50 Voice Output, 60 Control, 62 Storage, 64 Communication, 66 Input Output section, 70 virtual space, 72 virtual camera, 74 virtual object, 74a, 74aa, 74ab, 74ac, 74ad horse object, 74b flower object, 74c mushroom object, 74d tree object, 80, 80a, 80b, 80c display image, 90 Virtual object data storage unit, 92 estimated swing data storage unit, 94 moving speed data storage unit, 96 moving direction data storage unit, 98 viewpoint data storage unit, 100 pressure data acceptance unit, 102 moving direction determination unit, 104 operation instruction determination Unit, 106 motion instruction output unit, 108 controller motion data reception unit, 110 motion identification unit, 112 estimation unit, 114 moving speed determination unit, 116 virtual object control unit, 118 HMD motion data reception unit, 120 viewpoint control unit, 122 video Generating unit, 124 Video transmitting unit, 126 Audio output instruction transmitting unit.
Claims (8)
動作の指示を前記外部装置に出力する動作指示出力部と、
ユーザによって知覚される、前記指示に応じた前記外部装置のある期間における動作を特定する動作特定部と、
特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記外部装置の動作の開始タイミングを推定する推定部と、
推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する提供部、
を含むことを特徴とする制御装置。 A control device that is capable of communicating with an external device and is separate from the external device,
An operation instruction output unit that outputs an operation instruction to the external device,
A motion identifying unit that identifies a motion of the external device in a certain period, which is perceived by a user, according to the instruction,
An estimation unit that estimates the start timing of the operation of the external device corresponding to a predetermined video or audio, which is after the certain period, based on the specified operation.
A providing unit which provides the user with the predetermined video or audio by starting the reproduction of the predetermined video or audio at the estimated start timing.
A control device comprising:
前記提供部は、推定される前記時間の長さにて前記所定の映像又は音声を前記ユーザに提供する、
ことを特徴とする請求項１に記載の制御装置。 The estimation unit estimates the length of time during which a unit operation of the external device is performed, which corresponds to the predetermined video or audio, based on the identified operation.
The providing unit provides the user with the predetermined video or audio for the estimated length of time.
The control device according to claim 1, wherein:
ことを特徴とする請求項１又は２に記載の制御装置。 The operation instruction output unit outputs, to the external device, an operation instruction according to an operation performed on the external device by the user,
The control device according to claim 1 or 2, characterized in that.
ことを特徴とする請求項１から３のいずれか一項に記載の制御装置。 The providing unit causes the head mounted display to display an image corresponding to the orientation of the head mounted display worn by the user and the operation of the specified external device.
The control device according to any one of claims 1 to 3, wherein:
ことを特徴とする請求項４に記載の制御装置。 The providing unit displays, on the head mounted display, an image showing a state in which a virtual space in which an object that moves according to the operation of the specified external device is placed is viewed from a direction according to the orientation of the head mounted display. Let
The control device according to claim 4, wherein:
ことを特徴とする請求項１から５のいずれか一項に記載の制御装置。 The operation instruction output unit further outputs an operation instruction according to the video or audio provided to the user to an external device different from the external device,
The control device according to claim 1, wherein the control device is a control device.
動作特定部が、ユーザによって知覚される、前記指示に応じた前記装置のある期間における動作を特定するステップと、
推定部が、特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記装置の動作の開始タイミングを推定するステップと、
提供部が、推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供するステップ、
を含むことを特徴とする提供方法。 The operation instruction output unit outputs an operation instruction to the device,
A motion identifying unit identifies a motion perceived by a user of the device in response to the instruction during a period of time ;
A step estimator is based on said operation specified, it is later than said certain time period, and estimates the start timing of the operation of the prior KiSo location corresponding to a predetermined video or audio,
Step providing unit, which provides by starting the predetermined playback of video or audio on the start timing estimated, the predetermined video or audio to the user,
A providing method comprising:
ユーザによって知覚される、前記指示に応じた前記装置のある期間における動作を特定する手順、
特定される前記動作に基づいて、前記ある期間より後である、所定の映像又は音声に対応する前記装置の動作の開始タイミングを推定する手順、
推定される前記開始タイミングに前記所定の映像又は音声の再生を開始することで、当該所定の映像又は音声を前記ユーザに提供する手順、
をコンピュータに実行させることを特徴とするプログラム。 Procedure for outputting operation instructions to the device,
A procedure for identifying a behavior perceived by the user of the device in response to the instruction during a period of time ;
Procedure on the basis of the operation specified, is later than said certain time period, and estimates the start timing of the operation of the prior KiSo location corresponding to a predetermined video or audio,
A procedure of providing the predetermined video or audio to the user by starting the reproduction of the predetermined video or audio at the estimated start timing.
A program characterized by causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016030364A JP6713785B2 (en) | 2016-02-19 | 2016-02-19 | Control device, providing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016030364A JP6713785B2 (en) | 2016-02-19 | 2016-02-19 | Control device, providing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017144182A JP2017144182A (en) | 2017-08-24 |
| JP6713785B2 true JP6713785B2 (en) | 2020-06-24 |
Family
ID=59680518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016030364A Active JP6713785B2 (en) | 2016-02-19 | 2016-02-19 | Control device, providing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6713785B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7187768B2 (en) * | 2017-09-25 | 2022-12-13 | 富士フイルムビジネスイノベーション株式会社 | Camera device, camera device control system, and program |
-
2016
- 2016-02-19 JP JP2016030364A patent/JP6713785B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017144182A (en) | 2017-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107735152B (en) | Extended field of view re-rendering for Virtual Reality (VR) viewing | |
| US9219961B2 (en) | Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus | |
| US11806615B2 (en) | Asynchronous virtual reality interactions | |
| US9744459B2 (en) | Computer-readable storage medium storing information processing program, information processing device, information processing system, and information processing method | |
| US11373379B2 (en) | Image generation apparatus and image generation method for generating augmented reality images based on user interaction | |
| US20190005732A1 (en) | Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program | |
| JP7382954B2 (en) | VR sickness reduction system, head mounted display, VR sickness reduction method and program | |
| US9241231B2 (en) | Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus | |
| JP6688378B1 (en) | Content distribution system, distribution device, reception device, and program | |
| JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
| JP6713785B2 (en) | Control device, providing method, and program | |
| JPWO2017191700A1 (en) | Image generating apparatus, image generating method, and program | |
| CN111448536A (en) | Data replacement device, terminal, and data replacement program | |
| US20220279303A1 (en) | Spatial audio for wearable devices | |
| JP6563592B2 (en) | Display control apparatus, display control method, and program | |
| KR20200116380A (en) | Mobile interlocking VR device compatible to VR sports device | |
| JP2007167323A (en) | Game device, and controlling method and program for game device | |
| JP7053074B1 (en) | Appreciation system, appreciation device and program | |
| WO2017175366A1 (en) | Video display device and video display method | |
| JP7218875B2 (en) | animation production system | |
| WO2020158440A1 (en) | Information processing device, information processing method, and recording medium in which program is written | |
| EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
| WO2022149496A1 (en) | Entertainment system and robot | |
| WO2022249604A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP6810325B2 (en) | Game controls, game systems, and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200604 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6713785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |