WO2023286761A1

WO2023286761A1 - 情報処理装置、情報処理方法および駆動データ生成方法

Info

Publication number: WO2023286761A1
Application number: PCT/JP2022/027378
Authority: WO
Inventors: 実若林; 英樹森
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2021-07-14
Filing date: 2022-07-12
Publication date: 2023-01-19
Also published as: WO2023286191A1; JPWO2023286761A1

Abstract

操作情報取得部２１２は、ユーザの手に把持される操作装置の動きを示す操作情報を取得する。操作装置は、ユーザの手に力覚を提示する力覚提示部と、ユーザの手に触覚を提示する触覚提示部とを備える。制御部２３０は、仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御する。制御部２３０は、仮想デバイスと仮想オブジェクトとの関係にもとづいて、力覚提示部を駆動するための第１駆動データおよび触覚提示部を駆動するための第２駆動データを生成する。

Description

情報処理装置、情報処理方法および駆動データ生成方法

　本発明は、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供する技術に関する。

　特許文献１は、筐体と、筐体に結合される質量体と、筐体に対する質量体の位置を変更するために質量体に結合されるアクチュエータとを備える携帯コンピュータインタフェースを開示する。特許文献１に開示された携帯コンピュータインタフェースはゲームの操作装置として利用され、質量体を移動させることで、ユーザにフィードバックを提供する。

特開２０１０－２２５１５５号公報

　ヘッドマウントディスプレイ（Head Mounted Display : ＨＭＤ）はユーザの頭部に装着されて仮想現実（Virtual Reality : ＶＲ）の映像世界をユーザに提供する。最近ではＨＭＤをゲーム装置に接続し、ユーザがＨＭＤに表示されたゲーム画像を見ながら、操作装置を操作してゲームをプレイすることが一般的となっている。

　ゲームプレイ中、ユーザは操作装置を通じてゲームからフィードバックを与えられることで、ゲーム操作の結果をリアルに体感できる。そのためユーザに力覚フィードバックおよび／または触覚フィードバックを効果的に提供することで、ゲームなどのアプリケーションのエンタテインメント性を向上できると考えられる。

　本発明はこうした状況に鑑みてなされたものであり、その目的は、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供する技術を実現することにある。

　上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザの手に把持されて、ユーザの手に力覚を提示する力覚提示部を備える操作装置の動きを示す第１操作情報を取得する操作情報取得部と、仮想空間内で、操作装置に対応する仮想デバイスの動きを第１操作情報に応じて制御する制御部と、を備えた情報処理装置であって、制御部は、仮想デバイスの動きにもとづいて、力覚提示部を駆動するための駆動データを生成し、操作情報取得部は、力覚提示部がユーザの手によって動かされたことを示す第２操作情報を取得し、制御部は、第２操作情報に対応する機能を、仮想空間内において実行させる。

　本発明の別の態様の情報処理方法は、ユーザの手に把持されて、ユーザの手に力覚を提示する力覚提示部を備える操作装置の動きを示す第１操作情報を取得し、仮想空間内で、操作装置に対応する仮想デバイスの動きを第１操作情報に応じて制御し、仮想デバイスの動きにもとづいて、力覚提示部を駆動するための駆動データを生成し、力覚提示部がユーザの手によって動かされたことを示す第２操作情報を取得し、第２操作情報に対応する機能を、仮想空間内において実行させる。

　本発明のさらに別の態様の情報処理装置は、ユーザの手に把持されて、ユーザの第１の指に力覚を提示する力覚提示部とユーザの第２の指に触覚を提示する触覚提示部とを備える操作装置の動きを示す操作情報を取得する操作情報取得部と、仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御する制御部と、を備えた情報処理装置であって、制御部は、仮想デバイスと仮想オブジェクトとの関係にもとづいて、力覚提示部を駆動するための第１駆動データおよび触覚提示部を駆動するための第２駆動データを生成する。

　本発明の別の態様の駆動データ生成方法は、ユーザの手に把持されて、ユーザの第１の指に力覚を提示する力覚提示部と、ユーザの第２の指に触覚を提示する触覚提示部とを備える操作装置の動きを示す操作情報を取得し、仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御し、仮想デバイスと仮想オブジェクトとの関係にもとづいて、力覚提示部を駆動するための第１駆動データおよび触覚提示部を駆動するための第２駆動データを生成する。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

情報処理システムの構成例を示す図である。ＨＭＤの外観形状の例を示す図である。ＨＭＤの機能ブロックを示す図である。操作装置をユーザが把持した状態を示す図である。操作装置の側面図である。可動部に指を置いた状態を示す図である。可動部を基体に対して相対移動させる移動機構を示す図である。操作装置の機能ブロックを示す図である。情報処理装置の機能ブロックを示す図である。表示パネルに表示される画面の例を示す図である。仮想デバイスをインクに進入させる様子を示す図である。進入長と、可動部の移動量の関係を定めたマップの例を示す図である。振動波形の例を示す図である。移動速度と、振動部の振動量の関係を定めたマップの例を示す図である。表示パネルに表示される画面の例を示す図である。表示パネルに表示される画面の例を示す図である。衝突からの経過時間と、可動部の移動量の関係を定めたマップの例を示す図である。振動波形の例を示す図である。操作装置をユーザが把持した状態を示す図である。操作装置の斜視図である。可動部を基体に対して相対回転移動させる移動機構を示す図である。操作装置を正面から見たときの支持台フレームの傾きを示す図である。操作装置の機能ブロックを示す図である。情報処理装置の機能ブロックを示す図である。アプリケーションの画面例を示す図である。アプリケーションの画面例を示す図である。アプリケーションの画面例を示す図である。アプリケーションの画面例を示す図である。アプリケーションの画面例を示す図である。アプリケーションの画面例を示す図である。アプリケーションの画面例を示す図である。アプリケーションの画面例を示す図である。

　図１は、実施形態における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ユーザの頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザの手に把持される操作装置２０と、ＨＭＤ１００および操作装置２０を撮影する撮像装置１４と、画像および音を出力する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、または既知の無線通信プロトコルで接続してもよい。

　記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、アプリケーションを記録装置１１にダウンロードしてよい。情報処理装置１０はアプリケーションを実行して、アプリケーションの画像データおよび音データをＨＭＤ１００および出力装置１５に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またはケーブルで接続されてもよい。

　ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

　ＨＭＤ１００は仮想現実（ＶＲ）の映像世界をユーザに提供する。情報処理システム１にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。

　ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

　操作装置２０はバッテリにより駆動され、アプリケーションに対する操作を入力するための１つ以上の操作ボタンを備えるコントローラである。ユーザが操作装置２０の操作ボタンを操作すると、その操作入力が無線通信により情報処理装置１０に送信される。操作装置２０と情報処理装置１０の間には、たとえばBluetooth（登録商標）プロトコルを用いた無線接続が確立されてよい。情報処理装置１０は操作装置２０から操作入力を受信し、操作入力に応じてアプリケーションの進行を制御して、アプリケーションの画像データおよび音データを生成し、ＨＭＤ１００および出力装置１５に供給する。操作装置２０は無線コントローラに限らず、情報処理装置１０とケーブルを介して接続される有線コントローラであってもよい。

　操作装置２０は、３軸の加速度センサおよび３軸のジャイロセンサを含む姿勢センサを備え、所定の周期でセンサデータを情報処理装置１０に送信する。実施形態の描画アプリケーションは、ユーザの手に把持される操作装置２０の動きに合わせて、仮想３次元空間内で操作装置２０に対応する仮想デバイス２２を動かす。そのため情報処理装置１０は、操作装置２０から送信されるセンサデータをもとに、操作装置２０の位置、姿勢および／または動きを導出し、導出した操作装置２０の位置、姿勢および／または動きを、仮想デバイス２２を動かすための操作情報として利用する。

　撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮影して、周期ごとのフレーム画像を生成する。撮像装置１４はステレオカメラであって、情報処理装置１０が、撮影画像から対象物との距離を測定できることが好ましい。撮像装置１４の撮影速度は６０枚／秒として、ＨＭＤ１００のフレームレートと一致させてもよい。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介して情報処理装置１０と接続する。

　ＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、情報処理装置１０は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（３軸加速度センサおよび３軸ジャイロセンサ）が搭載され、情報処理装置１０は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施し、実空間におけるユーザ頭部（実際にはＨＭＤ１００）の位置および姿勢を検出してよい。

　ここでＨＭＤ１００の位置とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きであり、基準姿勢は、ユーザの視線方向が水平方向となる姿勢であって、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。なおトラッキング処理については従来より様々な手法が提案されており、情報処理装置１０はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

　図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

　筐体１０８の外面には、複数の発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

　図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

　制御部１２０は、画像データや音データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音出力部１３２に供給して出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

（実施例１）
　図４は、実施例１の操作装置２０をユーザが把持した状態を示す。図４（ａ）は、操作装置２０を正面から見た状態を示し、図４（ｂ）は、操作装置２０を側面から見た状態を示す。操作装置２０は、ユーザの手で把持される基体３０と、基体３０に対して相対移動可能な部品である可動部３２とを備える。可動部３２は、ユーザの手に力覚を提示する力覚提示部として機能し、情報処理装置１０から送信される駆動データにもとづいて駆動されて、ユーザに力覚フィードバックを提供する。

　操作装置２０はペン型のハプティクスデバイスであり、基体３０は略平行に配置される両側面をもつ。ユーザは基体３０の両側面を親指と中指で挟持し、人差し指を可動部３２に置いた状態で、操作装置２０を使用する。

　図５は、操作装置２０の側面図である。操作装置２０において、可動部３２が設けられている側が先端側と定義され、図５に示す側面視にて左側を前側、右側を後側と呼ぶ。図５に示す状態で可動部３２は基体３０から前方に最も突き出た位置にあり、この位置が可動部３２の「基準位置」となる。

　可動部３２の上面には、ユーザが基体３０を把持した状態で、人差し指の指先を置くための指置き部３６が設けられる。指置き部３６の前端には、指の先端部分が係合する指係合部３４が設けられる。指係合部３４は、可動部３２の移動方向（つまり前後方向）とは異なる向きに立設され、実施例１で指係合部３４は、可動部３２の上面に垂直な方向に立設されている。指係合部３４は、指の腹に沿うように傾斜し且つ曲率を有する湾曲面３４ａを有する。湾曲面３４ａが、可動部３２の上面に対して傾斜し且つ指先を接触させる方向に凹状に形成されていることで、ユーザは、人差し指の先端部分を安定して湾曲面３４ａに接触させることができる。

　ユーザは、ペンを持つように親指と中指で基体３０の両側面を挟持し、人差し指の腹を指置き部３６に置く。このためユーザは利き手に関係なく、人差し指を指置き部３６に置くことができる。基体３０の先端側の部分、具体的には親指または中指を配置される部分には、振動子を含む振動部４０が設けられる。振動部４０は、基体３０先端の両側に設けられてもよい。振動部４０は振動することで、ユーザの手に触覚を提示する触覚提示部として機能し、情報処理装置１０から送信される駆動データにもとづいて駆動されて、ユーザに触覚フィードバックを提供する。

　指置き部３６には、人差し指先端により操作可能な操作ボタン４２が設けられる。操作ボタン４２はプッシュ式ボタンであって、ユーザは操作ボタン４２を押し込むことで、接点構造を備えたスイッチ（図示せず）をオンする。操作ボタン４２は、指置き部３６において湾曲面３４ａより後方側に設けられる。操作ボタン４２が指置き部３６に設けられることで、ユーザは、基体３０を親指と中指で挟持した状態で、操作ボタン４２を人差し指で自由に操作できる。

　図６（ａ）は、基準位置にある可動部３２に指を置いた状態を示す。ユーザが指置き部３６に指の腹を置くと、指の先端部分が湾曲面３４ａにフィットして接触する。このように指の先端部分が指係合部３４に当接することで、可動部３２が基体３０に引き込まれる方向に動くときに、指が指係合部３４とともに確実に移動する。

　図６（ｂ）は、可動部３２が基体３０に引き込まれる方向に移動する状態を示す。可動部３２が移動するとき、指先端部は、指置き部３６との間に作用する摩擦力により、可動部３２に連動するように動く。このとき指先端部が、移動方向に対して垂直方向に立設されている指係合部３４と接触していることで、可動部３２の動きに確実に連動するようになる。

　図７は、可動部３２を基体３０に対して相対移動させる移動機構３００を示す。図７（ａ）は、可動部３２が基準位置にあるときの移動機構３００の状態を示し、図７（ｂ）は、可動部３２が基準位置から引き込まれたときの移動機構３００の状態を示す。

　移動機構３００は、第１回転アクチュエータ３１０、送りねじ３１２、ナット３１４、ガイド機構３１６、ロッド３１８、固定部３２０および第１回転角センサ３２２を備えて、可動部３２を基体３０の長手方向にスライド移動させる。この移動機構３００においては、第１回転アクチュエータ３１０が送りねじ３１２を正回転または逆回転することで、ナット３１４を、送りねじ３１２の軸方向（基体３０の長手方向）に移動させる。ナット３１４には複数のロッド３１８が固定されており、ロッド３１８の先端部には、可動部３２の被固定部に固定される固定部３２０が取り付けられる。ロッド３１８は、基体３０の内壁に固定されたガイド機構３１６によって、進行方向の動きをガイドされる。第１回転角センサ３２２は第１回転アクチュエータ３１０の回転角度を検出し、可動部３２の移動は、第１回転角センサ３２２の検出値にもとづいて制御される。

　図８は、操作装置２０の機能ブロックを示す。制御部５０は、センサデータ、駆動データなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部５２は、制御部５０が処理するデータや命令などを一時的に記憶する。姿勢センサ５４は、操作装置２０の姿勢情報を検出する。姿勢センサ５４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部５６は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部５０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部５６は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部５０に出力する。

　制御部５０は、駆動データを情報処理装置１０から受け取ると、可動部３２および／または振動部４０を駆動する。操作装置２０において、可動部３２は、ユーザの手に力覚を提示する力覚提示部であり、振動部４０は、ユーザの手に触覚を提示する触覚提示部である。可動部３２が力覚フィードバックを提供し、振動部４０が触覚フィードバックを提供することで、ユーザは、アプリケーションで生じるイベントをリアルに体感できる。制御部５０は、姿勢センサ５４からのセンサデータを、通信制御部５６から情報処理装置１０に送信させる。

　実施例１の操作装置２０は、仮想的な３次元空間に絵や文字を描く描画アプリケーションにおいて、インクを出す仮想デバイス２２として利用される。仮想デバイス２２は、ペン先を含む仮想ペンとして表示パネル１３０および出力装置１５に表示される。この描画アプリケーションでは、操作装置２０の先端部が仮想デバイス２２のペン先に対応し、ユーザが実空間で操作装置２０を動かすと、仮想デバイス２２が仮想空間内で、操作装置２０に連動した挙動を示す。

　図９は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、受信部２００および送信部２６０を備える。情報処理装置１０は、さらにＨＭＤ情報取得部２１０、操作情報取得部２１２および処理部２２０を備える。

　情報処理装置１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図９に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図９に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　ＨＭＤセンサデータ受信部２０２は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４のセンサデータを所定の周期で受信して、ＨＭＤ情報取得部２１０に供給する。たとえばＨＭＤ１００がセンサデータを送信する周期は、１１．２５ｍ秒に設定されてよい。撮影画像受信部２０４は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部２１０に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、撮影画像受信部２０４は、（１／６０）秒ごとに撮影画像を受信してよい。操作データ受信部２０６は、ユーザが把持する操作装置２０の姿勢センサ５４のセンサデータを所定の周期で受信する。たとえば操作装置２０がセンサデータを送信する周期は、１１．２５ｍ秒に設定されてよい。また操作データ受信部２０６は、ユーザが把持する操作装置２０の操作ボタン４２の操作データを受信する。操作データ受信部２０６は、姿勢センサ５４のセンサデータおよび操作ボタン４２の操作データを操作情報取得部２１２に供給する。

　ＨＭＤ情報取得部２１０は、ＨＭＤ１００のセンサデータと、撮影画像に含まれる複数の発光マーカ１１０の撮影状態から、実空間におけるＨＭＤ１００の姿勢を示す姿勢情報と、ＨＭＤ１００の位置を示す位置情報を取得する。ＨＭＤ情報取得部２１０は、撮影画像に含まれるトラッキング用の複数の発光マーカ１１０の傾きを算出し、算出した傾きと、３軸ジャイロセンサのセンサデータを用いて、ＨＭＤ１００の姿勢情報を取得してよい。またＨＭＤ情報取得部２１０は、基準位置からの移動量を、３軸加速度センサのセンサデータを用いて算出し、ＨＭＤ１００の位置情報を取得してよい。ＨＭＤ情報取得部２１０は、ＨＭＤ１００の姿勢情報および位置情報を処理部２２０に供給する。

　操作情報取得部２１２は、操作装置２０のセンサデータから、実空間における操作装置２０の姿勢を示す姿勢情報と、操作装置２０の位置を示す位置情報を取得する。操作情報取得部２１２は、主として３軸ジャイロセンサのセンサデータを用いて操作装置２０の姿勢情報を算出し、３軸加速度センサのセンサデータを用いて操作装置２０の位置情報を算出する。操作装置２０の姿勢情報および位置情報は、操作装置２０の動きを示す操作情報を構成する。操作情報取得部２１２は、操作装置２０の姿勢情報および位置情報を、操作装置２０の動きを示す操作情報として処理部２２０に供給する。また操作情報取得部２１２は、操作ボタン４２の操作データを、処理部２２０に供給する。

　処理部２２０は、制御部２３０、視線方向決定部２５０、マップ保持部２５２、振動波形保持部２５４、画像生成部２５６および音生成部２５８を備える。制御部２３０は、仮想デバイス制御部２３２、関係特定部２３４、作用決定部２３６および駆動データ生成部２３８を有する。

　視線方向決定部２５０は、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を定める。視線方向決定部２５０は、ＨＭＤ１００の姿勢情報をユーザの視線方向に変換し、変換した視線方向を、画像生成部２５６に供給する。画像生成部２５６は、視線方向決定部２５０から提供される視線方向を、仮想空間におけるプレイヤキャラクタの視線方向を定める情報として利用する。画像生成部２５６は、ＨＭＤ情報取得部２１０で取得されたＨＭＤ１００の位置情報、および視線方向決定部２５０で決定された視線方向にもとづいて、仮想カメラの位置および方向を決定して、アプリケーション画像を生成してよい。

　仮想デバイス制御部２３２は、操作装置２０の動きを示す操作情報に応じて、仮想空間における仮想デバイス２２の動きを制御する。具体的に仮想デバイス制御部２３２は、操作情報取得部２１２から周期的に操作装置２０の姿勢情報および位置情報を取得し、操作装置２０の姿勢情報および位置情報に応じて、仮想空間における仮想デバイス２２の姿勢および位置を定めて、実空間における操作装置２０の動きに、仮想空間における仮想デバイス２２を連動させる。なお仮想デバイス制御部２３２は、操作装置２０の位置情報または姿勢情報に応じて、仮想空間における仮想デバイス２２の位置または姿勢を定めてもよい。つまり仮想デバイス制御部２３２は、実空間における操作装置２０の位置と仮想空間における仮想デバイス２２の位置を連動させてよく、または実空間における操作装置２０の姿勢と仮想空間における仮想デバイス２２の姿勢を連動させてもよい。

　実施例１の描画アプリケーションでは、仮想空間において、プレイヤキャラクタが、仮想デバイス２２のペン先をインク壺に浸して、描画する線の色を決める。この後、仮想デバイス２２のペン先を描画開始位置まで移動させ、ユーザが操作ボタン４２を押下しながら、操作装置２０を動かすことで、仮想空間には、操作装置２０の先端部の軌跡が描画される。仮想３次元空間に描かれた線は、プレイヤキャラクタを守るシールドとなり、プレイヤキャラクタを目がけて飛んでくる仮想オブジェクト（砲弾）から身を防ぐために利用できる。この一連の進行において、操作装置２０が、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供することで、ユーザは、仮想空間内での行動に対する作用を体感できる。以下、アプリケーションにおける各シーンの作用について説明する。

＜ペン先をインク壺に浸すシーン＞
　図１０は、ＨＭＤ１００の表示パネル１３０に表示される画面の例を示す。表示パネル１３０には、インクを充填された複数のインク壺７０ａ、７０ｂ、７０ｃが表示される。複数のインク壺７０ａ、７０ｂ、７０ｃは、仮想空間において所定の位置に配置され、それぞれ異なる色のインクを充填されている。ここでインク壺７０ａは赤インク７２ａ、インク壺７０ｂは青インク７２ｂ、インク壺７０ｃは黄インク７２ｃを充填されている。ユーザは仮想デバイス２２を、使いたい色のインク壺７０の上に動かし、ペン先をインクに浸す。なお図１０、図１５、図１６に示す表示画面において、仮想デバイス２２を持つプレイヤキャラクタの図示は省略している。

　図１１は、仮想デバイス２２をインク壺７０ｂの青インク７２ｂに進入させる様子を示す。図１１（ａ）は、ペン先が僅かにインク表面の下方に入り込んだ様子を、図１１（ｂ）は、仮想デバイス２２の半分ほどが青インク７２ｂに進入した様子を示す。仮想デバイス制御部２３２は、操作装置２０の姿勢情報および位置情報に応じて、仮想デバイス２２の動きを制御する。

　関係特定部２３４は、仮想デバイス２２と、仮想オブジェクトである青インク７２ｂとの相対的な関係を特定し、作用決定部２３６は、関係特定部２３４が特定した相対的な関係にもとづいて、操作装置２０に対する作用を決定する。実施例１では仮想デバイス２２と仮想オブジェクトとが接触したときに、作用決定部２３６が、両者が接触したことによる作用を決定してよい。

　関係特定部２３４は、所定位置に配置されたインク壺７０ｂの３次元座標と、仮想デバイス２２の３次元座標から、仮想デバイス２２と青インク７２ｂの位置関係を特定する。実施例１で関係特定部２３４は、特定した位置関係から、仮想デバイス２２が青インク７２ｂに進入した長さ（進入長Ｌ）を導出する。作用決定部２３６は、仮想デバイス２２が青インク７２ｂに進入すると、力覚提示部である可動部３２を基体３０に引き込む方向に移動させることを決定する。このとき作用決定部２３６は、進入長Ｌにもとづいて、力覚提示部である可動部３２の移動量を導出する。

　図１２（ａ）は、進入長Ｌと、可動部３２の移動量の関係を定めたマップの例を示す。この関係は、マップとして、マップ保持部２５２に保持されており、移動量は、可動部３２の基準位置からの引込量を示す。図１２（ａ）に示す関係は、進入長と移動量とが比例関係にあるため、仮想デバイス２２が青インク７２ｂに進入した長さに比例して、可動部３２が基体３０に引き込まれる。作用決定部２３６は、関係特定部２３４から進入長Ｌを受け取ると、マップ保持部２５２に保持されたマップを参照して進入長Ｌに応じた移動量を取得し、駆動データ生成部２３８に渡す。駆動データ生成部２３８は、移動量にもとづいて、可動部３２を駆動するための第１駆動データを生成する。

　マップ保持部２５２は、進入長Ｌと可動部３２の移動量の関係を定義したマップを、仮想オブジェクトごとに保持してよい。たとえばマップ保持部２５２は、赤インク７２ａ、青インク７２ｂ、黄インク７２ｃに対して、それぞれ異なるマップを保持してよい。

　図１２（ｂ）は、進入長Ｌと、可動部３２の移動量の関係を定めたマップの別の例を示す。この関係は、マップ保持部２５２に保持される。図１２（ｂ）に示す関係は、仮想デバイス２２がインクに進入し始めると、可動部３２が大きく移動し、仮想デバイス２２がある程度進入した後は、可動部３２が徐々に移動する移動プロファイルをもつ。マップ保持部２５２が、仮想オブジェクト（実施例１ではインク）ごとに、進入長と移動量の関係を定義したマップを保持することで、ユーザは、可動部３２により提示される力覚によって、仮想デバイス２２が接触している仮想オブジェクト特有の抵抗を感じることができる。

　さらに実施例１では、関係特定部２３４が、仮想デバイス２２と、仮想オブジェクトである青インク７２ｂとの間の相対的な速度を特定し、作用決定部２３６が、関係特定部２３４が特定した相対的な速度にもとづいて、操作装置２０に対する作用を決定する。

　関係特定部２３４は、仮想デバイス２２が青インク７２ｂに進入する速度（移動速度）を特定する。仮想オブジェクトである青インク７２ｂは静止しているため、仮想デバイス２２の移動速度は、仮想デバイス２２と青インク７２ｂとの間の相対的な速度に等しい。作用決定部２３６は、仮想デバイス２２の移動速度にもとづいて、触覚提示部である振動部４０の振動プロファイルを導出する。ここで振動プロファイルは、振動波形と、振動量によって定義されてよい。

　図１３（ａ）～（ｃ）は、振動波形の例を示す。横軸は時間を示す。振動波形保持部２５４は、仮想オブジェクトごとに、振動部４０を振動させるパターンである振動波形を保持する。ここで図１３（ａ）、（ｂ）に示す振動波形は、周期的であり、図１３（ｃ）に示す振動波形は、非周期的である。このように振動波形は、仮想オブジェクトごとに自由に設定されてよい。振動波形は、正規化された振動パターンであり、移動速度に応じて決定される振動量（振幅）が振動波形に掛け合わされることで、振動部４０の振動プロファイルが導出される。

　図１４（ａ）は、移動速度と、振動部４０の振動量の関係を定めたマップの例を示す。この関係は、マップとして、マップ保持部２５２に保持されており、振動量は、振動波形の振幅を示す。図１４（ａ）に示す関係は、移動速度と振動量（振幅）とが比例関係にあるため、仮想デバイス２２の移動速度に比例して、振動部４０の振動振幅が大きくなる。作用決定部２３６は、関係特定部２３４から移動速度を受け取ると、マップ保持部２５２に保持されたマップを参照して移動速度に応じた振動量を取得し、振動波形保持部２５４に保持された、仮想オブジェクトに対応する振動波形に振動量を乗算することで、振動プロファイルを導出する。作用決定部２３６は、導出した振動プロファイルを駆動データ生成部２３８に渡し、駆動データ生成部２３８は、振動プロファイルにもとづいて、振動部４０を駆動するための第２駆動データを生成する。

　マップ保持部２５２は、移動速度と振動部４０の振動量の関係を定義したマップを、仮想オブジェクトごとに保持してよい。たとえばマップ保持部２５２は、赤インク７２ａ、青インク７２ｂ、黄インク７２ｃに対して、それぞれ異なるマップを保持してよい。

　図１４（ｂ）は、移動速度と、振動部４０の振動量の関係を定めたマップの別の例を示す。マップ保持部２５２は、仮想オブジェクト（実施例１ではインク）ごとに、移動速度と振動量の関係を定義したマップを保持することで、ユーザは、振動部４０により提示される触覚によって、仮想デバイス２２が接触している仮想オブジェクト特有の性質を感じることができる。

　送信部２６０は、駆動データ生成部２３８が生成した第１駆動データおよび第２駆動データを操作装置２０に送信する。操作装置２０において制御部５０は、第１駆動データにもとづいて可動部３２を駆動し、第２駆動データにもとづいて振動部４０を駆動する。具体的に制御部５０は、第１回転角センサ３２２の検出値を監視しながら第１回転アクチュエータ３１０を制御して、基準位置にある可動部３２を基体３０に引き込む方向に移動させる。したがって可動部３２は、仮想デバイス２２の進入長に応じた移動量で、基体３０に引き込まれ、同時に振動部４０が、仮想デバイス２２の移動速度に応じた振動プロファイルで振動する。実施形態の情報処理システム１によると、操作装置２０の操作に対して、力覚フィードバックと触覚フィードバックとを同時に提供することで、アプリケーションのエンタテイメント性を向上できる。

＜空間にインクで線を描くシーン＞
　図１５は、ＨＭＤ１００の表示パネル１３０に表示される画面の例を示す。仮想デバイス２２のペン先を青インク７２ｂに浸した後、仮想デバイス２２のペン先を描画開始位置まで移動させ、ユーザが操作ボタン４２を押下しながら、実空間で操作装置２０を動かすことで、仮想空間には、操作装置２０の先端部に対応する仮想デバイス２２のペン先の軌跡が描画される。このシーンでは、関係特定部２３４が、仮想デバイス２２の移動速度を特定し、作用決定部２３６が、関係特定部２３４が特定した移動速度にもとづいて、操作装置２０に対する作用を決定する。

　関係特定部２３４は、操作ボタン４２が押下されている操作装置２０の移動速度から、仮想デバイス２２の移動速度を特定する。作用決定部２３６は、仮想デバイス２２の移動速度にもとづいて、触覚提示部である振動部４０の振動プロファイルを導出する。上記したように振動プロファイルは、振動波形と、振動量によって定義されてよい。駆動データ生成部２３８は、振動プロファイルにもとづいて、振動部４０を駆動するための第２駆動データを生成する。

　振動波形保持部２５４は、インクの色ごとに、振動部４０を振動させるパターンである振動波形を保持してよい。またマップ保持部２５２は、インクの色ごとに、移動速度と、振動部４０の振動量の関係を定めたマップを保持してよい。インクの色に応じた振動波形および振動量を用意することで、描く線の色に応じた触覚フィードバックをユーザに提供でき、ユーザは、線の色による触覚フィードバックの違いを楽しむことができる。

＜描いた線をシールドとして利用するシーン＞
　図１６は、ＨＭＤ１００の表示パネル１３０に表示される画面の例を示す。描画アプリケーションにおいて、ユーザが描いた線は、その形状を維持して、飛んでくる仮想オブジェクトを防ぐためのシールドとして用いられる。このシーンでは、仮想デバイス２２の先端にシールド２４が装着され、ユーザは、仮想オブジェクト（この例では砲弾）が飛んで来る方向にシールド２４を向けて、仮想オブジェクトからプレイヤキャラクタをガードする。

　関係特定部２３４は、仮想デバイス２２およびシールド２４と、仮想オブジェクトである砲弾との相対的な関係を特定し、作用決定部２３６は、関係特定部２３４が特定した相対的な関係にもとづいて、操作装置２０に対する作用を決定する。実施例１ではシールド２４と仮想オブジェクトとが接触したときに、作用決定部２３６が、両者が接触したことによる作用を決定してよい。

　関係特定部２３４は、砲弾である仮想オブジェクトの３次元座標と、シールド２４の３次元座標から、仮想オブジェクトとシールド２４の衝突を判定する。作用決定部２３６は、仮想オブジェクトとシールド２４の衝突が判定されると、力覚提示部である可動部３２を駆動することを決定する。

　図１７は、衝突からの経過時間と、可動部３２の移動量の関係を定めたマップの例を示す。この関係は、マップとして、マップ保持部２５２に保持されており、移動量は、可動部３２の基準位置からの引込量を示す。マップ保持部２５２は、衝突からの経過時間と、可動部３２の移動量の関係を定義したマップを、仮想オブジェクトごとに保持してよい。たとえばマップは、仮想オブジェクトの種類や大きさに応じて設定されてよい。作用決定部２３６は、関係特定部２３４から衝突したことを通知されると、マップ保持部２５２に保持されたマップを読み出して、駆動データ生成部２３８に渡す。駆動データ生成部２３８は、マップに定められる移動プロファイルにもとづいて、可動部３２を駆動するための第１駆動データを生成する。

　さらに実施例１では、関係特定部２３４が、仮想デバイス２２と、仮想オブジェクトである砲弾との間の相対的な速度を特定し、作用決定部２３６が、関係特定部２３４が特定した相対的な速度にもとづいて、操作装置２０に対する作用を決定する。具体的に作用決定部２３６は、仮想デバイス２２と仮想オブジェクトとの間の相対的な速度にもとづいて、触覚提示部である振動部４０の振動プロファイルを導出する。ここで振動プロファイルは、振動波形と、振動量によって定義されてよい。

　図１８は、振動波形の例を示す。横軸は、衝突からの経過時間を示す。振動波形保持部２５４は、衝突する仮想オブジェクトごとに、振動部４０を振動させるパターンである振動波形を保持する。作用決定部２３６は、関係特定部２３４から移動速度を受け取ると、マップ保持部２５２に保持されたマップを参照して移動速度に応じた振動量を取得し、振動波形保持部２５４に保持された、仮想オブジェクトに対応する振動波形に振動量を乗算することで、振動プロファイルを導出する。作用決定部２３６は、導出した振動プロファイルを駆動データ生成部２３８に渡し、駆動データ生成部２３８は、振動プロファイルにもとづいて、振動部４０を駆動するための第２駆動データを生成する。

　送信部２６０は、駆動データ生成部２３８が生成した第１駆動データおよび第２駆動データを操作装置２０に送信する。操作装置２０において制御部５０は、第１駆動データにもとづいて可動部３２を駆動し、第２駆動データにもとづいて振動部４０を駆動する。実施形態の情報処理システム１によると、操作装置２０の操作に対して、力覚フィードバックと触覚フィードバックとを同時に提供することで、アプリケーションのエンタテイメント性を向上できる。

（実施例２）
　実施例１の操作装置２０では、移動機構３００が、可動部３２を基体３０の長手方向に移動させることで、手の指を基体３０の長手方向に押す力覚をユーザに提示する。実施例２の操作装置４００では、可動部４０３を基体４０２の長手方向に平行な軸線回りに回転させることで、手の指を基体４０２の長手方向回りに動かす力覚をユーザに提示する。

　図１９は、実施例２の操作装置４００をユーザが把持した状態を示す。操作装置４００は、ユーザの手で把持される基体４０２と、基体４０２に対して相対移動可能な部品である可動部４０３とを備える。操作装置４００はペン型のハプティクスデバイスであり、基体４０２は略平行に配置される両側面をもつ。ユーザは基体４０２の両側面を親指と中指で挟持し、人差し指を可動部４０３に置いた状態で、操作装置４００を使用する。

　可動部４０３は、ユーザの手に力覚を提示する力覚提示部として機能する。可動部４０３は情報処理装置１０から送信される駆動データにもとづいて駆動されて、ユーザに力覚フィードバックを提供する。実施例２における可動部４０３は、基体４０２に対して、基体４０２の長手方向に相対移動可能であり、さらに基体４０２の長手方向と平行な軸線回りに相対回転可能である。

　基体４０２の側面には、中指先端により操作可能な操作ボタン４０７を配置したスイッチ設置部材４０６が設けられる。操作ボタン４０７はプッシュ式ボタンであって、ユーザは操作ボタン４０７を押し込むことで、接点構造を備えたスイッチ（図示せず）をオンする。ユーザは、中指で操作ボタン４０７を押し込むことで、スイッチをオンできる。

　実施例２の操作装置４００は、実施例１の操作装置２０と同様に、仮想的な３次元空間に絵や文字を描く描画アプリケーションにおいて、インクを出す仮想デバイス２２として利用される。仮想デバイス２２は、ペン先を含む仮想ペンとして表示パネル１３０および出力装置１５に表示される。この描画アプリケーションでは、操作装置４００の先端部が仮想デバイス２２のペン先に対応し、ユーザが実空間で操作装置４００を動かすと、仮想デバイス２２が仮想空間内で、操作装置４００に連動した挙動を示す。

　描画アプリケーションでは、基体４０２に対して可動部４０３がスライド移動することで、人差し指に対してペン先の押込方向の力覚が提示され、基体４０２に対して可動部４０３が回転移動することで、人差し指に対して仮想空間内でペン先が動く向きとは逆向きの力覚（ペン先にかかる摩擦力に相当）が提示される。力覚が提示されることで、ユーザは、仮想ペンを動かして絵や文字を描いていることを体感できる。

　図２０は、操作装置４００の斜視図である。操作装置４００において、可動部４０３が設けられている側が先端側と定義される。スイッチ設置部材４０６の内部には、振動子を含む振動部４０８が設けられる。振動部４０８は振動することで、ユーザの手（中指）に触覚を提示する触覚提示部として機能し、情報処理装置１０から送信される駆動データにもとづいて駆動されて、ユーザに触覚フィードバックを提供する。

　図２０に示す状態で可動部４０３は基体４０２から前方に最も突き出た位置にあり、この位置が可動部４０３の「基準位置」となる。また図２０に示す状態で可動部４０３の回転角はゼロであり、この姿勢が可動部４０３の「基準姿勢」となる。

　可動部４０３の上面には、ユーザが基体４０２を把持した状態で、人差し指の指先を置くための指置き部４０５が設けられる。指置き部４０５の両側部分および前端部分には、指の先端部分が係合する指係合部４０４が設けられる。指係合部４０４は、後述する支持台フレーム４１２の梁部材上面に立設される。指係合部４０４は、指の腹に沿うように傾斜し且つ曲率を有する湾曲面４０４ａを有する。湾曲面４０４ａが、梁部材上面に対して傾斜し且つ指先を接触させる方向に凹状に形成されていることで、ユーザは、人差し指の先端部分を安定して湾曲面４０４ａに接触させることができる。

　ユーザは、ペンを持つように親指と中指で基体４０２の両側面を挟持し、人差し指の腹を指置き部４０５に置きつつ、中指の腹をスイッチ設置部材４０６の表面に置く。なおユーザは、３本以上の指で基体４０２を挟持し、基体４０２の挟持に主として関与しない別の指の腹を指置き部４０５に置いてもよい。このように操作装置４００の基体４０２は、２つ以上の指で把持されることで、基体４０２を手に固定するための特別な把持機構を必要とせずに、基体４０２を手に固定できる。

　図２１は、可動部４０３を基体４０２に対して相対回転移動させる移動機構４２０を示す。移動機構４２０は、第２回転アクチュエータ４１０、支持台フレーム４１２、基部４１４、ストッパ４１６および第２回転角センサ４１８を備えて、可動部４０３を軸線回りに回転移動させる。なお可動部４０３の被固定部４２２には、図７に示す固定部３２０が固定されて、可動部４０３が、移動機構３００によりスライド移動可能とされる。

　基部４１４は、可動部４０３の筐体に固定されて、指置き部４０５を設置した支持台フレーム４１２を回転可能に支持する。支持台フレーム４１２は、一対の柱部材と、一対の柱部材を連結する梁部材とを含む門型構造を有し、一対の柱部材は基部４１４に対して回転可能に連結され、梁部材は指置き部４０５を上面に搭載する。第２回転アクチュエータ４１０は基部４１４に固定されて、モータシャフトが支持台フレーム４１２の１つの柱部に連結される。移動機構４２０において、第２回転アクチュエータ４１０が正回転または逆回転することで、操作装置４００を正面から見たときに、支持台フレーム４１２が、右回転または左回転する。基部４１４には、一対のストッパ４１６が形成され、ストッパ４１６は支持台フレーム４１２の回転を規制する。第２回転角センサ４１８は第２回転アクチュエータ４１０の回転角度を検出し、可動部４０３の回転は、第２回転角センサ４１８の検出値にもとづいて制御される。

　図２２は、操作装置４００を正面から見たときの支持台フレーム４１２の傾きを示す。
　図２２（ａ）は、基準姿勢にある基部４１４および支持台フレーム４１２を示す。基準姿勢において、回転角は０度である。
　図２２（ｂ）は、基部４１４に対して支持台フレーム４１２が左回転した状態を示す。支持台フレーム４１２は、ストッパ４１６により回転を規制され、左回転時の最大回転角度は－４５度であってよい。
　図２２（ｃ）は、基部４１４に対して支持台フレーム４１２が右回転した状態を示す。支持台フレーム４１２は、ストッパ４１６により回転を制限され、右回転時の最大回転角度は＋４５度であってよい。

　図２３は、操作装置４００の機能ブロックを示す。制御部４５０は、センサデータ、駆動データなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部５２は、制御部４５０が処理するデータや命令などを一時的に記憶する。姿勢センサ５４は、操作装置４００の姿勢情報を検出する。姿勢センサ５４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部５６は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部４５０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部５６は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部４５０に出力する。

　制御部４５０は、駆動データを情報処理装置１０から受け取ると、第１回転アクチュエータ３１０、第２回転アクチュエータ４１０および／または振動部４０８を駆動する。ここで第１回転アクチュエータ３１０は、可動部４０３を基体４０２の長手方向に移動させるための駆動部であり、第２回転アクチュエータ４１０は、可動部４０３を基体４０２の長手方向に平行な軸線回りに回転させるための駆動部である。操作装置４００において、可動部４０３は、ユーザの手に力覚を提示する部品（力覚提示部）であり、振動部４０８は、ユーザの手に触覚を提示する振動子（触覚提示部）である。可動部４０３が力覚フィードバックを提供し、振動部４０８が触覚フィードバックを提供することで、ユーザは、アプリケーションで生じるイベントをリアルに体感できる。制御部４５０は、姿勢センサ５４からのセンサデータを、通信制御部５６から情報処理装置１０に送信させる。

　実施例２の操作装置４００は、仮想的な３次元空間に絵や文字を描く描画アプリケーションにおいて、インクを出す仮想デバイス２２として利用される。仮想デバイス２２は、ペン先を含む仮想ペンとして表示パネル１３０および出力装置１５に表示される。この描画アプリケーションでは、操作装置４００の先端部が仮想デバイス２２のペン先に対応し、ユーザが実空間で操作装置４００を動かすと、仮想デバイス２２が仮想空間内で、操作装置４００に連動した挙動を示す。

　図２４は、情報処理装置１０の機能ブロックの別の例を示す。情報処理装置１０は、外部との入出力インタフェースとして、受信部２００および送信部２６０を備える。受信部２００は、ＨＭＤセンサデータ受信部２０２、撮影画像受信部２０４および操作データ受信部２０６を有する。情報処理装置１０は、さらにＨＭＤ情報取得部２１０、操作情報取得部２１２および処理部２２０を備える。処理部２２０は、制御部２３０、視線方向決定部２５０、マップ保持部２５２、振動波形保持部２５４、画像生成部２５６および音生成部２５８を備え、制御部２３０は、仮想デバイス制御部２３２、関係特定部２３４、作用決定部２３６、駆動データ生成部２３８および機能実行部２４０を有する。

　情報処理装置１０はコンピュータを備え、コンピュータがプログラムを実行することによって、図２４に示す様々な機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図２４に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　図２４において、図９に示す機能ブロックと同一の符号を付した機能ブロックは、図９に示す機能ブロックと同一または同様の機能を有する。したがって図９に示す機能ブロックと同一の符号を付した機能ブロックの説明については適宜省略する。

　操作データ受信部２０６は、ユーザが把持する操作装置４００の姿勢センサ５４のセンサデータを所定の周期で受信する。また操作データ受信部２０６は、ユーザが把持する操作装置４００の操作ボタン４０７の操作データを受信する。操作データ受信部２０６は、姿勢センサ５４のセンサデータおよび操作ボタン４０７の操作データを操作情報取得部２１２に供給する。

　実施例２において、操作装置４００における可動部４０３は、ユーザの手に力覚を提示する機能に加えて、ユーザによって動かされることで、アプリケーションに対して所定の機能を実現させる操作情報をユーザに入力させる機能も有する。つまり可動部４０３は、操作情報を入力する入力装置の機能を備える。操作データ受信部２０６は、可動部４０３がユーザの手によって動かされたことを示す操作情報を受信すると、当該操作情報を操作情報取得部２１２に供給する。

　操作情報取得部２１２は、操作装置４００のセンサデータから、実空間における操作装置４００の姿勢を示す姿勢情報と、操作装置４００の位置を示す位置情報を取得する。操作情報取得部２１２は、主として３軸ジャイロセンサのセンサデータを用いて操作装置４００の姿勢情報を算出し、３軸加速度センサのセンサデータを用いて操作装置４００の位置情報を算出する。操作装置４００の姿勢情報および位置情報は、操作装置４００の動きを示す操作情報を構成する。操作情報取得部２１２は、操作装置４００の姿勢情報および位置情報を、操作装置４００の動きを示す操作情報として処理部２２０に供給する。また操作情報取得部２１２は、操作ボタン４０７の操作データおよび可動部４０３の操作情報を、処理部２２０に供給する。

　仮想デバイス制御部２３２は、操作装置４００の動きを示す操作情報に応じて、仮想空間における仮想デバイス２２の動きを制御する。具体的に仮想デバイス制御部２３２は、操作情報取得部２１２から周期的に操作装置４００の姿勢情報および位置情報を取得し、操作装置４００の姿勢情報および位置情報に応じて、仮想空間における仮想デバイス２２の姿勢および位置を定めて、実空間における操作装置４００の動きに、仮想空間における仮想デバイス２２を連動させる。

　なお仮想デバイス制御部２３２は、操作装置４００の位置情報または姿勢情報に応じて、仮想空間における仮想デバイス２２の位置または姿勢を定めてもよい。つまり仮想デバイス制御部２３２は、実空間における操作装置４００の位置と仮想空間における仮想デバイス２２の位置を連動させてよく、または実空間における操作装置４００の姿勢と仮想空間における仮想デバイス２２の姿勢を連動させてもよい。

　実施例２の描画アプリケーションでは、ユーザが操作ボタン４０７を押下しながら、操作装置４００を動かすことで、仮想空間において、操作装置４００の先端部に対応する仮想デバイス２２のペン先の軌跡が描画され、ユーザが操作ボタン４０７の押下を解除すると、ペン先の軌跡の描画が終了する。

＜空間に線を描くシーン＞
　図２５は、ＨＭＤ１００の表示パネル１３０に表示される描画アプリケーションの画面例を示す。このアプリケーション画面においては、左下に、ユーザが描画した描画物を消去するための仮想的なオブジェクト（消しゴム）が配置されている。まずユーザは、仮想デバイス２２のペン先を描画開始位置に配置する。

　図２６は、描画アプリケーションの画面例を示す。ユーザが操作ボタン４０７を押下しながら実空間で操作装置４００を動かすと、仮想空間には、操作装置４００の先端部に対応する仮想デバイス２２のペン先の軌跡が描画される。このシーンでは、関係特定部２３４が、仮想デバイス２２の移動速度を特定し、作用決定部２３６が、関係特定部２３４が特定した移動速度にもとづいて、操作装置４００に対する作用を決定する。

　関係特定部２３４は、操作ボタン４０７が押下されている操作装置４００の移動速度から、仮想デバイス２２の移動速度を特定する。作用決定部２３６は、仮想デバイス２２の移動速度にもとづいて、触覚提示部である振動部４０８の振動プロファイルを導出する。上記したように振動プロファイルは、振動波形と、振動量によって定義されてよい。駆動データ生成部２３８は、振動プロファイルにもとづいて、振動部４０８を駆動するための第２駆動データを生成する。実施例１で説明したように、駆動データ生成部２３８は、線の色に応じた振動波形および振動量にもとづいて、第２駆動データを生成してよい。ユーザが操作ボタン４０７の押下をやめると、描画アプリケーションは、ペン先の軌跡の描画を停止する。

　図２７は、描画アプリケーションの画面例を示す。描画アプリケーションは、操作ボタン４０７の押下が終了すると、仮想空間におけるペン先の軌跡の描画を終了する。図２７に示す例では、ユーザが操作ボタン４０７の操作を終了して、線４３０の描画が終了した状態を示す。

＜描画した線を一辺とする面を描くシーン＞
　実施例２の描画アプリケーションは、描画された線４３０をペン先で指定し、ペン先を動かすことで、線形状をペン先の移動方向に延ばすアプリケーションを実装している。
　図２８は、描画された線をペン先で指定した状態を示す。線４３０の指定は、線４３０の上に仮想デバイス２２のペン先を配置することで行われる。描画アプリケ－ションは、線４３０が指定されると、指定された線４３０を、太くまたは別の色で表示して、ユーザに、線４３０の指定が完了したことを通知してよい。

　図２９は、線形状がペン先の移動方向に引き延ばされた状態を示す。ユーザが操作ボタン４０７を押下しながら、操作装置４００を動かすことで、仮想空間におけるペン先の移動方向に、線４３０の形状が引き延ばされる。この例で線４３０は、直線であるが、曲線である場合には、曲線形状がペン先の移動方向に引き延ばされた面が描画される。

　作用決定部２３６は、線形状を引き延ばす仮想デバイス２２の動きにもとづいて、力覚提示部である可動部４０３の移動方向および移動量を導出する。具体的に作用決定部２３６は、仮想デバイス２２により線４３０の形状が引き延ばされると、引き延ばされた方向にもとづいて可動部４０３の移動方向（回転方向）を導出し、引き延ばされた長さにもとづいて、可動部４０３の当該回転方向における移動量（回転量）を導出する。作用決定部２３６は、線４３０の初期位置に対して線形状が右方向に引き延ばされると、ペン先が動く右向きとは逆向き（つまりユーザ視点からは左回転方向、操作装置４００を正面から見たときには右回転方向（図２２（ｃ）に示す回転方向））に可動部４０３を回転させることを決定する。一方、作用決定部２３６は、線４３０の初期位置に対して線形状が左方向に引き延ばされると、ペン先が動く左向きとは逆向き（つまりユーザ視点からは右回転方向、操作装置４００を正面から見たときには左回転方向（図２２（ｂ）に示す回転方向））に可動部４０３を回転させることを決定する。

　図２９に示す例では、仮想デバイス２２が右方向に動いているため、作用決定部２３６は、可動部４０３の回転方向を、操作装置４００を正面から見たときに右回転となるように決定する。また作用決定部２３６は、仮想デバイス２２の移動量に応じて、可動部４０３の回転量を決定する。マップ保持部２５２は、図１２に示すように、仮想デバイス２２の移動量と、可動部４０３の回転量の関係を定めたマップを保持し、作用決定部２３６は、当該マップを参照して、仮想デバイス２２の移動量に応じた可動部４０３の回転量を取得してよい。作用決定部２３６は、決定した回転方向および回転量を、駆動データ生成部２３８に渡す。駆動データ生成部２３８は、回転方向および回転量にもとづいて、第２回転アクチュエータ４１０を駆動するための第１駆動データを生成する。

　送信部２６０は、駆動データ生成部２３８が生成した第１駆動データを操作装置４００に送信する。操作装置４００において制御部４５０は、第１駆動データにもとづいて第２回転アクチュエータ４１０を駆動し、可動部４０３を回転させる。したがって可動部４０３は、仮想デバイス２２の移動方向および移動量に応じた回転方向および回転量で回転する。このとき第２回転角センサ４１８は第２回転アクチュエータ４１０の回転角度を検出し、可動部４０３の回転は、第２回転角センサ４１８の検出値にもとづいて制御される。

　図２９に示す例で、ユーザの人差し指は、可動部４０３から、ユーザ視点から見ると左回転方向の力覚を提示される。この左回転方向の力覚は、右方向に動かした操作装置４００に対して、ペン先にかかる摩擦力に対応するため、ユーザは、線形状を引き延ばして面を形成する動作を行っていることを体感できる。

　実施例２において、可動部４０３は、ユーザに力覚を提示するだけでなく、ユーザがアプリケーションに対する操作入力を行う入力装置としても機能する。制御部４５０は、第２回転角センサ４１８が検出する角度を監視して、ユーザの人差し指が可動部４０３を回転させたことを検出すると、通信制御部５６から、可動部４０３がユーザの手によって動かされたことを示す操作情報を情報処理装置１０に送信させる。

　たとえば可動部４０３が、図２２（ａ）に示すように回転角０度の基準姿勢にある状態から、情報処理装置１０が生成した第１駆動データにより、正面から見て右回転方向にα度回転したものとする。したがって第２回転角センサ４１８は、＋α度の回転角度を検出し、制御部４５０は、＋α度の回転角度を維持するように第２回転アクチュエータ４１０を制御する。

　この状態で、ユーザの人差し指が、可動部４０３の回転角度が＋α度から外れるように可動部４０３を回転させる。このとき制御部４５０は、第２回転角センサ４１８の検出値にもとづいて、この可動部４０３の動きをアプリケーションに対する操作情報として受け付ける。なお制御部４５０は、可動部４０３の回転角度が＋α度から異なる角度となった期間が所定時間（たとえば１秒）継続した場合に、可動部４０３の動きをアプリケーションに対する操作情報として受け付けてよい。制御部４５０は、可動部４０３がユーザの手によって動かされたことを示す操作情報を受け付けると、通信制御部５６から情報処理装置１０に送信させる。この操作情報は、可動部４０３がユーザの手によって動かされた方向を含んでよい。

　第２回転角センサ４１８が検出した角度が（α－β）である場合、制御部４５０は、正面から見て、ユーザが可動部４０３を左回転方向にβ度回転したことを特定する。つまり第１駆動データによって可動部４０３が動かされた方向（力覚を与えた方向）とは逆の方向に、ユーザが可動部４０３を回転させたことを特定する。一方、第２回転角センサ４１８が検出した角度が（α＋β）である場合、制御部４５０は、正面から見て、ユーザが可動部４０３を右回転方向にβ度回転したことを特定する。つまり第１駆動データによって可動部４０３が動かされた方向（力覚を与えた方向）と同じ方向に、ユーザが可動部４０３を回転させたことを特定する。制御部４５０は、可動部４０３がユーザの手によって動かされた方向を示す操作情報を、通信制御部５６から情報処理装置１０に送信させる。

　情報処理装置１０において、操作情報取得部２１２が、可動部４０３がユーザの手によって動かされたことを示す操作情報を取得すると、当該操作情報を制御部２３０に提供する。制御部２３０において機能実行部２４０は、当該操作情報に対応するアプリケーション機能を、仮想空間内において実行させる。

　図３０は、線形状がペン先からさらに引き延ばされた状態を示す。当該操作情報が、駆動データによって可動部４０３が動かされた方向とは異なる方向に、可動部４０３がユーザの手によって動かされたことを示す場合、機能実行部２４０は、線形状をペン先からさらに引き延ばす機能を実行する。これにより線形状を引き延ばして形成される面は、ペン先の移動方向にさらに拡大されている。なお可動部４０３の回転方向のストローク量には上限があるため、ユーザは、駆動データによって可動部４０３が動かされた方向とは逆の方向に可動部４０３を動かしやすい。そのため駆動データによって可動部４０３が動かされた方向とは逆の方向にユーザが可動部４０３を動かすことに対して、アプリケーションの機能を割り当てることは、可動部４０３の構造上、十分なストローク量を確保できるため有効である。

　なお当該操作情報が、駆動データによって可動部４０３が動かされた方向と同じ方向に、可動部４０３がユーザの手によって動かされたことを示す場合、機能実行部２４０は、線形状の引き延ばし量をペン先の位置よりも短くする機能を実行してもよい。実施例２の描画アプリケーションにおいて、ユーザは、線形状の引き延ばし量を仮想デバイス２２のペン先を移動させることで調整できるが、可動部４０３を回転させることでも調整できることで、引き延ばし量の微調整を容易に行うことができる。

　なお操作情報取得部２１２は、可動部４０３がユーザの手に力覚を提示している間に、可動部４０３がユーザの手によって動かされたことを示す操作情報を取得し、機能実行部２４０は、可動部４０３がユーザの手に力覚を提示している間に、当該操作情報に対応する機能を仮想空間内において実行する。こうすることで制御部２３０は、第１駆動データによる第２回転アクチュエータ４１０の回転量（＋α度）からのずれ分を、ユーザによる可動部４０３の操作情報として利用することが可能となる。

　実施例２の描画アプリケーションでは、画面左下に配置されている消しゴムに対して、ユーザが可動部４０３を用いた操作を行うことで、描画物を画面から消去できる。
＜描画物を消去するシーン＞
　図３１は、仮想デバイス２２のペン先をオブジェクト（消しゴム）に接触させた状態を示す。関係特定部２３４は、仮想デバイス２２と、仮想オブジェクトである消しゴム４３４との相対的な関係を特定し、作用決定部２３６は、関係特定部２３４が特定した相対的な関係にもとづいて、操作装置４００に対する作用を決定する。

　関係特定部２３４は、所定位置に配置された消しゴム４３４の３次元座標と、仮想デバイス２２の３次元座標から、仮想デバイス２２と消しゴム４３４の位置関係を特定する。実施例２で関係特定部２３４は、特定した位置関係から、仮想デバイス２２が消しゴム４３４に押し込まれた長さを導出する。作用決定部２３６は、仮想デバイス２２が消しゴム４３４に押し込まれると、力覚提示部である可動部４０３を基体４０２に引き込む方向に移動させることを決定する。このとき作用決定部２３６は、押込長にもとづいて、力覚提示部である可動部４０３の移動量を導出してよい。駆動データ生成部２３８は、移動量にもとづいて、第１回転アクチュエータ３１０を駆動するための第１駆動データを生成する。

　送信部２６０は、駆動データ生成部２３８が生成した第１駆動データを操作装置４００に送信する。操作装置４００において制御部４５０は、第１駆動データにもとづいて第１回転アクチュエータ３１０を駆動し、可動部４０３を移動させる。このとき第１回転角センサ３２２は第１回転アクチュエータ３１０の回転角度を検出し、可動部４０３の移動は、第１回転角センサ３２２の検出値にもとづいて制御される。ユーザは、可動部４０３により提示される力覚によって、仮想デバイス２２が消しゴム４３４に接触していることを感じることができる。

　図３１に示す例で、可動部４０３は、ユーザの人差し指に対してペン先の押込方向の力覚を提示する。この状態で、ユーザの人差し指が可動部４０３を押し返すと、制御部４５０は、第１回転角センサ３２２が検出する角度から、ユーザの人差し指が可動部４０３を押し戻した移動量を取得し、通信制御部５６から、可動部４０３がユーザの手によって動かされたことを示す操作情報を情報処理装置１０に送信させる。

　たとえば情報処理装置１０が生成した第１駆動データにより、可動部４０３が基準位置から引込量Ａだけ移動したものとする。したがって第１回転角センサ３２２は、引込量Ａに相当する第１回転アクチュエータ３１０の回転角度ａ度を検出し、制御部４５０は、第１回転アクチュエータ３１０におけるａ度の回転角度を維持するように第１回転アクチュエータ３１０を制御する。

　この状態で、ユーザの人差し指が、可動部４０３に引込量が引込量Ａから外れるようにスライド方向に動かす。このとき制御部４５０は、第１回転角センサ３２２の検出値にもとづいて、この可動部４０３の動きをアプリケーションに対する操作情報として受け付ける。具体的に制御部４５０は、可動部４０３がユーザの手によって動かされたことを示す操作情報を受け付け、通信制御部５６から情報処理装置１０に送信させる。この操作情報は、可動部４０３がユーザの手によって動かされた移動量を含んでよい。

　第２回転角センサ４１８が検出する角度が（ａ－ｂ）である場合、制御部４５０は、ユーザが可動部４０３を押し戻す方向に、検出角度ｂに相当する移動量だけ移動させたことを特定する。つまり第１駆動データによって可動部４０３が動かされた方向（力覚を与えた方向）とは逆の方向に、ユーザが可動部４０３を移動させたことを特定する。なお制御部４５０は、第１回転アクチュエータ３１０の回転角度がａ度から異なる角度となった期間が所定時間（たとえば１秒）継続した場合に、可動部４０３の動きをアプリケーションに対する操作情報として受け付けてよい。制御部４５０は、可動部４０３がユーザの手によって動かされたことを示す操作情報を、通信制御部５６から情報処理装置１０に送信させる。

　情報処理装置１０において、操作情報取得部２１２は、可動部４０３がユーザの手によって動かされたことを示す操作情報を取得し、当該操作情報を制御部２３０に提供する。制御部２３０において機能実行部２４０は、当該操作情報に対応する機能を、仮想空間内において実行させる。この例で機能実行部２４０は、描画物４３２を消去する機能を実行して、描画物４３２を消去する。

　図３２は、描画物４３２が消去された状態を示す。このように機能実行部２４０は、ユーザが可動部４０３を操作した操作情報にもとづいて、当該操作情報に割り当てられたアプリケーション機能を実行することで、ユーザによる機能実行の意志を適切に反映することが可能となる。

　以上、本発明を複数の実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、制御部２３０が、ＶＲアプリケーションを実施することを説明したが、ＶＲアプリケーション以外のアプリケーションを実施してもよい。

　実施例では、作用決定部２３６が振動プロファイルを導出して、駆動データ生成部２３８が、振動プロファイルに応じた第２駆動データを生成している。変形例では、作用決定部２３６が、振動プロファイルを導出する手法をサウンドエフェクトにも適用して、音生成部２５８が、触覚フィードバックと同期した音を生成してもよい。

　本発明は、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供する技術に利用できる。

１・・・情報処理システム、１０・・・情報処理装置、２０・・・操作装置、２２・・・仮想デバイス、３０・・・基体、３２・・・可動部、３４・・・指係合部、３４ａ・・・湾曲面、３６・・・指置き部、４０・・・振動部、４２・・・操作ボタン、５０・・・制御部、５２・・・記憶部、５４・・・姿勢センサ、５６・・・通信制御部、１００・・・ＨＭＤ、１０２・・・出力機構部、１０４・・・装着機構部、１０６・・・装着バンド、１０８・・・筐体、１１０・・・発光マーカ、１２０・・・制御部、１２２・・・記憶部、１２４・・・姿勢センサ、１２６・・・マイク、１２８・・・通信制御部、１３０・・・表示パネル、１３０ａ・・・左目用表示パネル、１３０ｂ・・・右目用表示パネル、１３２・・・音出力部、２００・・・受信部、２０２・・・ＨＭＤセンサデータ受信部、２０４・・・撮影画像受信部、２０６・・・操作データ受信部、２１０・・・ＨＭＤ情報取得部、２１２・・・操作情報取得部、２２０・・・処理部、２３０・・・制御部、２３２・・・仮想デバイス制御部、２３４・・・関係特定部、２３６・・・作用決定部、２３８・・・駆動データ生成部、２４０・・・機能実行部、２５０・・・視線方向決定部、２５２・・・マップ保持部、２５４・・・振動波形保持部、２５６・・・画像生成部、２５８・・・音生成部、２６０・・・送信部、３００・・・移動機構、３１０・・・第１回転アクチュエータ、３１２・・・送りねじ、３１４・・・ナット、３１６・・・ガイド機構、３１８・・・ロッド、３２０・・・固定部、３２２・・・第１回転角センサ、４００・・・操作装置、４０２・・・基体、４０３・・・可動部、４０４・・・指係合部、４０４ａ・・・湾曲面、４０５・・・指置き部、４０６・・・スイッチ設置部材、４０７・・・操作ボタン、４０８・・・振動部、４１０・・・第２回転アクチュエータ、４１２・・・支持台フレーム、４１４・・・基部、４１６・・・ストッパ、４１８・・・第２回転角センサ、４２０・・・移動機構、４２２・・・被固定部、４５０・・・制御部。

Claims

　情報処理装置であって、ハードウェアを有する１つ以上のプロセッサを備え、
　前記１つ以上のプロセッサは、
　ユーザの手に把持されて、ユーザの手に力覚を提示する力覚提示部を備える操作装置の動きを示す第１操作情報を取得し、
　仮想空間内で、前記操作装置に対応する仮想デバイスの動きを第１操作情報に応じて制御し、
　仮想デバイスの動きにもとづいて、前記力覚提示部を駆動するための駆動データを生成し、
　前記力覚提示部がユーザの手によって動かされたことを示す第２操作情報を取得し、
　第２操作情報に対応する機能を、仮想空間内において実行する、
　情報処理装置。
　第２操作情報は、前記力覚提示部がユーザの手によって動かされた方向を含む、
　請求項１に記載の情報処理装置。
　第２操作情報は、駆動データによって前記力覚提示部が動かされた方向とは異なる方向に、前記力覚提示部がユーザの手によって動かされたことを示す、
　請求項２に記載の情報処理装置。
　第２操作情報は、駆動データによって前記力覚提示部が動かされた方向とは逆の方向に、前記力覚提示部がユーザの手によって動かされたことを示す、
　請求項３に記載の情報処理装置。
　第２操作情報は、駆動データによって前記力覚提示部が動かされた方向と同じ方向に、前記力覚提示部がユーザの手によって動かされたことを示す、
　請求項２に記載の情報処理装置。
　前記１つ以上のプロセッサは、
　前記力覚提示部がユーザの手に力覚を提示している間に、第２操作情報に対応する機能を仮想空間内において実行する、
　請求項１に記載の情報処理装置。
　ユーザの手に把持されて、ユーザの手に力覚を提示する力覚提示部を備える操作装置の動きを示す第１操作情報を取得し、
　仮想空間内で、前記操作装置に対応する仮想デバイスの動きを第１操作情報に応じて制御し、
　仮想デバイスの動きにもとづいて、前記力覚提示部を駆動するための駆動データを生成し、
　前記力覚提示部がユーザの手によって動かされたことを示す第２操作情報を取得し、
　第２操作情報に対応する機能を、仮想空間内において実行させる、
　ことを特徴とする情報処理方法。
　コンピュータに、
　ユーザの手に把持されて、ユーザの手に力覚を提示する力覚提示部を備える操作装置の動きを示す第１操作情報を取得する機能と、
　仮想空間内で、前記操作装置に対応する仮想デバイスの動きを第１操作情報に応じて制御する機能と、
　仮想デバイスの動きにもとづいて、前記力覚提示部を駆動するための駆動データを生成する機能と、
　前記力覚提示部がユーザの手によって動かされたことを示す第２操作情報を取得する機能と、
　第２操作情報に対応する機能を、仮想空間内において実行させる機能と、
　を実現させるためのプログラム。
　情報処理装置であって、ハードウェアを有する１つ以上のプロセッサを備え、
　前記１つ以上のプロセッサは、
　ユーザの手に把持されて、ユーザの第１の指に力覚を提示する力覚提示部と、ユーザの第２の指に触覚を提示する触覚提示部とを備える操作装置の動きを示す操作情報を取得し、
　仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御し、
　仮想デバイスと仮想オブジェクトとの関係にもとづいて、前記力覚提示部を駆動するための第１駆動データおよび前記触覚提示部を駆動するための第２駆動データを生成する、
　情報処理装置。
　前記力覚提示部は、前記操作装置の基体に対して相対移動する可動部であり、前記触覚提示部は、振動を発生する振動部である、
　ことを特徴とする請求項９に記載の情報処理装置。
　前記１つ以上のプロセッサは、
　仮想デバイスと仮想オブジェクトとの位置関係にもとづいて、前記力覚提示部を駆動するための第１駆動データを生成する、
　請求項９に記載の情報処理装置。
　前記１つ以上のプロセッサは、
　仮想デバイスと仮想オブジェクトとの間の相対的な速度にもとづいて、前記触覚提示部を駆動するための第２駆動データを生成する、
　請求項９に記載の情報処理装置。
　前記１つ以上のプロセッサは、
　仮想オブジェクトに応じて決定される振動波形と、仮想デバイスと仮想オブジェクトとの間の相対的な速度に応じて決定される振動量とから導出される振動プロファイルにもとづいて、前記触覚提示部を駆動するための第２駆動データを生成する、
　請求項１２に記載の情報処理装置。
　ユーザの手に把持されて、ユーザの第１の指に力覚を提示する力覚提示部と、ユーザの第２の指に触覚を提示する触覚提示部とを備える操作装置の動きを示す操作情報を取得し、
　仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御し、
　仮想デバイスと仮想オブジェクトとの関係にもとづいて、力覚提示部を駆動するための第１駆動データおよび触覚提示部を駆動するための第２駆動データを生成する、
　ことを特徴とする駆動データ生成方法。
　コンピュータに、
　ユーザの手に把持されて、ユーザの第１の指に力覚を提示する力覚提示部と、ユーザの第２の指に触覚を提示する触覚提示部とを備える操作装置の動きを示す操作情報を取得する機能と、
　仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御する機能と、
　仮想デバイスと仮想オブジェクトとの関係にもとづいて、力覚提示部を駆動するための第１駆動データおよび触覚提示部を駆動するための第２駆動データを生成する機能と、
　を実現させるためのプログラム。