WO2023286191A1

WO2023286191A1 - 情報処理装置および駆動データ生成方法

Info

Publication number: WO2023286191A1
Application number: PCT/JP2021/026415
Authority: WO
Inventors: 実若林; 英樹森
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2021-07-14
Filing date: 2021-07-14
Publication date: 2023-01-19
Anticipated expiration: 2024-01-14
Also published as: WO2023286761A1; US20240252924A1; JP7577218B2; US12528015B2; JPWO2023286761A1

Abstract

操作情報取得部２１２は、ユーザの手に把持される操作装置の動きを示す操作情報を取得する。操作装置は、ユーザの手に力覚を提示する力覚提示部と、ユーザの手に触覚を提示する触覚提示部とを備える。制御部２３０は、仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御する。制御部２３０は、仮想デバイスと仮想オブジェクトとの関係にもとづいて、力覚提示部を駆動するための第１駆動データおよび触覚提示部を駆動するための第２駆動データを生成する。

Description

情報処理装置および駆動データ生成方法

　本発明は、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供する技術に関する。

　特許文献１は、筐体と、筐体に結合される質量体と、筐体に対する質量体の位置を変更するために質量体に結合されるアクチュエータとを備える携帯コンピュータインタフェースを開示する。特許文献１に開示された携帯コンピュータインタフェースはゲームの操作装置として利用され、質量体を移動させることで、ユーザにフィードバックを提供する。

特開２０１０－２２５１５５号公報

　ヘッドマウントディスプレイ（Head Mounted Display : ＨＭＤ）はユーザの頭部に装着されて仮想現実（Virtual Reality : ＶＲ）の映像世界をユーザに提供する。最近ではＨＭＤをゲーム装置に接続し、ユーザがＨＭＤに表示されたゲーム画像を見ながら、操作装置を操作してゲームをプレイすることが一般的となっている。

　ゲームプレイ中、ユーザは操作装置を通じてゲームからフィードバックを与えられることで、ゲーム操作の結果をリアルに体感できる。そのためユーザに力覚フィードバックおよび／または触覚フィードバックを効果的に提供することで、ゲームなどのアプリケーションのエンタテインメント性を向上できると考えられる。

　本発明はこうした状況に鑑みてなされたものであり、その目的は、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供する技術を実現することにある。

　上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザの手に把持される操作装置の動きを示す操作情報を取得する操作情報取得部と、仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御する制御部と、を備えた情報処理装置であって、操作装置は、ユーザの手に力覚を提示する力覚提示部と、ユーザの手に触覚を提示する触覚提示部とを備えており、制御部は、仮想デバイスと仮想オブジェクトとの関係にもとづいて、力覚提示部を駆動するための第１駆動データおよび触覚提示部を駆動するための第２駆動データを生成する。

　本発明の別の態様の駆動データ生成方法は、ユーザの手に把持される操作装置の動きを示す操作情報を取得するステップと、仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御するステップと、仮想デバイスと仮想オブジェクトとの関係にもとづいて、ユーザの手に力覚を提示する力覚提示部を駆動するための第１駆動データおよびユーザの手に触覚を提示する触覚提示部を駆動するための第２駆動データを生成するステップと、を有する。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

情報処理システムの構成例を示す図である。ＨＭＤの外観形状の例を示す図である。ＨＭＤの機能ブロックを示す図である。操作装置をユーザが把持した状態を示す図である。操作装置の側面図である。可動部に指を置いた状態を示す図である。操作装置の機能ブロックを示す図である。情報処理装置の機能ブロックを示す図である。表示パネルに表示される画像の例を示す図である。仮想デバイスをインクに進入させる様子を示す図である。進入長と、可動部の移動量の関係を定めたマップの例を示す図である。振動波形の例を示す図である。移動速度と、振動部の振動量の関係を定めたマップの例を示す図である。表示パネルに表示される画像の例を示す図である。表示パネルに表示される画像の例を示す図である。衝突からの経過時間と、可動部の移動量の関係を定めたマップの例を示す図である。振動波形の例を示す図である。

　図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、記録装置１１と、ユーザの頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ）１００と、ユーザの手に把持される操作装置２０と、ＨＭＤ１００および操作装置２０を撮影する撮像装置１４と、画像および音を出力する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、または既知の無線通信プロトコルで接続してもよい。

　記録装置１１は、システムソフトウェアや、ゲームソフトウェアなどのアプリケーションを記録する。情報処理装置１０は、コンテンツサーバからネットワーク２経由で、アプリケーションを記録装置１１にダウンロードしてよい。情報処理装置１０はアプリケーションを実行して、アプリケーションの画像データおよび音データをＨＭＤ１００および出力装置１５に供給する。情報処理装置１０とＨＭＤ１００とは既知の無線通信プロトコルで接続されてもよく、またはケーブルで接続されてもよい。

　ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。ユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

　ＨＭＤ１００は仮想現実（ＶＲ）の映像世界をユーザに提供する。情報処理システム１にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、映像世界への没入感を高められる。

　ＨＭＤ１００を装着したユーザにとって出力装置１５は必要ないが、出力装置１５を用意することで、別のユーザが出力装置１５の表示画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。たとえばＨＭＤを装着したユーザと、別のユーザとが一緒にゲームをプレイするような場合、出力装置１５からは、当該別のユーザのキャラクタ視点からのゲーム画像が表示されてもよい。

　操作装置２０はバッテリにより駆動され、アプリケーションに対する操作を入力するための１つ以上の操作ボタンを備えるコントローラである。ユーザが操作装置２０の操作ボタンを操作すると、その操作入力が無線通信により情報処理装置１０に送信される。操作装置２０と情報処理装置１０の間には、たとえばBluetooth（登録商標）プロトコルを用いた無線接続が確立されてよい。情報処理装置１０は操作装置２０から操作入力を受信し、操作入力に応じてアプリケーションの進行を制御して、アプリケーションの画像データおよび音データを生成し、ＨＭＤ１００および出力装置１５に供給する。操作装置２０は無線コントローラに限らず、情報処理装置１０とケーブルを介して接続される有線コントローラであってもよい。

　操作装置２０は、３軸の加速度センサおよび３軸のジャイロセンサを含む姿勢センサを備え、所定の周期でセンサデータを情報処理装置１０に送信する。実施例の描画アプリケーションは、ユーザの手に把持される操作装置２０の動きに合わせて、仮想３次元空間内で操作装置２０に対応する仮想デバイス２２を動かす。そのため情報処理装置１０は、操作装置２０から送信されるセンサデータをもとに、操作装置２０の位置、姿勢および／または動きを導出し、導出した操作装置２０の位置、姿勢および／または動きを、仮想デバイス２２を動かすための操作情報として利用する。

　撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮影して、周期ごとのフレーム画像を生成する。撮像装置１４はステレオカメラであって、情報処理装置１０が、撮影画像から対象物との距離を測定できることが好ましい。撮像装置１４の撮影速度は６０枚／秒として、ＨＭＤ１００のフレームレートと一致させてもよい。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介して情報処理装置１０と接続する。

　ＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、情報処理装置１０は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（３軸加速度センサおよび３軸ジャイロセンサ）が搭載され、情報処理装置１０は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施し、実空間におけるユーザ頭部（実際にはＨＭＤ１００）の位置および姿勢を検出してよい。

　ここでＨＭＤ１００の位置とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きであり、基準姿勢は、ユーザの視線方向が水平方向となる姿勢であって、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。なおトラッキング処理については従来より様々な手法が提案されており、情報処理装置１０はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

　図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

　筐体１０８の外面には、複数の発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

　図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

　制御部１２０は、画像データや音データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音出力部１３２に供給して出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

　図４は、実施例の操作装置２０をユーザが把持した状態を示す。図４（ａ）は、操作装置２０を正面から見た状態を示し、図４（ｂ）は、操作装置２０を側面から見た状態を示す。操作装置２０は、ユーザの手で把持される基体３０と、基体３０に対して相対移動可能な可動部３２とを備える。可動部３２は、ユーザの手に力覚を提示する力覚提示部として機能し、情報処理装置１０から送信される駆動データにもとづいて駆動されて、ユーザに力覚フィードバックを提供する。

　操作装置２０はペン型のハプティクスデバイスであり、基体３０は略平行に配置される両側面をもつ。ユーザは基体３０の両側面を親指と中指で挟持し、人差し指を可動部３２に置いた状態で、操作装置２０を使用する。

　図５は、操作装置２０の側面図である。操作装置２０において、可動部３２が設けられている側が先端側と定義され、図５に示す側面視にて左側を前側、右側を後側と呼ぶ。図５に示す状態で可動部３２は基体３０から前方に最も突き出た位置にあり、この位置が可動部３２の「基準位置」となる。

　可動部３２の上面には、ユーザが基体３０を把持した状態で、人差し指の指先を置くための指置き部３６が設けられる。指置き部３６の前端には、指の先端部分が係合する指係合部３４が設けられる。指係合部３４は、可動部３２の移動方向（つまり前後方向）とは異なる向きに立設され、実施例で指係合部３４は、可動部３２の上面に垂直な方向に立設されている。指係合部３４は、指の腹に沿うように傾斜し且つ曲率を有する湾曲面３４ａを有する。湾曲面３４ａが、可動部３２の上面に対して傾斜し且つ指先を接触させる方向に凹状に形成されていることで、ユーザは、人差し指の先端部分を安定して湾曲面３４ａに接触させることができる。

　ユーザは、ペンを持つように親指と中指で基体３０の両側面を挟持し、人差し指の腹を指置き部３６に置く。このためユーザは利き手に関係なく、人差し指を指置き部３６に置くことができる。基体３０の先端側の部分、具体的には親指または中指を配置される部分には、振動子を含む振動部４０が設けられる。振動部４０は、基体３０先端の両側に設けられてもよい。振動部４０は、ユーザの手に触覚を提示する触覚提示部として機能し、情報処理装置１０から送信される駆動データにもとづいて駆動されて、ユーザに触覚フィードバックを提供する。

　指置き部３６には、人差し指先端により操作可能な操作ボタン４２が設けられる。操作ボタン４２はプッシュ式ボタンであって、ユーザは操作ボタン４２を押し込むことで、接点構造を備えたスイッチ（図示せず）をオンする。操作ボタン４２は、指置き部３６において湾曲面３４ａより後方側に設けられる。操作ボタン４２が指置き部３６に設けられることで、ユーザは、基体３０を親指と中指で挟持した状態で、操作ボタン４２を人差し指で自由に操作できる。

　図６（ａ）は、基準位置にある可動部３２に指を置いた状態を示す。ユーザが指置き部３６に指の腹を置くと、指の先端部分が湾曲面３４ａにフィットして接触する。このように指の先端部分が指係合部３４に当接することで、可動部３２が基体３０に引き込まれる方向に動くときに、指が指係合部３４とともに確実に移動する。

　図６（ｂ）は、可動部３２が基体３０に引き込まれる方向に移動する状態を示す。可動部３２が移動するとき、指先端部は、指置き部３６との間に作用する摩擦力により、可動部３２に連動するように動く。このとき指先端部が、移動方向に対して垂直方向に立設されている指係合部３４と接触していることで、可動部３２の動きに確実に連動するようになる。

　図７は、操作装置２０の機能ブロックを示す。制御部５０は、センサデータ、駆動データなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部５２は、制御部５０が処理するデータや命令などを一時的に記憶する。姿勢センサ５４は、操作装置２０の姿勢情報を検出する。姿勢センサ５４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部５６は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部５０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部５０は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部５０に出力する。

　制御部５０は、駆動データを情報処理装置１０から受け取ると、可動部３２および／または振動部４０を駆動する。操作装置２０において、可動部３２は、ユーザの手に力覚を提示する力覚提示部であり、振動部４０は、ユーザの手に触覚を提示する触覚提示部である。可動部３２が触覚フィードバックを提供し、振動部４０が触覚フィードバックを提供することで、ユーザは、アプリケーションで生じるイベントをリアルに体感できる。制御部５０は、姿勢センサ５４からのセンサデータを、通信制御部５６から情報処理装置１０に送信させる。

　実施例の操作装置２０は、仮想的な３次元空間に絵や文字を描く描画アプリケーションにおいて、インクを出す仮想デバイス２２として利用される。仮想デバイス２２は、ペン先を含む仮想ペンとして表示パネル１３０および出力装置１５に表示される。この描画アプリケーションでは、操作装置２０の先端部が仮想デバイス２２のペン先に対応し、ユーザが実空間で操作装置２０を動かすと、仮想デバイス２２が仮想空間内で、操作装置２０に連動した挙動を示す。

　図８は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、受信部２００および送信部２６０を備える。情報処理装置１０は、さらにＨＭＤ情報取得部２１０、操作情報取得部２１２および処理部２２０を備える。

　図８において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　ＨＭＤセンサデータ受信部２０２は、ユーザが装着したＨＭＤ１００の姿勢センサ１２４のセンサデータを所定の周期で受信して、ＨＭＤ情報取得部２１０に供給する。たとえばＨＭＤ１００がセンサデータを送信する周期は、１１．２５ｍ秒に設定されてよい。撮影画像受信部２０４は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、ＨＭＤ情報取得部２１０に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、撮影画像受信部２０４は、（１／６０）秒ごとに撮影画像を受信してよい。操作データ受信部２０６は、ユーザが把持する操作装置２０の姿勢センサ５６のセンサデータおよび操作ボタン４２の操作データを所定の周期で受信する。たとえば操作装置２０がセンサデータおよび操作データを送信する周期は、１１．２５ｍ秒に設定されてよい。操作データ受信部２０６は、姿勢センサ５６のセンサデータおよび操作ボタン４２の操作データを操作情報取得部２１２に供給する。

　ＨＭＤ情報取得部２１０は、ＨＭＤ１００のセンサデータと、撮影画像に含まれる複数の発光マーカ１１０の撮影状態から、実空間におけるＨＭＤ１００の姿勢を示す姿勢情報と、ＨＭＤ１００の位置を示す位置情報を取得する。ＨＭＤ情報取得部２１０は、撮影画像に含まれるトラッキング用の複数の発光マーカ１１０の傾きを算出し、算出した傾きと、３軸ジャイロセンサのセンサデータを用いて、ＨＭＤ１００の姿勢情報を取得してよい。またＨＭＤ情報取得部２１０は、基準位置からの移動量を、３軸加速度センサのセンサデータを用いて算出し、ＨＭＤ１００の位置情報を取得してよい。ＨＭＤ情報取得部２１０は、ＨＭＤ１００の姿勢情報および位置情報を処理部２２０に供給する。

　操作情報取得部２１２は、操作装置２０のセンサデータから、実空間における操作装置２０の姿勢を示す姿勢情報と、操作装置２０の位置を示す位置情報を取得する。操作情報取得部２１２は、主として３軸ジャイロセンサのセンサデータを用いて操作装置２０の姿勢情報を算出し、３軸加速度センサのセンサデータを用いて操作装置２０の位置情報を算出する。操作装置２０の姿勢情報および位置情報は、操作装置２０の動きを示す操作情報である。操作情報取得部２１２は、操作装置２０の姿勢情報および位置情報を、操作装置２０の動きを示す操作情報として処理部２２０に供給する。また操作情報取得部２１２は、操作ボタン４２の操作データを、処理部２２０に供給する。

　処理部２２０は、制御部２３０、視線方向決定部２５０、マップ保持部２５２、振動波形保持部２５４、画像生成部２５６および音生成部２５８を備える。制御部２３０は、仮想デバイス制御部２３２、関係特定部２３４、作用決定部２３６および駆動データ生成部２３８を有する。

　視線方向決定部２５０は、ＨＭＤ１００の姿勢情報に応じてユーザの視線方向を定める。視線方向決定部２５０は、ＨＭＤ１００の姿勢情報をユーザの視線方向に変換し、変換した視線方向を、画像生成部２５６に供給する。画像生成部２５６は、視線方向決定部２５０から提供される視線方向を、仮想空間におけるプレイヤキャラクタの視線方向を定める情報として利用する。画像生成部２５６は、ＨＭＤ情報取得部２１０で取得されたＨＭＤ１００の位置情報、および視線方向決定部２５０で決定された視線方向にもとづいて、仮想カメラの位置および方向を決定して、アプリケーション画像を生成してよい。

　仮想デバイス制御部２３２は、操作装置２０の動きを示す操作情報に応じて、仮想空間における仮想デバイス２２の動きを制御する。具体的に仮想デバイス制御部２３２は、操作情報取得部２１２から周期的に操作装置２０の姿勢情報および位置情報を取得し、操作装置２０の姿勢情報および位置情報に応じて、仮想空間における仮想デバイス２２の姿勢および位置を定めて、実空間における操作装置２０の動きに、仮想空間における仮想デバイス２２を連動させる。

　実施例の描画アプリケーションでは、仮想空間において、プレイヤキャラクタが、仮想デバイス２２のペン先をインク壺に浸して、描画する線の色を決める。この後、ユーザが操作ボタン４２を押下しながら、操作装置２０を動かすことで、仮想空間には、操作装置２０の先端部の軌跡が描画される。仮想３次元空間に描かれた線は、プレイヤキャラクタを守るシールドとなり、プレイヤキャラクタを目がけて飛んでくる仮想オブジェクト（砲弾）から身を防ぐために利用できる。この一連の進行において、操作装置２０が、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供することで、ユーザは、仮想空間内での行動に対する作用を体感できる。以下、アプリケーションにおける各シーンの作用について説明する。

＜ペン先をインク壺に浸すシーン＞
　図９は、ＨＭＤ１００の表示パネル１３０に表示される画像の例を示す。表示パネル１３０には、インクを充填された複数のインク壺７０ａ、７０ｂ、７０ｃが表示される。複数のインク壺７０ａ、７０ｂ、７０ｃは、仮想空間において所定の位置に配置され、それぞれ異なる色のインクを充填されている。ここでインク壺７０ａは赤インク７２ａ、インク壺７０ｂは青インク７２ｂ、インク壺７０ｃは黄インク７２ｃを充填されている。ユーザは仮想デバイス２２を、使いたい色のインク壺７０の上に動かし、ペン先をインクに浸す。なお図９、図１４、図１５に示す表示画像において、仮想デバイス２２を持つプレイヤキャラクタの図示は省略している。

　図１０は、仮想デバイス２２をインク壺７０ｂの青インク７２ｂに進入させる様子を示す。図１０（ａ）は、ペン先が僅かにインク表面の下方に入り込んだ様子を、図１０（ｂ）は、仮想デバイス２２の半分ほどが青インク７２ｂに進入した様子を示す。仮想デバイス制御部２３２は、操作装置２０の姿勢情報および位置情報に応じて、仮想デバイス２２の動きを制御する。

　関係特定部２３４は、仮想デバイス２２と、仮想オブジェクトである青インク７２ｂとの相対的な関係を特定し、作用決定部２３６は、関係特定部２３４が特定した相対的な関係にもとづいて、操作装置２０に対する作用を決定する。実施例では仮想デバイス２２と仮想オブジェクトとが接触したときに、作用決定部２３６が、両者が接触したことによる作用を決定してよい。

　関係特定部２３４は、所定位置に配置されたインク壺７０ｂの３次元座標と、仮想デバイス２２の３次元座標から、仮想デバイス２２と青インク７２ｂの位置関係を特定する。実施例で関係特定部２３４は、特定した位置関係から、仮想デバイス２２が青インク７２ｂに進入した長さ（進入長Ｌ）を導出する。作用決定部２３６は、仮想デバイス２２が青インク７２ｂに進入すると、力覚提示部である可動部３２を基体３０に引き込む方向に移動させることを決定する。このとき作用決定部２３６は、進入長Ｌにもとづいて、力覚提示部である可動部３２の移動量を導出する。

　図１１（ａ）は、進入長Ｌと、可動部３２の移動量の関係を定めたマップの例を示す。この関係は、マップとして、マップ保持部２５２に保持されており、移動量は、可動部３２の基準位置からの引込量を示す。図１１（ａ）に示す関係は、進入長と移動量とが比例関係にあるため、仮想デバイス２２が青インク７２ｂに進入した長さに比例して、可動部３２が基体３０に引き込まれる。作用決定部２３６は、関係特定部２３４から進入長Ｌを受け取ると、マップ保持部２５２に保持されたマップを参照して進入長Ｌに応じた移動量を取得し、駆動データ生成部２３８に渡す。駆動データ生成部２３８は、移動量にもとづいて、可動部３２を駆動するための第１駆動データを生成する。

　マップ保持部２５２は、進入長Ｌと可動部３２の移動量の関係を定義したマップを、仮想オブジェクトごとに保持してよい。たとえばマップ保持部２５２は、赤インク７２ａ、青インク７２ｂ、黄インク７２ｃに対して、それぞれ異なるマップを保持してよい。

　図１１（ｂ）は、進入長Ｌと、可動部３２の移動量の関係を定めたマップの別の例を示す。この関係は、マップ保持部２５２に保持される。図１１（ｂ）に示す関係は、仮想デバイス２２がインクに進入し始めると、可動部３２が大きく移動し、仮想デバイス２２がある程度進入した後は、可動部３２が徐々に移動する移動プロファイルをもつ。マップ保持部２５２が、仮想オブジェクト（実施例ではインク）ごとに、進入長と移動量の関係を定義したマップを保持することで、ユーザは、可動部３２により提示される力覚によって、仮想デバイス２２が接触している仮想オブジェクト特有の抵抗を感じることができる。

　さらに実施例では、関係特定部２３４が、仮想デバイス２２と、仮想オブジェクトである青インク７２ｂとの間の相対的な速度を特定し、作用決定部２３６が、関係特定部２３４が特定した相対的な速度にもとづいて、操作装置２０に対する作用を決定する。

　関係特定部２３４は、仮想デバイス２２が青インク７２ｂに進入する速度（移動速度）を特定する。仮想オブジェクトである青インク７２ｂは静止しているため、仮想デバイス２２の移動速度は、仮想デバイス２２と青インク７２ｂとの間の相対的な速度に等しい。作用決定部２３６は、仮想デバイス２２の移動速度にもとづいて、触覚提示部である振動部４０の振動プロファイルを導出する。ここで振動プロファイルは、振動波形と、振動量によって定義されてよい。

　図１２（ａ）～（ｃ）は、振動波形の例を示す。横軸は時間を示す。振動波形保持部２５４は、仮想オブジェクトごとに、振動部４０を振動させるパターンである振動波形を保持する。ここで図１２（ａ）、（ｂ）に示す振動波形は、周期的であり、図１２（ｃ）に示す振動波形は、非周期的である。このように振動波形は、仮想オブジェクトごとに自由に設定されてよい。振動波形は、正規化された振動パターンであり、移動速度に応じて決定される振動量（振幅）が振動波形に掛け合わされることで、振動部４０の振動プロファイルが導出される。

　図１３（ａ）は、移動速度と、振動部４０の振動量の関係を定めたマップの例を示す。この関係は、マップとして、マップ保持部２５２に保持されており、振動量は、振動波形の振幅を示す。図１３（ａ）に示す関係は、移動速度と振動量（振幅）とが比例関係にあるため、仮想デバイス２２の移動速度に比例して、振動部４０の振動振幅が大きくなる。作用決定部２３６は、関係特定部２３４から移動速度を受け取ると、マップ保持部２５２に保持されたマップを参照して移動速度に応じた振動量を取得し、振動波形保持部２５４に保持された、仮想オブジェクトに対応する振動波形に振動量を乗算することで、振動プロファイルを導出する。作用決定部２３６は、導出した振動プロファイルを駆動データ生成部２３８に渡し、駆動データ生成部２３８は、振動プロファイルにもとづいて、振動部４０を駆動するための第２駆動データを生成する。

　マップ保持部２５２は、移動速度と振動部４０の振動量の関係を定義したマップを、仮想オブジェクトごとに保持してよい。たとえばマップ保持部２５２は、赤インク７２ａ、青インク７２ｂ、黄インク７２ｃに対して、それぞれ異なるマップを保持してよい。

　図１３（ｂ）は、移動速度と、振動部４０の振動量の関係を定めたマップの別の例を示す。マップ保持部２５２は、仮想オブジェクト（実施例ではインク）ごとに、移動速度と振動量の関係を定義したマップを保持することで、ユーザは、振動部４０により提示される触覚によって、仮想デバイス２２が接触している仮想オブジェクト特有の性質を感じることができる。

　送信部２６０は、駆動データ生成部２３８が生成した第１駆動データおよび第２駆動データを操作装置２０に送信する。操作装置２０において制御部５０は、第１駆動データにもとづいて可動部３２を駆動し、第２駆動データにもとづいて振動部４０を駆動する。したがって可動部３２は、仮想デバイス２２の進入長に応じた移動量で、基体３０に引き込まれ、同時に振動部４０が、仮想デバイス２２の移動速度に応じた振動プロファイルで振動する。実施例の情報処理システム１によると、操作装置２０の操作に対して、力覚フィードバックと触覚フィードバックとを同時に提供することで、アプリケーションのエンタテイメント性を向上できる。

＜空間にインクで線を描くシーン＞
　図１４は、ＨＭＤ１００の表示パネル１３０に表示される画像の例を示す。仮想デバイス２２のペン先を青インク７２ｂに浸した後、ユーザが操作ボタン４２を押下しながら、実空間で操作装置２０を動かすことで、仮想空間には、操作装置２０の先端部の軌跡が描画される。このシーンでは、関係特定部２３４が、仮想デバイス２２の移動速度を特定し、作用決定部２３６が、関係特定部２３４が特定した移動速度にもとづいて、操作装置２０に対する作用を決定する。

　関係特定部２３４は、操作ボタン４２が押下されている操作装置２０の移動速度から、仮想デバイス２２の移動速度を特定する。作用決定部２３６は、仮想デバイス２２の移動速度にもとづいて、触覚提示部である振動部４０の振動プロファイルを導出する。上記したように振動プロファイルは、振動波形と、振動量によって定義されてよい。駆動データ生成部２３８は、振動プロファイルにもとづいて、振動部４０を駆動するための第２駆動データを生成する。

　振動波形保持部２５４は、インクの色ごとに、振動部４０を振動させるパターンである振動波形を保持してよい。またマップ保持部２５２は、インクの色ごとに、移動速度と、振動部４０の振動量の関係を定めたマップを保持してよい。インクの色に応じた振動波形および振動量を用意することで、描く線の色に応じた触覚フィードバックをユーザに提供でき、ユーザは、線の色による触覚フィードバックの違いを楽しむことができる。

＜描いた線をシールドとして利用するシーン＞
　図１５は、ＨＭＤ１００の表示パネル１３０に表示される画像の例を示す。描画アプリケーションにおいて、ユーザが描いた線は、その形状を維持して、飛んでくる仮想オブジェクトを防ぐためのシールドとして用いられる。このシーンでは、仮想デバイス２２の先端にシールド２４が装着され、ユーザは、仮想オブジェクト（この例では砲弾）が飛んで来る方向にシールド２４を向けて、仮想オブジェクトからプレイヤキャラクタをガードする。

　関係特定部２３４は、仮想デバイス２２およびシールド２４と、仮想オブジェクトである砲弾との相対的な関係を特定し、作用決定部２３６は、関係特定部２３４が特定した相対的な関係にもとづいて、操作装置２０に対する作用を決定する。実施例ではシールド２４と仮想オブジェクトとが接触したときに、作用決定部２３６が、両者が接触したことによる作用を決定してよい。

　関係特定部２３４は、砲弾である仮想オブジェクトの３次元座標と、シールド２４の３次元座標から、仮想オブジェクトとシールド２４の衝突を判定する。作用決定部２３６は、仮想オブジェクトとシールド２４の衝突が判定されると、力覚提示部である可動部３２を駆動することを決定する。

　図１６は、衝突からの経過時間と、可動部３２の移動量の関係を定めたマップの例を示す。この関係は、マップとして、マップ保持部２５２に保持されており、移動量は、可動部３２の基準位置からの引込量を示す。マップ保持部２５２は、衝突からの経過時間と、可動部３２の移動量の関係を定義したマップを、仮想オブジェクトごとに保持してよい。たとえばマップは、仮想オブジェクトの種類や大きさに応じて設定されてよい。作用決定部２３６は、関係特定部２３４から衝突したことを通知されると、マップ保持部２５２に保持されたマップを読み出して、駆動データ生成部２３８に渡す。駆動データ生成部２３８は、マップに定められる移動プロファイルにもとづいて、可動部３２を駆動するための第１駆動データを生成する。

　さらに実施例では、関係特定部２３４が、仮想デバイス２２と、仮想オブジェクトである砲弾との間の相対的な速度を特定し、作用決定部２３６が、関係特定部２３４が特定した相対的な速度にもとづいて、操作装置２０に対する作用を決定する。具体的に作用決定部２３６は、仮想デバイス２２と仮想オブジェクトとの間の相対的な速度にもとづいて、触覚提示部である振動部４０の振動プロファイルを導出する。ここで振動プロファイルは、振動波形と、振動量によって定義されてよい。

　図１７は、振動波形の例を示す。横軸は、衝突からの経過時間を示す。振動波形保持部２５４は、衝突する仮想オブジェクトごとに、振動部４０を振動させるパターンである振動波形を保持する。作用決定部２３６は、関係特定部２３４から移動速度を受け取ると、マップ保持部２５２に保持されたマップを参照して移動速度に応じた振動量を取得し、振動波形保持部２５４に保持された、仮想オブジェクトに対応する振動波形に振動量を乗算することで、振動プロファイルを導出する。作用決定部２３６は、導出した振動プロファイルを駆動データ生成部２３８に渡し、駆動データ生成部２３８は、振動プロファイルにもとづいて、振動部４０を駆動するための第２駆動データを生成する。

　送信部２６０は、駆動データ生成部２３８が生成した第１駆動データおよび第２駆動データを操作装置２０に送信する。操作装置２０において制御部５０は、第１駆動データにもとづいて可動部３２を駆動し、第２駆動データにもとづいて振動部４０を駆動する。実施例の情報処理システム１によると、操作装置２０の操作に対して、力覚フィードバックと触覚フィードバックとを同時に提供することで、アプリケーションのエンタテイメント性を向上できる。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、制御部２３０が、ＶＲアプリケーションを実施することを説明したが、ＶＲアプリケーション以外のアプリケーションを実施してもよい。

　実施例では、作用決定部２３６が振動プロファイルを導出して、駆動データ生成部２３８が、振動プロファイルに応じた第２駆動データを生成している。変形例では、作用決定部２３６が、振動プロファイルを導出する手法をサウンドエフェクトにも適用して、音生成部２５８が、触覚フィードバックと同期した音を生成してもよい。

　本発明は、ユーザに力覚フィードバックおよび／または触覚フィードバックを提供する技術に利用できる。

１・・・情報処理システム、１０・・・情報処理装置、２０・・・操作装置、２２・・・仮想デバイス、２４・・・シールド、３０・・・基体、３２・・・可動部、３４・・・指係合部、３４ａ・・・湾曲面、３６・・・指置き部、４０・・・振動部、４２・・・操作ボタン、５０・・・制御部、５２・・・記憶部、５４・・・姿勢センサ、５６・・・通信制御部、２００・・・受信部、２０２・・・ＨＭＤセンサデータ受信部、２０４・・・撮影画像受信部、２０６・・・操作データ受信部、２１０・・・ＨＭＤ情報取得部、２１２・・・操作情報取得部、２２０・・・処理部、２３０・・・制御部、２３２・・・仮想デバイス制御部、２３４・・・関係特定部、２３６・・・作用決定部、２３８・・・駆動データ生成部、２５０・・・視線方向決定部、２５２・・・マップ保持部、２５４・・・振動波形保持部、２５６・・・画像生成部、２５８・・・音生成部、２６０・・・送信部。

Claims

　ユーザの手に把持される操作装置の動きを示す操作情報を取得する操作情報取得部と、
　仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御する制御部と、を備えた情報処理装置であって、前記操作装置は、ユーザの手に力覚を提示する力覚提示部と、ユーザの手に触覚を提示する触覚提示部とを備えており、
　前記制御部は、仮想デバイスと仮想オブジェクトとの関係にもとづいて、前記力覚提示部を駆動するための第１駆動データおよび前記触覚提示部を駆動するための第２駆動データを生成する、
　ことを特徴とする情報処理装置。
　前記力覚提示部は、前記操作装置の基体に対して相対移動する可動部であり、前記触覚提示部は、振動を発生する振動部である、
　ことを特徴とする請求項１に記載の情報処理装置。
　前記制御部は、仮想デバイスと仮想オブジェクトとの位置関係にもとづいて、前記力覚提示部を駆動するための第１駆動データを生成する、
　ことを特徴とする請求項１または２に記載の情報処理装置。
　前記制御部は、仮想デバイスと仮想オブジェクトとの間の相対的な速度にもとづいて、前記触覚提示部を駆動するための第２駆動データを生成する、
　ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
　ユーザの手に把持される操作装置の動きを示す操作情報を取得するステップと、
　仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御するステップと、
　仮想デバイスと仮想オブジェクトとの関係にもとづいて、ユーザの手に力覚を提示する力覚提示部を駆動するための第１駆動データおよびユーザの手に触覚を提示する触覚提示部を駆動するための第２駆動データを生成するステップと、
　を有することを特徴とする駆動データ生成方法。
　コンピュータに、
　ユーザの手に把持される操作装置の動きを示す操作情報を取得する機能と、
　仮想オブジェクトが存在する空間内で、操作装置に対応する仮想デバイスの動きを操作情報に応じて制御する機能と、
　仮想デバイスと仮想オブジェクトとの関係にもとづいて、ユーザの手に力覚を提示する力覚提示部を駆動するための第１駆動データおよびユーザの手に触覚を提示する触覚提示部を駆動するための第２駆動データを生成する機能と、
　を実現させるためのプログラム。