JP7305185B2 - 情報処理装置、情報処理方法、および、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、および、プログラムに関するものである。

近年、ヘッドマウントディスプレイを用いて、仮想空間を提供する技術が急速に普及している。このような技術では、ユーザがその体験をあたかも現実のように感じられる、「没入感」を得られるか否かが、感動や満足感を提供する上できわめて重要な要素であることが指摘されている。

特許文献１には、人体の対象部位に姿勢角検出装置を取付けて対象部位の姿勢角を計測する際に、姿勢角検出装置の対象部位に対する取付け角度を予め初期姿勢角として保存しておき、人体の姿勢角検出時に、姿勢角検出装置の角速度および角加速度と、初期姿勢角とを用いて演算処理することにより、姿勢角検出装置の対象部位に対する取付け角度誤差が補正され、対象部位に関する姿勢角の検出を高い精度で行う技術が開示されている。

このような技術によれば、ヘッドマウントディスプレイを頭部に装着している利用者の実際の動きと、ヘッドマウントディスプレイの出力姿勢角とが一致するので、ヘッドマウントディスプレイに表示される画像と利用者の感覚との間に違和感が生じず、利用者は自然な感覚でヘッドマウントディスプレイの画像を鑑賞することができる。

特開２００４－１５０９００号公報

ところで、手や足などの身体の一部が表示されることで、没入感を高められる場合があることが知られており、今後は、仮想空間の中に、より積極的に第一人称視点の主人公役の身体の一部を表示していく方向が想定される。

このように、第一人称視点の主人公役の身体の一部を表示する場合、画面内に表現されている主人公の体の一部の位置が、現実のユーザの体の対応する部分の位置と大きく異なると、没入感が著しく阻害されてしまう。

しかしながら、特許文献１では、このような問題点を解決することができない。

そこで、本発明は、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することが可能な情報処理装置、情報処理方法、および、プログラムを提供することを目的としている。

上記課題を解決するために、本発明は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段と、前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段と、前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段と、前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段と、を有することを特徴とする。
このような構成によれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することができる。

また、本発明は、前記第２入力手段から入力された前記修正情報を記憶する記憶手段を有し、前記修正手段は、前記記憶手段に記憶された前記修正情報に基づいて前記仮想空間のピッチ方向の角度を修正する、ことを特徴とする。
このような構成によれば、記憶されている修正情報に基づいてピッチ方向の角度の修正を適宜継続して行うことができる。

また、本発明は、前記修正手段は、ピッチ方向の修正角度を新たに指定する場合には、前記記憶手段に記憶されている前記修正情報の前回値を初期値として、前記仮想空間のピッチ方向の角度の修正値を指定することを特徴とする。
このような構成によれば、再修正を容易に行うことができる。

また、本発明は、前記デバイスは、前記ユーザの前後方向または上下方向に対応する方向に関する操作が可能な操作部を有し、前記修正手段は、前記操作部の前記前後方向または上下方向に対応する方向に関する操作量を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、ことを特徴とする。
このような構成によれば、前後方向または上下方向の操作によって感覚的に分かりやすく調整を行うことができる。

また、本発明は、前記デバイスは、前記仮想空間内の少なくとも１点を指定可能であり、前記修正手段は、前記デバイスによって指定された位置を参照し、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、ことを特徴とする。
このような構成によれば、ポインティングデバイスを用いて、ピッチ方向の角度を容易に調整することができる。

また、本発明は、前記仮想空間における前記身体画像のピッチ方向の角度を取得する取得手段を有し、前記修正手段は、前記取得手段によって取得されたピッチ方向の角度を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、ことを特徴とする。
このような構成によれば、ピッチ方向の角度を自動的に設定することが可能になる。

また、本発明は、前記修正手段は、前記第２入力手段から入力された前記修正情報に基づいて、ピッチ方向の角度の修正量を示すゲージを前記仮想空間の一部に表示することを特徴とする。
このような構成によれば、ゲージを参照することで修正量を正確に把握することができる。

また、本発明は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力ステップと、前記第１入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力ステップと、前記第２入力ステップにおいて入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正ステップと、前記修正ステップにおいてピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示ステップと、を有することを特徴とする。
このような方法によれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することができる。

また、本発明は、ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、前記コンピュータを、前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段、前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段、前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段、前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段、として機能させることを特徴とする。
このようなプログラムによれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制することができる。

本発明によれば、主人公役の身体の一部の表示位置と、対応するユーザの身体の一部の位置との乖離を抑制可能な情報処理装置、情報処理方法、および、プログラムを提供することができる。

本発明の実施形態に係る情報処理装置を含むシステムの構成例である。 図１に示す情報処理装置の構成例を示す図である。 図１に示すＨＭＤの構成例を示す図である。 図３に示すＨＭＤが有する３つの軸方向を示す図である。 図１に示す操作デバイスの外観斜視図である。 図１に示す操作デバイスの電気的な構成例を示す図である。 制作者等が意図するＶＲ空間画像の位置関係を示す図である。 実際のＶＲ空間画像の位置関係を示す図である。 ピッチ角修正後のＶＲ空間画像の位置関係を示す図である。 制作者等が意図するＶＲ空間画像の位置関係を示す図である。 実際のＶＲ空間画像の位置関係を示す図である。 ピッチ角修正後のＶＲ空間画像の位置関係を示す図である。 図２に示す実施形態において実行される処理の一例を説明するためのフローチャートである。 図５に示す操作デバイスの他の構成例を示す図である。 図５に示す操作デバイスのさらに他の構成例を示す図である。 ポインティングデバイスを用いてピッチ角を調整する場合の表示画面の一例を示す図である。 図２に示す実施形態において実行される他の処理の一例を説明するためのフローチャートである。 図２に示す実施形態において実行されるさらに他の処理の一例を説明するためのフローチャートである。

次に、本発明の実施形態について説明する。

（Ａ）本発明の実施形態の構成の説明
図１は、本発明の実施形態に係る情報処理装置を含む情報処理システムの構成例を示す図である。図１に示すように、本発明の実施形態に係る情報処理装置システムは、情報処理装置１０、ＨＭＤ（Head Mount Display）３０、操作デバイス５０、および、ネットワーク７０を有している。

ここで、情報処理装置１０は、後述するように、パーソナルコンピュータ等によって構成され、例えば、ネットワーク７０に接続されたサーバ（不図示）から供給されるプログラムまたはデータに基づいて、ＶＲ（Virtual Reality）空間画像を生成してＨＭＤ３０に供給するとともに、ＨＭＤ３０を装着したユーザの頭部の動きに応じてＶＲ空間画像を更新する。また、情報処理装置１０は、操作デバイス５０がユーザによって操作された場合には、操作量を取得し、操作量に応じた処理（後述する）を実行する。

ＨＭＤ３０は、ユーザが頭部に装着し、情報処理装置１０から供給されるＶＲ空間画像を内蔵されているディスプレイに表示するとともに、ユーザの頭部の動きを検出して情報処理装置１０に供給する。

操作デバイス５０は、ユーザによって操作され、操作量に応じた情報を生成して出力する。

ネットワーク７０は、例えば、インターネット等によって構成され、図示しないサーバと情報処理装置１０との間で情報をＩＰパケットとして伝送する。

図２は、情報処理装置１０の電気的な構成例を示すブロック図である。図２に示すように、情報処理装置１０は、ピッチ角修正量設定部１１、入力部１２、ＶＲ空間画像生成部１３、ＨＭＤ動き検出部１４、アバター生成部１５、および、通信部１６を有している。

ここで、ピッチ角修正量設定部１１は、操作デバイス５０から入力される情報に基づいてＶＲ空間画像のピッチ角を修正する量を設定する。

入力部１２は、操作デバイス５０が操作された場合に、操作量を示す情報を操作デバイス５０から入力する。

ＶＲ空間画像生成部１３は、ユーザの周囲に構築するＶＲ空間画像を生成して、ＨＭＤ３０に供給する。

ＨＭＤ動き検出部１４は、ＨＭＤ３０が有する加速度センサ（後述する）から出力される、ＨＭＤ３０の動きに関する情報を入力し、ＨＭＤ３０の動きを検出することで、ユーザの頭部の動きを検出する。

アバター生成部１５は、第一人称視点の主人公役である化身としてのアバターの身体の少なくとも一部の画像を生成する。

通信部１６は、ネットワーク７０を介して、図示しないサーバにアクセスし、サーバに格納されている情報を取得したり、サーバに対して情報を送信したりする。

図３は、ＨＭＤ３０の電気的な構成例を示すブロック図である。図３に示すように、ＨＭＤ３０は、プロセッサ３１、メモリ３２、１組のディスプレイ３３、複数の加速度センサ３４、複数のＬＥＤ（Light Emitting Diode）３５、通信部３６、スピーカ３７、および、マイクロフォン（以下、単に「マイク」と称する）３８を有している。

なお、ＨＭＤ３０は、ユーザの頭部に装着して使用される。ＨＭＤ３０は、情報処理装置１０から供給されるＶＲ空間画像を、ユーザの左右の目に対して表示するための左右１組のディスプレイ３３を有するとともに、ディスプレイ３３とユーザの目の間に位置して視野角を拡大するための左右一対の光学レンズ、ユーザの頭部の動きを検出するための加速度センサ３４を有している。

ここで、プロセッサ３１は、メモリ３２に格納されているプログラムおよびデータに基づいて、装置の各部を制御する。

メモリ３２は、例えば、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等によって構成され、プロセッサ３１が実行するプログラムやデータを格納する。

ディスプレイ３３は、情報処理装置１０から供給されるＶＲ空間画像をユーザの左右の目に対して提示する。

加速度センサ３４は、例えば、ジャイロセンサによって構成される。加速度センサ３４は、図４に示すように、ユーザの頭部の動きを、首を左右にかしげる方向であるロール方向の角度としてのロール角θｒ、左右に顔を振る方向であるヨー方向の角度としてのヨー角θｙ、および、顎の上げ下げ方向であるピッチ方向の角度としてのピッチ角θｐのそれぞれの加速度として検出して出力する。

図３に戻る。ＬＥＤ３５は、例えば、発光マーカを構成し、情報処理装置１０に対して、ＨＭＤ３０の位置を検出可能に配置されて構成されている。

通信部３６は、無線または有線によって情報処理装置１０と接続され、ＶＲ空間画像を情報処理装置１０から受信するとともに、加速度センサ３４によって検出されたＨＭＤ３０の３軸方向の加速度を示す情報を情報処理装置１０に送信する。

スピーカ３７は、情報処理装置１０から通信部３６を介して供給される音声情報を音声に変換して放音する。なお、スピーカ３７の代わりに、ヘッドフォンを使用するようにしてもよい。

マイク３８は、ユーザの発した音声を電気信号に変換して出力する。

図５は、操作デバイス５０の構成例を示す外観斜視図である。図５に示すように、操作デバイス５０は、例えば、樹脂によって構成される本体部５０１を有し、この本体部５０１をユーザが把持して使用する。また、本体部５０１の端部には、操作部５０３が配置される平面部５０２が形成されている。ユーザが操作部５０３を回転することで、後述するようにＶＲ空間画像を提示する際のピッチ角を調整することができる。

図６は、操作デバイス５０の電気的な構成例を示す図である。図６に示すように、操作デバイス５０は、プロセッサ５１、メモリ５２、操作量検出部５３、センサ群５４、通信部５５、および、振動部５６を有している。

ここで、プロセッサ５１は、メモリ５２に格納されたプログラムおよびデータに基づいて、装置の各部を制御する。

メモリ５２は、ＲＡＭおよびＲＯＭ等によって構成され、プロセッサ５１が実行するプログラムおよびデータを格納している。

操作量検出部５３は、例えば、図５に示す操作部５０３の操作量を検出して出力する。より詳細には、図５の例では、操作部５０３はダイアル型の構造を有し、操作量検出部５３は、ダイアル型の操作部５０３の回転角度を検出するロータリーエンコーダによって構成され、ユーザの操作量を示す情報を生成して出力する。

センサ群５４は、例えば、傾きセンサ等によって構成され、操作デバイス５０の角度を検出して出力する。

通信部５５は、無線または有線によって情報処理装置１０と接続され、例えば、振動部５６を制御するための情報を情報処理装置１０から受信するとともに、操作量検出部５３およびセンサ群５４によって検出された情報を情報処理装置１０に送信する。

振動部５６は、例えば、バイブレーションモータによって構成され、プロセッサ５１の制御により、振動を発生して操作デバイス５０の本体部５０１を振動させる。

（Ｂ）本発明の実施形態の動作の説明
つぎに、本発明の実施形態の動作について説明する。以下では、本発明の実施形態の動作の概要について説明した後、フローチャートを参照して動作の詳細について説明する。

図７～図１２は、本発明の動作の概要を説明するための図である。図７は、ＶＲ空間画像として、海の中の環境を提示する場合であって、ＶＲ空間画像の制作者または撮影者（以下、「制作者等」と称する）が想定している状況を示す図である。図７の例では、ＶＲ空間画像として海の中の環境（詳細は図面の簡略化のために省略する）がユーザ９０に提示される。また、図７の例では、ユーザ９０のアバター（化身）の身体の一部としてのフィン１００が、ユーザ９０の足と一致する位置に提示される。また、図７の例では、フィン１００に対して鮫１１０が攻撃している。すなわち、制作者等は、ユーザ９０が、例えば、座位にて鑑賞することを想定するとともに、仮想カメラの正面方向よりも約４５度下方にユーザ９０の足が存在することを想定して、ＶＲ空間画像を制作または撮影（以下、「制作等」と称する）している。

図８は、ユーザ９０の実際の鑑賞時の状況を示している。図８の例では、ユーザ９０は、座位ではなく、例えば、ソファ９２等に横になる仰臥位にてＶＲ空間画像を鑑賞している。このような場合、ＶＲ空間画像を提示する従来の情報処理装置では、ユーザ９０がどのような姿勢かは考慮しないことから、図８に示すように、ユーザ９０の足から離れた位置にフィン１００が表示されてしまう。その場合、ユーザ９０はフィン１００を自分の身体の一部と認識することは困難であることから、このようなフィン１００に対して鮫１１０が攻撃をしたとしても、自身に対する攻撃と感じることは困難である。

ＶＲ空間内で敵、怪物、友人等の他者が、一人称視点の主人公役の身体に接近または接触などの干渉を加えようとした場合に、ＶＲ空間画像に提示されている主人公の体の一部の位置が、現実のユーザ９０の位置と異なる場合には、没入感が著しく阻害されてしまうことが、従来は問題であった。

そこで、本発明の実施形態では、ＶＲ空間画像の再生開始時またはＶＲ空間画像の再生中に、ユーザ９０が操作デバイス５０の操作部５０３を操作することで、図９に示すように、ピッチ角θｐを修正し、制作者等が想定している位置に、ユーザ９０のアバターの身体の一部や、身体の一部に干渉を加えようとする他者等の画像が提示されるように調整を行うことを特徴とする。

図１０～図１２は別のコンテンツの場合を示している。図１０は、制作者等が意図したＶＲ空間画像とユーザ９０との関係を示している。すなわち、図１０の例では、ユーザ９０は立位であり、ユーザ９０の足下に犬１２０が存在する状態を示している。

図１１は、実際の鑑賞時の状態を示している。図１１の例では、ユーザ９０は、上半身が鉛直方向よりも傾いた状態の座位である。このような場合、犬１２０は、ユーザ９０の足下ではなく、空中に浮かんだ状態で表示される。ＶＲ空間画像中に、これと対応する位置にユーザ９０のアバターの一部である手が表示されて、そのアバターの手によって犬１２０を撫でる場合、この手を自身の手と認識することは困難である。

図１２は、本実施形態によって、表示位置を調整した場合の表示例を示している。本実施形態では、ＶＲ空間画像の再生開始時またはＶＲ空間画像の再生中に、ユーザ９０が操作デバイス５０の操作部５０３を操作することで、図１２に示すように、ピッチ角θｐを調整し、制作者等が想定している位置にＶＲ空間画像が提示されるように修正を行うことができるので、犬１２０をユーザ９０の足下に表示させることができる。この場合、ユーザ９０のアバターの一部である手が表示され、アバターの手によって犬１２０を撫でる場合、この手を自身の手と認識することができる。

このように、調整を行って、アバターの体の一部と、ユーザ９０の体の一部とを一致させることで、アバターに対する身体所有感覚を高め、これにより没入感を高めることができる。

なお、身体所有感については、以下のような論文が知られている。

例えば、論文１（Botvinick M., and Cohen J.: "Rubber hands ‘feel’ touch that eyes see", Nature, 391(6669):756, (1998)）では、被検者に提示する視野の中にゴム製の義手を置き、視野から隠された場所にある被験者の実際の手を触るのと同じタイミングで、ゴム製の義手にも触れるという事前の訓練を行うと、脳の錯覚によりゴム製の義手が触られている視覚情報だけでも自分が接触されたような感覚（RHI：Rubber Hand Illusion)を生じることが記載されている。なお、これと類似した一連の現象は、身体感覚の転移、または、身体所有感などと呼ばれ、近年きわめて熱心に研究されるようになっている。

また、論文２（Slater M., Spanlang B., Sanchez-Vives M.V., and Blanke O.: “First Person Experience of Body Transfer in Virtual Reality," PLoS ONE, 5(5):e10564, (2010)）では第一人称視点だけでなく第三人称視点でも身体所有感が得られることが記載されている。

また、論文３（Peck T.C., Seinfeld S., Aglioti S.M., and Slater M.: "Putting yourself in the skin of a black avatar reduces implicit racial bias", Consciousness and cognition, 22（3）:779-787, (2013)）では表示されるアバターの肌の色の違いなどに関わらず身体所有感が得られることが記載されている。

また、論文４（Kondo R., Sugimoto M., Minamizawa K., Hoshi T., Inami M., and Kitazaki M.: "Illusory body ownership of an invisible body interpolated between virtual hands and feet via visual-motor synchronicity", Scientific reports, 8:7541, (2018)）では手と足先だけが被検者の動きと同期して表示され、その間をつなぐべき人体があたかも透明人間のように何も表示されない場合ですら、その透明な部分に身体所有感が得られるという事実が示されている。

一方、論文５（Pavani F.: "Visual capture of touch : Out-of-the-body experiences with rubber gloves", Psychological Science, 11(5):353-359, (2000)）では、置かれた義手の角度と、現実の手が見えるべき角度の差が少ないほうが、身体所有の感覚が強くなることが述べられている。すなわち、人間の認知上の自然の性質として、仮想空間内での主人公の身体の表示は、できる限り現実空間内でのユーザの身体が置かれている位置と近い方が身体感覚の転移が起きやすく、したがって没入感も得やすい傾向があることが示唆される。

すなわち、本実施形態は、人間の脳の認知機構が自然に有しているこれらの科学的性質に立脚した上で、仮想現実に関わる多くのコンテンツが共有している諸性質にも注目することにより、例えば、図８に示す状況に対して、技術的な解決手段を提供しようとするものである。

また、本実施形態では、ユーザ９０の頭部の動きから検出し、視線の調整に用いられている３つの角度（θｒ，θｙ，θｐ）のうち、ピッチ角θｐに特に注目するという点が特徴である。すなわち、第一人称視点の主人公役としてのアバターの姿勢は、物語の進行に応じて様々に変化する可能性があるが、人間の眼が自分の体を視野内に捉えているとき、首をかしげていること（ロール軸方向の動き）や、左右に振り返ること（ヨー軸方向の動き）は相対的に稀な事象である。主人公は首をかしげておらず、興味をもつべき対象に対して左右にずれずにほぼ正面を向いていることを仮定しても、多くの場合には問題が生じない。

視野内に映る自分の身体は、多くの場合は視野の正面中心付近にあり、自分の肩幅の中で存在していることを多くの場合には期待できる。このとき、顎の上げ下げ（ピッチ軸方向の動き）によって、その見え方は大きく変わる。人間の諸動作、例えば、立つ、座る、屈む、横たわるなどの動作に応じて、自らの身体の視野内での形は変わるが、それらの変化は主にピッチ角の調整により近似的に合わせることができる。

そこで、本発明では、ユーザの頭部の動きを感知するセンサからのロール角θｒ、ヨー角θｙ、ピッチ角θｐに基づく視線移動を検出するＨＭＤ動き検出部１４に加えて、特に視線の上下方向の変化を司るピッチ角に関して、ユーザ９０の意図に基づく強制移動（ピッチアップ、ピッチダウン）を可能とするためのピッチ角修正量設定部１１を設けることで、第一人称視点の主人公のとしてのアバターの身体表現とユーザの現実の姿勢の齟齬を減少することができる。

人間の脳は大きな調整能力を持つために、四肢の位置の大まかな重ね合わせを調整するだけでも、没入感を保てるだけの大きな心理的効果を得られることが期待される。このため本実施形態は、第一人称視点の主人公役であるアバターの身体と、現実のユーザ９０の身体の姿勢の大まかな位置合わせを、操作デバイス５０によって実施し、ユーザ９０がその自らの意図に応じて操作デバイス５０を操作することで、より没入感が高い仮想空間を提供することができる。

図１３は、本発明の実施形態において実行される処理の一例を説明するためのフローチャートである。以下では、図１３に示すフローチャートを参照して、本発明の詳細な動作について説明する。図１３に示すフローチャートの処理が開始されると、以下のステップが実行される。

ステップＳ１０では、情報処理装置１０のＨＭＤ動き検出部１４は、ＨＭＤ３０の加速度センサ３４の出力を参照して、ＨＭＤ３０の初期位置を検出する。すなわち、ＨＭＤ３０の３軸方向の初期位置として、例えば、初期ロール角θｒ０、初期ヨー角θｙ０、および、初期ピッチ角θｐ０を検出する。例えば、θｒ０＝０、θｙ０＝０、および、θｐ０＝０である場合には、描画の基準となるロール角θｒ、ヨー角θｙ、および、ピッチ角θｐは、それぞれ、θｒ＝０、θｙ＝０、および、θｐ＝０に設定される。なお、加速度センサ３４の出力ではなく、ＨＭＤ３０に設けられたＬＥＤ３５を点灯させ、これらをマーカとして、画像認識によって初期位置を検出するようにしてもよい。

ステップＳ１１では、ピッチ角修正量設定部１１は、ピッチ角修正量θｐｃの初期値として“０”を代入する。

ステップＳ１２では、アバター生成部１５は、ステップＳ１０で検出した初期位置としてのロール角θｒ、ヨー角θｙ、および、ピッチ角θｐに基づいて、ユーザ９０のアバター画像を生成する処理を実行する。例えば、図７の例では、アバター生成部１５は、ユーザ９０のアバターの体の一部に装着されるフィン１００の画像を生成する。

ステップＳ１３では、ＶＲ空間画像生成部１３は、ステップＳ１０で検出した初期位置としてのロール角θｒ、ヨー角θｙ、および、ピッチ角θｐに基づいて、ＶＲ空間画像を生成する処理を実行する。例えば、図７の例では、海中の環境を示す画像を生成するとともに、ステップＳ１２で生成したアバター画像を重畳して、ＶＲ空間画を生成する。

ステップＳ１４では、ＶＲ空間画像生成部１３は、ステップＳ１３で生成したＶＲ空間画像をＨＭＤ３０に対して出力する。この結果、ＨＭＤ３０では、例えば、通信部３６がＶＲ空間画像を受信し、プロセッサ３１に供給する。プロセッサ３１は、通信部３６から供給されるＶＲ空間画像をディスプレイ３３に表示する。

ステップＳ１５では、ＨＭＤ動き検出部１４は、ＨＭＤ３０の加速度センサ３４から供給される情報を参照して、ＨＭＤ３０の位置を検出する。より詳細には、ＨＭＤ動き検出部１４は、図５に示すロール軸方向、ヨー軸方向、および、ピッチ軸方向の動きを検出する。

ステップＳ１６では、ピッチ角修正量設定部１１は、入力部１２から入力される情報を参照し、操作デバイス５０の操作部５０３に対して、ピッチアップまたはピッチダウンの操作がされたか否かを判定し、操作がされたと判定した場合（ステップＳ１６：Ｙ）にはステップＳ１７に進み、それ以外の場合（ステップＳ１６：Ｎ）にはステップＳ１８に進む。例えば、操作部５０３がユーザの親指等によって回転された場合にはＹと判定してステップＳ１７に進む。

ステップＳ１７では、ピッチ角修正量設定部１１は、ステップＳ１６で検出した操作デバイス５０の操作部５０３に対する操作量に応じてピッチ角修正量θｐｃを更新する処理を実行する。例えば、図９の例では、一例として、操作部５０３の操作量に応じた“－３５度”が入力されるので、ピッチ角修正量θｐｃ＝－３５に設定される。操作部５０３の操作量からピッチ角修正量θｐｃへの変換については、例えば、システムのオプション画面等でその感度を調整できることが望ましい。

ステップＳ１８では、ＶＲ空間画像生成部１３は、ステップＳ１７において更新されたピッチ角修正量に応じてピッチ角を修正する処理を実行する。例えば、前述した図９の例では、ピッチ角修正量θｐｃ＝－３５であるので、ＶＲ空間画像生成部１３は、ピッチ角θｐを－３５度修正する処理（θｐ←θｐ＋θｐｃとする処理）を実行する。

ステップＳ１９では、アバター生成部１５は、ステップＳ１８で修正されたピッチ角に基づいて、ユーザ９０のアバター画像を生成する処理を実行する。例えば、前述した図９の例では、アバター生成部１５は、ステップＳ１８で修正されたピッチ角θｐに基づいて、ユーザ９０のアバターの体の一部に装着されるフィン１００の画像を生成する。

ステップＳ２０では、ＶＲ空間画像生成部１３は、ＶＲ空間画像を生成する処理を実行する。例えば、前述した図９の例では、ステップＳ１８で修正されたピッチ角θｐに基づいて、海中の環境を示す画像を生成するとともに、鮫１１０の画像を生成する。そして、これらの画像に対して、ステップＳ１２で生成したアバター画像を重畳して、ＶＲ空間画を生成する。

ステップＳ２１では、ＶＲ空間画像生成部１３は、ステップＳ２０で生成したＶＲ空間画像をＨＭＤ３０に対して出力する。この結果、ＨＭＤ３０では、例えば、通信部３６がＶＲ空間画像を受信し、プロセッサ３１に供給する。プロセッサ３１は、通信部３６から供給されるＶＲ空間画像をディスプレイ３３に表示する。この結果、図９に示すように、アバター画像であるフィン１００と、鮫１１０の位置が適切に調整されたＶＲ空間画像がＨＭＤ３０のディスプレイ３３に表示される。前述したように、人間の脳はＶＲ空間内の主人公役と自己との間で身体感覚の転移を起こし、身体所有感を持つことが知られている。その時、仮想空間上で提供される主人公の身体に関する視覚的表現が、自分の身体が本来あるべき位置と近ければ近いほどその感覚を得やすいという性質がある。このため、ピッチ角θｐを修正することで、例えば、図９の例では、フィン１００に対する身体所有感を強めることができる。これにより、鮫１１０の攻撃を自身に対する攻撃と強く認識することができるため、ＶＲ空間への没入感を高めることができる。

ステップＳ２２では、ＶＲ空間画像生成部１３は、処理を終了するか否かを判定し、処理を終了すると判定した場合（ステップＳ２２：Ｙ）には処理を終了し、それ以外の場合（ステップＳ２２：Ｎ）にはステップＳ１５に戻って前述の場合と同様の処理を繰り返す。

以上の処理によれば、例えば、図８に示すように、アバター画像の一部であるフィン１００の位置と、ユーザ９０の足の位置とが一致していない場合には、操作デバイス５０の操作部５０３を操作することでピッチ角θｐを修正し、図９に示すように、これらを一致させることで、ＶＲ空間への没入感を高めることができる。

（Ｃ）変形実施形態の説明
以上の実施形態は一例であって、本発明が上述したような場合のみに限定されるものでないことはいうまでもない。例えば、前述した実施形態では、図５に示すような操作デバイス５０を用いる場合を例に挙げて説明したが、例えば、図１４または図１５に示す操作デバイス５０Ａ，５０Ｂを用いるようにしてもよい。図１４は、レバー型の操作部５０３Ａを有する操作デバイス５０Ａの例である。すなわち、図１４の例では、操作部５０３Ａをユーザ９０の親指等で操作することにより、ピッチ角を修正することができる。なお、操作部５０３Ａを連続して操作した場合には、操作部５０３Ａの操作量（傾き）に応じた所定の速度（例えば、最大限操作した場合には５度／秒）でピッチ角が変化するようにできる。

図１５は、ボタン型の操作部５０３Ｂ，５０３Ｃを有する操作デバイス５０Ｂの構成例である。すなわち、図１５の構成例では、ピッチアップする場合には操作部５０３Ｂを操作し、ピッチダウンする場合には操作部５０３Ｃを操作することで所望の角度に調整することができる。なお、操作部５０３Ｂ，５０３Ｃを連続して操作した場合には、所定の速度（例えば、５度／秒）でピッチ角が変化するようにできる。なお、図５、図１４、および、図１５に示す操作デバイスでは、前後方向をピッチ角と対応させて調整を行うようにしたが、ユーザの上下方向とピッチ角とを対応させて調整を行うようにしてもよい。

また、ＶＲ空間への没入感の喪失を避けるためには、前述した操作デバイス５０，５０Ａ，５０Ｂを用いることが望ましいが、システムの構成を簡易化する等の目的で操作デバイスを使用しない場合には、代替手段としてＶＲ空間内に、例えば、図１６に示すような操作画面を表示し、この操作画面からピッチ角修正量の入力を受けるようにしてもよい。

より詳細には、ＨＭＤ３０または情報処理装置１０に付属されている、ＶＲ空間内のオブジェクトを操作または指定するためのポインティングデバイスを利用し、図１６に示す操作画面を操作するようにしてもよい。

図１６の表示例では、画面の左右端の一定の幅の帯内（以下、「ゲージ表示領域」と称する）をポインティングデバイスでクリックすることで、ピッチ角調整ゲージが一定時間（例えば１０秒間）表示され、さらにそのゲージ上の一点をクリックすることで、ピッチ量（増減量）を指定できるようにする。ゲージの上方がピッチアップ、下方がピッチダウンとすることが望ましい。ゲージの数直線が表現するピッチ量は、例えば、プラス４５度（ピッチアップ）からマイナス４５度（ピッチダウン）の範囲とすることが考えられる。

図１６の場合も、操作デバイス５０の場合と同様に、システムのオプション画面で感度（ゲージが表すピッチ角修正量の大きさ）を調整できることが望ましい。ゲージ上の一点がクリックされた際には、ピッチ角調整を反映した後に、再度同じ時間（前述の例では１０秒間）ゲージの表示とクリックの受け付けを継続する。これにより、ユーザがピッチ角調整を何度か繰り返して、好適な角度に微調整をすることが可能となる。

ピッチ角調整ゲージは、仮想空間の明暗に影響されないよう、非透過色で描画されることが好ましい。また標準的には左右両端にゲージ表示領域を設けるが、オプション設定により、左右片側だけにしか設置しないことも、ユーザの好みにより選択できることが望ましい。また、ピッチ角調整ゲージの範囲外の一点をクリックした場合でも有効な入力として取り扱い、ピッチ角調整を行うようにすることもできる。これにより、仮想空間内で興味のあるオブジェクトをクリックし、それが視線正面になるようにピッチ角を調整することが可能となる。

図１７は、図１６に示す表示画面に基づいて、ピッチ角修正量を設定するためのフローチャートの一例である。なお、図１７において、図１３に示すフローチャートと対応する部分には同一の符号を付してその説明を省略する。図１７では、図１３と比較すると、ステップＳ１６が除外され、ステップＳ３０～Ｓ３２が新たに追加されている。このため、以下では、ステップＳ３０～Ｓ３２を中心に説明する。

ステップＳ３０では、ピッチ角修正量設定部１１は、ポインティングデバイスによってＶＲ空間の一点が指定されたか否かを判定し、指定されたと判定した場合（ステップＳ３０：Ｙ）にはステップＳ３１に進み、それ以外の場合（ステップＳ３０：Ｎ）にはステップＳ１８に進む。例えば、図１６において、画面の左右端のゲージ表示領域がポインティングデバイスでクリックされた後、ゲージ上の一点がクリックされた場合には、Ｙと判定してステップＳ３１に進む。

ステップＳ３１では、ピッチ角修正量設定部１１は、クリックされた点を特定する。例えば、図１６において、ポインティングデバイスによりクリックされたゲージ上の一点を特定する。

ステップＳ３２では、ピッチ角修正量設定部１１は、指定された点からピッチ角修正量θｐｃを算出する。例えば、図１６において、ポインティングデバイスによりクリックされたゲージ上の一点の位置からピッチ角修正量θｐｃを算出する。

ステップＳ１７では、ピッチ角修正量設定部１１は、ステップＳ３２で算出したピッチ角修正量θｐｃによって、既存のピッチ角修正量θｐｃを更新する。

以上の処理により、図１６に示す表示画面を用いてピッチ角修正量を更新することができる。このような変形実施形態によれば、新たな操作デバイスを追加することなく、既存のポインティングデバイスを利用してピッチ角修正量を設定することができる。

また、以上の実施形態では、ピッチ角修正量は、ユーザがマニュアル操作で入力するようにしたが、制作者等の意図に基づき、提示するアバターの姿勢が変化する場合には、自動的に調整するようにしてもよい。具体的には、ＶＲ空間画像を生成するデータの中に、アバターの姿勢を示す情報を格納しておき、アバターの姿勢を示す情報に基づいて、ピッチ角修正量を自動的に更新するようにしてもよい。

図１８は、このような処理を実現するためのフローチャートである。なお、図１８において、図１３と対応する部分には同一の符号を付してその説明を省略する。図１８では、図１３と比較すると、ステップＳ５０およびステップＳ５１の処理が追加されている。これら以外は、図１３と同様であるので、以下では、ステップＳ５０およびステップＳ５１の処理を中心に説明する。なお、以下の処理を実現するためには、前提として、ＶＲ空間画像を生成するデータに対して、例えば、アバターの姿勢に対応したピッチ角修正量を予め埋め込んでおく必要がある。

ステップＳ５０では、ピッチ角修正量設定部１１は、現在提示されているＶＲ空間画像のシーンに対応するピッチ角修正量θｐｃを、例えば、ＶＲ空間画像生成部１３から取得する。例えば、当該シーンにおいて提示されるアバターの姿勢に応じて、ＶＲ空間画像を生成するためのデータに予め埋め込まれているピッチ角修正量θｐｃを取得する。ＶＲ空間画像のシーンが変化して、制作者等の意図に基づき、アバターの姿勢が変化する場合には、ピッチ角修正量θｐｃが変化する。このため、ピッチ角修正量θｐｃが変化した場合には、新たなピッチ角修正量θｐｃが、例えば、ＶＲ空間画像生成部１３またはアバター生成部１５から取得される。

ステップＳ５１では、ピッチ角修正量設定部１１は、ステップＳ５０で取得されたピッチ角修正量θｐｃによって既存のピッチ角修正量θｐｃを更新する。例えば、直前のシーンのピッチ角修正量がθｐｃ１であり、新たなシーンのピッチ角修正量がθｐｃ２である場合、ピッチ角修正量θｐｃ２を新たに設定する。

ステップＳ１６およびステップＳ１７では、例えば、前述した操作デバイス５０の操作に応じてピッチ角修正量が設定される。なお、ステップＳ１７では、ステップＳ５１で更新されたピッチ角修正量θｐｃに対して、操作デバイス５０の操作に応じた値を増減することで、ピッチ角修正量θｐｃを設定することができる。

以上の処理によれば、シーンが変化する毎に、自動的にピッチ角を修正できるので、ユーザ９０がマニュアル操作でピッチ角修正量を設定する手間をおおよそ省略でき、ユーザ９０は操作デバイス５０の操作で微修正のみを行えば良いようにできる。

なお、以上に示す実施形態では、ＶＲ空間画像をコンピュータグラフィックスによって描画する場合を例に挙げて説明したが、本発明は、コンピューグラフィックスに限定されるものではなく、例えば、全天周映像を撮像できるカメラで撮像した実写画像を用いるようにしてもよい。すなわち、イメージベースレンダリングまたはイメージベースモデリングに対して、本発明を適用するようにしてもよい。なお、実写画像を用いる場合には、実写画像にアバターが含まれるので、その場合には、図２に示す構成から、アバター生成部１５を除外することができる。もちろん、全天周（３６０°）映像ではなく、１８０°映像を用いるようにしてもよい。

また、図１８に示す変形実施形態では、ＶＲ空間画像を生成するデータに対して、シーンに応じたピッチ角修正量を埋め込むようにしたが、例えば、提示するＶＲ空間画像が、コンピュータグラフィックスではなく、撮影された画像の場合には、画像に含まれる主人公の画像のピッチ角修正量を埋め込むのではなく、図３に示す構成に画像解析処理部を追加し、画像解析処理部による解析処理によって、適切なピッチ角修正量を画像から特定し、特定されたピッチ角修正量を設定するようにしてもよい。

また、以上の実施形態では、図１３等に示す処理が、情報処理装置１０で実行されるようにしたが、情報処理装置１０の構成をＨＭＤ３０に組み込み、図１３等に示す処理を、ＨＭＤ３０で実行するようにしてもよい。

また、図１に示す構成例では、ネットワーク７０およびサーバを有するようにしたが、ネットワーク７０を含まない構成としてもよい。また、サーバに格納される情報を、情報処理装置１０またはＨＭＤ３０に格納するようにしてもよい。

また、以上の実施形態では、ピッチ角を調整するようにしたが、必要に応じて、ヨー角およびロール角を調整できるようにしてもよい。

１０ 情報処理装置
１１ ピッチ角修正量設定部
１２ 入力部
１３ ＶＲ空間画像生成部
１４ ＨＭＤ動き検出部
１５ アバター生成部
１６ 通信部
３０ ＨＭＤ
３１ プロセッサ
３２ メモリ
３３ ディスプレイ
３４ 加速度センサ
３５ ＬＥＤ
３６ 通信部
３７ スピーカ
３８ マイク
５０，５０Ａ，５０Ｂ 操作デバイス
５１ プロセッサ
５２ メモリ
５３ 操作量検出部
５４ センサ群
５５ 通信部
５６ 振動部
７０ ネットワーク
９０ ユーザ
９２ ソファ
１００ フィン
１１０ 鮫
１２０ 犬
５０１ 本体部
５０２ 平面部
５０３，５０３Ａ，５０３Ｂ，５０３Ｃ 操作部

Claims (8)

1. ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理装置において、
   前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段と、
   前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段と、
   前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段と、
   前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段と、
   前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段と、
   を有することを特徴とする情報処理装置であって、
   前記修正手段は、前記第２入力手段から入力された前記修正情報に基づいて、ピッチ方向の角度の修正量を示すゲージを前記仮想空間の一部に表示する、
   情報処理装置。
2. 前記第２入力手段から入力された前記修正情報を記憶する記憶手段を有し、
   前記修正手段は、前記記憶手段に記憶された前記修正情報に基づいて前記仮想空間のピッチ方向の角度を修正する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記修正手段は、ピッチ方向の修正角度を新たに指定する場合には、前記記憶手段に記憶されている前記修正情報の前回値を初期値として、前記仮想空間のピッチ方向の角度の修正値を指定することを特徴とする請求項２に記載の情報処理装置。
4. 前記デバイスは、前記ユーザの前後方向または上下方向に対応する方向に関する操作が可能な操作部を有し、
   前記修正手段は、前記操作部の前記前後方向または上下方向に対応する方向に関する操作量を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記デバイスは、前記仮想空間内の少なくとも１点を指定可能であり、
   前記修正手段は、前記デバイスによって指定された位置を参照し、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 前記仮想空間における前記身体画像のピッチ方向の角度を取得する取得手段を有し、
   前記修正手段は、前記取得手段によって取得されたピッチ方向の角度を参照して、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理方法において、
   前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力ステップと、
   前記第１入力ステップにおいて入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成ステップと、
   前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力ステップと、
   前記第２入力ステップにおいて入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正ステップと、
   前記修正ステップにおいてピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示ステップと、
   を有することを特徴とする情報処理方法であって、
   前記修正ステップにおいて、入力された前記修正情報に基づいて、ピッチ方向の角度の修正量を示すゲージを前記仮想空間の一部に表示する、
   情報処理方法。
8. ユーザの頭部に装着されたディスプレイに仮想空間を提示する情報処理をコンピュータに機能させる前記コンピュータが読み取り可能なプログラムにおいて、
   前記コンピュータを、
   前記ユーザの頭部の動きを検出するセンサからの検出情報を入力する第１入力手段、
   前記第１入力手段が入力した検出情報に応じて、前記ユーザの身体の少なくとも一部を示す身体画像を含む前記仮想空間を生成する生成手段、
   前記ユーザの頭部のピッチ方向の角度を修正する操作が行われるデバイスからの修正情報を入力する第２入力手段、
   前記第２入力手段が入力した前記修正情報に基づいて、前記ディスプレイに前記仮想空間を提示する際のピッチ方向の角度を修正する修正手段、
   前記修正手段によってピッチ方向の角度が修正された前記仮想空間を前記ディスプレイに提示する提示手段、
   として機能させることを特徴とするプログラムであって、
   前記修正手段は、前記第２入力手段から入力された前記修正情報に基づいて、ピッチ方向の角度の修正量を示すゲージを前記仮想空間の一部に表示する、
   プログラム。

Images