JPWO2019093278A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

ユーザの頭部に装着される表示装置に接続される情報処理装置が、ユーザの視線方向の情報を取得し、取得した視線方向の情報に基づいて、仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、取得した視線方向の情報のうち少なくとも所定の方向への視線方向の情報によらず、仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、仮想的な三次元空間内でのユーザの視野を決定して、当該決定された視野内のオブジェクトの画像を生成して出力する。

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

ユーザの頭部に装着され、仮想的な空間の画像をユーザに提示する表示装置が近年普及しつつある。このような表示装置では、表示される仮想的な空間内で、連続的にユーザの視野が移動する表示を行うと、ユーザが酔いを感じることがある（いわゆるＶＲ酔い）。

このような酔いの軽減のためには、移動を不連続に行うことなどが考えられているが、不連続移動では、現実感が損なわれ、仮想空間の体験の質が低下してしまう。

現実感を損なうことなく、酔いを軽減できる画像の提示方法が求められている。

本発明は上記実情に鑑みて為されたもので、現実感を損なうことなく、酔いを軽減できる情報処理装置、情報処理方法、及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明の一態様は、ユーザの頭部に装着される表示装置に接続される情報処理装置であって、当該ユーザの視線方向の情報を取得する取得手段と、仮想的な三次元空間内のオブジェクトに係る情報を取得する手段と、前記取得した視線方向の情報に基づいて、前記仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、前記取得した視線方向の情報のうち少なくとも所定の方向への前記取得した視線方向の情報によらず、前記仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、前記仮想的な三次元空間内でのユーザの視野を決定する視野決定手段と、前記決定された視野内の前記オブジェクトの画像を生成する生成手段と、を有し、前記生成された画像が、前記表示装置において表示出力されることとしたものである。

また本発明の一態様に係る情報処理方法は、ユーザの頭部に装着される表示装置に接続されるコンピュータを用い、取得手段が、当該ユーザの視線方向の情報を取得する工程と、情報取得手段が、仮想的な三次元空間内のオブジェクトに係る情報を取得する工程と、視野決定手段が、前記取得した視線方向の情報に基づいて、前記仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、前記取得した視線方向の情報のうち少なくとも所定の方向への前記取得した視線方向の情報によらず、前記仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、前記仮想的な三次元空間内でのユーザの視野を決定する工程と、生成手段が、前記決定された視野内の前記オブジェクトの画像を生成する工程と、を有し、前記生成された画像が、前記表示装置において表示出力されることとしたものである。

さらに本発明の別の態様に係るプログラムは、ユーザの頭部に装着される表示装置に接続されたコンピュータを、当該ユーザの視線方向の情報を取得する取得手段と、仮想的な三次元空間内のオブジェクトに係る情報を取得する手段と、前記取得した視線方向の情報に基づいて、前記仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、前記取得した視線方向の情報のうち少なくとも所定の方向への前記取得した視線方向の情報によらず、前記仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、前記仮想的な三次元空間内でのユーザの視野を決定する視野決定手段と、前記決定された視野内の前記オブジェクトの画像を生成する生成手段と、前記生成した画像を、前記表示装置に出力する手段と、として機能させることとしたものである。

本発明によると、現実感を損なうことなく、酔いを軽減できる。

本発明の実施の形態に係る情報処理装置の構成、及び接続状態の例を表すブロック図である。 本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置が処理する仮想空間の例を表す説明図である。 本発明の実施の形態に係る情報処理装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る情報処理装置が検出するユーザの視線方向と、生成される画像との関係例を表す説明図である。 本発明の実施の形態に係る情報処理装置が検出するユーザの視線方向と、生成される画像とのもう一つの関係例を表す説明図である。 本発明の実施の形態に係る情報処理装置により検出されるユーザの視線方向の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置１は、表示装置２が表示すべき画像を表す画像データを供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等である。具体的にこの情報処理装置１は、図１に示すように、ユーザの頭部に装着される表示装置２や操作デバイス３等に接続され、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムを実行する。本実施の形態では、この制御部１１は、表示装置２を装着したユーザの視線方向の情報を取得し、当該取得した視線方向の情報に基づいて、仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、上記取得した視線方向の情報のうち少なくとも所定の方向への視線方向の情報によらずに、仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、仮想的な三次元空間内でのユーザの視野を決定する。そして制御部１１は、当該決定された視野内の、仮想的な三次元空間内でのオブジェクトの画像を生成し、当該生成した画像に係る信号を、表示装置２に対して出力し、表示装置２において生成した画像を表示出力させる。この制御部１１の詳しい動作については、後に述べる。

記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラムを格納する。また、この記憶部１２は制御部１１のワークメモリとしても動作し、制御部１１がプログラム実行の過程で使用するデータを格納する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。

インタフェース部１３は、操作デバイス３や表示装置２との間で情報処理装置１の制御部１１がデータ通信を行うためのインタフェースである。情報処理装置１は、このインタフェース部１３を介して有線又は無線のいずれかで操作デバイス３や表示装置２等と接続される。一例として、このインタフェース部１３は、情報処理装置１が供給する画像データや音声を表示装置２に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのマルチメディアインタフェースを含んでよい。また、このインタフェース部１３は、表示装置２から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。さらにインタフェース部１３は、操作デバイス３に対するユーザの操作入力の内容を示す信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含んでよい。

表示装置２は、ユーザが頭部に装着して使用する表示デバイスである。この表示装置２は、情報処理装置１から供給される画像データや音声のデータを受け付ける。そしてこの表示装置２は、入力された画像データを、後に述べる、表示装置２の映像表示素子５１における表示部の画素の配列に並べ替えた画像データを生成し、さらに必要に応じて、供給された画像データが表す画像に対して、表示装置２の光学系によって生じる歪みを補正する処理などを実行し、補正された画像を表す映像信号を生成する。

なお、ここで生成する映像信号は、左目用のものと右目用のものとの二つの映像信号を含んでいてよい。また表示装置２は、生成した映像信号に応じた映像を表示し、ユーザに閲覧させる。本実施形態では、表示装置２はユーザの右目と左目とのそれぞれの目の前に、それぞれの目に対応した映像を表示するものとする。この表示装置２は、図１に示したように、映像表示素子５１、及び光学素子５２を含んで構成される。

映像表示素子５１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、情報処理装置１から入力される指示に従って映像を表示する。この映像表示素子５１は、左目用の映像と右目用の映像とを一列に並べて表示する１つの表示素子であってもよいし、左目用の映像と右目用の映像とをそれぞれ独立に表示する一対の表示素子を含んで構成されてもよい。また、本実施の形態の別の例では、スマートフォンの画面をそのまま映像表示素子５１として用いてもよいし、ユーザの網膜に直接映像を投影する網膜照射型（網膜投影型）の装置であってもよい。

映像表示素子５１をスマートフォンの画面とする場合、このスマートフォンが情報処理装置１から供給される画像データや音声のデータを受け付ける。そしてこの表示装置２は、入力された画像データを、後に述べる、表示装置２の映像表示素子５１における表示部の画素の配列に並べ替えた画像データを生成し、さらに必要に応じて、供給された画像データが表す画像に対して、表示装置２の光学系によって生じる歪みを補正する処理などを実行し、補正された画像を表す映像信号を生成することとなる。また、映像表示素子５１はユーザの網膜に直接、映像を投影するデバイスであってもよい。

光学素子５２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザの目の前に配置され、映像表示素子５１が表示する映像の光を透過又は屈折させて、ユーザの目に入射させる。具体的に、この光学素子５２は、左目用光学素子５２Ｌと、右目用光学素子５２Ｒとを含み、映像表示素子５１が表示する左目用の映像は、左目用光学素子５２Ｌを経由してユーザの左目に入射し、右目用の映像は右目用光学素子５２Ｒを経由してユーザの右目に入射するようにしてもよい。これによりユーザは、表示装置２を頭部に装着した状態で、左目用の映像を左目で、右目用の映像を右目で、それぞれ見ることができるようになる。なお、本実施形態において表示装置２は、ユーザが外界の様子を視認することができない非透過型の表示装置である。

また操作デバイス３は、例えば家庭用ゲーム機のコントローラ等であって、ユーザが情報処理装置１に対して各種の指示操作を行うために使用される。操作デバイス３に対するユーザの操作入力の内容は、有線又は無線のいずれかにより情報処理装置１に送信される。なお、操作デバイス３は必ずしも情報処理装置１と別体でなくてもよく、情報処理装置１の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。

次に、情報処理装置１の制御部１１の動作について説明する。本実施の形態に係る制御部１１は、記憶部１２に格納されたプログラムを実行することにより、機能的には、図２に例示するように、視線方向取得部２１と、オブジェクト情報取得部２２と、視野決定部２３と、生成部２４と、出力部２５とを含んで構成されている。

視線方向取得部２１は、表示装置２を装着したユーザの視線方向の情報を、所定のタイミングごと（例えば１／３０秒ごとのなど定期的）に繰り返し取得する。具体的に、この視線方向取得部２１は、ユーザの頭部の方向を視線方向として、当該ユーザの頭部の方向を表す情報を取得する。具体的にこの視線方向取得部２１は、ユーザが装着する表示装置２の姿勢を図示しないカメラで撮影したユーザの画像に基づいて、あるいは表示装置２が備える姿勢センサが出力する情報等を用いて検出して、ユーザの頭部の向きの情報を取得してもよい。このようなユーザの頭部の向きを検出する方法は広く知られた種々の方法を採用できるので、ここでの詳しい説明は省略する。

また以下の説明では、本実施の形態の視線方向取得部２１は、ユーザの顔の垂直方向（仰角方向）への角度（矢状面内の角度）をθ、左右方向への角度（横断面内の角度）をφ、冠状面内の角度をψとして、これらの角度のセット（θ，φ，ψ）で表されるユーザの頭部の方向を取得するものとする。なお、この例の視線方向取得部２１は、情報処理装置１に対して所定の起動操作を行ったときのユーザの頭部の方向（ユーザの顔が向く正面方向）を基準の方向（θ，φ，ψ）＝（０，０，０）として、この基準からの各方向への角度の変化量でユーザの頭部の方向を検出するものとする。

オブジェクト情報取得部２２は、仮想空間内に表示する仮想的なオブジェクトの情報を取得する。具体的にこのオブジェクト情報取得部２２が取得するオブジェクトの情報は、ゲームアプリケーション等のアプリケーションプログラム側から提供され、オブジェクトの形状やテクスチャ、配置する位置や向き等の情報を含む。このようなオブジェクトの情報やその取得の処理については広く知られているので、ここでの詳しい説明は省略する。

視野決定部２３は、ユーザの仮想空間内での視野の方向及び画角を決定する。本実施の形態では視野決定部２３は、次のようにしてユーザの仮想空間内での視野の方向を決定する。本実施の形態の視野決定部２３は、ユーザが所定のキャリブレーション操作を行ったとき（または処理開始時）に、その時点での現実空間でのユーザの頭部の方向を表す情報（θ，φ，ψ）を用いて、仮想空間内でのユーザの顔の仰角方向への角度（矢状面内の角度）をα0＝θ、左右方向への角度（横断面内の角度）をβ0＝φ、視野方向の面（冠状面内）の角度をγ0＝ψと設定する。

またこの視野決定部２３は、ユーザが、所定の注視操作を行っているか否かを調べる。ここで注視操作は例えば、操作デバイス３の所定のボタンが押下されることとしてもよい。この場合視野決定部２３は、当該所定のボタンが押下されている間は所定の注視操作が行われていると判断し、当該所定のボタンが押下された状態から押下されていない状態に変化すると、注視操作が終了したと判断する。

そして視野決定部２３は、ユーザが、所定の注視操作を行っていないときには、仮想空間内のユーザの頭部の方向（α，β，γ）をα＝θ−α0，β＝φ−β0，γ＝ψ−γ0と設定する。なお、ここでは仮想空間内でのユーザの顔の仰角方向への角度（矢状面内の角度）をα、左右方向への角度（横断面内の角度）をβ、視野方向の面（冠状面内）の角度をγとして表現している。

一方、視野決定部２３は、ユーザが所定の注視操作を行っている間は、仮想空間内のユーザの頭部の方向（α，β，γ）を変化させない。

なお視野決定部２３は、所定の注視操作を終了した時点で、キャリブレーション操作が行われたものとして、その時点での現実空間でのユーザの頭部の情報（θ，φ，ψ）を用いて、仮想空間内でのユーザの顔の仰角方向への角度（矢状面内の角度）をα0＝θ、左右方向への角度（横断面内の角度）をβ0＝φ、視野方向の面（冠状面内）の角度をγ0＝ψとしてもよい。

生成部２４は、視野決定部２３が決定したユーザの視野内に投影した仮想空間の画像をレンダリングして、視野内のオブジェクトの画像を生成する。この処理は、一般的な三次元グラフィックスの処理であるので、ここでの詳しい説明を省略する。出力部２５は、生成部２４が生成した、オブジェクトの画像を、表示装置２に対して出力する。

［動作］
本実施の形態は、以上の構成を基本的に備えてなり、次のように動作する。本実施の形態の情報処理装置１は、ユーザの頭部に装着される表示装置２、及びユーザにより操作される操作デバイス３に接続される。

情報処理装置１は、ゲームアプリケーション等の処理において、仮想的なゲーム空間（仮想空間）内にオブジェクトを配して表示する処理を実行している。以下では、説明のため、図３に例示するようにユーザの位置を中心とした球面状のオブジェクトの内面に、３６０度画像のテクスチャを貼り付けた場合を例とするが、本実施の形態はこのような例に限られるものではない。

情報処理装置１は、ユーザが表示装置２を装着して電源を投入した当初のユーザの頭部の向きを表す情報を取得し、当該取得した情報が（θ，φ，ψ）＝（０，０，０）の方向であるものとして初期化する。なお、ここではユーザの顔の仰角方向への角度（矢状面内の角度）をθ、左右方向への角度（横断面内の角度）をφ、冠状面内の角度をψとする。

また情報処理装置１は、この時点での現実空間でのユーザの頭部の情報（θ，φ，ψ）＝（０，０，０）を用いて、仮想空間内でのユーザの顔の仰角方向への角度（矢状面内の角度）をα0＝θ＝０、左右方向への角度（横断面内の角度）をβ0＝φ＝０、視野方向の面（冠状面内）の角度をγ0＝ψ＝０と設定する。なお、ここでは仮想空間内でのユーザの顔の仰角方向への角度（矢状面内の角度）をα、左右方向への角度（横断面内の角度）をβ、視野方向の面（冠状面内）の角度をγとして表現している。

以下、情報処理装置１は、図４に示す処理を行い、所定のタイミングごとにユーザの視線方向の情報を繰り返し取得する（Ｓ１）。そして情報処理装置１は、ユーザが、所定の注視操作を行っているか否かを調べる（Ｓ２）。ここでは注視操作は操作デバイス３の所定のボタンが押下された状態にあることとする。

情報処理装置１は、ユーザが所定の注視操作を行っていないとき（処理Ｓ２：Ｎｏ）には、仮想空間内のユーザの頭部の方向（α，β，γ）をα＝θ−α0，β＝φ−β0，γ＝ψ−γ0と設定する（Ｓ３）。そして情報処理装置１は、処理Ｓ３で設定したユーザの視野内に投影した仮想空間の画像をレンダリングして、視野内のオブジェクトの画像を生成する（Ｓ４）。情報処理装置１は、処理Ｓ４で生成したオブジェクトの画像を、表示装置２に対して出力し（Ｓ５）、処理Ｓ１に戻って処理を続ける。

この場合（ユーザが所定の注視操作を行っていない場合）に例えばユーザが右上方へ頭部を向ける（θ，φが増大し、ψは元の値と概ね同じ値に維持される）と、表示装置２には、右上方へ頭部を向ける前の表示範囲より、右上側にあるべき画像が表示されることとなる（図５：Ｓ１１）。この動作は、本発明の第１のモードに相当する。なお図５では、説明のため、実際には表示されないが、視野が変化したときに表示され得る画像部分を破線で表している。

一方、処理Ｓ２において、ユーザが所定の注視操作を行っていると判断される（処理Ｓ２：Ｙｅｓ）と、情報処理装置１は、現実空間でのユーザの頭部の方向の変化と関わりなく、仮想空間内のユーザの頭部の方向（α，β，γ）を変化させないこととし（Ｓ６）、処理Ｓ４に移行して処理を続ける。

この場合（ユーザが所定の注視操作を行っている場合）に例えばユーザが右上方へ頭部を向けても（θ，φが増大し、ψは元の値と概ね同じ値に維持されても）、表示装置２には、右上方へ頭部を向ける前の表示範囲の画像がそのまま表示された状態にあることとなる（図５：Ｓ１２）。つまりこの処理Ｓ６では、いずれの方向（（θ，φ，ψ）の各方向）に対しても、取得された頭部の向きの情報（取得された視線方向の情報）によらず、仮想的な視野が決定されることとなる。この動作は本発明の第２のモードに相当する。

これにより、例えば、ユーザが表示装置２の表示を見ている状態で、その表示の右上方を見るように頭部の方向を傾けると、情報処理装置１は、当該ユーザの動作に応じて表示装置２に表示させている画像の内容を更新する（図５：Ｓ１１）。ここでユーザが操作デバイス３を操作して所定の注視操作を行い、当該所定の注視操作を行っている状態で、頭部の位置を右上方を見るように頭部を傾ける前の状態に戻す（（θ，φ，ψ）＝（０，０，０）の方向へ戻す）と、この間は、情報処理装置１は、現実空間でのユーザの頭部の方向の変化と関わりなく、仮想空間内のユーザの頭部の方向（α，β，γ）を変化させないので、先に更新した画像が表示されたままとなる（視線がその方向に貼り付いたようになる。図５：Ｓ１２）。

ここでユーザが操作デバイス３における所定の注視操作を終了すると、以下は、ユーザの頭部の方向の変化に応じて、仮想空間内のユーザの頭部の方向（α，β，γ）を変化させ、ユーザの頭部の方向に応じた方向の画像が表示されるように制御される（図５：Ｓ１３）。

［変化させる軸を限る例］
なお、ここまでの説明では、情報処理装置１は第２モードの動作、すなわち、ユーザが所定の注視操作を行っていると判断されたときの動作において、現実空間でのユーザの頭部の方向の変化と関わりなく、仮想空間内のユーザの頭部の方向を表すすべての角度成分の情報（α，β，γ）を変化させないこととしたが、本実施の形態はこれに限られない。

すなわち本実施の形態のある例では、取得したユーザの頭部の方向（視線方向）の情報のうち、水平または垂直（仰角）方向、ユーザの頭部の傾き方向のうち、少なくとも所定の方向への頭部の向き（視線方向）の情報によらずに、仮想空間内のユーザの頭部の方向を表す角度成分の情報（α，β，γ）を決定することとしてもよい。

具体的には、本実施の形態の一例に係る情報処理装置１は、第２モードの動作、すなわち、ユーザが所定の注視操作を行っていると判断されたときの動作において、水平または垂直（仰角）方向のいずれか一方の方向、例えば水平方向の角度に相当するβの情報のみを変化させず、ユーザの頭部の傾きγと、水平または垂直（仰角）方向のいずれか他方の方向、先の例では垂直（仰角）方向の角度に相当するαについてはユーザが所定の注視操作を行っているときでもα＝θ−α0，γ＝ψ−γ0と設定しなおしてもよい。

この例では、図５のステップＳ１１の後、ユーザが操作デバイス３を操作して所定の注視操作を行い、当該所定の注視操作を行っている状態で、頭部の位置を右上方を見るように、頭部を傾ける前の状態に戻す（（θ，φ，ψ）＝（０，０，０）の方向へ戻す）と、情報処理装置１は、現実空間でのユーザの頭部の方向の変化に応じて、水平方向に係る情報にはよらず（つまりβは変化させず）、少なくとも垂直方向に係る情報を利用して、α＝０，γ＝０に設定する。従って、表示装置２内の画像は、図６に例示するように、垂直方向には元の位置に戻り、水平方向については右上を見たときの像の位置に固定されたままとなる（Ｓ１４）。

また、ここでは、水平方向についてのみ現実のユーザの頭部の方向によらずに、仮想空間内のユーザの頭部の方向を表すすべての角度成分の情報（α，β，γ）を設定することとしたが、本実施の形態はこれに限られない。

例えば、情報処理装置１は、所定のタイミングごとに現実のユーザの頭部の方向を表す情報（θ，φ，ψ）を取得し、前回取得した、現実のユーザの頭部の方向を表す情報との差（Δθ，Δφ，Δψ）を求め、Δθ＞Δφであるときには、φが変化しても、仮想空間のユーザの頭部の水平方向（β）については変化させずに、α，γのみα＝θ−α0，γ＝ψ−γ0と設定しなおし、Δθ＜Δφであるときには、θが変化しても、仮想空間のユーザの頭部の垂直（仰角）方向（α）については変化させずに、β，γのみβ＝φ−β0，γ＝ψ−γ0と設定しなおすなど、変化させない仮想空間内の軸方向を動的に決定してもよい。

また別の例では、情報処理装置１は、ユーザの操作により、ユーザが操作デバイス３の所定の第１のボタンを押下している間は、仮想空間内のユーザの頭部の方向を表す角度成分の情報（α，β，γ）のうち、水平方向（β）については現実空間でのユーザの頭部の方向の変化に関わらず変化させずに、α，γのみ、現実空間のユーザの頭部の方向の情報（θ，φ，ψ）を用いて、α＝θ−α0，γ＝ψ−γ0と設定しなおし、上記第１のボタンとは異なる所定の第２のボタンを押下している間は、仮想空間内のユーザの頭部の方向を表す角度成分の情報（α，β，γ）のうち、仮想空間のユーザの頭部の垂直（仰角）方向（α）については変化させずに、β，γのみβ＝φ−β0，γ＝ψ−γ0と設定しなおすなど、変化させない仮想空間内の軸方向をユーザの操作により決定してもよい。

［視線方向の検出の別の例］
本実施の形態のここまでの説明では、情報処理装置１は、ユーザの頭部の方向により視線方向を検出することとしていたが、本実施の形態はこれに限られない。例えば情報処理装置１は、表示装置２内におけるユーザの実際の視線の方向（瞳孔の方向）を検出してもよい。この例では、例えば表示装置２がユーザの左右の目の瞳孔の方向を検出し、映像表示素子５１に表示された画像のどの部分をユーザが見ているかを表す情報（注視位置の情報）を出力するものとする。情報処理装置１は、この注視位置の情報を（上述のθ，φ，ψに代えて）、ユーザの視線方向の情報として受け入れる。

この例では、情報処理装置１は、当該受け入れたユーザの視線方向の情報が、予め定めた条件を満足しているか否かにより、所定の注視操作を行っているか否かを判断してもよい。一例として図７に例示するように、情報処理装置１は、ユーザの注視位置が、視野の所定の周縁部に含まれるときに、所定の注視操作を行っていると判断してもよい。ここで視野は、情報処理装置１において設定され、当該視野内部のオブジェクトがレンダリングされて、表示装置２において表示されている画像の範囲であり、その周縁部は、一例としては、映像表示素子５１の周縁部である。

すなわち情報処理装置１は、ユーザの注視位置が、映像表示素子５１の上縁部（５１Ｕ），下縁部（５１Ｄ），左縁部（５１Ｌ），右縁部（５１Ｒ）のいずれかにあるか否かを判断する。または、この情報処理装置１は、ユーザの注視位置が映像表示素子５１の周縁部である、上縁部（５１Ｕ），下縁部（５１Ｄ），左縁部（５１Ｌ），右縁部（５１Ｒ）のいずれかに含まれている状態が継続している時間を測定し、当該時間が予め定めた時間しきい値を超えたか否かを判断することとしてもよい。

情報処理装置１は、ユーザの注視位置が映像表示素子５１の周縁部にない（あるいは周縁部にあった時間が時間しきい値を超えていない）と判断すると、ユーザの視線方向の変化（注視位置の変化）によらず、仮想空間内のユーザの頭部の方向（α，β，γ）を変化させない（表示装置２に表示させる内容を変化させない）。

一方、情報処理装置１は、ユーザの注視位置が映像表示素子５１の周縁部にある（あるいは周縁部にある時間が時間しきい値を超えた）と判断すると、注視位置が上縁部（５１Ｕ），下縁部（５１Ｄ），左縁部（５１Ｌ），右縁部（５１Ｒ）のいずれにあるかを調べ、注視位置が上縁部（５１Ｕ）にあるときには、仮想空間内のユーザの頭部の方向のうち、仰角方向であるαに予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を加算して、仮想空間内のユーザの頭部の方向を表すαを更新する。

また、注視位置が下縁部（５１Ｄ）にあるときには、情報処理装置１は、仮想空間内のユーザの頭部の方向のうち、仰角方向であるαから予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を減算して、仮想空間内のユーザの頭部の方向を表すαを更新する。

さらに注視位置が左縁部（５１Ｌ）にあるときには、情報処理装置１は、仮想空間内のユーザの頭部の方向のうち、水平方向であるβから予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を減算して、仮想空間内のユーザの頭部の方向を表すβを更新する。

また注視位置が右縁部（５１Ｒ）にあるときには、情報処理装置１は、仮想空間内のユーザの頭部の方向のうち、水平方向であるβに予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を加算して、仮想空間内のユーザの頭部の方向を表すβを更新する。

この例に係る情報処理装置１では、ユーザが例えば映像表示素子５１の右端に視線を向ける（あるいは所定の時間しきい値以上の時間だけ視線を向け続ける）と、仮想空間のユーザの頭部が右方向を向いたときの仮想空間の画像が表示されるよう制御され（本発明の第１モードの動作）、ユーザが映像表示素子５１の周縁部でない範囲を見ている間は、ユーザが視線を移動させても表示装置２内に表示された画像は変化しないよう制御される（本発明の第２モードの動作）。

なお、この例において情報処理装置１は、ユーザの注視方向に係る条件だけでなく、ユーザの注視方向に係る条件とユーザの操作デバイス３に対する操作とを組み合わせた条件により、第１，第２のモードのいずれのモードで表示する画像を制御するかを決定してもよい。

例えば、上述の例で、情報処理装置１は、ユーザの注視位置が映像表示素子５１の周縁部にない（あるいは周縁部にある時間が所定の時間しきい値を超えていない）か、または所定の操作がされていない（例えば操作デバイス３の所定のボタンが押下された状態にない）と判断すると、ユーザの視線方向の変化（注視位置の変化）によらず、仮想空間内のユーザの頭部の方向（α，β，γ）を変化させない（表示装置２に表示させる内容を変化させない）。

一方、情報処理装置１は、ユーザの注視位置が映像表示素子５１の周縁部にあり、かつ、所定の操作がされている（例えば操作デバイス３の所定のボタンが押下された状態にある）と判断すると、注視位置が上縁部（５１Ｕ），下縁部（５１Ｄ），左縁部（５１Ｌ），右縁部（５１Ｒ）のいずれにあるか（またはこれらのいずれかにある時間を測定して、当該測定した時間が予め定めた時間しきい値を超えているか）を調べ、注視位置が上縁部（５１Ｕ）にあり（あるいは上縁部にある時間が時間しきい値を超え）、かつ所定の操作がされているときには、仮想空間内のユーザの頭部の方向のうち、仰角方向であるαに予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を加算して、仮想空間内のユーザの頭部の方向を表すαを更新する。

また、注視位置が下縁部（５１Ｄ）にあり（あるいは下縁部にある時間が時間しきい値を超え）、かつ所定の操作がされているときには、情報処理装置１は、仮想空間内のユーザの頭部の方向のうち、仰角方向であるαから予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を減算して、仮想空間内のユーザの頭部の方向を表すαを更新する。

さらに注視位置が左縁部（５１Ｌ）にあり（あるいは左縁部にある時間が時間しきい値を超え）、かつ所定の操作がされているときには、情報処理装置１は、仮想空間内のユーザの頭部の方向のうち、水平方向であるβから予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を減算して、仮想空間内のユーザの頭部の方向を表すβを更新する。

また注視位置が右縁部（５１Ｒ）にあり（あるいは右縁部にある時間が時間しきい値を超え）、かつ所定の操作がされているときには、情報処理装置１は、仮想空間内のユーザの頭部の方向のうち、水平方向であるβに予め定めた値（ゲームアプリケーション等から設定された値としてもよい）を加算して、仮想空間内のユーザの頭部の方向を表すβを更新する。

［視線方向の検出のさらに別の例］
さらに情報処理装置１は、ユーザの頭部の方向により視線方向を検出する場合であっても、表示装置２の姿勢を検出するだけでなく、ユーザの頚部関節の方向（首の向き）を検出することでユーザの頭部の方向の情報を得てもよい。

［実施形態の効果］
本実施の形態の情報処理装置１によると、ユーザが注視操作をしていないとき、ないし、画像の所定の範囲を注視しているときには従来と同様に視野をスムーズに変動させ、ユーザが注視操作を行ったとき、あるいは画像の上記所定の範囲以外の範囲を注視しているときに視野が固定される。このように、本実施の形態では、視野の移動を不連続にしないので現実感を損なうことがなく、また、ユーザの操作等により、視野を固定した状態で視線を移動できるようにしたことで酔いを軽減できる。

１ 情報処理装置、２ 表示装置、３ 操作デバイス、１１ 制御部、１２ 記憶部、１３ インタフェース部、２１ 視線方向取得部、２２ オブジェクト情報取得部、２３ 視野決定部、２４ 生成部、２５ 出力部、５１ 映像表示素子、５２ 光学素子。

Claims (9)

1. ユーザの頭部に装着される表示装置に接続され、当該ユーザの視線方向の情報を取得する取得手段と、
   仮想的な三次元空間内のオブジェクトに係る情報を取得する手段と、
   前記取得した視線方向の情報に基づいて、前記仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、前記取得した視線方向の情報のうち少なくとも所定の方向への視線方向の情報によらず、前記仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、前記仮想的な三次元空間内でのユーザの視野を決定する視野決定手段と、
   前記決定された視野内の前記オブジェクトの画像を生成する生成手段と、
   を有し、前記生成された画像が、前記表示装置において表示出力される情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記視野決定手段は、前記取得した視線方向の情報に基づいて、前記仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、前記取得した視線方向の情報のうち、水平または垂直方向のいずれか一方の方向に係る情報によらず、前記取得した視線方向の情報のうち、水平または垂直方向のいずれか他方の方向に係る情報を利用して、前記仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、前記仮想的な三次元空間内でのユーザの視野を決定する情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記取得手段は、前記ユーザの頭部の方向を検出して、ユーザの視線方向の情報を取得する情報処理装置。
4. 請求項１から３のいずれか一項に記載の情報処理装置であって、
   前記視野決定手段は、前記ユーザが所定の操作を行ったときに、前記仮想的な三次元空間内でのユーザの視野を決定する前記第１、第２のモードを切り替える情報処理装置。
5. 請求項１から３のいずれか一項に記載の情報処理装置であって、
   前記視野決定手段は、前記取得されたユーザの視線方向の情報が予め定めた条件を満足しているか否かにより、前記第１、第２のモードのいずれのモードで前記仮想的な三次元空間内でのユーザの視野を決定するかを選択する情報処理装置。
6. 請求項１から３のいずれか一項に記載の情報処理装置であって、
   前記視野決定手段は、前記取得されたユーザの視線方向の情報が予め定めた条件を満足しており、かつ、前記ユーザが所定の操作を行ったときに、前記仮想的な三次元空間内でのユーザの視野を決定する前記第１、第２のモードを切り替える情報処理装置。
7. 請求項５または６に記載の情報処理装置であって、
   前記予め定めた条件は、
   ユーザの視線方向が、前記決定された視野の所定の周縁部に含まれていること、または、
   ユーザの視線方向が、前記決定された視野の所定の周縁部に含まれている状態の継続時間が、予め定めたしきい値を超えたこと、
   のいずれかの条件である、情報処理装置。
8. ユーザの頭部に装着される表示装置に接続されるコンピュータを用い、
   取得手段が、当該ユーザの視線方向の情報を取得する工程と、
   情報取得手段が、仮想的な三次元空間内のオブジェクトに係る情報を取得する工程と、
   視野決定手段が、前記取得した視線方向の情報に基づいて、前記仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、前記取得した視線方向の情報のうち少なくとも所定の方向への前記取得した視線方向の情報によらず、前記仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、前記仮想的な三次元空間内でのユーザの視野を決定する工程と、
   生成手段が、前記決定された視野内の前記オブジェクトの画像を生成する工程と、
   を有し、前記生成された画像が、前記表示装置において表示出力される情報処理方法。
9. ユーザの頭部に装着される表示装置に接続されたコンピュータを、
   当該ユーザの視線方向の情報を取得する取得手段と、
   仮想的な三次元空間内のオブジェクトに係る情報を取得する手段と、
   前記取得した視線方向の情報に基づいて、前記仮想的な三次元空間内でのユーザの視野を決定する第１のモードと、前記取得した視線方向の情報のうち少なくとも所定の方向への前記取得した視線方向の情報によらず、前記仮想的な三次元空間内でのユーザの視野を決定する第２のモードとのいずれかのモードで、前記仮想的な三次元空間内でのユーザの視野を決定する視野決定手段と、
   前記決定された視野内の前記オブジェクトの画像を生成する生成手段と、
   前記生成した画像を、前記表示装置に出力する手段と、
   として機能させるプログラム。
   

Images