WO2020218131A1 - 画像生成装置および情報提示方法 - Google Patents

Abstract

画像生成装置２００において視点情報取得部５０は、ヘッドマウントディスプレイ１００を装着したユーザの視点に係る情報を取得する。実空間情報取得部５８は、ユーザや情報提供者のいる実空間に係る情報を取得する。視点制御部５２は、表示における視点を、ユーザの視点から、実空間に存在する物を視野に含む他者視点へ移動させる。画像生成部５４は決定された視点に対する画像を生成し、出力部５６から出力する。

Description

画像生成装置および情報提示方法

　本発明は、ヘッドマウントディスプレイに表示させる画像を生成する画像生成装置およびそれが行う情報提示方法に関する。

　対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

　外光を遮断する遮蔽型のヘッドマウントディスプレイの場合、それを装着したユーザには当然、外界の様子がわからない。そのため方向感覚を失ったり、実空間で思わぬ位置に移動していたりすることがあり得る。外部の人間が方向などの情報を伝えようとしても伝達手段が限られ、画像の鑑賞を中断したりヘッドマウントディスプレイを外したりしなければわからない場合もある。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザに、外部の人間が容易に情報を伝えることのできる技術を提供することにある。

　上記課題を解決するために、本発明のある態様は画像生成装置に関する。この画像生成装置は、ヘッドマウントディスプレイを装着しているユーザの頭部の動きに基づき当該ユーザの視点に係る情報を取得する視点情報取得部と、ユーザのいる実空間の状態を検出するセンサからの情報に基づき当該実空間の状態に係る情報を取得する実空間情報取得部と、ヘッドマウントディスプレイに表示させる画像に対する視点を制御する視点制御部と、視点に対応する視野で表示対象を表した画像を生成する画像生成部と、生成された画像をヘッドマウントディスプレイに出力する出力部と、を備え、視点制御部は、表示させる画像に対する視点を、ユーザの視点と、実空間に存在する物を視野に含む、ユーザの視点と異なる他者視点との間で移動させることを特徴とする。

　本発明の別の態様は、情報提示方法に関する。この情報提示方法は、ヘッドマウントディスプレイを装着しているユーザの頭部の動きに基づき当該ユーザの視点に係る情報を取得するステップと、ユーザのいる実空間の状態を検出するセンサからの情報に基づき当該実空間の状態に係る情報を取得するステップと、ヘッドマウントディスプレイに表示させる画像に対する視点を制御するステップと、視点に対応する視野で表示対象を表した画像を生成するステップと、生成された画像をヘッドマウントディスプレイに出力するステップと、を含み、視点を制御するステップは、表示させる画像に対する視点を、ユーザの視点と、実空間に存在する物を視野に含む、ユーザの視点と異なる他者視点との間で移動させるステップを含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、ヘッドマウントディスプレイを装着したユーザに、外部の人間が容易に情報を伝えることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態の情報処理システムの構成図である。 本実施の形態を適用できる表示形態の例を模式的に示す図である。 本実施の形態を実現するためのシステム構成の例を模式的に示す図である。 本実施の形態の画像生成装置の内部回路構成を示す図である。 本実施の形態における画像生成装置の機能ブロックの構成を示す図である。 本実施の形態において、ユーザの視点と他者視点における表示画像の変化を例示する図である。 本実施の形態におけるユーザの視点から他者視点への視点移動の例を示す図である。 本実施の形態におけるユーザの視点から他者視点への視点移動の別の例を示す図である。 本実施の形態における画像生成装置が表示画像を生成し、ヘッドマウントディスプレイに表示させる処理手順を示すフローチャートである。

　図１は、ヘッドマウントディスプレイ１００の外観例を示す。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。これにより、ユーザの頭部の動きに応じて表示画像の視野を変化させれば、画像世界にいるような感覚を与えることができる。

　ただし本実施の形態のヘッドマウントディスプレイの形状や構造は図示するものに限らない。例えばヘッドマウントディスプレイ１００の前面に、ユーザの顔が向いた方向の実空間の様子を撮影するカメラを設けてもよい。この場合、撮影画像を解析することによりユーザの顔の向きや頭部の位置を取得したり、前方にある実物体の位置を求めたりすることができる。当該撮影画像は表示画像に利用することもできる。

　図２は、本実施の形態に係る情報処理システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース２０５により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

　画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき、表示画像に対する仮想的な視点の位置や視線の方向を決定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞用として静止画像または動画像を表示させてもよい。

　仮想的な視点を中心に広い角度範囲で全天周（３６０°）画像を表示すれば、画像世界に没入している感覚を与えられる。なお画像生成装置２００は図示するように、ヘッドマウントディスプレイ１００とインタフェース２０５で接続された別の装置であってもよいし、ヘッドマウントディスプレイ１００の内部に一体的に設けられていてもよい。

　図３は、本実施の形態を適用できる表示形態の例を模式的に示している。ユーザ１０はヘッドマウントディスプレイ１００を装着している。表示対象の画像は、例えば全天周画像であり、図ではそれにより表される範囲を球面１４で示している。ただし表示対象を全天周画像に限定する趣旨ではない。また表示対象は事前に撮影された実写画像でもよいし、仮想オブジェクトが存在する３次元の仮想世界などでもよい。さらに表示対象は静止画でも動画でもよい。

　画像生成装置２００は、ヘッドマウントディスプレイ１００に、それを装着したユーザ１０の頭部の位置や姿勢、ひいては視点の位置や視線の方向に対応する画像を表示させる。具体的には、ユーザ１０の頭部の位置や姿勢に係る情報に基づき、表示対象の仮想空間にビュースクリーン１６を設定し、表示対象の画像や３次元オブジェクトを射影することで表示画像を生成する。

　ユーザ１０の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１６の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００において左右の目の前に表示させれば、表示対象の空間を立体視させることもできる。これにより、例えば所望の土地への旅行を疑似体験したり、実際には行けない場所や架空の場所にいるような感覚を得たりすることができる。

　このような画像表示を、図１に示したような遮蔽型のヘッドマウントディスプレイ１００により実現すれば、ユーザ１０はより高い没入感を得ることができる。一方で、ヘッドマウントディスプレイ１００を装着していることにより、外界の様子を把握できないという問題がある。例えばユーザ１０の近くにいる人１２が、ユーザ１０に何かを伝えたい場合、ユーザ１０に触れる、あるいは声で知らせる、といった手段が考えられる。しかしながらそのような手段で伝えられる内容には限りがある。

　例えば観光案内サービス、仮想体験のアトラクション、商品のプレゼンテーションなどにおいては、人１２である案内人が、表示対象の画像世界のうち客に見て欲しい方向へ視線を誘導したい場合がある。このとき音声のみで方向を適切に表現するのは難しい。特に案内人１人に対しユーザ１０のような客が複数人存在すれば、向いている方向も様々になる可能性があり、誘導したい方向を一律に表現することが困難になる。

　ユーザ１０が方向を客観的に把握するため画像上に矢印などを重畳表示させることも考えられるが、見ている画像の一部が隠蔽されてしまい邪魔に感じることがある。ヘッドマウントディスプレイ１００に実世界の撮影画像を表示させることも考えられるが、それまで見ていた画像から完全に切り替わることにより没入感が途切れてしまう。またそれまで見ていた画像における位置や方向との関係が理解しづらい。

　そこで本実施の形態では、ヘッドマウントディスプレイ１００を装着していない外部の人１２が情報を伝える期間において、表示画像に対する仮想的な視点を、ユーザ１０の視点と異なる位置に移動させることにより、ユーザ１０自身がいる領域を視野に含める。例えばユーザ１０と外部の人１２とが視野に入るように仮想的な視点を移動させることにより、ユーザ１０には自分自身と人１２（厳密にはそのアバターである仮想オブジェクト）が見えるようにする。これにより、自分と人１２との位置関係や方向を、直感的に把握できるようにする。

　また、人１２がレーザーポインタなどで方向を指示している場合、当該ポインタによって示されている位置や方向も視野に入れるようにすることで、指定された方向へ自然に向けるようにする。なお以後の説明では、ヘッドマウントディスプレイ１００を装着しているユーザ１０に何らかの情報を与える人１２を「情報提供者」と呼ぶ。ここで情報とは、上述のとおり視線の向くべき方向でもよいし、それ以外に、ジェスチャなどで伝えられるいかなる情報でもよい。

　図４は、本実施の形態を実現するためのシステム構成の例を模式的に示している。図示するシステム構成２０は、図３で示した環境を俯瞰した状態を示している。すなわちヘッドマウントディスプレイ１００を装着したユーザ１０と情報提供者１２が同じ空間に存在する。画像生成装置２００は、ユーザ１０の頭部の位置や顔の向きに応じて、仮想的な球面１４によって表される画像のうち視野内の表示画像を生成し、ヘッドマウントディスプレイ１００に送信する。これによりユーザ１０には、視点や視線の動きによって様々な方向の画像を見ることができる。

　さらにこの例のシステム構成２０では、実空間の状態を検出するセンサ２２と、ユーザ１０が操作する入力装置２４が含まれる。センサ２２は例えば可視光の像を撮影する単眼カメラ、多眼カメラ、赤外線を照射してその反射光を検出するＴｏＦ（Time of Flight）カメラ、ユーザ１０や情報提供者１２が装着する所定波長帯の発光体を検出するセンサ、サーモグラフィーカメラなど、実空間に存在する物の位置や状態を検出できる装置であればその種類は限定されない。

　画像生成装置２００は、情報提供者１２が情報を提供している期間における表示画像に対する視点を、センサ２２からの情報に基づき決定する。以後、そのように決定された視点を「他者視点」と呼ぶ。入力装置２４は、情報提供者１２が情報を提供している期間において、表示画像への視点をユーザの視点から他者視点へ移動させる操作、他者視点からユーザの視点に戻す操作を受け付ける。入力装置２４は、リモートコントローラ、ゲームコントローラ、携帯端末、押下用ボタン、ジョイスティック、マウス、キーボードなど一般的な入力装置のいずれでもよい。

　例えば情報提供者１２が、「こちらを見てください」といった声かけにより方向指示があることを音声で伝えると、ユーザ１０は好適なタイミングで入力装置２４の所定の入力手段を操作することにより視点の移動を開始させる。そして他者視点からの画像を見て、情報提供者１２が示している方向を認識したユーザ１０は、自然に当該方向へ身体を向けることができる。その状態で、再び入力装置２４を用い、ユーザ自身の視点へ戻す操作を行うと、情報提供者１２が示した方向の画像を見ることができる。

　情報提供者１２が指示を出しても、視点移動の制御はユーザ１０自身ができるようにすることで、勝手に視点が移動することによるストレスを抑える。また意に反した視点の移動による映像酔いを防ぐ。ただし場合によっては、情報提供者１２が入力装置２４を操作して視点の移動を制御してもよい。また画像生成装置２００は、視点移動の開始／終了操作に応じて徐々に視点を移動させ、その経路上から見える画像も表示させる。これにより、それまで見ていた画像と、他者視点からの画像との関連性が明確となり、空間的な把握が容易になる。

　なおセンサ２２と入力装置２４の形状や位置は図示するものに限らない。例えばセンサ２２は天井などから室内を俯瞰する状態で設置してもよいし、可動としてもよい。また入力装置２４を、ヘッドマウントディスプレイ１００が内蔵するモーションセンサなどとし、ユーザ１０の頭部の動きによる操作を取得してもよい。いずれにしろ画像生成装置２００は、センサ２２、入力装置２４とも、有線または無線で接続され、それぞれから送信される情報を随時取得する。

　図５は画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

　入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００、センサ２２、入力装置２４からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図６は、本実施の形態における画像生成装置２００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図６では特に、情報提供者が情報を提供する際の表示画像の制御機能に着目して示している。なお図６で示される画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

　また図６に示す機能ブロックは、ハードウェア的には、図５に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像生成装置２００は、ユーザの視点に係る情報を取得する視点情報取得部５０、表示画像に対する視点を制御する視点制御部５２、実空間の状態を取得する実空間情報取得部５８、表示画像を生成する画像生成部５４、表示画像の生成に必要な画像データを記憶する画像データ記憶部６０、およびヘッドマウントディスプレイ１００に表示画像を出力する出力部５６を備える。

　視点情報取得部５０は、図５の入力部２３８、ＣＰＵ２２２などで構成され、ユーザの視点の位置や視線の方向を所定のレートで取得する。例えばヘッドマウントディスプレイ１００に内蔵した加速度センサの出力値を逐次取得し、それによって頭部の姿勢を取得する。ヘッドマウントディスプレイ１００の外部に図示しない発光マーカーを設け、その撮影画像を図示しない撮像装置から取得することで、実空間での頭部の位置を取得してもよい。

　あるいはヘッドマウントディスプレイ１００側に、ユーザの視野に対応する画像を撮影する図示しないカメラを設け、ＳＬＡＭ（Simultaneous Localization and Mapping）などの技術により頭部の位置や姿勢を取得してもよい。頭部の位置や姿勢が判明すれば、ユーザの視点の位置および視線の方向はおよそ特定できる。このほか、ユーザの視点に係る情報を取得する手法として様々に考えられることは当業者には理解されるところである。

　実空間情報取得部５８は図５の入力部２３８、ＣＰＵ２２２で実現され、センサ２２から送信される検出結果を取得し、実空間におけるユーザ１０や情報提供者１２の位置、情報提供者１２が指示する位置や方向、の少なくともいずれかの情報を取得する。実空間情報取得部５８はさらに、ユーザ１０や情報提供者１２の顔が向いている方向、身体の動き、姿勢、動作なども取得してよい。例えば撮影画像を解析することによりそれらの情報を取得できることは広く知られている。

　実空間情報取得部５８が多くの情報を取得するほど、他者視点に視点を移動させた際に表示される実空間を詳細に表すことができ、ユーザの状態把握の助けになる。その一方、情報提供者との位置関係が把握できれば足りるような場合、単純な図形などで実空間をシンプルに表す方が、処理の負荷や表示遅延の面で有利と考えられる。したがって、情報提供者から取得すべき情報の内容や、画像生成装置２００の処理性能などに応じて、実空間情報取得部５８が取得する情報を適宜選択する。またこれに応じて、センサ２２の種類も適切に選択することが望ましい。

　視点制御部５２は図５の入力部２３８、ＣＰＵ２２２で決定され、表示画像に対する仮想的な視点の位置や視線の方向を所定のレートで決定する。視点制御部５２は基本的に、視点情報取得部５０が取得した、ユーザの視点の位置や視線の方向に対応するように、表示世界に対する視点や視線を決定する。一方、情報提供者が情報を提供している期間にユーザが視点移動操作を行ったら、所定の規則で決定した他者視点に視点を移動させる。

　例えばユーザ自身、情報提供者、情報提供者が指している位置や方向、の少なくともいずれかが視野に入るように、他者視点の位置およびその視線の方向を決定する。そのため視点制御部５２は、実空間情報取得部５８が取得した、その時点でのユーザや情報提供者の位置に基づく他者視点の決定規則を内部で保持する。視点制御部５２は、入力装置２４が視点移動操作を受け付けたことを契機として、ユーザの視点から他者視点への移動、他者視点からユーザの視点への移動を開始する。画像生成部５４は図５のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで実現され、表示対象の仮想３次元空間を生成するとともに、視点制御部５２が決定した視点に対応する表示画像を所定のレートで生成する。

　すなわち視点制御部５２が決定した視点に対応するようにビュースクリーンを設定し、表示対象の画像や仮想オブジェクトを当該ビュースクリーンに射影することで表示画像とする。結果として他者視点においては、ユーザ１０や情報提供者１２を模した仮想オブジェクトが視野に含まれることになる。当該仮想オブジェクトは、実空間情報取得部５８が取得した実際の位置や向きに対応するように配置する。情報提供者がレーザーポインターなどで位置や方向を指示している場合は、その位置や方向を表す仮想オブジェクトや図形も配置する。ステレオ画像により立体視を実現する場合、画像生成部５４は、左右の眼のそれぞれに対しビュースクリーンを設定することにより、左目用、右目用の画像を生成する。

　画像データ記憶部６０は図５のメインメモリ２２６で実現され、表示画像の生成に必要な画像のデータを格納する。例えば通常の画像鑑賞時に表示対象となる全天周画像や仮想世界の３Ｄモデルなどとともに、ユーザや情報提供者を模した仮想オブジェクトの３Ｄモデルなどを格納する。出力部５６は、図５のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、画像生成部５４が生成した表示画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで送出する。

　画像生成部５４が、立体視のためステレオ画像を生成した場合、出力部５６はそれらを左右につなげた画像を表示画像として生成し出力する。レンズを介して表示画像を鑑賞する構成のヘッドマウントディスプレイ１００の場合、出力部５６は、当該レンズによる歪みを考慮した補正を表示画像に施す。

　図７は、ユーザの視点と他者視点における表示画像の変化を例示している。図の（ａ）はユーザの視点において表示される画像であり、表示対象の街の風景の画像のうち、ユーザの視点に対応する視野の範囲に相当する。ヘッドマウントディスプレイ１００の場合、実際には、接眼レンズにより画像が拡大されるなどして、ユーザの視界全体で当該画像が視認されることにより、実際に町にいるような感覚を得ることができる。また、左右に視差のあるステレオ画像を表示することにより、立体的に見せることができる。

　（ｂ）は他者視点において表示される画像であり、ユーザのオブジェクト７０、情報提供者のオブジェクト７２、情報提供者がポインタで指している位置を表す図形７４が表されている。図示する例では、ユーザが自分の視点でそれまで見ていた画像を表すスクリーン面７６も視野に含めている。ただし上述のとおり、他者視点において表示画像に含める対象は、伝える情報の内容によって様々でよい。（ｂ）の場合、（ａ）におけるユーザの視点から、後ろ側に下がった位置に他者視点を設定している。

　このとき画像生成装置２００は、視点の移動経路における画像も表示することにより、（ａ）の画像から（ｂ）の画像へ表示画像を徐々に遷移させる。ユーザのオブジェクト７０、情報提供者のオブジェクト７２は、位置関係がわかる程度の図形としてもよいし、顔の向きや動作まで表した詳細なオブジェクトでもよい。さらに他者視点では、スクリーン面７６のようにユーザの視点でそれまで表示されていた視野に限定せず、より広い範囲で表示対象の画像を表示させてもよい。

　いずれにしろ（ｂ）に示したように、他者視点で自分を含めた画像を表示させることにより、ユーザには情報提供者がどの方向にいるか、どの位置や方向を指しているか、どのような動作をしているか、といったことが、ヘッドマウントディスプレイ１００を外すことなく確認できる。またユーザの視点でそれまで見ていた画像から連続的に視点を移動させることにより、元の画像の世界観を途切れさせることなく必要な情報を確認でき、再びユーザの視点に戻って自然に元の画像の鑑賞を再開できる。

　図８はユーザの視点から他者視点への視点移動の例を示している。この例は表示対象を仮想３次元空間としている。俯瞰図８２は、当該仮想３次元空間に存在する仮想オブジェクト８４ａ、８４ｂとユーザ１０を含む空間を俯瞰した状態を示している。他者視点への移動前、視点８０はユーザ１０の頭部の位置にあり、その視野角を網掛けの三角形で示している。実空間ではユーザ１０の右前に情報提供者１２が存在するが、この時点では視野に含まれていない。

　その結果、ヘッドマウントディスプレイ１００には、画像８６ａのように仮想空間に存在するオブジェクトのみが表される。この状態で他者視点への視点移動操作がなされると、視点制御部５２は、ユーザ１０と情報提供者１２の双方が視野に入るように、他者視点８３をユーザ１０の後方に決定する。この他者視点８３により、画像８６ｂのように、ユーザ１０のオブジェクト８８（図では球体）と情報提供者１２のオブジェクト９０（図では錐体）を含む画像が表示される。なお画像８６ｂには、視点移動前の画像８６ａに対応する画角９２も示している。

　図９は、ユーザの視点から他者視点への視点移動の別の例を示している。（ａ）、（ｂ）、（ｃ）はいずれも、図８と同様に、仮想オブジェクト８４ａ、８４ｂ、ユーザ１０、情報提供者１２を含む空間の俯瞰図１５０ａ、１５０ｂ、１５０ｃと、それぞれの他者視点１５４ａ、１５４ｂ、１５４ｃでの表示画像１５２ａ、１５２ｂ、１５２ｃを示している。（ａ）のケースでユーザ１０と情報提供者１２は図８のケースと同じ位置関係にあるが、他者視点の決定に別の条件が加わったことにより、他者視点１５４ａが異なる位置にある。

　例えばユーザ１０や情報提供者１２に対応する仮想世界の位置の近傍に壁などの遮蔽物がある場合など、仮想世界の設定によっては、ユーザ１０や情報提供者１２のオブジェクトを見ることのできる視点が限られる場合がある。そこで視点制御部５２は、ユーザ１０と情報提供者１２の双方が視野に入る視点、という条件に、仮想世界に表されているオブジェクトによって双方が隠蔽されない視点、という条件を加えて他者視点を決定する。このため視点制御部５２は、画像生成部５４から、表示対象の３次元空間に係る情報を取得し、上記条件で他者視点を決定する。

　図示する例では、ユーザ１０を挟んで情報提供者１２と逆方向に他者視点１５４ａを設定している。その結果、ユーザのオブジェクト１５６ａと情報提供者のオブジェクト１５８ａが見える表示画像１５２ａが表示される。（ｂ）のケースでは、ユーザ１０の後方に情報提供者１２が存在する。この場合、図示するように情報提供者１２の後方や、ユーザ１０の前方などに他者視点を決定することが考えられる。より具体的には、ユーザ１０と情報提供者１２を通る線上、または当該線から所定範囲の領域に他者視点を決定する。あるいはユーザの視線の延長線上、または当該線から所定範囲の領域としてもよい。

　このような条件によれば、表示画像１５２ｂのように、ユーザ１０と情報提供者１２の双方のオブジェクトを、遮蔽物による隠蔽なく視野に含められる可能性が高くなる。なお（ａ）に示す例も、同様の条件で他者視点を決定している。（ｃ）のケースは、元のユーザ１０の視点においても情報提供者が視野に入っている。この場合は、さらにユーザ１０を視野に含めるように他者視点を決定する。例えばユーザ１０と情報提供者１２を結ぶ線分を垂直２等分する線上、または当該線から所定範囲の領域であることを条件として他者視点を決定する。これにより、表示画像１５２ｃのように、ユーザ１０と情報提供者１２の双方のオブジェクトを視野に含めることができる。なお視点は図示するような２次元での移動に限定されず、ユーザ１０の上方など３次元空間で他者視点を決定してよい。

　次に、以上の構成によって実現できる画像生成装置２００の動作について説明する。図１０は、本実施の形態における画像生成装置２００が表示画像を生成し、ヘッドマウントディスプレイ１００に表示させる処理手順を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着し、画像生成装置２００がヘッドマウントディスプレイ１００、入力装置２４、およびセンサ２２と通信を確立した状態で開始される。ここでヘッドマウントディスプレイ１００は、モーションセンサの計測値を画像生成装置２００に送信している。センサ２２は実空間に係る所定のデータを画像生成装置２００に送信している。

　その状態で画像生成装置２００の視点情報取得部５０は、ヘッドマウントディスプレイ１００から送信されたモーションセンサの計測値などに基づき、ユーザの視点の位置や視線の方向などの視点情報を取得する（Ｓ１０）。すると視点制御部５２は当該ユーザの視点を表示対象に対する視点とし、画像生成部５４が当該視点に対応する表示画像を生成することにより、出力部５６から表示画像のデータが出力される（Ｓ１２）。これにより図７の（ａ）に示したような表示対象の画像世界が視認される。

　視点を他者視点に移動させる操作がなされないうちは（Ｓ１４のＮ）、画像表示を終了させる必要が生じない限り（Ｓ２６のＮ）、ユーザの視点での表示画像の生成、出力を継続する（Ｓ１０、Ｓ１２）。他者視点へ視点を移動させる操作を、入力装置２４を介して受け付けたら（Ｓ１４のＹ）、視点制御部５２は、他者視点の位置および視線の方向を決定する（Ｓ１６）。すなわち視点制御部５２は、実空間情報取得部５８が取得した、実空間におけるユーザや情報提供者の位置に応じて、それらが視野に入る視点の位置および視線の方向を決定する。

　このとき画像生成部５４は、ユーザおよび情報提供者の実空間での位置に対応するように、表示対象の仮想空間にそれぞれを表すオブジェクトを配置する。なお他者視点での画像表示期間において、ユーザや情報提供者は動いたり移動したりしている場合があるため、画像生成部５４はそれらをオブジェクトの動きに反映させる。また情報提供者のオブジェクトについては、ユーザの視点か他者視点かに関わらず、仮想空間に配置しておいてもよい。

　次に視点制御部５２は、それまでのユーザの視点から、決定した他者視点まで所定の速度で視点を移動させ、画像生成部５４は、その経路で移動中の視点からの画像を所定のレートで生成し、出力部５６から出力する（Ｓ１８）。ユーザの視点から他者視点までの視点の移動経路は、仮想空間においてそれら２点を結ぶ直線状としてもよいし、所定の規則で決定した曲線状としてもよい。このとき視線の方向も徐々に変化させていくことにより、ユーザの視点から他者視点への移行をスムーズに行える。

　視点が他者視点まで到達したら、視点制御部５２はそこで視点の移動を止める。そして画像生成部５４は、当該視点からの画像を生成し、出力部５６から出力する（Ｓ２０）。これにより図７の（ｂ）に示したような、ユーザ自身を含む空間が視認される。これによりユーザは、自分自身のオブジェクトとの相対的な位置関係において、情報提供者やその指す位置、方向を知ることができる。

　他者視点での表示を終了させる操作がなされないうちは（Ｓ２２のＮ）、当該視点での表示画像の生成、出力を継続する（Ｓ１８）。この期間において、ユーザ、情報提供者、情報提供者が指す位置や方向が動く場合、視点制御部５２は、それらが視野から外れないように、他者視点の位置や視線の方向を適宜調整してよい。そして他者視点での表示を終了させる操作を、入力装置２４を介して受け付けたら（Ｓ２２のＹ）、視点制御部５２は、他者視点からユーザの視点まで所定の速度で視点を移動させる。

　そして画像生成部５４は、移動中の視点からの画像を所定のレートで生成し、出力部５６から出力する（Ｓ２４）。そしてユーザの視点に到達したら、視点制御部５２はそこで視点の移動を止める。画像表示を終了させる必要が生じない限り（Ｓ２６のＮ）、ユーザの視点での表示画像の生成、出力を継続する（Ｓ１０、Ｓ１２）。以後、Ｓ１０からＳ２４までの処理を、適宜処理を分岐させながら繰り返し、画像表示を終了させる必要が生じたら全ての処理を終了する（Ｓ２６のＹ）。

　以上述べた本実施の形態によれば、ヘッドマウントディスプレイを用いた画像表示時に、外部からの情報提供の必要性に応じて、ユーザの視点と異なる位置へ視点を移動させ、そこから見た画像を表示する。移動先の視点は、ユーザ、情報提供者、情報提供者が指し示す位置や方向、の少なくともいずれかが含まれる、実空間を模した空間が入るように決定する。これにより、外部の状況がわからない遮蔽型のヘッドマウントディスプレイであっても、ユーザは容易に外部の状況や指示を把握できる。

　例えば自分と情報提供者の位置関係が判明するのみでも、情報提供者が指定した「右」や「左」などの方向が、自分にとってどの方向なのかを理解できる。また情報提供者が示した方向を表示に含めれば、自分から見た方向をより直感的に把握できる。方向指示ばかりでなく、情報提供者が行ったジェスチャにしたがって動作することも容易になる。

　さらに視点の移動経路における画像を表示させ、徐々に遷移させていくことにより、元々見ていた画像と実空間という、本来相容れない２種類の世界の位置関係を容易に把握できる。また元の画像に対して向くべき方向を直感的に理解できる。視点の移動を開始するタイミングをユーザ自身が決められるようにすることで、注目していた対象を見失ったり映像酔いが生じたりすることを防止できる。これらの態様はヘッドマウントディスプレイを装着したまま実現できるため、手間をかけることなく外部とのコミュニケーションを容易にとることができる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　以上のように本発明は、ヘッドマウントディスプレイ、画像生成装置など各種装置と、それを含むシステムなどに利用可能である。

　２２　センサ、　２４　入力装置、　５０　視点情報取得部、　５２　視点制御部、　５４　画像生成部、　５６　出力部、　５８　実空間情報取得部、　６０　画像データ記憶部、　１００　ヘッドマウントディスプレイ、　２００　画像生成装置、　２２２　ＣＰＵ、　２２４　ＧＰＵ、　２２６　メインメモリ、　２３６　出力部、　２３８　入力部。

Claims (13)

1. 　ヘッドマウントディスプレイを装着しているユーザの頭部の動きに基づき当該ユーザの視点に係る情報を取得する視点情報取得部と、
   　前記ユーザのいる実空間の状態を検出するセンサからの情報に基づき当該実空間の状態に係る情報を取得する実空間情報取得部と、
   　前記ヘッドマウントディスプレイに表示させる画像に対する視点を制御する視点制御部と、
   　前記視点に対応する視野で表示対象を表した画像を生成する画像生成部と、
   　生成された画像を前記ヘッドマウントディスプレイに出力する出力部と、
   　を備え、
   　前記視点制御部は、前記表示させる画像に対する視点を、前記ユーザの視点と、前記実空間に存在する物を視野に含む、前記ユーザの視点と異なる他者視点との間で移動させることを特徴とする画像生成装置。
2. 　前記視点制御部は、前記ユーザと、当該ユーザへの情報提供者とが視野に入る視点を、前記他者視点として決定し、
   　前記画像生成部は、前記ユーザと前記情報提供者を表す仮想オブジェクトを、前記実空間の状態に係る情報に基づき、表示対象の空間に配置したうえ、前記他者視点に対応する視野で当該表示対象の空間を表した画像を生成することを特徴とする請求項１に記載の画像生成装置。
3. 　前記画像生成部は、前記表示対象の空間として仮想世界を生成し、
   　前記視点制御部は、前記仮想世界に表されているオブジェクトによって、前記ユーザと前記情報提供者が隠蔽されない視点を前記他者視点として決定することを特徴とする請求項２に記載の画像生成装置。
4. 　前記視点制御部は、前記表示対象の空間において前記ユーザと前記情報提供者を通る線上、または当該線から所定範囲の領域に前記他者視点を決定することを特徴とする請求項２または３に記載の画像生成装置。
5. 　前記視点制御部は、前記表示させる画像に対する視点が前記ユーザの視点にあるときに、その視野に前記情報提供者が含まれる場合、前記表示対象の空間において前記ユーザと前記情報提供者を結ぶ線分を垂直２等分する線上、または当該線から所定範囲の領域に前記他者視点を決定することを特徴とする請求項２に記載の画像生成装置。
6. 　前記視点制御部はさらに、前記情報提供者が示す位置または方向が視野に入る視点を前記他者視点として決定し、
   　前記画像生成部は、前記位置または方向を表す図形を、前記表示対象の空間に配置したうえ、前記他者視点に対応する視野で当該表示対象の空間を表した画像を生成することを特徴とする請求項２に記載の画像生成装置。
7. 　前記視点制御部は、前記ユーザの視点から前記他者視点まで前記画像に対する視点を移動させる期間を設け、
   　前記画像生成部は、当該期間において、移動中の視点に対応する視野で表示対象を表した画像を順次生成することを特徴とする請求項１から６のいずれかに記載の画像生成装置。
8. 　前記視点制御部は、前記ユーザが入力装置を介して行った操作に応じて、前記視点を移動させることを特徴とする請求項１から７のいずれかに記載の画像生成装置。
9. 　前記視点制御部は、前記ユーザへの情報提供者が入力装置を介して行った操作に応じて、前記視点を移動させることを特徴とする請求項１から７のいずれかに記載の画像生成装置。
10. 　前記視点制御部は、前記実空間における状態変化に応じて、前記他者視点を調整することを特徴とする請求項１から９のいずれかに記載の画像生成装置。
11. 　前記画像生成部は、前記画像に対する視点が前記ユーザの視点から移動しても、当該ユーザの視点において表示させていた画像の面を、生成する画像に含めることを特徴とする請求項１または２に記載の画像生成装置。
12. 　ヘッドマウントディスプレイを装着しているユーザの頭部の動きに基づき当該ユーザの視点に係る情報を取得するステップと、
    　前記ユーザのいる実空間の状態を検出するセンサからの情報に基づき当該実空間の状態に係る情報を取得するステップと、
    　前記ヘッドマウントディスプレイに表示させる画像に対する視点を制御するステップと、
    　前記視点に対応する視野で表示対象を表した画像を生成するステップと、
    　生成された画像を前記ヘッドマウントディスプレイに出力するステップと、
    　を含み、
    　前記視点を制御するステップは、前記表示させる画像に対する視点を、前記ユーザの視点と、前記実空間に存在する物を視野に含む、前記ユーザの視点と異なる他者視点との間で移動させるステップを含むことを特徴とする画像生成装置による情報提示方法。
13. 　ヘッドマウントディスプレイを装着しているユーザの頭部の動きに基づき当該ユーザの視点に係る情報を取得する機能と、
    　前記ユーザのいる実空間の状態を検出するセンサからの情報に基づき当該実空間の状態に係る情報を取得する機能と、
    　前記ヘッドマウントディスプレイに表示させる画像に対する視点を制御する機能と、
    　前記視点に対応する視野で表示対象を表した画像を生成する機能と、
    　生成された画像を前記ヘッドマウントディスプレイに出力する機能と、
    　をコンピュータに実現させ、
    　前記視点を制御する機能は、前記表示させる画像に対する視点を、前記ユーザの視点と、前記実空間に存在する物を視野に含む、前記ユーザの視点と異なる他者視点との間で移動させることを特徴とするコンピュータプログラム。

Images