WO2018079557A1

WO2018079557A1 - 情報処理装置および画像生成方法

Info

Publication number: WO2018079557A1
Application number: PCT/JP2017/038377
Authority: WO
Inventors: 尚亨椚田; 林　正和; 橋本　稔; 康太郎田島
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2016-10-31
Filing date: 2017-10-24
Publication date: 2018-05-03
Also published as: JP6615732B2; JP2018073172A

Abstract

取得部４０は、仮想空間においてユーザのキャラクタを動かすための操作情報と、当該ユーザとは別のユーザのキャラクタを動かすための操作情報を取得する。キャラクタ制御部５２は、仮想空間における当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、それぞれの操作情報にもとづいて制御する。画像生成部５６は、仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタを含む画像データを生成する。画像データには、別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像が含まれる。

Description

情報処理装置および画像生成方法

　本発明は、ヘッドマウントディスプレイなどの表示装置にアプリケーションの画像データを出力する技術または表示装置に提供するための画像データを生成する技術に関する。

　特許文献１は、自分と他のユーザとが３次元仮想現実空間を共有するシステムを開示する。このシステムにおいて自分のクライアント端末は、仮想現実空間を構成する基本オブジェクトに関するデータを情報サーバ端末から提供され、また他人のアバタに関するデータを共有サーバ端末から提供されることで、自分のアバタの視点と位置から見える仮想現実空間を表示装置に表示する。特許文献１において基本オブジェクトは、仮想現実空間で複数のユーザが共通して利用するオブジェクト、たとえばビルディングや道路などの、その基本的な状態が変化しないオブジェクトである。

米国特許第６０５７８５６号明細書

　複数のユーザが仮想現実空間に参加可能なシステムを構築することで、サービス提供主体は、複数のユーザに様々な体験を提供できる。たとえば仮想現実空間として複数のユーザが参加するクラスルームを構築すれば、ユーザは自宅にいながらにして他のユーザと一緒に授業を受けられるようになる。また仮想現実空間として海外の名所や町並みを構築すると、複数のユーザが一緒に海外旅行を楽しむことができる。

　仮想現実空間（以下「仮想空間」とも呼ぶ）で、各ユーザはそれぞれのキャラクタを自由に動かせる。そのためサービス提供主体が、仮想空間内に注目するべき対象物（オブジェクト）を設定しても、各キャラクタの位置や視線方向がばらばらであるために、複数のユーザを同時にまたは同じ時間帯に当該オブジェクトに注目させることが難しかった。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、仮想空間におけるユーザキャラクタの注目するべき方向を示唆するための技術を提供することにある。

　上記課題を解決するために、本発明のある態様の情報処理装置は、アプリケーションの画像データを表示装置に出力する情報処理装置であって、仮想空間においてユーザのキャラクタを動かすための操作情報を取得する取得部と、当該ユーザとは別のユーザのキャラクタを含む画像データを表示装置に出力する画像提供部と、を備える。画像提供部は、別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを、表示装置に出力する。

　本発明の別の態様は、画像生成方法である。この方法は、仮想空間においてユーザのキャラクタを動かすための操作情報を取得するステップと、仮想空間において当該ユーザとは別のユーザのキャラクタを動かすための操作情報を取得するステップと、当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、それぞれの操作情報にもとづいて制御するステップと、仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタと、当該別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを生成するステップと、を有する。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

実施例における情報処理システムを示す図である。ユーザキャラクタの視点から見た仮想空間の画像の一例を示す図である。実施例におけるユーザシステムの構成例を示す図である。ＨＭＤの外観形状の例を示す図である。ＨＭＤの機能ブロックを示す図である。情報処理装置の機能ブロックを示す図である。ユーザキャラクタの視点から見た仮想空間の画像の一例を示す図である。３次元仮想空間をレンダリングした画像に方向画像を含めた画面例を示す図である。３次元仮想空間をレンダリングした画像に方向画像を含めた画面の別の例を示す図である。

　図１は、実施例における情報処理システム１を示す。情報処理システム１は、複数のユーザが３次元仮想空間を共有するサービスを提供する。情報処理システム１は複数のユーザシステム３ａ、３ｂ・・・３ｍ、３ｎ（以下、総称する場合には「ユーザシステム３」と呼ぶ）と、サーバシステム４を備える。サーバシステム４は、サービスの提供主体により運営・管理され、各ユーザシステム３は、それぞれのユーザにより使用される。サーバシステム４および複数のユーザシステム３はインターネットなどのネットワーク２に接続し、サーバシステム４と各ユーザシステム３とは、互いにデータを送受信できる。なお複数のユーザシステム３が、互いにデータを送受信できてもよい。

　サーバシステム４は管理サーバ５および記憶装置６を備える。記憶装置６は、３次元仮想空間を生成するための３次元画像データを保持するコンテンツＤＢ７と、３次元仮想空間におけるユーザの挙動情報を蓄積するためのユーザ挙動ＤＢ８とを有する。以下、コンテンツＤＢ７が保持する３次元画像データを「コンテンツデータ」と呼ぶ。

　たとえばサーバシステム４はクラスルームの３次元仮想空間をユーザシステム３に提供し、サーバシステム４のオペレータが教師となり、複数のユーザシステム３のユーザが生徒となることで、複数のユーザが一緒に授業を受けられるサービスを提供できる。またサーバシステム４は都市や観光地の３次元仮想空間をユーザシステム３に提供し、オペレータがツアーガイドとなり、複数のユーザが旅行参加者となることで、複数のユーザがガイド付きで旅行を楽しむサービスを提供できる。またサーバシステム４は宝が隠された３次元仮想空間をユーザシステム３に提供し、オペレータが宝探しの案内人となり、複数のユーザがトレジャーハンターとなることで、複数のユーザが案内人からのヒントをもとに宝探しを競うサービスを提供できる。

　このようにサーバシステム４は、３次元仮想空間を複数のユーザで共有するサービスを提供する。コンテンツＤＢ７に記憶されるコンテンツデータは、基本的に位置情報や姿勢情報などが更新されない静的なオブジェクトデータにより構成される。たとえば観光地の仮想空間を表現するコンテンツデータは、相対的な位置関係を定義された建物オブジェクト、道路オブジェクト、街灯オブジェクト、看板オブジェクトなどを含んで構成される。なお仮想空間内でユーザが動かすことのできるオブジェクトが存在してもよい。

　ユーザシステム３は、サービスの提供を受ける前に、コンテンツデータを再生するためのビューワアプリケーションをインストールする。ユーザシステム３がネットワーク２を介してサーバシステム４からコンテンツデータをダウンロードすると、ビューワアプリケーションは、コンテンツデータをもとに仮想空間を構築し、仮想空間内でユーザによる操作情報をもとにキャラクタを動かし、ユーザキャラクタの位置および姿勢（視線方向）に応じて仮想空間をレンダリングする。これによりユーザはユーザキャラクタを通じて、仮想空間内を自由に移動し、自由視点からの画像を見ることができる。

　図２は、あるユーザキャラクタの視点から見た仮想空間の画像の一例を示す。ビューワアプリケーションは、ユーザキャラクタの位置および視線方向に応じて、ユーザキャラクタの視点からの画像を生成する。

　それぞれのユーザシステム３がコンテンツデータをダウンロードすることで、複数のユーザによる仮想空間の共有が実現される。以下、１０人のユーザＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊが仮想空間を共有する例について説明する。管理サーバ５は、複数ユーザによる仮想空間の共有処理を担当する。各ユーザは、仮想空間内でそれぞれのユーザキャラクタを操作するが、その操作情報は、当該ユーザのユーザシステム３においてビューワアプリケーションによる処理に使用されるとともに、管理サーバ５に送信され、管理サーバ５は、他のユーザのユーザシステム３に転送する。つまりユーザＡが自身のキャラクタを操作した操作情報は、他の９人のユーザＢ～Ｊのユーザシステム３にも提供されて、それぞれのユーザシステム３のビューワアプリケーションによる処理に使用される。このように各ユーザによるキャラクタの操作情報が全てのユーザに共有されることで、各ユーザシステム３において全ユーザＡ～Ｊのユーザキャラクタは、通信遅延の影響を除けば基本的に同じ挙動を示すようになる。

　図３は、実施例におけるユーザシステム３の構成例を示す。ユーザシステム３は情報処理装置１０と、ヘッドマウントディスプレイ装置（ＨＭＤ）１００と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影する撮像装置１４と、画像を表示する出力装置１５とを備える。情報処理装置１０は、アクセスポイント（ＡＰ）１７を介してネットワーク２に接続される。ＡＰ１７は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１７とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。

　ＨＭＤ１００はユーザの頭部に装着されて仮想現実（ＶＲ）の世界をユーザに提供する。ＨＭＤ１００にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画面を更新することで、映像世界への没入感を高められる。なお実施例では、レンダリングした画像をＨＭＤ１００の表示パネルに表示するが、レンダリングした画像は出力装置１５に表示されてもよい。

　情報処理装置１０は、処理装置１１、出力制御装置１２および記憶装置１３を備える。処理装置１１は、ユーザにより入力装置１６に入力された操作情報を受け付けて、ビューワアプリケーションを実行する端末装置である。処理装置１１と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置１１は、ＨＭＤ１００の姿勢情報をビューワアプリケーションに対するユーザの操作情報として受け付けて、ビューワアプリケーションを実行する機能ももつ。出力制御装置１２は、処理装置１１で生成された画像データをＨＭＤ１００に出力する処理ユニットである。出力制御装置１２とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

　撮像装置１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を処理装置１１に供給する。後述するがＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、処理装置１１は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。なおＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、処理装置１１は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置１１はＨＭＤ１００の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。

　実施例のユーザシステム３では、ＨＭＤ１００にユーザキャラクタの視点から見た画像を提供するビューワアプリケーションを実行する。実施例ではユーザがＨＭＤ１００で画像を見るため、ユーザシステム３において出力装置１５は必ずしも必要ではないが、変形例ではユーザがＨＭＤ１００を装着せず、出力制御装置１２または処理装置１１が、画像を出力装置１５から出力させてもよい。

　ＨＭＤ１００は、ユーザが頭に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。この光学歪みの補正処理は、処理装置１１、出力制御装置１２のいずれが行ってもよい。

　処理装置１１、記憶装置１３、出力装置１５、入力装置１６および撮像装置１４は、従来型のゲームシステムを構築してよい。この場合、処理装置１１はゲームを実行するゲーム装置であり、入力装置１６はゲームコントローラ、キーボード、マウス、ジョイスティックなど処理装置１１にユーザによる操作情報を供給する機器である。このゲームシステムの構成要素に、出力制御装置１２およびＨＭＤ１００を追加することで、ＶＲのビューワアプリケーションを実施するユーザシステム３が構築される。

　なお出力制御装置１２による機能は、ビューワアプリケーションの一部の機能として処理装置１１に組み込まれてもよい。つまり情報処理装置１０の処理ユニットは、１台の処理装置１１から構成されても、また処理装置１１および出力制御装置１２から構成されてもよい。以下においては、ビューワアプリケーションの実施に必要な処理装置１１および出力制御装置１２の機能を、まとめて情報処理装置１０の機能として説明する。

　ビューワアプリケーションを実施する前段階として、処理装置１１は、サーバシステム４の記憶装置６に記憶されているコンテンツデータを記憶装置１３にダウンロードする。またユーザは、ビューワアプリケーションを開始する際に自身のキャラクタを設定し、設定したユーザキャラクタデータは、記憶装置１３に記憶されるとともに、サーバシステム４に送信されて、サーバシステム４から他のユーザのユーザシステム３に送信される。

　ビューワアプリケーションは、入力装置１６から入力された操作情報にもとづいて仮想空間内でユーザキャラクタを動かし、ユーザの頭部に装着されたＨＭＤ１００の姿勢情報にもとづいてユーザキャラクタの視線方向を定める。実施例ではビューワアプリケーションが、ＨＭＤ１００の姿勢情報を、ユーザキャラクタの視線方向を操作するための操作情報として利用するが、入力装置１６における入力情報を、視線方向を操作するための操作情報として利用してもよい。またユーザキャラクタを移動させるための操作情報は、入力装置１６の入力情報を用いずに、ＨＭＤ１００の位置情報を利用してもよい。実施例において、ユーザキャラクタの操作情報は、入力装置１６およびＨＭＤ１００のいずれから取得されてもよく、また他のユーザインタフェースから取得されてもよい。

　情報処理装置１０は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標とは、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢とは、３次元空間における基準姿勢に対する３軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

　情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらに撮像装置１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。上記したように情報処理装置１０は、ＨＭＤ１００の位置情報をもとにユーザキャラクタの仮想空間内の位置を算出し、ＨＭＤ１００の姿勢情報をもとにユーザキャラクタの視線方向を算出してもよいが、実施例では仮想空間内におけるユーザキャラクタの位置は、入力装置１６の操作情報をもとに算出する。

　図４は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

　筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザが撮像装置１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

　ＨＭＤ１００は、情報処理装置１０にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。ＨＭＤ１００は、姿勢センサが検出したセンサデータを情報処理装置１０に送信し、また情報処理装置１０で生成された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。

　図５は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。

　通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

　制御部１２０は、画像データや音声データを情報処理装置１０から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８から情報処理装置１０に送信させる。

　図６は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、センサデータ受信部２０、撮影画像受信部２２、入力データ受信部２４、サーバデータ受信部２６、操作情報送信部３０、画像提供部３２および音声提供部３４を備える。サーバデータ受信部２６は、管理サーバ５から送信されるデータを受信する通信インタフェースである。

　情報処理装置１０は、さらに取得部４０、処理部５０および記憶装置１３を備える。取得部４０は、入出力インタフェースで受信したデータからビューワアプリケーションで使用する情報を取得する機能をもち、第１操作情報取得部４２、第２操作情報取得部４４およびオブジェクト情報取得部４６を有する。処理部５０は、取得部４０で取得した情報から画像データを生成する機能をもち、キャラクタ制御部５２、判定部５４および画像生成部５６を有する。記憶装置１３は、３次元仮想空間を構築するためのコンテンツデータや、情報処理装置１０の利用ユーザのキャラクタデータおよび他のユーザのキャラクタデータなどを記憶する。

　図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　以下、「ユーザＡ」が使用する情報処理装置１０の動作について説明する。第１操作情報取得部４２は、仮想空間においてユーザＡのキャラクタを動かすための操作情報を取得する。一方で、第２操作情報取得部４４は、仮想空間においてユーザＡとは別のユーザ、つまりユーザＢ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊのキャラクタを動かすための操作情報を取得する。

　なお「ユーザＢ」が使用する情報処理装置１０においては、第１操作情報取得部４２が、ユーザＢのキャラクタを動かすための操作情報を取得し、第２操作情報取得部４４が、ユーザＢとは別のユーザのキャラクタを動かすための操作情報を取得する。

　以下、ユーザＡによる操作情報について説明する。
　センサデータ受信部２０は、ユーザＡが装着したＨＭＤ１００の姿勢センサ１２４から所定の周期でセンサデータを受信して、第１操作情報取得部４２に供給する。撮影画像受信部２２は、撮像装置１４から所定の周期でＨＭＤ１００を撮影した画像を受信して、第１操作情報取得部４２に供給する。たとえば撮像装置１４は（１／６０）秒ごとに前方の空間を撮影し、撮影画像受信部２２は、（１／６０）秒ごとに撮影画像を受信する。入力データ受信部２４は入力装置１６から、ユーザＡが入力したキーデータを受信して、第１操作情報取得部４２に供給する。

　第１操作情報取得部４２は、ユーザの頭部に装着されたＨＭＤ１００の動きにもとづいてＨＭＤ１００の姿勢の変化を検出し、仮想空間におけるユーザＡのキャラクタの視線方向の変化を示す操作情報を取得する。また第１操作情報取得部４２は、入力データ受信部２４で受信した入力装置１６のキーデータにもとづいて、仮想空間におけるユーザＡのキャラクタの移動量および移動方向を示す操作情報を取得する。

　第１操作情報取得部４２は、姿勢センサ１２４のセンサデータからＨＭＤ１００の姿勢の変化を検出する。第１操作情報取得部４２は３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢変化を特定してよい。なお第１操作情報取得部４２は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。第１操作情報取得部４２は、検出したＨＭＤ１００の姿勢の変化から、ユーザＡの視線方向の変化を示す操作情報を取得する。

　また第１操作情報取得部４２は、入力装置１６に入力されたキーデータから、ユーザＡのキャラクタの移動量および移動方向を示す操作情報を取得する。入力装置１６の操作により仮想空間内のキャラクタを動作させる処理は、既知の技術を利用してよい。実施例ではユーザＡがＨＭＤ１００を装着するため、キャラクタの視線方向を、ＨＭＤ１００を装着したユーザＡの視線方向に合わせているが、変形例ではユーザＡがＨＭＤ１００を装着しない実施態様も想定され、この場合はユーザＡが、入力装置１６から、キャラクタの位置および視線方向を制御するためのキーデータを入力してもよい。

　このようにして第１操作情報取得部４２は、仮想空間においてユーザＡのキャラクタを動かすための操作情報を取得する。この操作情報は、位置および視線方向の変化量を指定する情報であってよいが、位置および視線方向を直接指定する情報であってもよい。第１操作情報取得部４２は、ユーザＡのキャラクタを動かすための操作情報をキャラクタ制御部５２に供給する。第１操作情報取得部４２がどのような操作情報を取得するかは、ビューワアプリケーションに依存し、いずれにしてもキャラクタ制御部５２が処理できる操作情報であればよい。第１操作情報取得部４２は、所定の周期で操作情報を生成してキャラクタ制御部５２に供給してよいが、状態変化が生じたとき、つまりＨＭＤ１００の姿勢が変化したとき又は入力装置１６でキー入力が生じたときに操作情報を生成してキャラクタ制御部５２に供給してもよい。

　キャラクタ制御部５２は、第１操作情報取得部４２から供給される操作情報にもとづいて、仮想空間内のユーザＡのキャラクタの動作、具体的にはキャラクタの位置および視線方向を制御する。

　画像生成部５６は、仮想空間におけるユーザキャラクタの位置（３次元仮想空間座標値）にもとづいて、仮想空間の３次元レンダリングを行う。具体的に画像生成部５６は、ユーザキャラクタの位置に、ユーザキャラクタの視線方向を光軸とする仮想カメラを配置して、画像データを生成する。画像提供部３２は、生成された画像データをＨＭＤ１００に出力する。

　実施例のビューワアプリケーションでは、ユーザＡが入力装置１６のキー入力によりキャラクタを移動させ、また首を傾けてＨＭＤ１００の向きを変更することで、キャラクタの視線方向を変えることができる。ＨＭＤ１００の表示パネル１３０には、キャラクタの位置および視線方向に応じた画像が表示される（図２参照）。

　以上はユーザＡのキャラクタの動作制御であるが、実施例の情報処理システム１は、３次元仮想空間を複数のユーザで共有するサービスを提供する。そのため第１操作情報取得部４２で取得されたユーザＡのキャラクタの操作情報は、操作情報送信部３０から管理サーバ５に送信され、管理サーバ５から別のユーザＢ～Ｊの情報処理装置１０に転送される。

　別のユーザＢ～Ｊの情報処理装置１０においても、それぞれのユーザのキャラクタを動かすための操作情報が取得され、管理サーバ５に送信される。管理サーバ５は、ユーザＡの情報処理装置１０に、ユーザＢ～Ｊの情報処理装置１０で取得されたキャラクタの操作情報を送信する。サーバデータ受信部２６は、管理サーバ５から送信される別のユーザのキャラクタ操作情報を受信する。

　管理サーバ５は、仮想空間共有サービスに参加するユーザの情報を管理する。ユーザ情報は、ユーザを識別するためのユーザアカウント、ユーザのキャラクタデータを少なくとも含み、管理サーバ５はサービス開始前に、各参加ユーザのユーザ情報を、すべての参加ユーザの情報処理装置１０に送信しておく。サービス開始後、管理サーバ５は、ユーザのキャラクタの操作情報をユーザアカウントに紐付けて各情報処理装置１０に送信し、したがって情報処理装置１０は、サーバデータ受信部２６で受信した操作情報がどのユーザのキャラクタの動作に反映させる情報であるかを特定できる。

　第２操作情報取得部４４は、サーバデータ受信部２６から、別のユーザＢ～Ｊのキャラクタを動かすための操作情報を取得し、キャラクタ制御部５２に供給する。キャラクタ制御部５２は、第２操作情報取得部４４から供給される操作情報にもとづいて、仮想空間内の別のユーザのキャラクタの動作、具体的にはキャラクタの位置および視線方向を制御する。なおキャラクタの視線方向の制御は、キャラクタの首の向きを制御することで実施される。

　上記したように画像生成部５６は、ユーザＡのキャラクタの位置から、キャラクタの視線方向に見える仮想空間の画像を生成する。そのためユーザＡのキャラクタの視野に、別のユーザのキャラクタが含まれていれば、画像生成部５６は、ユーザＡとは別のユーザのキャラクタを含む画像データを生成する。画像提供部３２は、生成された画像データを、表示装置であるＨＭＤ１００に出力する。

　図７は、ユーザＡのキャラクタの視点から見た仮想空間の画像の一例を示す。ここでは、ユーザＡのキャラクタの視野に、５人のユーザのキャラクタが含まれている様子が示される。それぞれのユーザキャラクタは、左から順に、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧ、ユーザＨのキャラクタであるとする。なお、それ以外のユーザＣ、ユーザＥ、ユーザＩ、ユーザＪのキャラクタについては、ユーザＡのキャラクタの後ろにいたり、また建物の中に入っているなどの理由により、ユーザＡのキャラクタの視野角内に存在せず、画像データには含まれていない。ＨＭＤ１００において、通信制御部１２８が情報処理装置１０から画像データを受信し、制御部１２０が仮想空間画像を表示パネル１３０に表示する。

　実施例ではサーバシステム４が観光地の仮想空間を複数のユーザシステム３に提供し、サーバシステム４のオペレータがツアーガイドとなり、また複数のユーザが旅行参加者となることで、複数のユーザがガイド付きで一緒に旅行するサービスを提供する。オペレータは管理サーバ５を操作して、音声ガイドを各ユーザシステム３に配信し、ユーザが移動する方向や注目する対象（オブジェクト）を音声で指定する。各ユーザシステム３において、サーバデータ受信部２６が音声案内用の音声データを受信すると、音声提供部３４が音声データをＨＭＤ１００に送信する。ＨＭＤ１００において通信制御部１２８が音声データを受信し、制御部１２０が音声案内を音声出力部１３２からイヤホン（不図示）に出力する。

　オペレータは、たとえば以下のような音声案内を行う。
「前方に続くアーケードをまっすぐ進んで下さい。」
「通路両脇にある建物は１７世紀後半に建築されました。」
「足元の石畳は、当時のままの状態で残っています。」
　各ユーザは音声案内にしたがってキャラクタを操作し、キャラクタが仮想空間を移動する。各ユーザのＨＭＤ１００には、キャラクタの移動にともない、仮想空間画像が刻々と変化して表示される。

　なおキャラクタの移動は各ユーザの操作によるため、各ユーザキャラクタの仮想空間内の位置は様々である。管理サーバ５は、全てのユーザによるキャラクタの操作情報を受信しており、オペレータは、各ユーザのキャラクタの位置を把握している。そのため規定の移動ルートから外れたり、遅れたり又は先に行きすぎているユーザに対して、オペレータは個別に音声案内を提供できる。

　このような仮想空間において、注目するべきオブジェクトが存在する場合、ツアーガイドであるオペレータは、そのオブジェクトに注目させるように音声案内を行う。それは「通路脇にある看板に注目してください」というものであってよい。この音声案内により「説明イベント」が開始される。図７に示す画面例において、オブジェクト２００が注目するべきオブジェクトとして設定されており、オペレータは、全てのユーザがオブジェクト２００を見ていることを確認すると、オブジェクト２００の注目ポイント（たとえば看板の店の歴史など）を説明する。注目ポイントの説明が終了すると、説明イベントは終了となり、次の注目オブジェクトへの移動案内が行われる。なお説明イベントの開始および終了は、オペレータにより任意のタイミングで行われてよい。

　「通路脇にある看板に注目してください」とする音声案内が行われたときに、キャラクタがオブジェクト２００の近傍にいれば、ユーザはオブジェクト２００を比較的容易に見つけられるが、キャラクタがオブジェクト２００から離れた位置にいる場合、ユーザはただちにオブジェクト２００を見つけることが難しい。そこでビューワアプリケーションはユーザキャラクタの注目するべき方向を示唆するための画像を表示画像に含め、ユーザがオブジェクト２００の位置を容易に認識できるようにする。

　管理サーバ５のオペレータは、「通路脇にある看板に注目してください」とする音声データを、複数のユーザの情報処理装置１０に送信するとき、オブジェクト２００の識別子（オブジェクトＩＤ）とともに、オブジェクト２００の仮想空間内での３次元座標もあわせて送信する。以下、オブジェクトＩＤおよびオブジェクト３次元座標を「オブジェクト情報」と呼ぶ。

　情報処理装置１０において、サーバデータ受信部２６が、音声データおよびオブジェクト情報を受信すると、音声提供部３４が音声データをＨＭＤ１００に送信し、オブジェクト情報取得部４６がオブジェクト情報を取得して判定部５４に供給する。ＨＭＤ１００に送信された音声データは、音声出力部１３２により出力される。

　判定部５４は、別のユーザのキャラクタの位置および視線方向にもとづいて、別のユーザがオブジェクト２００を現在見ているか否かを判定する。この判定処理は、別のユーザのキャラクタの位置に、当該キャラクタの視線方向を光軸とする仮想カメラを配置したときに、オブジェクト２００が仮想カメラにより撮影されるか否かを判断する処理となる。基本的に判定部５４は、キャラクタの視野角内にオブジェクト２００の３次元座標が含まれていれば、別のユーザがオブジェクト２００を見ていることを判定し、一方で視野角内にオブジェクト２００の３次元座標が含まれていなければ、別のユーザがオブジェクト２００を見ていないことを判定する。なお判定部５４は、キャラクタの視野角内にオブジェクト２００の３次元座標が含まれている場合であっても、キャラクタとオブジェクト２００との間の別のオブジェクト（障害物）によりオブジェクト２００が隠される場合には、別のユーザがオブジェクト２００を見ていないことを判定する。

　以上の判定処理により、判定部５４は、ユーザＡとは別のユーザのキャラクタがオブジェクト２００を見ているか否かを特定できる。図７に示す画面例で、判定部５４は、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧのキャラクタがオブジェクト２００を見ていることを判定し、一方でユーザＨのキャラクタがオブジェクト２００を見ていないことを判定する。判定部５４は判定結果を画像生成部５６に提供する。

　判定部５４による判定処理は、周期的に実施されてよく、判定周期は、キャラクタの動作制御周期と同じであってよい。つまりキャラクタ制御部５２は、ユーザＡのキャラクタおよび別のユーザのキャラクタの動作を周期的に制御するが、判定部５４は、その周期にあわせて判定処理を実施してよい。

　画像生成部５６は、判定部５４による判定結果をもとに、別のユーザのキャラクタが見ている方向を示す方向画像を含む画像データを生成する。ここで別のユーザのキャラクタがオブジェクト２００を見ている場合、方向画像は、別のユーザのキャラクタの視線方向を示すものであってもよいが、別のユーザのキャラクタからオブジェクト２００に向かう方向を示すものであってよい。なお別のユーザのキャラクタがオブジェクト２００を見ていない場合、方向画像は、キャラクタの視線方向を示す画像となる。

　キャラクタの視線方向と、キャラクタからオブジェクト２００に向かう方向について説明する。実施例においてキャラクタの視線方向は、ユーザが装着しているＨＭＤ１００が向いている方向であって、且つキャラクタの両眼の中心から延びる方向である。ＨＭＤ１００に表示される画面に関して言えば、キャラクタの視線方向は、表示画面の中心を垂直につらぬく方向である。

　一方、キャラクタからオブジェクト２００に向かう方向について説明すると、図７に示す表示画面は、ユーザＡのＨＭＤ１００に表示される画面であるが、オブジェクト２００は画面中心よりもやや左上に含まれている。この場合、キャラクタからオブジェクト２００に向かう方向は、視線方向に平行とはならない。なおオブジェクト２００が表示画面の中心に位置するようにユーザＡがＨＭＤ１００を動かす場合には、視線方向は、キャラクタからオブジェクト２００に向かう方向に一致する。

　図８は、３次元仮想空間をレンダリングした画像に方向画像を含めた画面例を示す。画像生成部５６は、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧのそれぞれのキャラクタからオブジェクト２００に向かう方向を示す方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇと、ユーザＨのキャラクタの視線方向を示す方向画像２０２ｈを含む画像データを生成する。ここでオブジェクト２００を見ているキャラクタに対して付加する方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇと、オブジェクト２００を見ていないキャラクタに対して付加する方向画像２０２ｈは、異なる表示態様となるように生成される。

　図８に示す画面例で、方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇは、実線の矢印画像であり、方向画像２０２ｈは、点線の矢印画像であるが、表示態様はこれに限るものではない。たとえば方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇを赤色、方向画像２０２ｈを青色など、異なる色で表現してもよい。いずれにしても表示態様を異ならせることで、ユーザＡが、どのキャラクタがオブジェクト２００を見ているか、またどのキャラクタがオブジェクト２００を見ていないかを容易に認識できる。

　図８に示す画面例では、ユーザＡが見ている表示画面にオブジェクト２００は既に含まれているが、ユーザＡはオブジェクト２００に気付かないこともある。表示画面に方向画像２０２ｂ、２０２ｄ、２０２ｆ、２０２ｇを含ませることで、ユーザＡは、どのオブジェクトに注目するべきかを一目で分かる。なお方向画像２０２ｈはオブジェクト２００に向いていないため、画像生成部５６は、画像データに方向画像２０２ｈを含ませないようにしてもよい。

　図９は、３次元仮想空間をレンダリングした画像に方向画像を含めた別の画面例を示す。図８では、画面左上の看板が注目オブジェクトである場合について説明したが、図９では、その看板は実は注目オブジェクトではなく、別の看板が注目オブジェクトであった例について説明する。

　このとき、ユーザＢ、ユーザＤ、ユーザＦ、ユーザＧのキャラクタは、間違ったオブジェクトに注目している。そのため各キャラクタに付加される方向画像は、注目オブジェクトを見ていないことを示す点線矢印画像となっている。

　ここでユーザＨのキャラクタに付加される方向画像は、実線矢印画像であり、正しく注目オブジェクトを見ていることを示している。これにより図９に示す画面を見たユーザＡは、ユーザＨの目線の先に注目オブジェクトが存在していることを認識する。

　仮想空間において、あるオブジェクトに注目させたい場合、当該オブジェクトを目立たせるような（たとえば点滅させるような）エフェクトを施すことも有効である。しかしながら、そもそもオブジェクトが表示画面に含まれていない場合には、ユーザがエフェクトを認識できない。そこで図９に示すように、正しくオブジェクトに注目しているユーザのキャラクタに方向画像を付加することで、ユーザは、表示画面に含まれていないオブジェクトの場所を確認できるようになる。

　現実世界でツアーに参加した場合であっても、ツアーガイドの説明をよく聞いていなかったために、なにに注目するべきか分からないことがある。そのような場合、人は、周りの人の動きから注目するべきものが何であるかを想像する。実施例では、別のユーザのキャラクタに方向画像を付加することで、ユーザＡが注目オブジェクトを認識しやすくしており、仮想空間のツアー参加者は、現実世界に似た感覚で注目オブジェクトを探し出せる。

　実施例では方向画像を矢印で表現したが、これに限定するものではない。たとえばキャラクタの視野角を表現するべく、キャラクタ位置を頂点として注目オブジェクトに延びる錐体の方向画像を使用してもよい。また方向画像は半透明の色を付されて、方向画像の背景となる空間画像の視認性を確保してもよい。

　なおユーザは一度オブジェクトを認識すると、その後、オペレータからの説明が開始されるまでの間、常にオブジェクトを見続けるとは限らない。他のユーザのオブジェクト設置地点への到着が遅れており、オペレータの説明がまだ開始されないのであれば、周囲の光景を見渡すことも観光の醍醐味である。そのため、あるユーザが遅れてオブジェクト設置地点に到着したときには、他の全てのユーザがオブジェクトを見ていないことも想定される。

　そこで画像生成部５６は、キャラクタが現時点で注目オブジェクトを見ていなくても、過去に注目オブジェクトを見ていたことがあれば、そのキャラクタに、注目オブジェクトに向かう方向を示す方向画像を付加してもよい。たとえば画像生成部５６は、当該キャラクタが、最後に注目オブジェクトを見た時刻から所定時間内に限って、注目オブジェクトに向かう方向を示す方向画像を付加してもよい。この方向画像は、注目オブジェクトの位置を示すヒントとなり、オブジェクト設置位置に遅れてくるユーザのオブジェクト探索をアシストする。しかしながら、あまりにも遅れてオブジェクト設置位置に到着するユーザは他のユーザに大きな迷惑をかけているため、注目オブジェクトに向かう方向を示す方向画像の表示時間を所定時間に限定することで、アシストに制限をかけてもよい。

　なお画像生成部５６は、当該キャラクタが最後に注目オブジェクトを見た時刻における位置から所定距離内にいる場合に限って、注目オブジェクトに向かう方向を示す方向画像を付加してもよい。当該キャラクタが同じ位置にとどまっている場合には、その地点から方向画像を付加すればよいが、たとえば当該キャラクタが移動して、周囲を散策しているような場合は、もはや注目オブジェクトを見られない位置にいる可能性もある。そこで画像生成部５６は、当該キャラクタの現在位置にしたがって、過去に見た注目オブジェクトに向かう方向を示す方向画像を付加するか否かを決定してもよい。

　なお実施例では、複数のユーザが旅行参加者となるサービスについて説明したが、サーバシステム４におけるオペレータないしはそれに準ずる者が、ダミー参加者としてツアーに参加してもよい。ダミー参加者は、旅行の全容を把握しており、快適なツアーを陰からアシストする役割を担う。たとえば、どのユーザも注目オブジェクトを見つけられないような場合に、ダミー参加者が注目オブジェクトに視線を向けることで、他のユーザは、ダミー参加者のキャラクタから注目オブジェクトに向かう方向画像を見て、注目オブジェクトの場所を認識できるようになる。

　なお実際にオペレータがダミー参加者としてツアーに参加するのではなく、管理サーバ５が所定のルールにより動作するキャラクタをツアーに参加させてもよい。このキャラクタはいわゆるノンプレイヤーキャラクタ（ＮＰＣ）であり、実施例では「非操作キャラクタ」と呼ぶ。このときサービス提供主体は、参加するキャラクタに非操作キャラクタが紛れ込んでいることを、ユーザに知らせないことが好ましい。

　管理サーバ５は、非操作キャラクタを動かすための操作情報を、各ユーザの情報処理装置１０に送信する。情報処理装置１０において、サーバデータ受信部２６が、管理サーバ５から非操作キャラクタの操作情報を受信すると、第２操作情報取得部４４が、非操作キャラクタの操作情報を取得し、キャラクタ制御部５２に供給する。非操作キャラクタの操作情報は、別のユーザの操作情報と同様に扱われる。

　管理サーバ５は、説明イベントの開始後、所定の条件が成立した場合に、非操作キャラクタが注目オブジェクトを見るように動かすための操作情報を、各情報処理装置１０に送信する。たとえば説明イベントの開始後から所定時間内に、どのユーザも注目オブジェクトを見つけられない場合に、非操作キャラクタが注目オブジェクトを見るように動作する。これにより非操作キャラクタから注目オブジェクトに向かう方向を示す方向画像が表示されることになり、ユーザは、注目オブジェクトの場所を認識できるようになる。非操作オブジェクトの利用は、管理サーバ５側で、ダミー参加者のキャラクタを操作しなくてよいため効率的である。なお管理サーバ５では、非操作キャラクタをダミー参加者による操作キャラクタに、またはダミー参加者による操作キャラクタを非操作キャラクタに自在に切り替えられることが好ましい。

　以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　実施例では、ＨＭＤ１００の向いている方向をユーザの視線方向として利用したが、ユーザの目の動きを検出してユーザの真の視線方向を検出できる場合には、その視線方向を利用してよい。

　また実施例で説明したサービスにおいて、ユーザが注目オブジェクトを探しやすくするために、入力装置１６を利用できるようにしてもよい。たとえば入力装置１６に姿勢センサを搭載し、入力装置１６の姿勢を変化させたときに、現実の３次元空間における入力装置１６の姿勢方向と、仮想の３次元空間におけるユーザキャラクタから注目オブジェクトに向かう方向とが一致ないしは近似すると、入力装置１６が振動したり、報知音が出力されることで、ユーザに注目オブジェクトの向きを知らせてもよい。入力装置１６をオブジェクト探索に利用するメリットは、ＨＭＤ１００を装着したユーザが、首を動かして注目オブジェクトを探さなくてもよい点にある。たとえばＨＭＤ１００の表示パネル１３０に、別のユーザキャラクタから注目オブジェクトに向かう方向を示す方向画像が表示されていない場合、入力装置１６を用いて注目オブジェクトを探索することで、いち早く注目オブジェクトを見つけられるようになる。たとえば宝探しのように、オブジェクトを見つけることを目的とするサービスでは、このような入力装置１６の機能が有用に利用されると考えられる。

　また実施例の情報処理システム１では、図６に示す処理機能を情報処理装置１０にもたせたが、管理サーバ５にもたせてもよい。この場合、管理サーバ５は、実施例の情報処理装置１０の機能を備えたクラウドサーバとなり、各ユーザシステム３に対して個別に生成した画像データを提供する。

１・・・情報処理システム、３・・・ユーザシステム、４・・・サーバシステム、５・・・管理サーバ、６・・・記憶装置、７・・・コンテンツＤＢ、８・・・ユーザ挙動ＤＢ、１０・・・情報処理装置、１５・・・出力装置、２０・・・センサデータ受信部、２２・・・撮影画像受信部、２４・・・入力データ受信部、２６・・・サーバデータ受信部、３０・・・操作情報送信部、３２・・・画像提供部、３４・・・音声提供部、４０・・・取得部、４２・・・第１操作情報取得部、４４・・・第２操作情報取得部、４６・・・オブジェクト情報取得部、５０・・・処理部、５２・・・キャラクタ制御部、５４・・・判定部、５６・・・画像生成部、１００・・・ＨＭＤ。

　本発明は、アプリケーションの画像データを出力する分野において利用できる。

Claims

　アプリケーションの画像データを表示装置に出力する情報処理装置であって、
　仮想空間においてユーザのキャラクタを動かすための操作情報を取得する取得部と、
　当該ユーザとは別のユーザのキャラクタを含む画像データを、表示装置に出力する画像提供部と、を備え、
　前記画像提供部は、別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを、前記表示装置に出力する、
　ことを特徴とする情報処理装置。
　前記取得部は、仮想空間において別のユーザのキャラクタを動かすための操作情報を取得し、
　当該情報処理装置は、
　仮想空間における当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、前記取得部が取得したそれぞれの操作情報にもとづいて制御する制御部と、
　仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタを含む画像データを生成する画像生成部と、をさらに備える、
　ことを特徴とする請求項１に記載の情報処理装置。
　仮想空間には、ユーザが注目するべきオブジェクトが設定されており、
　別のユーザのキャラクタが前記オブジェクトを見ているおよび／または見ていた場合に、画像データには、別のユーザのキャラクタから前記オブジェクトに向かう方向を示す方向画像が含まれる、
　ことを特徴とする請求項１または２に記載の情報処理装置。
　画像データには、前記オブジェクトを見ているおよび／または見ていたキャラクタに対して付加される方向画像と、前記オブジェクトを見ていないキャラクタに対して付加される方向画像とが、異なる表示態様で含まれている、
　ことを特徴とする請求項３に記載の情報処理装置。
　ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢を検出する検出部を、さらに備え、
　前記取得部は、前記検出部により検出されたヘッドマウントディスプレイの姿勢情報を、ユーザのキャラクタを動かすための操作情報として取得する、
　ことを特徴とする請求項１から４のいずれかに記載の情報処理装置。
　仮想空間においてユーザのキャラクタを動かすための操作情報を取得するステップと、
　仮想空間において当該ユーザとは別のユーザのキャラクタを動かすための操作情報を取得するステップと、
　当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、それぞれの操作情報にもとづいて制御するステップと、
　仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタと、当該別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを生成するステップと、
　を有することを特徴とする画像生成方法。
　コンピュータに、
　仮想空間においてユーザのキャラクタを動かすための操作情報を取得する機能と、
　仮想空間において当該ユーザとは別のユーザのキャラクタを動かすための操作情報を取得する機能と、
　当該ユーザのキャラクタの動作、および当該ユーザとは別のユーザのキャラクタの動作を、それぞれの操作情報にもとづいて制御する機能と、
　仮想空間における当該ユーザのキャラクタの位置にもとづいて、別のユーザのキャラクタと、当該別のユーザのキャラクタが見ている方向および／または見ていた方向を示す方向画像を含む画像データを生成する機能と、
　を実現させるためのプログラム。