JP6320488B1

JP6320488B1 - 仮想現実提供システム、仮想現実提供方法、仮想現実提供装置、およびプログラム

Info

Publication number: JP6320488B1
Application number: JP2016217031A
Authority: JP
Inventors: 健司蛭田
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2016-11-07
Filing date: 2016-11-07
Publication date: 2018-05-09
Anticipated expiration: 2036-11-07
Also published as: US20180126272A1; JP2018077555A

Abstract

【課題】コンテンツをレンダリングする処理負荷を分散することで遅延期間を抑制すること。【解決手段】ユーザの操作に基づく指示に基づいて、複数のオブジェクトのうち第１カテゴリに属するオブジェクトをレンダリングした第１コンテンツを生成する端末装置と、端末装置から受信した指示に基づいて、複数のオブジェクトのうち第２カテゴリに属するオブジェクトをレンダリングした第２コンテンツを生成し、生成した第２コンテンツを端末装置に送信するサーバ装置と、を備え、端末装置は、第１コンテンツと第２コンテンツとを合成してコンテンツを生成する、仮想現実提供システム。【選択図】図４

Description

本発明は、仮想現実提供システム、仮想現実提供方法、仮想現実提供支援装置、仮想現実提供装置、およびプログラムに関する。

従来、ユーザの操作を受け付ける端末装置と、端末装置により受け付けた場合に、端末装置に画像を表示させるためのデータを提供するサーバ装置とを備えるゲームシステムが知られている（特許文献１参照）。これに関連して、ユーザの操作に応じてゲームを開始することに応じて、ゲーム用の第１のウェブページを端末装置においてレンダリングし、ユーザが利用する可能性の高いゲームにおいて提供される機能を決定し、ゲーム用の第１のウェブページが表示されている間に、決定された機能を提供するためのゲーム用の第２のウェブページを取得し、取得したゲーム用の第２のウェブページをキャッシュに格納し、決定された機能を利用する旨のユーザの指示に応じて、キャッシュに格納されたゲーム用の第２のウェブページを端末装置においてレンダリングする技術が知られている。

国際公開第２０１４／０６５３３９号

しかしながら、上述したゲームシステムでは、画像のレンダリングを端末装置のみで行っており、端末装置において画像のレンダリングに割り当てる処理負荷が高くなってしまうという問題がある。また、上述したゲームシステムでは、決定された機能とは異なる機能が選択された場合には、機能が選択されてから画像のレンダリングが完了するまでの遅延期間が長くなる可能性がある。さらに、三次元画像をレンダリングしながら仮想現実を提供する場合、ユーザの入力から画像のレンダリングが完了するまでの遅延期間がさらに長くなる可能性がある。

本発明は、このような事情を考慮してなされたものであり、コンテンツをレンダリングする処理負荷を分散することで遅延期間を抑制することができる仮想現実提供システム、仮想現実提供方法、仮想現実提供支援装置、仮想現実提供装置、およびプログラムを提供することを目的の一つとする。

本発明の一態様は、ユーザの操作に基づく指示に基づいて、複数のオブジェクトのうち第１カテゴリに属するオブジェクトをレンダリングした第１コンテンツを生成する端末装置と、前記端末装置から受信した前記指示に基づいて、前記複数のオブジェクトのうち第２カテゴリに属するオブジェクトをレンダリングした第２コンテンツを生成し、生成した前記第２コンテンツを前記端末装置に送信するサーバ装置と、を備え、前記端末装置は、前記第１コンテンツと前記第２コンテンツとを合成してコンテンツを生成する、仮想現実提供システムである。

本発明の一態様によれば、コンテンツをレンダリングする処理負荷を分散することで遅延期間を抑制することができる。

実施形態のゲームシステム１の構成図である。実施形態のゲームシステム１における役割分担を模式的に示す図である。端末装置１００により提示させるコンテンツ３００の一例を示すである。ゲームシステム１における分散処理を説明するための図である。端末装置１００およびゲームサーバ装置２００の機能構成の一例を示すブロック図である。ゲームシステム１における分散処理の流れを示すフローチャートである。端末装置１００、およびゲームサーバ装置２００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の仮想現実提供システム、仮想現実提供方法、仮想現実提供支援装置、仮想現実提供装置、およびプログラムの実施形態について説明する。

＜実施形態の概要＞
実施形態のゲームシステムは、例えば、クラウドゲームサービスを提供するものである。クラウドゲームサービスは、端末装置によりユーザの操作を受け付けた場合に、当該ユーザの操作に基づく指示を、ネットワークを介してゲームサーバ装置に送信し、ゲームサーバ装置から画像などのゲームコンテンツを、ネットワークを介して端末装置に送信することで、端末装置に画像などのゲームコンテンツを提供するサービスである。実施形態のゲームシステムは、端末装置により、ゲームにおいて登場する複数のオブジェクトのうち第１のカテゴリに属するオブジェクトをレンダリングした第１コンテンツとして、第１画像データを生成する。一方、実施形態のゲームシステムは、ゲームサーバ装置により、複数のオブジェクトのうち第２カテゴリに属するオブジェクトをレンダリングした第２コンテンツとして、第２画像データを生成し、生成した第２画像データを端末装置に送信する。端末装置は、生成した第１画像データと、受信した第２画像データとを合成することで、ゲームコンテンツを表示する。

本発明の仮想現実提供システムは、ユーザの五感を刺激する仮想現実を提供するものであればよく、クラウドゲームサービスに代えて、例えば、シミュレータサービスに関する画像などを提供してもよい。シミュレータサービスは、例えば、自動車を運転する仮想現実を提供する。具体的には、シミュレータサービスは、端末装置により自動車のハンドル操作を受け付けた場合に、当該ハンドル操作に基づく指示を、ネットワークを介してシミュレータサーバ装置に送信し、シミュレータサーバ装置から画像などのコンテンツを、ネットワークを介して端末装置に送信することで、端末装置に画像などのシミュレータに関するコンテンツを提供するサービスである。

第１カテゴリに属するオブジェクトであるか、第２カテゴリに属するオブジェクトであるかは、ゲームシステムにおいて予め設定されたルールにより随時決定される。予め設定されたルールとは、例えば、ゲーム（仮想現実）内における視点から所定距離以内に存在するオブジェクトが第１カテゴリに属するオブジェクトであり、あるオブジェクトから所定距離より遠い位置に存在するオブジェクトが第２カテゴリに属するオブジェクトである、と設定されるルールである。例えば、「あるオブジェクト」がプレイヤーの操作に応じて位置および姿勢が更新されるキャラクタである場合、キャラクタから所定距離内のオブジェクトが第１カテゴリに属するオブジェクトとして決定され、キャラクタから所定距離より遠いオブジェクトが第２カテゴリに属するオブジェクトとして決定される。なお、第１カテゴリに属するオブジェクトであるか、第２カテゴリに属するオブジェクトであるかは、ゲームシステムにおいて予め設定されていてもよい。

見方を変えると、第１カテゴリに属するオブジェクトは、複数のオブジェクトのうち短周期でレンダリングされるオブジェクトであってよく、この場合、第２カテゴリに属するオブジェクトは、複数のオブジェクトのうち長周期でレンダリングされるオブジェクトである。

更に別の見方では、第１カテゴリに属するオブジェクトは、複数のオブジェクトのうちユーザの操作に基づく指示に対してステータスが変化するオブジェクトであってよく、この場合、第２カテゴリに属するオブジェクトは、複数のオブジェクトのうち指示に対してステータスが変化しないオブジェクトである。

なお、以下の実施形態において、第１カテゴリに属するオブジェクトを、近景に属するオブジェクト（以下、近景オブジェクト）であるものとし、第２カテゴリに属するオブジェクトを、遠景に属するオブジェクト（以下、遠景オブジェクト）であるものとして説明する。

＜ゲームシステム１の構成＞
図１は、実施形態のゲームシステム１の構成図である。図２は、実施形態のゲームシステム１における役割分担を模式的に示す図である。ゲームシステム１は、例えば、複数のユーザが参加してゲームを進行させるクラウドゲームサービスを提供する。ゲームシステム１は、図１に示すように、例えば、複数の端末装置１００−１、・・・、１００−Ｎと、ゲームサーバ装置２００と、を備える。Ｎは２以上の自然数である。なお、以下の説明において、端末装置を他の端末装置と区別しない場合には、「端末装置１００」と記載する。

複数の端末装置１００とゲームサーバ装置２００とは、ネットワークＮＷを介して接続されている。ネットワークＮＷは、例えば、無線基地局、Ｗｉ−Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、これらの構成要素の全ての組み合わせが相互に通信可能である必要はなく、ネットワークＮＷは、一部にローカルなネットワークを含んでもよい。

端末装置１００は、ユーザ（一般利用者）によって使用される装置である。端末装置１００は、例えば、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータなどのコンピュータ装置（通信装置）である。端末装置１００には、図２に示すように、ゲームプログラム１００ａがインストールされている。ゲームプログラム１００ａは、例えば端末装置１００内のＣＰＵ（Central Processing Unit）により実行される。

ゲームプログラム１００ａは、ユーザを操作の受け付け、受け付けた操作に対応した指示に基づいて、アクション処理、訂正処理、近景レンダリング処理、合成処理、および表示処理などを行う。さらに、ゲームプログラム１００ａは、受け付けた操作に対応した指示を表す情報を、ゲームサーバ装置２００に送信する。アクション処理は、指示に基づいてオブジェクトの姿勢および位置（以下、ステータス）を演算する処理である。訂正処理は、アクション処理により演算したステータス（処理結果）を、ゲームサーバ装置２００から受信したステータスに訂正する処理である。近景レンダリング処理は、近景オブジェクトをレンダリングする処理である。合成処理は、レンダリングされた画像（以下、近景レンダリング画像）と、ゲームサーバ装置２００から受信した画像とを合成する処理である。表示処理は、合成された画像（以下、合成画像）を表示させる処理である。なお、ゲームプログラム１００ａは、上記の処理に加えて、音声を出力する処理や、ユーザが把持する操作デバイスを振動させる処理などを実行してもよい。

ゲームサーバ装置２００には、ゲーム制御プログラム２００ａがインストールされている。ゲーム制御プログラム２００ａは、例えばゲームサーバ装置２００内のＣＰＵにより実行される。ゲーム制御プログラム２００ａは、ゲーム進行処理、アクション処理、遠景レンダリング処理、送信処理などを行う。ゲーム進行処理は、ゲームの全体的な制御を行う処理である。アクション処理は、ゲームにおいて登場する全てのオブジェクトの姿勢および位置（ステータス）を演算する処理である。このアクション処理は、各オブジェクトに対する指示に基づく姿勢および位置の変化に加えて、オブジェクト同士の衝突などオブジェクト間の影響を含めた姿勢および位置の変化を演算する。訂正処理は、端末装置１００により演算されたステータスが、ゲーム制御プログラム２００ａにより演算されたステータスと異なる場合に、ゲーム制御プログラム２００ａにより演算されたステータス（処理結果）を端末装置１００に送信する処理である。遠景レンダリング処理は、遠景オブジェクトをレンダリングする処理である。送信処理は、レンダリングされた画像（以下、遠景レンダリング画像）を端末装置１００に送信する処理である。

端末装置１００は、オブジェクトデータ、およびステータスを記憶する端末側記憶部１００ｂを備える。ゲームサーバ装置２００は、オブジェクトデータ、およびステータスを記憶するサーバ側記憶部２００ｂを備える。端末側記憶部１００ｂおよびサーバ側記憶部２００ｂは、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）、或いはこれらを複数用いたハイブリッド型記憶装置により実現される。また、端末側記憶部１００ｂおよびサーバ側記憶部２００ｂは、ファームウェアやアプリケーションプログラム等の各種プログラムや、オブジェクトデータやステータスデータ、処理結果などが記憶される。なお、端末側記憶部１００ｂおよびサーバ側記憶部２００ｂの一部または全部は、各種ネットワークを介してアクセス可能な外部記憶装置によって実現されてもよい。外部記憶装置の一例として、ＮＡＳ（Network Attached Storage）装置が挙げられる。

オブジェクトデータは、オブジェクトの形状、色などのオブジェクトの静的な性質を表すデータである。ステータスは、オブジェクトの位置、姿勢などの、指示などに基づいて動的に変化するオブジェクトの性質を表すデータである。端末側記憶部１００ｂに記憶されているオブジェクトデータ、およびステータスと、サーバ側記憶部２００ｂに記憶されているオブジェクトデータ、およびステータスとは、ゲーム進行中において同期されている。本実施形態において、端末側記憶部１００ｂに格納されているステータスは、ゲームサーバ装置２００により演算されたステータスにより訂正される。

＜オブジェクトのカテゴリ＞
図３は、端末装置１００により提示させるコンテンツ３００の一例を示すである。図３のコンテンツ３００には、キャラクタオブジェクト３１０、背景オブジェクト３２１、３２２、３２３、および３２４が含まれている。キャラクタオブジェクト３１０は、人物であり、ユーザ（プレイヤー）の操作に応じて位置および姿勢が更新されるオブジェクト（キャラクタ）である。背景オブジェクト３２１は、複数のオブジェクトのうち、背景に分類されたオブジェクトである。背景オブジェクト３２１は、例えば、所定の視点を基準として、キャラクタオブジェクト３１０よりも遠方に位置する木を表すオブジェクトである。背景オブジェクト３２２は道を表すオブジェクトである。背景オブジェクト３２３および３２４は、所定の視点を基準として、キャラクタオブジェクト３１０よりも近方に位置する木を表すオブジェクトである。本実施形態において、キャラクタオブジェクト３１０は近景オブジェクトの一例であり、背景オブジェクト３２１〜３２４は遠景オブジェクトの一例である。なお、遠景オブジェクトは、背景オブジェクト３２１〜３２４の他に、背景オブジェクト３２１〜３２４の背景など、キャラクタオブジェクト３１０の周囲を３６０度の範囲で覆うコンテンツを含む。

キャラクタオブジェクト３１０は、端末装置１００においてレンダリングされるオブジェクトの一例である。キャラクタオブジェクト３１０は、複数のオブジェクトのうち短周期でレンダリングされるオブジェクトと読み替えることができる。背景オブジェクト３２１〜３２４は、ゲームサーバ装置２００においてレンダリングされるオブジェクトの一例である。背景オブジェクト３２１〜３２４は、複数のオブジェクトのうち長周期でレンダリングされるオブジェクトと読み替えることもできる。

キャラクタオブジェクト３１０は、ユーザの操作に基づく指示に応じて姿勢および位置などのステータスが変化されるオブジェクトの一例である。キャラクタオブジェクト３１０は、複数のオブジェクトのうちユーザの操作に基づく指示に対してステータスが変化するオブジェクトと読み替えることができる。背景オブジェクト３２１〜３２４は、ユーザの操作に基づく指示に応じて姿勢および位置などのステータスが変化しないオブジェクトの一例である。背景オブジェクト３２１〜３２４は、複数のオブジェクトのうち指示に対してステータスが変化しないオブジェクトと読み替えることもできる。

なお、第１カテゴリに属するオブジェクトは、ゲーム内におけるキャラクタに属するオブジェクトであり、第２カテゴリに属するオブジェクトは、ゲーム内における背景に属するオブジェクトであると読み替えることもできる。

＜分散処理＞
図４は、ゲームシステム１における分散処理を説明するための図である。端末装置１００は、ユーザの操作を受け付けたことに応じて、コンテンツ３００に含まれるオブジェクトのうち近景オブジェクトについてレンダリング処理を行うことで、近景レンダリング画像４００ａを生成する。また、端末装置１００は、近景レンダリング画像４００ａと他の画像データとの合成を補助するための第１合成用データを生成する。第１合成用データには、例えば、近景奥行き情報４００ｂおよび近景透明度情報４００ｃが含まれる。近景奥行き情報４００ｂは、近景レンダリング画像４００ａに含まれている画素ごとの所定の視点からの距離を表す情報である。近景奥行き情報４００ｂは、例えばＺ値とも称される。近景透明度情報４００ｃは、近景レンダリング画像４００ａに含まれている画素ごとの所定の視点からの透明度合いを表す情報である。近景透明度情報４００ｃは、例えばα値とも称される。

ゲームサーバ装置２００は、端末装置１００から受信したユーザの指示に基づいて、コンテンツ３００に含まれるオブジェクトのうち遠景オブジェクトについてレンダリング処理を行うことで、遠景レンダリング画像４１０ａを生成する。また、ゲームサーバ装置２００は、遠景レンダリング画像４１０ａと他の画像データとの合成を補助するための第２合成用データを生成する。第２合成用データには、例えば、遠景奥行き情報４１０ｂおよび遠景透明度情報４１０ｃが含まれる。遠景奥行き情報４１０ｂは、遠景レンダリング画像４１０ａに含まれている画素ごとの所定の視点からの距離を表す情報である。遠景奥行き情報４１０ｂは、例えばＺ値とも称される。遠景透明度情報４１０ｃは、遠景レンダリング画像４１０ａに含まれている画素ごとの所定の視点からの透明度合いを表す情報である。遠景透明度情報４１０ｃは、例えばα値とも称される。ゲームサーバ装置２００は、遠景レンダリング画像４１０ａ、遠景奥行き情報４１０ｂ、および遠景透明度情報４１０ｃを端末装置１００に送信する。

端末装置１００は、ゲームサーバ装置２００から遠景レンダリング画像４１０ａ、遠景奥行き情報４１０ｂ、および遠景透明度情報４１０ｃを受信したことに応じて合成処理を行う。端末装置１００は、近景奥行き情報４００ｂ、近景透明度情報４００ｃ、遠景奥行き情報４１０ｂ、および遠景透明度情報４１０ｃに基づいて、所定の視点を基準とした各オブジェクトの奥行きおよび透明度を考慮して、近景レンダリング画像４００ａと遠景レンダリング画像４１０ａとを合成する。これにより、端末装置１００は、近景オブジェクトと遠景オブジェクトとを含む合成画像４２０を生成する。

端末装置１００は、例えば、コンテンツ３００を表示する処理周期ごとに合成処理を行う。処理周期は、例えば、１／６０秒であるが、１／３０秒などの任意の周期であってもよい。また、端末装置１００の処理周期とゲームサーバ装置２００とで処理周期とは異なっていてもよい。端末装置１００は、ゲームサーバ装置２００から処理周期を識別する情報を取得することで、処理周期が同じ近景レンダリング画像４００ａと遠景レンダリング画像４１０ａとを合成する。

＜分散処理の切替＞
端末装置１００およびゲームサーバ装置２００のそれぞれは、自身がレンダリングするオブジェクトを、予め設定されたルールにより随時決定する。これにより、端末装置１００およびゲームサーバ装置２００のそれぞれは、分散処理によりレンダリングを行うオブジェクトを切り替える。

＜ゲームシステム１の機能＞
図５は、端末装置１００およびゲームサーバ装置２００の機能構成の一例を示すブロック図である。端末装置１００は、例えば、端末側通信部１１０と、表示デバイス１２０と、表示制御部１３０と、操作受付部１４０と、端末側アクション処理部１５０と、端末側記憶部１００ｂとを備える。

端末側通信部１１０は、ＮＩＣ（Network Interface Card）や無線通信モジュールなどの通信インターフェースである。表示デバイス１２０は、例えば、タッチパネルを内蔵した液晶ディスプレイである。表示制御部１３０、操作受付部１４０、および端末側アクション処理部１５０は、例えば、ＣＰＵやＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

表示制御部１３０は、操作受付部１４０により受け付けられたユーザの操作、および端末側通信部１１０により受信した情報に基づいて近景レンダリング処理を行う。操作受付部１４０は、表示デバイス１２０に対する操作を受け付け、ユーザの操作情報を生成する。端末側アクション処理部１５０は、操作受付部１４０により生成された操作情報に基づいてアクション処理を行う。端末側アクション処理部１５０は、アクション処理を行った結果としてのオブジェクトのステータスを演算して、端末側記憶部１００ｂに記憶されたステータスを更新する。なお、表示制御部１３０におけるレンダリング処理には、予め設定されたルールにより随時レンダリングを行うオブジェクトを決定する処理が含まれる。

ゲームサーバ装置２００は、例えば、サーバ側通信部２１０と、ゲーム進行制御部２２０と、アクション処理部２３０と、レンダリング処理部２４０と、サーバ側記憶部２００ｂとを備える。ゲーム進行制御部２２０、アクション処理部２３０、およびレンダリング処理部２４０は、例えば、ＣＰＵやＧＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡ等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。さらに、ゲームサーバ装置２００は、ゲーム進行制御部２２０、アクション処理部２３０、およびレンダリング処理部２４０のうち一部の機能が他のサーバ装置に実装され、当該他のサーバ装置と協同しながら処理を行ってもよい。

サーバ側通信部２１０は、ＮＩＣや無線通信モジュールなどの通信インターフェースである。ゲーム進行制御部２２０は、ゲーム進行処理を行う。アクション処理部２３０は、アクション処理を行う。レンダリング処理部２４０は、遠景レンダリング処理を行う。なお、レンダリング処理部２４０におけるレンダリング処理には、予め設定されたルールにより随時レンダリングを行うオブジェクトを決定する処理が含まれる。

＜分散処理の流れ＞
図６は、ゲームシステム１における分散処理の流れを示すフローチャートである。端末装置１００およびゲームサーバ装置２００は、以下に説明する処理を繰り返して行う。まず、端末装置１００は、ユーザの操作を受け付けたか否かを判定する（Ｓ１００）。端末装置１００は、ユーザの操作を受け付けていない場合、本フローチャートの処理を終了する。端末装置１００は、ユーザの操作を受け付けた場合、受け付けた操作に基づいてアクション処理を行う（Ｓ１０２）。次に、端末装置１００は、受け付けた操作を表す操作情報、およびアクション処理の処理結果としてのステータスをゲームサーバ装置２００に送信する。

ゲームサーバ装置２００は、端末装置１００から操作情報およびステータスを受信したことに応じ（Ｓ２００）、遠景オブジェクトをレンダリングするレンダリング処理を行う（Ｓ２０２）。ゲームサーバ装置２００は、遠景レンダリング画像を端末装置１００に送信する（Ｓ２０４）。

ゲームサーバ装置２００は、端末装置１００から操作情報およびステータスを受信したことに応じ（Ｓ２００）、Ｓ２０２およびＳ２０４の処理と並行して、受信した操作情報に基づいてアクション処理を行う（Ｓ２０６）。ゲームサーバ装置２００は、受信したステータスと、アクション処理を行った結果としてのステータスとが相違しているか否かを判定する（Ｓ２０８）。ゲームサーバ装置２００は、受信したステータスとアクション処理を行った結果としてのステータスとが相違していない場合、本フローチャートの処理を終了する。ゲームサーバ装置２００は、受信したステータスとアクション処理を行った結果としてのステータスとが相違している場合、アクション処理を行った結果としてのステータスを端末装置１００に送信する（Ｓ２１０）。

例えば、複数のユーザがゲームに参加している場合において、端末装置１００−１に対応するユーザにより操作された近景オブジェクト（１）と、端末装置１００−Ｎに対応するユーザにより操作された近景オブジェクト（Ｎ）とがゲーム内において衝突する場合がある。この場合、ゲームサーバ装置２００は、アクション処理において近景オブジェクト同士が衝突したことを判定し、衝突したことに対する所定のアクション処理を行う。所定のアクション処理は、例えば、近景オブジェクト同士が衝突位置から吹き飛ばされるように位置（ステータス）を変化させるイベントを発生させる処理である。ゲームサーバ装置２００は、変化された位置を表す近景オブジェクト（１）のステータスを端末装置１００−１に送信すると共に、変化された位置を表す近景オブジェクト（Ｎ）のステータスを端末装置１００−Ｎに送信する。

Ｓ１０４の後、端末装置１００は、近景オブジェクトをレンダリングするレンダリング処理を行う（Ｓ１０６）。次に端末装置１００は、Ｓ１０６においてレンダリングした近景レンダリング画像と、遠景レンダリング画像とを合成する合成処理を行う（Ｓ１０８）。端末装置１００は、ゲームサーバ装置２００から受信した遠景レンダリング画像のうち最新の遠景レンダリング画像を用いて合成処理を行う。次に、端末装置１００は、合成処理の結果としてのコンテンツ３００を表示デバイス１２０に表示させる（Ｓ１１０）。

次に、端末装置１００は、ゲームサーバ装置２００から近景オブジェクトのステータスを受信したか否かを判定する（Ｓ１１２）。端末装置１００は、近景オブジェクトのステータスを受信していない場合には、本フローチャートの処理を終了する。端末装置１００は、近景オブジェクトのステータスを受信している場合、端末側記憶部１００ｂに記憶されたステータスを、ゲームサーバ装置２００から受信したステータスに上書きすることで、近景オブジェクトのステータスを訂正する（Ｓ１１４）。

以上説明したゲームシステム１によれば、ユーザの操作に基づいて、第１カテゴリに属するオブジェクトをレンダリングした第１コンテンツを生成する端末装置１００と、端末装置１００から受信した指示に基づいて、第２カテゴリに属するオブジェクトをレンダリングした第２コンテンツを生成し、生成した第２コンテンツを端末装置１００に送信するゲームサーバ装置２００とを備え、端末装置１００により、第１コンテンツと第２コンテンツとを合成し、合成したコンテンツ３００を表示することができる。このゲームシステム１によれば、コンテンツをレンダリングする処理負荷を分散することでユーザの操作からコンテンツのレンダリングが完了するまでの遅延期間を抑制することができる。

すなわち、ゲームシステム１によれば、第１カテゴリに属するオブジェクトを端末装置１００によりレンダリングすることで、第１カテゴリに属するオブジェクトをゲームサーバ装置２００によりレンダリングして表示するよりも、第１オブジェクトを提示するまでの遅延時間を短くすることができる。また、ゲームシステム１によれば、第２カテゴリに属するオブジェクトをゲームサーバ装置２００によりレンダリングすることで、第１および第２カテゴリに属するオブジェクトを端末装置１００によりレンダリングして表示するよりも、第１オブジェクトを提示するまでの遅延時間を短くすることができる。

このゲームシステム１は、第１カテゴリに属するオブジェクトを、近景に属するオブジェクトに決定し、第２カテゴリに属するオブジェクトを、遠景に属するオブジェクトに決定することにより、近景オブジェクトを端末装置１００によりレンダリングすることができる。これにより、ゲームシステム１によれば、近景オブジェクトをゲームサーバ装置２００によりレンダリングして表示するよりも、近景オブジェクトを提示するまでの遅延時間を短くすることができる。ゲームシステム１は、例えば、近景オブジェクトをユーザの操作により移動するキャラクタに決定されている場合において、ユーザの操作を受け付けたことに応じて即時にキャラクタを移動させることができる。

このゲームシステム１は、第１カテゴリに属するオブジェクトを短周期でレンダリングされるオブジェクトに決定し、第２カテゴリに属するオブジェクトを長周期でレンダリングされるオブジェクトに決定することにより、短周期でレンダリングされるオブジェクトを端末装置１００によりレンダリングすることができる。これにより、ゲームシステム１によれば、短周期でレンダリングされるオブジェクトをゲームサーバ装置２００によりレンダリングして表示するよりも、短周期でレンダリングされるオブジェクトを提示するまで遅延時間を短くすることができる。ゲームシステム１は、例えば、短周期でレンダリングされるオブジェクトとしてユーザの操作により移動するキャラクタが設定されている場合において、ユーザの操作を受け付けたことに応じて即時にキャラクタを移動させることができる。

このゲームシステム１は、第１カテゴリに属するオブジェクトを、指示に対してステータスが変化するオブジェクトに決定し、第２カテゴリに属するオブジェクトを指示に対してステータスが変化しないオブジェクトに決定することにより、指示に対してステータスが変化するオブジェクトを端末装置１００によりレンダリングすることができる。これにより、ゲームシステム１によれば、指示に対してステータスが変化するオブジェクトをゲームサーバ装置２００によりレンダリングして表示するよりも、指示に対してステータスが変化するオブジェクトを提示するまでの遅延時間を短くすることができる。

このゲームシステム１によれば、端末装置１００により生成した奥行き情報および透明度情報とゲームサーバ装置２００により生成した奥行き情報および透明度情報とを用いて、第１コンテンツと第２コンテンツとを合成するので、第１コンテンツと第２コンテンツとの間で奥行きおよび透明度の整合性を適切に調整することができる。

さらに、ゲームシステム１によれば、ユーザの操作に基づく指示に加えて、指示に基づいて演算された第１カテゴリに属するオブジェクトの第１ステータスを端末装置１００からゲームサーバ装置２００に送信し、ゲームサーバ装置２００は、端末装置１００から受信した指示に基づいて第１カテゴリに属するオブジェクトの第２ステータスを演算し、演算した第２ステータスを端末装置１００に送信し、端末装置１００は、ゲームサーバ装置２００により演算した第２ステータスと第１ステータスとが異なる場合に、第２ステータスに基づいて第１画像データを変更する。これにより、ゲームシステム１によれば、端末装置１００により近景オブジェクトのステータスを演算して近景オブジェクトをレンダリングしても、他の近景オブジェクトの影響などによりレンダリングした近景オブジェクトのステータスを修正して再度近景オブジェクトをレンダリングすることができる。この結果、ゲームシステム１によれば、近景オブジェクトをレンダリングすることの遅延時間を抑制しつつ、近景オブジェクトのステータスを修正してレンダリングをすることができる。

なお、上述したゲームシステム１は、コンテンツとして画像をレンダリングするものとしたが、これに限定されず、音声をレンダリングするものであってもよい。

＜ハードウェア構成＞
図７は、端末装置１００、およびゲームサーバ装置２００のハードウェア構成の一例を示す図である。本図は、端末装置１００がパーソナルコンピュータなどである例を示している。端末装置１００は、例えば、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、フラッシュメモリなどの二次記憶装置１０４、操作および表示などのためのインターフェース１０５、および無線通信モジュール１０６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。

ゲームサーバ装置２００は、例えば、ＮＩＣ２０１、ＣＰＵ２０２、ＲＡＭ２０３、ＲＯＭ２０４、フラッシュメモリやＨＤＤなどの二次記憶装置２０５、およびドライブ装置２０６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置２０６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置２０５、またはドライブ装置２０６に装着された可搬型記憶媒体に記憶されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ２０３に展開され、ＣＰＵ２０２によって実行されることで、ゲームサーバ装置２００の機能部が実現される。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…ゲームシステム、１００…端末装置、１００ａ…ゲームプログラム、１００ｂ…端末側記憶部、１１０…端末側通信部、１２０…表示デバイス、１３０…表示制御部、１４０…操作受付部、１５０…端末側アクション処理部、２００…ゲームサーバ装置、２００ａ…ゲーム制御プログラム、２００ｂ…サーバ側記憶部、２１０…サーバ側通信部、２２０…ゲーム進行制御部、２３０…アクション処理部、２４０…レンダリング処理部、３１０…キャラクタオブジェクト、３２１〜３２４…背景オブジェクト、４００ａ…近景レンダリング画像、４００ｂ…近景奥行き情報、４００ｃ…近景透明度情報、４１０ａ…遠景レンダリング画像、４１０ｂ…遠景奥行き情報、４１０ｃ…遠景透明度情報、４２０…合成画像

Claims

ユーザの操作に基づく指示に基づいて、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算し、前記第１ステータスに基づいて前記第１オブジェクトをレンダリングした第１コンテンツを生成すると共に、前記指示をサーバ装置に送信する端末装置と、
前記端末装置から受信した前記指示に基づいて、前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツを生成し、生成した前記第２コンテンツを前記端末装置に送信するとともに、前記第１オブジェクトの位置および姿勢を含む第２ステータスを演算し、演算した前記第２ステータスを前記端末装置に送信する前記サーバ装置と、を備え、
前記端末装置は、前記第１コンテンツと前記第２コンテンツとを合成してコンテンツを生成するとともに、前記第１ステータスと前記第２ステータスとが相違する場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
仮想現実提供システム。
ユーザの操作に基づく指示に基づいて、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算し、前記第１ステータスに基づいて前記第１オブジェクトをレンダリングした第１コンテンツを生成すると共に、前記指示と前記第１ステータスとをサーバ装置に送信する端末装置と、
前記端末装置から受信した前記指示に基づいて、前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツを生成し、生成した前記第２コンテンツを前記端末装置に送信するとともに、前記第１オブジェクトの位置および姿勢を含む第２ステータスを演算し、前記第１ステータスと前記第２ステータスとが相違する場合、演算した前記第２ステータスを前記端末装置に送信する前記サーバ装置と、を備え、
前記端末装置は、前記第１コンテンツと前記第２コンテンツとを合成してコンテンツを生成するとともに、前記サーバ装置から前記第２ステータスを受信した場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
仮想現実提供システム。
前記サーバ装置は、
オブジェクト同士の衝突の有無に応じて、オブジェクトの位置および姿勢を演算するアクション処理を行い、前記アクション処理において前記第２ステータスを演算する、
請求項１または２に記載の仮想現実提供システム。
前記サーバ装置は、
複数の前記端末装置から受信した前記指示および前記第１ステータスに基づいて、複数の前記端末装置のそれぞれに対応する複数のオブジェクトの位置および姿勢を含む前記第２ステータスを演算し、複数の前記端末装置のそれぞれに対応する複数のオブジェクトが衝突する場合には衝突により変化する複数のオブジェクトの姿勢および位置を含む前記第２ステータスを演算する、
請求項１から３のうちいずれか一項に記載の仮想現実提供システム。
前記第１カテゴリに属するオブジェクトは、近景に属するオブジェクトを含み、
前記第２カテゴリに属するオブジェクトは、遠景に属するオブジェクトを含む、
請求項１から４のうちいずれか一項に記載の仮想現実提供システム。
前記第１カテゴリに属するオブジェクトは、前記複数のオブジェクトのうち短周期でレンダリングされるオブジェクトを含み、
前記第２カテゴリに属するオブジェクトは、前記複数のオブジェクトのうち長周期でレンダリングされるオブジェクトを含む、
請求項１から４のうちいずれか一項に記載の仮想現実提供システム。
前記第１カテゴリに属するオブジェクトは、前記複数のオブジェクトのうち前記指示に対してステータスが変化するオブジェクトを含み、
前記第２カテゴリに属するオブジェクトは、前記複数のオブジェクトのうち前記指示に対してステータスが変化しないオブジェクトを含む、
請求項１から４のうちいずれか一項に記載の仮想現実提供システム。
前記端末装置および前記サーバ装置のそれぞれは、予め設定されたルールに基づいて、レンダリングの対象となるオブジェクトを決定する、
請求項１から７のうちいずれか１項に記載の仮想現実提供システム。
前記端末装置は、
演算した前記第１ステータスに基づいて自身の記憶部に格納されている第１ステータス情報を更新し、
前記サーバ装置は、
前記端末装置から受信した前記第１ステータスと前記第２ステータスとが相違する場合、自身の記憶部に格納されている第２ステータス情報を更新するとともに、前記第２ステータスを前記端末装置に送信し、
前記端末装置は、
前記サーバ装置から受信した前記第２ステータスに基づいて前記第１ステータス情報を更新し、前記第１ステータス情報を参照して、予め設定されたルールに基づきレンダリングの対象となるオブジェクトを決定し、
前記サーバ装置は、
前記第２ステータス情報を参照して、予め設定されたルールに基づいてレンダリングの対象となるオブジェクトを決定する
請求項１から８のうちいずれか１項に記載の仮想現実提供システム。
前記第１コンテンツおよび前記第２コンテンツは、画像コンテンツであり、
前記端末装置は、前記第１コンテンツと他のコンテンツとの合成を補助するための第１合成用データを生成し、
前記サーバ装置は、前記第２コンテンツと前記第１コンテンツとの合成を補助するための第２合成用データを生成して、生成した前記第２合成用データを前記端末装置に送信し、
前記端末装置は、前記第１合成用データと前記第２合成用データとに基づいて前記第１コンテンツと前記第２コンテンツとを合成する、
請求項１から９のうちいずれか１項に記載の仮想現実提供システム。
前記第１合成用データは、前記第１コンテンツに含まれている画素ごとの所定の視点からの距離および透明度合いを表す情報であり、
前記第２合成用データは、前記第２コンテンツに含まれている画素ごとの前記所定の視点からの距離および透明度合いを表す情報である、
請求項１０に記載の仮想現実提供システム。
端末装置が、ユーザの操作に基づく指示を受け付け、
前記端末装置が、前記指示をサーバ装置に送信し、
前記端末装置が、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算し、前記第１ステータスに基づいて前記第１オブジェクトをレンダリングした第１コンテンツを生成すると共に、前記指示を前記サーバ装置に送信し、
前記サーバ装置が、前記端末装置から受信した前記指示に基づいて、前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツを生成し、生成した前記第２コンテンツを前記端末装置に送信し、
前記サーバ装置が、前記第１オブジェクトの位置および姿勢を含む第２ステータスを演算し、演算した前記第２ステータスを前記端末装置に送信し、
前記端末装置が、前記第１コンテンツと前記第２コンテンツとを合成してコンテンツを生成し、
前記端末装置が、前記第１ステータスと前記第２ステータスとが相違する場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
仮想現実提供方法。
ユーザの操作に基づく指示を受け付ける受付部と、
前記受付部により受け付けられた前記指示に基づいて、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算する演算部と、
前記演算部により演算された前記第１ステータスに基づいて、前記第１オブジェクトをレンダリングした第１コンテンツを生成する生成部と、
前記指示に基づいて前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツ、および、前記第１オブジェクトの位置および姿勢を含む第２ステータスをサーバ装置から受信する受信部と、
前記生成部により生成した前記第１コンテンツと、前記受信部により受信した前記第２コンテンツとを合成してコンテンツを生成する合成部と、を備え、
前記生成部は、前記第１ステータスと前記第２ステータスとが相違する場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
を備える、仮想現実提供装置。
コンピュータに、
ユーザの操作に基づく指示を受け付けさせ、
受け付けられた前記指示に基づいて、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算させ、
前記第１ステータスに基づいて前記第１オブジェクトをレンダリングした第１コンテンツを生成させ、
前記指示に基づいて前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツをサーバ装置から受信させ、
前記第１オブジェクトの位置および姿勢を含む第２ステータスを前記サーバ装置から受信させ、
生成した前記第１コンテンツと、受信した前記第２コンテンツとを合成してコンテンツを生成させ、
前記第１ステータスと前記第２ステータスとが相違する場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
プログラム。
端末装置が、ユーザの操作に基づく指示を受け付け、
前記端末装置が、前記指示をサーバ装置に送信し、
前記端末装置が、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算し、前記第１ステータスに基づいて前記第１オブジェクトをレンダリングした第１コンテンツを生成すると共に、前記指示と前記第１ステータスとを前記サーバ装置に送信し、
前記サーバ装置が、前記端末装置から受信した前記指示に基づいて、前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツを生成し、生成した前記第２コンテンツを前記端末装置に送信し、
前記サーバ装置が、前記第１オブジェクトの位置および姿勢を含む第２ステータスを演算し、前記第１ステータスと前記第２ステータスとが相違する場合に前記第２ステータスを前記端末装置に送信し、
前記端末装置が、前記第１コンテンツと前記第２コンテンツとを合成してコンテンツを生成し、
前記端末装置が、前記サーバ装置から前記第２ステータスを受信した場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
仮想現実提供方法。
ユーザの操作に基づく指示を受け付ける受付部と、
前記受付部により受け付けられた前記指示に基づいて、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算する演算部と、
前記演算部により演算された前記第１ステータスに基づいて、前記第１オブジェクトをレンダリングした第１コンテンツを生成する生成部と、
前記指示に基づいて前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツをサーバ装置から受信するとともに、前記第１カテゴリに属するオブジェクトの位置および姿勢を含む第２ステータスを前記第１ステータスと前記第２ステータスとが相違する場合に前記サーバ装置から受信する受信部と、
前記生成部により生成した前記第１コンテンツと、前記受信部により受信した前記第２コンテンツとを合成してコンテンツを生成する合成部と、を備え、
前記生成部は、前記サーバ装置から前記第２ステータスを受信した場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
を備える、仮想現実提供装置。
コンピュータに、
ユーザの操作に基づく指示を受け付けさせ、
受け付けられた前記指示に基づいて、複数のオブジェクトのうち第１カテゴリに属する第１オブジェクトの位置および姿勢を含む第１ステータスを演算させ、
前記第１ステータスに基づいて前記第１オブジェクトをレンダリングした第１コンテンツを生成させ、
前記指示に基づいて前記複数のオブジェクトのうち第２カテゴリに属する第２オブジェクトをレンダリングした第２コンテンツをサーバ装置から受信させ、
前記第１オブジェクトの位置および姿勢を含む第２ステータスを前記第１ステータスと前記第２ステータスとが相違する場合に前記サーバ装置から受信させ、
生成した前記第１コンテンツと、受信した前記第２コンテンツとを合成してコンテンツを生成させ、
前記サーバ装置から前記第２ステータスを受信した場合、前記第１ステータスに代えて、前記第２ステータスに基づいて前記第１オブジェクトをレンダリングした前記第１コンテンツを生成する、
プログラム。