JP7658366B2 - サーバ装置、端末装置、情報処理システム及び情報処理方法 - Google Patents

サーバ装置、端末装置、情報処理システム及び情報処理方法 Download PDF

Info

Publication number
JP7658366B2
JP7658366B2 JP2022517647A JP2022517647A JP7658366B2 JP 7658366 B2 JP7658366 B2 JP 7658366B2 JP 2022517647 A JP2022517647 A JP 2022517647A JP 2022517647 A JP2022517647 A JP 2022517647A JP 7658366 B2 JP7658366 B2 JP 7658366B2
Authority
JP
Japan
Prior art keywords
terminal device
image
virtual object
common
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517647A
Other languages
English (en)
Other versions
JPWO2021220866A1 (ja
Inventor
正行 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021220866A1 publication Critical patent/JPWO2021220866A1/ja
Application granted granted Critical
Publication of JP7658366B2 publication Critical patent/JP7658366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

本技術は、クラウドレンダリングを行うサーバ装置等の技術に関する。
近年においては、クラウドゲーミングと呼ばれるサービスが広く知られるようになってきている。このクラウドゲーミングでは、クラウド上のサーバ装置がゲームの進行に必要な動画を生成して各端末装置に送信する。従って、スマートフォン等の比較的に処理能力が低い端末装置においても複雑でリアルなゲーム体験をユーザに提供することができる。
クラウドゲーミングの場合、サーバ装置は、各端末装置に対してそれぞれ個別の動画を生成する必要があるのでサーバ装置における処理負荷が大きくなってしまうといった問題がある。
下記特許文献1には、クラウドゲーミングにおいて、動画ではなく、テキスト形式の描画コマンドを端末装置毎に生成して各端末装置に送信することで、サーバ装置の処理負荷を低減するといった技術が開示されている。
特開2015-89507号公報
特許文献1に記載の技術では、サーバ装置の処理負荷はあまり低減されておらず、不十分である。
以上のような事情に鑑み、本技術の目的は、クラウドレンダリングにおけるサーバ装置の処理負荷を低減可能な技術を提供することにある。
本技術に係るサーバ装置は、制御部を具備する。制御部は、AR(Augmented Reality)表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信する。
このサーバ装置では、所定の領域毎(グループ毎)にAR画像を生成すればよいので、クラウドレンダリングにおけるサーバ装置の処理負荷を適切に低減することができる。
本技術に係る端末装置は、制御部を具備する。制御部は、AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信するサーバ装置から、前記共通のAR画像を受信し、前記共通のAR画像に基づいてAR表示を実行する。
本技術に係る情報処理システムは、サーバ装置と端末装置とを具備する。
サーバ装置は、AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信する。
端末装置は、前記共通のAR画像を受信し、前記共通のAR画像に基づいてAR表示を実行する。
本技術に係る情報処理方法は、AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信する。
本技術の第1実施形態に係る情報処理システムを示す図である サーバ装置の内部構成を示すブロック図である。 端末装置の内部構成を示すブロック図である。 サーバ装置の処理を示すフローチャートである。 端末装置の処理を示すフローチャートである。 端末装置の処理を示すフローチャートである。 グローバル座標系においてポイントが設定されたときの様子を示す図である。 共通のAR画像の一例を示す図である。 飛翔オブジェクトを説明するための図である。 情報送信側の端末装置の処理を示すフローチャートである。 情報受信側の端末装置の処理を示すフローチャートである。 情報受信側の端末装置において、飛翔オブジェクトがどのように見えるかを示す図である。 ポイントの北西に位置する第1のユーザ及び第1の端末装置において、敵の仮想オブジェクトが遮蔽オブジェクトによりどのように遮蔽されるかを示す図である。 ポイントの東に位置する第2のユーザ及び第2の端末装置において、敵の仮想オブジェクトが遮蔽オブジェクトによりどのように遮蔽されるかを示す図である。 敵の仮想オブジェクトのRGB情報、敵の仮想オブジェクトのデプス情報及び遮蔽オブジェクトのデプス情報を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
≪第1実施形態≫
<情報処理システム100の概要>
図1は、本技術の第1実施形態に係る情報処理システム100を示す図である。図1に示すように、情報処理システム100は、サーバ装置10と、複数の端末装置20と、遮蔽オブジェクトデータベース30とを含む。
本技術の第1実施形態に係る情報処理システム100は、マルチプレイARゲーム(AR:Augmented Reality)に係るクラウドゲーミングサービスに用いられるシステムとされている。本実施形態では、ユーザは、端末装置20を装着又は携帯しつつ、実空間上で移動することでマルチプレイARゲームを楽しむことができる。
また、本実施形態では、クラウド上のサーバ装置10が、AR画像を生成して(クラウドレンダリング)各端末装置20に対してそれぞれ送信し、各端末装置20は、それぞれサーバ装置10から受信したAR画像をAR表示する。このため、本実施形態では、端末装置20の処理能力では実現できないような高画質のAR画像(例えば、3次元CG画像(CG:Computer Graphics))を、各端末装置20においてAR表示することができる。
一方、サーバ装置10が各端末装置20のためにそれぞれ個別にAR画像を生成すると、ゲームに参加する端末装置20の数(ユーザの数)に比例して、サーバ装置10の処理負荷が増大してしまう。このため、本実施形態では、サーバ装置10は、各端末装置20のそれぞれの位置情報に基づいて実空間における所定の領域内に存在する端末装置20をグループ化し、グループに含まれる端末装置20に対して共通のAR画像を生成して送信するといった処理を実行する。
遮蔽オブジェクトデータベース30には、実空間における遮蔽オブジェクト6の位置情報及び形状情報がデータベース化して記憶されている。遮蔽オブジェクト6は、例えば、実空間における建物、壁等である。遮蔽オブジェクト6の位置情報及び形状情報がどのように用いられるかについては、図13~図15等を参照して後に詳述する。
<情報処理システム100の各部の構成>
[サーバ装置10]
図2は、サーバ装置10の内部構成を示すブロック図である。図2に示すように、サーバ装置10は、制御部11、記憶部12及び通信部13を含む。
制御部11は、記憶部12に記憶された各種のプログラムに基づき種々の演算を実行し、サーバ装置10の各部を統括的に制御する。なお、サーバ装置10の制御部11の処理については、動作説明の欄において後に詳述する。
制御部11は、ハードウェア、又は、ハードウェア及びソフトウェアの組合せにより実現される。ハードウェアは、制御部11の一部又は全部として構成され、このハードウェアとしては、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、あるいは、これらのうち2以上の組合せなどが挙げられる。これについては、端末装置20における制御部11においても同様である。
記憶部12は、制御部11の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部11の作業領域として用いられる揮発性のメモリとを含む。なお、上記各種のプログラムは、光ディスク、半導体メモリなどの可搬性の記録媒体から読み取られてもよいし、ネットワーク上の他のサーバ装置からダウンロードされてもよい。
通信部13は、ネットワークを介して各端末装置20との間で通信可能に構成されている。
[端末装置20]
端末装置20は、例えば、ユーザの身体に装着可能なウェアラブルデバイスであってもよいし、ユーザが携帯可能なモバイルデバイスであってもよい。
ウェアラブルデバイスとしては、例えば、頭部装着型(HMD:head Mounted Display)、リストバンド型、腕時計型、指輪型、ペンダント型等のウェアラブルデバイスが挙げられる。モバイルデバイスとしては、例えば、携帯電話機(スマートフォンを含む)、タブレットPC(Personal Computer)、携帯ゲーム機、携帯音楽プレイヤー等が挙げられる。
典型的には、端末装置20は、(1)AR表示可能であること、(2)実空間における自己位置及び姿勢を推定可能であること、(3)サーバ装置10と通信可能であること、(4)ユーザの移動に伴って移動可能であることの4つの条件を満たすことができる装置であればどのような装置であっても構わない。
図3は、端末装置20の内部構成を示すブロック図である。図3に示すように、端末装置20は、制御部21、記憶部22、表示部23、撮像部24、慣性センサ25、GPS(Global Positioning System)26、操作部27、及び通信部28を含む。
制御部21は、記憶部22に記憶された各種のプログラムに基づき種々の演算を実行し、端末装置20の各部を統括的に制御する。なお、端末装置20の制御部21の処理については、動作説明の欄において後に詳述する。
記憶部22は、制御部21の処理に必要な各種のプログラムや、各種のデータが記憶される不揮発性のメモリと、制御部21の作業領域として用いられる揮発性のメモリとを含む。なお、上記各種のプログラムは、光ディスク、半導体メモリなどの可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。
表示部23は、制御部21の制御に応じて、仮想オブジェクトのAR表示を行う。表示部23は、シースルータイプの表示部であってもよいし、ビデオシースルータイプの表示部であってもよい。シースルータイプの表示部の場合(例えば、HMD)、ユーザの視線の先に位置する透明の表示部上に仮想オブジェクトがAR表示される。ビデオシースルータイプの表示部の場合、撮像部24により現在撮像されている画像に対して仮想オブジェクトが重畳された画像が表示部23に表示されることでAR表示が行われる。
撮像部24は、例えば、カメラであり、CCD(Charge Coupled Device)センサ、CMOS(Complemented Metal Oxide Semiconductor)センサ等の撮像素子と、結像レンズ等の光学系とを含む。撮像部24は、端末装置20の周囲の実空間における画像情報を取得し、得られた画像情報を制御部21へと出力する。
慣性センサ25は、3軸方向の加速度を検出する加速度センサと、3軸回りの角速度を検出する角速度センサとを含む。慣性センサ25は、検出により得られた3軸方向の加速度、3軸回りの角速度を慣性情報として、制御部21に出力する。
本実施形態では、慣性センサ25の検出軸が3軸とされているが、この検出軸は、1軸、あるいは、2軸であってもよい。また、本実施形態では、慣性センサ25として、2種類のセンサが用いられているが、慣性センサ25として1種類、あるいは、3種類以上のセンサが用いられてもよい。なお、慣性センサ25の他の例としては、速度センサ、角度センサ等が挙げられる。
GPS26は、GPS衛星からの信号を受信することで、グローバル座標系において自己位置を推定する。
操作部27は、例えば、押圧式、近接式等の各種のタイプの操作部であり、ユーザによる操作を検出して制御部21へと出力する。操作部27は、ユーザによるゲームのコマンド操作を検出可能なゲームコントローラとしての機能を含む。なお、ゲームコントローラ(操作部27)は、端末装置20自体に設けられていてもよいし、端末装置20とは別体で設けられていてもよい。
通信部28は、ネットワーク上のサーバ装置10との間で通信可能に構成されている。
<動作説明>
次に、情報処理システム100の処理について説明する。図4は、サーバ装置10の処理を示すフローチャートである。図5及び図6は、端末装置20の処理を示すフローチャートである。
[端末装置20の自己位置推定処理]
まず、図5を参照して、端末装置20の自己位置推定処理について説明する。各端末装置20の制御部21は、自己位置及び姿勢を推定し(ステップ201)、推定された自己位置情報をサーバ装置10へと出力する(ステップ202)といった処理を所定の周期で繰り返し実行する。
ステップ201において、端末装置20の制御部21は、撮像部24によって得られた画像情報、慣性センサ25から得られた慣性情報、GPS26によって得られたGPS情報等に基づいて、自己位置及び姿勢の推定(以下、単に自己位置推定)を実行する。
自己位置推定においては、例えば、撮像部24により取得された画像情報から抽出された特徴点群と、マップ情報に含まれる特徴点群とが比較されて、端末装置20の自己位置推定が実行される。
自己位置推定に用いられるマップ情報は、事前に作成される方法と、事前に作成せずに自己位置推定と同時に作成する方法とが存在するが、どちらの方法が用いられてもよい。なお、マップ情報を自己位置推定と同時に作成する方法は、一般的にSLAM(Simultaneous Localization and Mapping)と呼ばれる。
自己位置推定は、リローカライゼイション及びモーショントラッキングを含む。リローカライゼイションは、画像情報の特徴点群及びマップ情報の特徴点群に基づいて、グローバル座標系において自己位置推定を行う技術である。
このリローカライゼイションは、端末装置20に電源が投入された直後や、モーショントラッキングに基づく自己位置推定が失敗したとき等に実行される。また、画像情報からの特徴点群と、マップ情報に含まれる特徴点群とを比較する処理が常時実行され、これらの特徴点群のマッチングが成功したときにリローカライゼイションが実行されてもよい。
モーショントラッキングは、画像情報(又は慣性情報)に基づき、微小時間毎に、自己位置及び姿勢の変化量(動き)を算出し、この変化量を順次加算することで、グローバル座標系において現在の自己位置推定を実行する技術である。
モーショントラッキングでは、まず、撮像部24によって取得された画像情報が画像処理されて画像情報から特徴点群が抽出される。そして、前回における画像情報の特徴点群と、今回における画像情報の特徴点群との比較により、前回の自己位置及び姿勢と今回の自己位置及び姿勢の変化量が算出される。この変化量が前回における自己位置及び姿勢に加算されることで、グローバル座標系において現在における自己位置推定が実行される。
ここでの説明では、モーショントラッキングについて撮像部24からの画像情報が用いられる場合について説明したが、画像情報の代わりに、慣性センサ25からの慣性情報が用いられてもよい。あるいは、画像情報及び慣性情報の両方が用いられてもよい。
また、自己位置推定においては、GPS26によって得られたGPS情報が用いられてもよい。
なお、現在において自己位置推定技術として各種の方法が提案されているが、典型的には、端末装置20は、どのような方法により自己位置推定処理を実行してもよい。
[サーバ装置10の処理]
次に、図4を参照して、サーバ装置10の制御部11の処理について説明する。サーバ装置10の制御部11は、まず、ゲーム製作者による入力に応じて、グローバル座標系においてポイント1を設定する(ステップ101)。図7は、グローバル座標系においてポイント1が設定されたときの様子を示す図である。
図7に示すように、本実施形態では、ゲーム製作者により、ゲームの内容に応じて、グローバル座標系において任意の位置に任意の数のポイント1が設定される。ポイント1は、端末装置20のグループ化が行われる所定の領域2の中心となるポイントである。なお、以降の説明では、ポイント1を含む所定の領域であって、端末装置20のグループ化が行われる領域を便宜的にグループ化領域2と呼ぶ。
図7に示す例では、ポイント1及びグループ化領域2の数が4つである場合の一例が示されている。一方、ポイント1及びグループ化領域2の数については、1以上であればよく、この数については特に限定されない。
また、図7に示す例では、グループ化領域2の形状が円形である場合の一例が示されているが、グループ化領域2の形状については、楕円形、多角形(三角形、四角形等)、星形等であってもよく、この形状については特に限定されない。なお、本実施形態では、ポイント1から所定の距離(第1の距離)xの範囲内の領域がグループ化領域2とされている。
また、本実施形態において、グループ化領域2は、プレイエリアに対応しており、このプレイエリアに端末装置20(ユーザ)が存在するときに、端末装置20によりゲームが実行可能となる。なお、プレイエリアは、グループ化領域2と完全に一致している必要はなく、例えば、プレイエリアは、グループ化領域2よりも広くあるいは狭く設定されていてもよい。
サーバ装置10の制御部11は、グローバル座標系においてポイント1及びグループ化領域2を設定すると、次に、各端末装置20から自己位置情報をそれぞれ受信する(ステップ102)。次に、サーバ装置10は、グループ化領域2内に位置する端末装置20をグループ化する(ステップ103)。
例えば、図7に示す例では、左上のグループ化領域2内に4体の端末装置20が存在しているので、この4体の端末装置20が同一グループとしてグループ化される。右上、左下、右下の各グループ化領域2についても同様にしてグループ化が実行される。
なお、どのグループ化領域2にも属さない端末装置20については、グループ化は行われず、また、サーバ装置10からAR画像も送信されない。
サーバ装置10の制御部11は、グループ化領域2毎(ポイント1毎)に端末装置20をグループ化すると、次に、同一のグループに含まれる各端末装置20についてそれぞれ共通のAR画像を生成して各端末装置20に対して送信する(ステップ104)。以後、サーバ装置10の制御部11は、ステップ102~ステップ104の処理を繰り返して実行する。
このように、本実施形態では、サーバ装置10が端末装置20毎にそれぞれ個別にAR画像を生成する必要はなく、グループ化領域2毎にAR画像を生成すればよいことになる。従って、クラウドレンダリングにおけるサーバ装置10の処理負荷を適切に低減することができる。
図8は、共通のAR画像の一例を示す図である。図8に示すように、本実施形態では、共通のAR画像は、敵の仮想オブジェクト5を含む360度のAR画像とされている。また、共通のAR画像における描画領域は、内周がポイント1から距離(第2の距離)rに設定されており、外周がポイント1から距離(第3の距離)Rに設定されている。つまり、共通のAR画像は、ポイント1から距離(第2の距離)r以上距離R(第3の距離)以下が描画領域されており、この領域内に仮想オブジェクトが配置される。
本実施形態では、共通のAR画像は、360度画像とされているが、共通のAR画像は、典型的には、端末装置20による表示部23の表示角よりも広角に設定されていればよい(例えば、270°、180°等)。
また、内周における距離rは、典型的には、グループ化のための距離x以上(r≧x)とされる。このため、本実施形態では、グループ化領域2(プレイエリア)よりも外側の位置に敵の仮想オブジェクト5の描画領域が設定される。
図8に示す例では、敵の仮想オブジェクト5の一例として、鳥系のモンスターの仮想オブジェクトが北西(左上)に配置され、魔法使い系のモンスターの仮想オブジェクトが東(右)に配置され、ドラゴン系のモンスターの仮想オブジェクトが南西(左下)に配置されたときの様子が示されている。
ここで、同一のグループに属する各端末装置20において共通のAR画像が用いられたときに、各端末装置20においてユーザによりどのように敵の仮想オブジェクト5が見えるかについて説明する。図8に示す例では、3体の端末装置20(3人のユーザ)が同一グループに属しているが、実空間における位置はそれぞれ異なっている。
一方、3体の端末装置20において用いられるAR画像は、共通のAR画像である。従って、それぞれの端末装置20が実空間において同じ方向を向いている場合、各ユーザは、AR空間において、自己に対して同じ方向及び同じ距離の位置に、敵の仮想オブジェクト5が同じ向きを向いているように見える。換言すると、各ユーザは実空間において異なる位置に存在するにも拘わらず、全てのユーザは、AR空間においてあたかもポイント1の位置から敵の仮想オブジェクト5を見ているように見える。
一例を挙げて具体的に説明する。仮に、図8において、全ての端末装置20が北側(上)を向いているとする。全てのユーザは、ユーザ(端末装置20)の位置に拘わらず、ポイント1の位置から敵の仮想オブジェクト5を見ているように仮想オブジェクトが見え、かつ、今、鳥系のモンスターの仮想オブジェクトはAR画像において北西(左上)に配置されている。従って、この場合、全てのユーザは、ユーザ(端末装置20)の位置に拘わらず、他のユーザと同じように左斜め前方の方向に、他のユーザと同じ距離の位置に、敵の仮想オブジェクト5が同じ向きを向いているように見えることになる。
ここで、敵の仮想オブジェクト5は、第1の仮想オブジェクトの一例である。本実施形態において、第1の仮想オブジェクトは、共通のAR画像に含まれる仮想オブジェクトであり、各端末装置20からの相対的なAR表示位置が各端末装置20の位置毎に同じとなる仮想オブジェクトである。なお、第1の仮想オブジェクトは、この条件を満たす仮想オブジェクトであれば、敵の仮想オブジェクト5に限られず、どのようなオブジェクトであっても構わない。
[端末装置20の処理]
次に、端末装置20の処理について説明する。図6を参照して、端末装置20の制御部21は、まず、サーバ装置10から自己に対してグループで共通のAR画像が送信され、そのAR画像が受信されたかどうかを判定する(ステップ301)。なお、上述のように、グループ化領域2内に位置する端末装置20に対しては、サーバ装置10から共通のAR画像が送信される(ステップ104参照)。
自己に対するAR画像が受信された場合(ステップ301のYES)、端末装置20の制御部21は、現在において自己が敵の仮想オブジェクト5との戦闘中であるかどうかを判定する(ステップ302)。
AR画像が受信されたにも拘らず、自己が戦闘中ではない場合(ステップ302のNO)、つまり、グループ化領域2外に位置していた端末装置20がグループ化領域2内に入った場合、端末装置20の制御部21は、敵との戦闘を開始する(ステップ303)。戦闘を開始したとき、端末装置20の制御部21は、敵との戦闘が開始されたことを音声や画像などによりユーザに通知してもよい。
戦闘を開始すると、端末装置20の制御部21は、ステップ304へ進む。また、ステップ302において、現在において既に戦闘中である場合、端末装置20の制御部21は、ステップ303をとばして、次のステップ304へ進む。
ステップ304では、端末装置20の制御部21は、現在の自己姿勢及び表示部23の表示画角に基づいて、360°のAR画像から表示領域を設定する。次に、端末装置20の制御部21は、表示領域に対応するAR画像(敵の仮想オブジェクト5)をAR表示する(ステップ305)。
なお、このとき、上述のように、同一グループに属する各ユーザは実空間において異なる位置に存在するにも拘わらず、全てのユーザがあたかもポイント1の位置から敵の仮想オブジェクト5を見ているように見える。
ステップ301において、自己に対する共通のAR画像が受信されなかった場合(ステップ301のNO)、端末装置20の制御部21は、現在において自己が敵との戦闘中であるかどうかを判定する(ステップ306)。
自己に対するAR画像が受信されず、かつ、現在において敵との戦闘中ではない場合(ステップ306のNO)、つまり、端末装置20がグループ化領域2外に位置し続けている場合、端末装置20の制御部21は、ステップ301へ戻る。
一方、自己に対するAR画像が受信されなかったにも拘わらず、現在において敵との戦闘中である場合(ステップ306のYES)、つまり、グループ化領域2内の端末装置20がグループ化領域2外に出た場合、端末装置20の制御部21は、ステップ307へ進む。
ステップ307では、端末装置20の制御部21は、最後に共通のAR画像が受信されてから所定時間(数秒程度)が経過したかどうかを判定する(ステップ307)。所定時間が経過ししていない場合(ステップ307のNO)、端末装置20の制御部21は、ステップ301へ戻る。
一方、所定時間が経過した場合(ステップ307のYES)、端末装置20の制御部21は、敵との戦闘を終了して(ステップ308)、ステップ301へ戻る。戦闘が終了されるとき、端末装置20の制御部21は、敵との戦闘が終了されたことを音声や画像などによりユーザに通知してもよい。
<飛翔オブジェクト>
次に、飛翔オブジェクト(第2の仮想オブジェクト)について説明する。図9は、飛翔オブジェクトを説明するための図である。
飛翔オブジェクトとは、ユーザがコマンドにより敵を攻撃するときにAR表示される仮想オブジェクトであり、例えば、ユーザ(端末装置20)から敵の仮想オブジェクト5に向けて移動する魔法、銃弾、矢などの仮想オブジェクトである。
ここで、図9の説明において、ポイント1の北西(左上)に位置するユーザ及び端末装置20を便宜的に第1のユーザ、第1の端末装置20aと呼び、ポイント1の東(右)に位置するユーザ及び端末装置20を便宜的に第2のユーザ、第2の端末装置20bと呼ぶ。また、仮に、飛翔オブジェクトが共通のAR画像としての仮想オブジェクトである場合を想定する。
まず、第1のユーザが第1の端末装置20aによりコマンドを入力して、例えば、敵の仮想オブジェクト5に対して魔法攻撃等を行ったとする。この場合、第1のユーザ及び第1の端末装置20aは、ポイント1には位置していないが、第1のユーザはポイント1の位置から敵の仮想オブジェクト5を見たように敵の仮想オブジェクト5が見える。そして、この場合、第1のユーザにおいては、魔法攻撃などによる飛翔オブジェクトが自己の位置(つまり、ポイント1)から敵の仮想オブジェクト5に向けて飛んでいくように飛翔オブジェクトをAR表示させることが自然である。
第2のユーザ及び第2の端末装置20bも、ポイント1には位置していないが、第2のユーザはポイント1の位置から敵の仮想オブジェクト5を見たように敵の仮想オブジェクト5が見える。一方、第2のユーザは、第1のユーザが魔法攻撃等を行ったときに、魔法攻撃等は行っていない。しかしながら、飛翔オブジェクトが共通のAR画像による仮想オブジェクトである場合、第2のユーザにおいても、魔法攻撃などによる飛翔オブジェクトが自己の位置から敵の仮想オブジェクト5に向けて飛んでいくように飛翔オブジェクトがAR表示される。
つまり、飛翔オブジェクトが共通のAR画像による仮想オブジェクトである場合、第2のユーザにおいて不自然な見え方となってしまう場合がある。このような問題は、シングルプレイARゲームにおいては、問題とはならないかもしれないが、マルチプレイARゲームである場合には問題となる。従って、本実施形態では、飛翔オブジェクトについては、各端末装置20により個別にAR画像が生成され、サーバ装置10で生成された共通のAR画像に重畳される。
ここで、飛翔オブジェクトは、第2の仮想オブジェクトの一例である。第2の仮想オブジェクトは、各端末装置20からの相対的なAR表示位置が各端末装置20の位置毎に異なる仮想オブジェクトである。第2の仮想オブジェクトは、この条件を満たせば、飛翔オブジェクトに限られずどのような仮想オブジェクトであっても構わない。
例えば、第2の仮想オブジェクトは、ユーザの傍にAR表示される仲間のキャラクタの仮想オブジェクトであってもよい。例えば、図9において第1のユーザの傍で右側に位置する仲間の仮想オブジェクトが存在する場合を想定する。この場合、第1のユーザから見れば右側に位置する仲間のモンスターは、第2のユーザから見れば左側に位置すべきであり、第2のユーザから見て右側に位置するのは不自然である。従って、このような仲間の仮想オブジェクトについても、各端末装置20により個別にAR画像が生成され、サーバ装置10で生成された共通のAR画像に重畳されてもよい。
[端末装置20の処理:情報送信側]
次に、情報送信側の端末装置20の処理について説明する。図10は、情報送信側の端末装置20の処理を示すフローチャートである。
まず、端末装置20の制御部21は、敵の仮想オブジェクト5との間で戦闘中か(グループ化領域2内に位置しているか)どうかを判定する(ステップ401)(ステップ303、ステップ308参照)。戦闘中でない場合には(ステップ401のNO)、端末装置20の制御部21は、再びステップ401へ戻る。
一方、戦闘中である場合(ステップ401のYES)、端末装置20の制御部21は、飛翔攻撃コマンドが操作部27を介してユーザから入力されたかどうかを判定する(ステップ402)。飛翔攻撃コマンドが入力されていない場合(ステップ402のNO)、端末装置20の制御部21は、ステップ401へ戻る。
一方、飛翔攻撃コマンドが入力された場合(ステップ402のYES)、端末装置20の制御部21は、次のステップ403へ進む。ステップ403では、端末装置20の制御部21は、飛翔オブジェクトの関連情報をサーバ装置10に送信し、サーバ装置10により飛翔オブジェクトの関連情報及び自己の位置情報を同一グループに属する他の端末装置20に送信させる。
飛翔オブジェクトの関連情報は、飛翔オブジェクトの識別情報(例えば、魔法、銃弾、及び弓矢のうちいずれであるかを識別する情報)、飛翔オブジェクトの飛翔方向の情報、飛翔オブジェクトの飛翔速度の情報を含む。
サーバ装置10により飛翔オブジェクトの関連情報及び自己の位置情報を同一グループに属する他の端末装置20に送信させた後、端末装置20の制御部21は、次のステップ404へ進む。ステップ404では、端末装置20の制御部21は、サーバ装置10から送信された共通のAR画像に飛翔オブジェクトを重畳して、自己の位置(つまり、ポイント1)から飛翔オブジェクトが飛翔方向の向きに、飛翔速度に応じた速度で飛んでいくようにAR表示を行う。飛翔オブジェクトの種類については、飛翔攻撃コマンドの種類に応じて決定される。
その後、端末装置20の制御部21は、ステップ401へ戻る。なお、飛翔攻撃コマンドが実行された端末装置20においては、飛翔オブジェクトは、図9のように、自己の位置(つまり、ポイント1から)から飛翔方向に飛んでいくように見えることになる。
[端末装置20の処理:情報受信側]
次に、情報受信側の端末装置20の処理について説明する。図11は、情報受信側の端末装置20の処理を示すフローチャートである。図12は、情報受信側の端末装置20において、飛翔オブジェクトがどのように見えるかを示す図である。
まず、端末装置20の制御部21は、敵の仮想オブジェクト5との間で戦闘中か(グループ化領域2内に位置しているか)どうかを判定する(ステップ501)(ステップ303、ステップ308参照)。戦闘中でない場合には(ステップ501のNO)、端末装置20の制御部21は、再びステップ501へ戻る。
一方、戦闘中である場合(ステップ501のYES)、端末装置20の制御部21は、次のステップ502へ進む。ステップ502では、端末装置20の制御部21は、サーバ装置10から飛翔オブジェクトの関連情報及び他の端末装置20(飛翔攻撃コマンドを実行した端末装置20)の位置情報が受信されたかどうかを判定する。
これらの情報がサーバ装置10から受信されなかった場合(ステップ502のNO)、端末装置20の制御部21は、ステップ501へ戻る。一方、これらの情報がサーバ装置10から受信された場合(ステップ502のYES)、端末装置20の制御部21は、次のステップ503へ進む。
ステップ503において、端末装置20の制御部21は、グローバル座標系において、自己位置及び他の端末装置20(飛翔攻撃コマンドを実行した端末装置20)の位置の差Dを算出し、算出された差Dに基づいて飛翔オブジェクトの起点(AR表示位置)を設定する。
図12には、自己位置及び他の端末装置20の差D及び飛翔コマンドの起点の位置についての一例が示されている。図12の説明において、図9と同様に、ポイント1の北西(左上)に位置するユーザ及び端末装置20を便宜的に第1のユーザ、第1の端末装置20aと呼び、ポイント1の東(右)に位置するユーザ及び端末装置20を便宜的に第2のユーザ、第2の端末装置20bと呼ぶ。
第1の端末装置20a側で飛翔攻撃コマンドが実行された場合、第2の端末装置20b側で差D及び起点を算出することになる。第2の端末装置20bは、ポイント1には位置していないが、第2のユーザはポイント1の位置から敵の仮想オブジェクト5を見ているように敵の仮想オブジェクト5が見える。一方、実空間において第2の端末装置20bの位置から第1の端末装置20aを見ると第1の端末装置20aは、差Dの位置に位置している。従って、この場合、ポイント1の位置から差Dに対応する位置に、飛翔オブジェクトの起点が設定される。
起点を算出した後、端末装置20の制御部21は、受信した飛翔オブジェクトの関連情報に含まれる飛翔方向の情報に基づいて、自己から見た飛翔オブジェクトの飛翔方向を算出する(ステップ504)(図12の矢印の向き参照)。
次に、端末装置20の制御部21は、端末装置20の制御部21は、サーバ装置10から送信された共通のAR画像に飛翔オブジェクトを重畳して、起点の位置から飛翔オブジェクトが飛翔方向の向きに、飛翔速度(移動速度)に応じた速度で飛んでいくようにAR表示を行う(ステップ505)(図12の矢印参照)。飛翔オブジェクトの種類については、受信された飛翔オブジェクト関連情報に含まれる識別情報により決定される。
なお、飛翔オブジェクトが敵の仮想オブジェクト5に当たる場合、飛翔オブジェクトの飛翔速度(移動速度)の調整により、全てのユーザにおいて同じタイミングで敵の仮想オブジェクト5に当たるように見えることになる。飛翔速度の調整は、例えば、飛翔オブジェクトによる攻撃が開始されてから飛翔オブジェクトが敵の仮想オブジェクト5に当たるまでの時間を或る定数に設定しておくことで実現可能である。
飛翔オブジェクトが敵の仮想オブジェクト5に当たった時、飛翔オブジェクトが敵オブジェクトに当たったことを示すエフェクトや敵の仮想オブジェクト5が仰け反る動作がAR表示されてもよい。この場合におけるエフェクトや仰け反る動作については、典型的には、サーバ装置10によって生成される共通のAR画像によって実現される。
以上で説明した処理により、本実施形態では、飛翔オブジェクトにおける起点、飛翔方向、飛翔速度(敵の仮想オブジェクト5に当たるタイミング)等がグループに含まれる全てのユーザにおいて違和感なく自然となる。
<AR遮蔽>
次に、遮蔽オブジェクト6による敵の仮想オブジェクト5のAR遮蔽について説明する。ここで、遮蔽オブジェクト6は、各端末装置20からの相対的な位置が各端末装置20の位置毎に異なる実空間における実オブジェクトであって、敵の仮想オブジェクト5(第1の仮想オブジェクト)を遮蔽し得るオブジェクトである。この遮蔽オブジェクト6は、例えば、実空間における建物や壁等である。
各端末装置20において共通のAR画像が用いられる場合に、敵の仮想オブジェクト5が遮蔽オブジェクト6によってどのように遮蔽されるかについて説明する。
図13は、ポイント1の北西に位置する第1のユーザ及び第1の端末装置20aにおいて、敵の仮想オブジェクト5が遮蔽オブジェクト6によりどのように遮蔽されるかを示す図である。図14は、ポイント1の東に位置する第2のユーザ及び第2の端末装置20bにおいて、敵の仮想オブジェクト5が遮蔽オブジェクト6によりどのように遮蔽されるかを示す図である。
まず、図13について説明する。図13に示すように、第1のユーザ(第1の端末装置20a)は、ポイント1の北西(左上)に位置している。AR空間においては、実空間における第1のユーザの位置に拘わらず、第1のユーザは、ポイント1の位置から敵の仮想オブジェクト5を見ているように敵の仮想オブジェクト5が見える。
例えば、第1のユーザが北側を向いている場合におけるAR空間での第1のユーザの視野は、図13における点線の逆三角形のようになる。従って、図13の中央上側に示すように、第1のユーザは、AR空間において左前方に敵の仮想オブジェクト5が位置するように見える。
一方、実空間において第1のユーザの位置から見た遮蔽オブジェクト6の位置及び見た目上の形は、実空間における第1のユーザの位置に応じて変化する。例えば、第1のユーザが北側を向いている場合における実空間での第1のユーザの視野は、図13における実線の逆三角形のようになる。従って、図13の中央下側に示すように、第1のユーザは、実空間において小さい方の遮蔽オブジェクト6が左前方に見え、大きい方の遮蔽オブジェクト6が右前方に見えることになる。
従って、AR空間における敵の仮想オブジェクト5及び実空間における遮蔽オブジェクト6の位置関係から、最終的には、第1のユーザには、敵の仮想オブジェクト5及び遮蔽オブジェクト6が図13の右側のように見える。つまり、第1のユーザから敵の仮想オブジェクト5を見たときには、敵の仮想オブジェクト5は、遮蔽オブジェクト6により遮蔽された胴体及び脚の一部が欠けるようにAR表示されるべきである。
次に、図14について説明する。図14に示すように、第2のユーザ(第2の端末装置20b)は、ポイント1の東(右)に位置している。AR空間においては、実空間における第2のユーザの位置に拘わらず、第2のユーザは、ポイント1の位置から敵の仮想オブジェクト5を見ているように敵の仮想オブジェクト5が見える。
例えば、第2のユーザが北側を向いている場合におけるAR空間での第2のユーザの視野は、図14における点線の逆三角形のようになる。従って、図14の中央上側に示すように、第2のユーザは、AR空間において左前方に敵の仮想オブジェクト5が位置するように見える。このような敵の仮想オブジェクト5の見え方については、第1のユーザ及び第2のユーザで共通である。
一方、実空間において第2のユーザの位置から見た遮蔽オブジェクト6の位置及び見た目上の形は、実空間における第2のユーザの位置に応じて変化する。例えば、第2のユーザが北側を向いている場合における実空間での第2のユーザの視野は、図14における実線の逆三角形のようになる。従って、図14の中央下側に示すように、第2のユーザは、実空間において大きい方の遮蔽オブジェクト6が左前方に見えることになる。
なお、第1のユーザから見ると小さい方の遮蔽オブジェクト6も視野に含まれていたが、第2のユーザから見ると小さい方の遮蔽オブジェクト6は視野に含まれていない。
AR空間における敵の仮想オブジェクト5及び実空間における遮蔽オブジェクト6の位置関係から、最終的には、第2のユーザには、敵の仮想オブジェクト5及び遮蔽オブジェクト6が図14の右側に示すように見える。つまり、第2のユーザから敵の仮想オブジェクト5を見たときには、敵の仮想オブジェクト5は、遮蔽オブジェクト6により遮蔽された下側の大部分が欠けるようにAR表示が行われるべきである。
図13の右側の図及び図14の右側の図の比較から、遮蔽オブジェクト6により敵の仮想オブジェクト5のどの部分が遮蔽されるかについては、各端末装置20の位置次第であり、各端末装置20において共通ではないことが分かる。
このような状況下でも、各端末装置20において正確にAR遮蔽を行うために、本実施形態においては、以下のような処理が実行される。
例えば、サーバ装置10の制御部11は、図5のステップ104において、各端末装置20に対してAR表示のための情報を送信するときに、以下の3つの情報を送信する。
(1)敵の仮想オブジェクト5のRGB(Red Green Blue)情報
(2)敵の仮想オブジェクト5のデプス情報
(3)遮蔽オブジェクト6のデプス情報(遮蔽オブジェクト6に関する遮蔽オブジェクト情報)
図15は、敵の仮想オブジェクト5のRGB情報、敵の仮想オブジェクト5のデプス情報及び遮蔽オブジェクト6のデプス情報を示す図である。
ここで、敵の仮想オブジェクト5のRGB情報、及び敵の仮想オブジェクト5のデプス情報については、同一グループに属する各端末装置20において共通の情報である。一方、遮蔽オブジェクト6のデプス情報については、各端末装置20において個別の情報となる。
つまり、サーバ装置10の制御部11は、遮蔽オブジェクト6のデプス情報を、各端末装置20毎に個別にそれぞれ生成して各端末装置20に送信する。遮蔽オブジェクト6のデプス情報は、端末装置20の位置情報と、遮蔽オブジェクトデータベース30に記憶された遮蔽オブジェクト6の位置情報及び形状情報とに基づいて、サーバ装置10の制御部11により生成される。
端末装置20の制御部21は、敵の仮想オブジェクト5のRGB情報、敵の仮想オブジェクト5のデプス情報及び遮蔽オブジェクト6のデプス情報をサーバ装置10から受信した後、以下の処理を実行する。
まず、端末装置20の制御部21は、敵の仮想オブジェクト5のデプス情報と、遮蔽オブジェクト6のデプス情報に基づいて、敵の仮想オブジェクト5及び遮蔽オブジェクト6の前後関係を判定する。次に、端末装置20の制御部21は、敵の仮想オブジェクト5が遮蔽オブジェクト6よりも奥側に位置している場合には、敵の仮想オブジェクト5のRGB情報について、遮蔽オブジェクト6よりも奥側に位置している部分を欠く。そして、端末装置20の制御部21は、敵の仮想オブジェクト5のRGB情報において、遮蔽オブジェクト6に遮蔽されない部分についてAR表示を実行する。
図15の右側には、敵の仮想オブジェクト5のRGB情報について、遮蔽オブジェクト6に遮蔽された部分が欠かれ、遮蔽オブジェクト6に遮蔽されない部分がAR表示されたときの様子が示されている。
以上のような処理により、各端末装置20で共通のAR画像が用いられる本技術においても、正確にAR遮蔽を行うことが可能となる。
<作用等>
以上説明したように、本実施形態では、サーバ装置10は、各端末装置20のそれぞれの位置情報に基づいてグループ化領域2内に存在する端末装置20をグループ化し、グループに含まれる端末装置20に対して共通のAR画像を生成して送信する。
これにより、本実施形態では、サーバ装置10が端末装置20毎にそれぞれ個別にAR画像を生成する必要はなく、グループ化領域2毎にAR画像を生成すればよいことになる。従って、クラウドレンダリングにおけるサーバ装置10の処理負荷を適切に低減することができる。
また、本実施形態では、各端末装置20は、それぞれ、飛翔オブジェクト(第2の仮想オブジェクト)のAR画像を個別に生成して、共通のAR画像に重畳する。
これにより、本実施形態では、グループに含まれる各ユーザに対して、飛翔オブジェクトの位置や動きを自然な形で提示することが可能となる。
また、本実施形態では、サーバ装置10が遮蔽オブジェクト6のデプス情報を端末装置20毎に個別に生成する。そして、端末装置20がこの遮蔽オブジェクト6のデプス情報に基づいて、敵の仮想オブジェクト5において遮蔽オブジェクト6に遮蔽されない部分についてAR表示を実行する。
これにより、各端末装置20で共通のAR画像が用いられる本技術においても、正確にAR遮蔽を行うことが可能となる。
≪各種変形例≫
以上の説明では、本技術がゲームに適用される場合について説明した。一方、本技術は、ゲーム以外の用途にも用いることができる。典型的には、本技術は、複数人がある領域に集まる各種のイベント等であればどのような用途にも用いることができる。
本技術は以下の構成をとることもできる。
(1)AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信する制御部
を具備するサーバ装置。
(2) 上記(1)に記載のサーバ装置であって、
前記制御部は、所定のポイントから第1の距離の領域内に存在する前記端末装置をグループ化する
サーバ装置。
(3) 上記(2)に記載のサーバ装置であって、
前記共通のAR画像は、前記端末装置におけるAR表示角よりも広角の画像である
サーバ装置。
(4) 上記(3)に記載のサーバ装置であって、
前記共通のAR画像は、前記ポイントを中心とした360度画像である
サーバ装置。
(5) 上記(2)~(4)のうちいずれか1つに記載のサーバ装置であって、
前記共通のAR画像は、前記ポイントから第2の距離以上第3の距離以下の領域内の画像である
サーバ装置。
(6) 上記(5)に記載のサーバ装置であって、
前記第2の距離は、第1の距離以上である
サーバ装置。
(7) 上記(1)~(6)のうちいずれか1つに記載のサーバ装置であって、
前記共通のAR画像は、第1の仮想オブジェクトを含み、
前記各端末装置は、それぞれ、前記各端末装置からの相対的なAR表示位置が各端末装置の位置毎に異なる第2の仮想オブジェクトのAR画像を個別に生成して、前記共通のAR画像に重畳する
サーバ装置。
(8) 上記(7)に記載のサーバ装置であって、
前記端末装置は、他の端末装置の位置情報を取得し、自己の位置情報及び他の端末装置の位置情報に基づいて、前記第2の仮想オブジェクトのAR表示位置を設定する
サーバ装置。
(9) 上記(8)に記載のサーバ装置であって、
前記第2の仮想オブジェクトは、移動可能なオブジェクトであり、
前記端末装置は、前記第2の仮想オブジェクトの移動速度を調整する
サーバ装置。
(10) 上記(1)~(9)のうちいずれか1つに記載のサーバ装置であって、
前記共通のAR画像は、第1の仮想オブジェクトを含み、
前記制御部は、前記各端末装置からの相対的な位置が前記各端末装置の位置毎に異なる実空間における実オブジェクトであって、前記第1の仮想オブジェクトを遮蔽し得る遮蔽オブジェクトに関する遮蔽オブジェクト情報を、前記各端末装置毎に個別にそれぞれ生成して前記各端末装置に送信する
サーバ装置。
(11) 上記(10)に記載のサーバ装置であって、
前記制御部は、前記端末装置の位置情報及び前記遮蔽オブジェクトの位置情報に基づいて前記遮蔽オブジェクト情報を生成する
サーバ装置。
(12) 上記(10)又は(11)に記載のサーバ装置であって、
前記端末装置は、前記遮蔽オブジェクト情報に基づいて、前記第1の仮想オブジェクトにおいて前記遮蔽オブジェクトに遮蔽されない部分について前記AR表示を実行する
サーバ装置。
(13) AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信するサーバ装置から、前記共通のAR画像を受信し、前記共通のAR画像に基づいてAR表示を実行する制御部
を具備する端末装置。
(14) AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信するサーバ装置と、
前記共通のAR画像を受信し、前記共通のAR画像に基づいてAR表示を実行する端末装置と
を具備する情報処理システム。
(15) AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信する
情報処理方法。
1…ポイント
2…グループ化領域
5…敵の仮想オブジェクト
6…遮蔽オブジェクト
10…サーバ装置
20…端末装置
30…遮蔽オブジェクトデータベース

Claims (12)

  1. AR(Augmented Reality)表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信する制御部
    を具備するサーバ装置であって、
    前記共通のAR画像は、第1の仮想オブジェクトを含み、
    前記各端末装置は、それぞれ、前記各端末装置からの相対的なAR表示位置が各端末装置の位置毎に異なる第2の仮想オブジェクトのAR画像を個別に生成して、前記共通のAR画像に重畳し、
    前記端末装置は、他の端末装置の位置情報を取得し、自己の位置情報及び他の端末装置の位置情報に基づいて、前記第2の仮想オブジェクトのAR表示位置を設定し、
    前記第2の仮想オブジェクトは、移動可能なオブジェクトであり、
    前記端末装置は、前記第2の仮想オブジェクトの移動速度を調整する
    サーバ装置。
  2. 請求項1に記載のサーバ装置であって、
    前記制御部は、所定のポイントから第1の距離の領域内に存在する前記端末装置をグループ化する
    サーバ装置。
  3. 請求項2に記載のサーバ装置であって、
    前記共通のAR画像は、前記端末装置におけるAR表示角よりも広角の画像である
    サーバ装置。
  4. 請求項3に記載のサーバ装置であって、
    前記共通のAR画像は、前記ポイントを中心とした360度画像である
    サーバ装置。
  5. 請求項2に記載のサーバ装置であって、
    前記共通のAR画像は、前記ポイントから第2の距離以上第3の距離以下の領域内の画像である
    サーバ装置。
  6. 請求項5に記載のサーバ装置であって、
    前記第2の距離は、第1の距離以上である
    サーバ装置。
  7. 請求項1に記載のサーバ装置であって
    記制御部は、前記各端末装置からの相対的な位置が前記各端末装置の位置毎に異なる実空間における実オブジェクトであって、前記第1の仮想オブジェクトを遮蔽し得る遮蔽オブジェクトに関する遮蔽オブジェクト情報を、前記各端末装置毎に個別にそれぞれ生成して前記各端末装置に送信する
    サーバ装置。
  8. 請求項に記載のサーバ装置であって、
    前記制御部は、前記端末装置の位置情報及び前記遮蔽オブジェクトの位置情報に基づいて前記遮蔽オブジェクト情報を生成する
    サーバ装置。
  9. 請求項に記載のサーバ装置であって、
    前記端末装置は、前記遮蔽オブジェクト情報に基づいて、前記第1の仮想オブジェクトにおいて前記遮蔽オブジェクトに遮蔽されない部分について前記AR表示を実行する
    サーバ装置。
  10. AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信するサーバ装置から、前記共通のAR画像を受信し、前記共通のAR画像に基づいてAR表示を実行する制御部
    を具備する端末装置であって、
    前記共通のAR画像は、第1の仮想オブジェクトを含み、
    前記制御部は、前記各端末装置からの相対的なAR表示位置が各端末装置の位置毎に異なる第2の仮想オブジェクトのAR画像を生成して、前記共通のAR画像に重畳し、
    前記制御部は、他の端末装置の位置情報を取得し、自己の位置情報及び他の端末装置の位置情報に基づいて、前記第2の仮想オブジェクトのAR表示位置を設定し、
    前記第2の仮想オブジェクトは、移動可能なオブジェクトであり、
    前記制御部は、前記第2の仮想オブジェクトの移動速度を調整する
    端末装置。
  11. AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信するサーバ装置と、
    前記共通のAR画像を受信し、前記共通のAR画像に基づいてAR表示を実行する端末装置と
    を具備する情報処理システムであって、
    前記共通のAR画像は、第1の仮想オブジェクトを含み、
    前記各端末装置は、それぞれ、前記各端末装置からの相対的なAR表示位置が各端末装置の位置毎に異なる第2の仮想オブジェクトのAR画像を個別に生成して、前記共通のAR画像に重畳し、
    前記端末装置は、他の端末装置の位置情報を取得し、自己の位置情報及び他の端末装置の位置情報に基づいて、前記第2の仮想オブジェクトのAR表示位置を設定し、
    前記第2の仮想オブジェクトは、移動可能なオブジェクトであり、
    前記端末装置は、前記第2の仮想オブジェクトの移動速度を調整する
    情報処理システム。
  12. AR表示を実行可能な各端末装置のそれぞれの位置情報に基づいて所定の領域内に存在する端末装置をグループ化し、グループに含まれる前記端末装置に対して共通のAR画像を生成して送信する
    情報処理方法であって、
    前記共通のAR画像は、第1の仮想オブジェクトを含み、
    前記各端末装置は、それぞれ、前記各端末装置からの相対的なAR表示位置が各端末装置の位置毎に異なる第2の仮想オブジェクトのAR画像を個別に生成して、前記共通のAR画像に重畳し、
    前記端末装置は、他の端末装置の位置情報を取得し、自己の位置情報及び他の端末装置の位置情報に基づいて、前記第2の仮想オブジェクトのAR表示位置を設定し、
    前記第2の仮想オブジェクトは、移動可能なオブジェクトであり、
    前記端末装置は、前記第2の仮想オブジェクトの移動速度を調整する
    情報処理方法。
JP2022517647A 2020-05-01 2021-04-19 サーバ装置、端末装置、情報処理システム及び情報処理方法 Active JP7658366B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020081563 2020-05-01
JP2020081563 2020-05-01
PCT/JP2021/015892 WO2021220866A1 (ja) 2020-05-01 2021-04-19 サーバ装置、端末装置、情報処理システム及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2021220866A1 JPWO2021220866A1 (ja) 2021-11-04
JP7658366B2 true JP7658366B2 (ja) 2025-04-08

Family

ID=78374099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517647A Active JP7658366B2 (ja) 2020-05-01 2021-04-19 サーバ装置、端末装置、情報処理システム及び情報処理方法

Country Status (4)

Country Link
US (1) US12299250B2 (ja)
JP (1) JP7658366B2 (ja)
CN (1) CN115461788A (ja)
WO (1) WO2021220866A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067112A1 (en) 2017-09-29 2019-04-04 Sony Interactive Entertainment America Llc SPECTATOR VIEW IN AN INTERACTIVE GAMING WORLD PRESENTED IN A LIVE EVENT LOCATED IN A PLACE OF THE REAL WORLD

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5870958B2 (ja) * 2012-04-27 2016-03-01 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US20130293671A1 (en) * 2012-05-01 2013-11-07 Tourwrist, Inc. Systems and methods for stitching and sharing panoramas
JP6360711B2 (ja) 2014-05-07 2018-07-18 株式会社 ディー・エヌ・エー ゲームを提供するサーバ及び方法
JP6955861B2 (ja) 2016-12-16 2021-10-27 株式会社バンダイナムコエンターテインメント イベント制御システム及びプログラム
US10949669B2 (en) * 2017-08-22 2021-03-16 Kreatar, Llc Augmented reality geolocation using image matching
JP7173024B2 (ja) * 2017-09-29 2022-11-16 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11627118B1 (en) * 2019-09-26 2023-04-11 Meta Platforms Technologies, Llc Utilizing inter-device communications and user permissions for capturing digital images at events

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067112A1 (en) 2017-09-29 2019-04-04 Sony Interactive Entertainment America Llc SPECTATOR VIEW IN AN INTERACTIVE GAMING WORLD PRESENTED IN A LIVE EVENT LOCATED IN A PLACE OF THE REAL WORLD

Also Published As

Publication number Publication date
JPWO2021220866A1 (ja) 2021-11-04
WO2021220866A1 (ja) 2021-11-04
US20230205389A1 (en) 2023-06-29
US12299250B2 (en) 2025-05-13
CN115461788A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
US11758346B2 (en) Sound localization for user in motion
US8142277B2 (en) Program, game system, and movement control method for assisting a user to position a game object
US9892563B2 (en) System and method for generating a mixed reality environment
US9155967B2 (en) Method for implementing game, storage medium, game device, and computer
CN109529356B (zh) 对战结果确定方法、装置及存储介质
CN110755845B (zh) 虚拟世界的画面显示方法、装置、设备及介质
CN111462307A (zh) 虚拟对象的虚拟形象展示方法、装置、设备及存储介质
US20220198760A1 (en) Display system and server
CN111330278B (zh) 基于虚拟环境的动画播放方法、装置、设备及介质
US20200294265A1 (en) Information processing apparatus, method for processing information, and computer program
CN111338534A (zh) 虚拟对象的对局方法、装置、设备及介质
JP2022532305A (ja) 仮想シーンの表示方法、装置、端末及びコンピュータプログラム
WO2015048890A1 (en) System and method for augmented reality and virtual reality applications
WO2022227915A1 (zh) 显示位置标记的方法、装置、设备及存储介质
EP4082638B1 (en) Image processing system, image processing program, and image processing method
CN111569414B (zh) 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
US10410390B2 (en) Augmented reality platform using captured footage from multiple angles
JP7658366B2 (ja) サーバ装置、端末装置、情報処理システム及び情報処理方法
JP7472912B2 (ja) 情報処理装置、情報処理方法および記録媒体
TW201721361A (zh) 互動式擴增實境系統
JP2025186425A (ja) 情報処理システム、情報処理方法、および情報処理プログラム
JP2025136644A (ja) プログラム及びシステム
HK40023673B (en) Method and apparatus for playing animation based on virtual environment, device and medium
HK40023673A (en) Method and apparatus for playing animation based on virtual environment, device and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250310

R150 Certificate of patent or registration of utility model

Ref document number: 7658366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150