JP7475610B2 - クラウドネイティブによる3d場面のゲーム方法及びシステム - Google Patents

クラウドネイティブによる3d場面のゲーム方法及びシステム Download PDF

Info

Publication number
JP7475610B2
JP7475610B2 JP2021553813A JP2021553813A JP7475610B2 JP 7475610 B2 JP7475610 B2 JP 7475610B2 JP 2021553813 A JP2021553813 A JP 2021553813A JP 2021553813 A JP2021553813 A JP 2021553813A JP 7475610 B2 JP7475610 B2 JP 7475610B2
Authority
JP
Japan
Prior art keywords
game
rendering
data
users
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021553813A
Other languages
English (en)
Other versions
JP2022546145A (ja
JPWO2022021536A5 (ja
Inventor
華慶 孫
建君 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weiling Times Technology Co Ltd
Original Assignee
Beijing Weiling Times Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weiling Times Technology Co Ltd filed Critical Beijing Weiling Times Technology Co Ltd
Publication of JP2022546145A publication Critical patent/JP2022546145A/ja
Publication of JPWO2022021536A5 publication Critical patent/JPWO2022021536A5/ja
Application granted granted Critical
Publication of JP7475610B2 publication Critical patent/JP7475610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5258Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/843Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/404Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection
    • A63F2300/405Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection being a wireless ad hoc network, e.g. Bluetooth, Wi-Fi, Pico net
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6684Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dynamically adapting its position to keep a game object in its viewing frustrum, e.g. for tracking a character or a ball

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、クラウドゲームの技術分野に関し、特に、クラウドネイティブによる3D場面のゲーム方法及びシステムに関する。
従来、クラウドゲームのクラウドサービスは、仮想マシンの技術を使うものであり、一つのクラウドサーバーが複数のユーザーにゲームサービスを提供する時に、クラウドサーバーに複数の仮想マシンを実行して各仮想マシンにゲームを起動し、それらが複数のプロセスに含まれ、それぞれ操作・制御用命令を受信しそれぞれ処理することが一般的である。データの転送は、リアルタイムでビデオストリームを転送することであり、クラウドサーバーのGPU、CPU及びメモリの消費が大きく、しかも、ユーザーを一つずつ増やすことにより、クラウドサーバーのリソースの消費も倍に増加することになる。また、単一のクラウドサーバーが支持するユーザーの数が少ないことから、複数のユーザーの場合に、その解決する手法がサーバーの数を増やすということであるが、ユーザーの数が増えるにつれ、ハードウェアのコストも対応的に増えてしまう。
本発明は、上記の問題を解決するために、クラウドサーバーに一つのゲームのプロセスを作成して複数のクライアントにゲームサービスを同時に提供するということを目的とする。
上記の目的を達成するために、本発明がクラウドネイティブによる3D場面を含むゲームのレンダリング方法を提供する。前記方法は、一人以上のユーザーがゲームクライアントを介してクラウドサーバーにゲームのリクエストを送信すること、前記クラウドサーバーが一人以上のユーザーのゲームのリクエストによりゲームのプロセスを対応的に作成して起動すること、及び、前記ゲームのプロセスが一人以上のユーザーのゲームデータを同時に処理することを含む。
本発明に対する更なる改良としては、前記ゲームのプロセスにおける処理の過程には、現在のN人のユーザーからの命令データを取得すること、N個の命令データに基づいて、現在の命令に従ってゲーム制御データを生成すること、前記ゲーム制御データに基づいて、現在の命令に従って各ユーザーに対応するゲームデータを取得すると共に、取得された各ユーザーに対応するゲームデータをそれぞれレンダリングすること、及び、レンダリングされたゲーム画面をそれぞれユーザーに対応的に送信することが含まれている。
本発明に対する更なる改良としては、プロセスが起動すると、ゲームを初期化にする段階に、ゲームのエンジンがユーザーの数に基づいて、対応する数だけの仮想ビデオカメラを作成しており、各ユーザーは、それぞれ、一つ仮想ビデオカメラに対応する。
本発明に対する更なる改良としては、前記ゲーム制御データは、異なるユーザーに対応する仮想ビデオカメラがユーザーから現在の操作によるゲーム画面を取得するように制御する。
本発明に対する更なる改良としては、N人のユーザーに対応するゲームデータの全てがレンダリング済みである場合には、ユーザーの全てに対応するレンダリング済みのゲーム画面をモザイクして、一つの完成画面を形成し、前記画面を取得して形式を変換すると共に画面を分け、分けて形成された画面が各ユーザーに対応するゲーム画面となる。
本発明に対する更なる改良としては、前記処理過程は、ゲームオーディオデータ即時処理をさらに含み、ゲームのプロセスに、各ユーザーにそれぞれ一つの音声モニターを配分し、各ユーザーに対応する音声モニターは、対応するユーザーにオーディオデータストリームを生成し、生成されたオーディオデータストリームをユーザーに対応的に送信することを含む。
本発明に対する更なる改良としては、レンダリングプログラムが前記ゲームデータをレンダリングする時に、複数の仮想ビデオカメラが一つのモデルマネジャー及びテクスチャマネジャーを共有している。
本発明に対する更なる改良としては、レンダリングプログラムが前記ゲームデータをレンダリングする時に、各仮想ビデオカメラに単一の作業スレッドを配分したり、統合するスレッドプールを使ってスケジューリングを行ったりする。
本発明に対する更なる改良としては、レンダリングプログラムが前記ゲームデータをレンダリングする時に、複数の仮想ビデオカメラ間における相対する位置関係を構築して、前記相対する位置関係に基づいて、異なる仮想ビデオカメラのレンダリングデータを多重化にする。
本発明がクラウドネイティブによる3D場面を含むゲームのレンダリングシステムをさらに提供する。当該システムは、クライアント及びクラウドサーバーを含み、一つの前記クラウドサーバーが複数の前記クライアントにサービスを提供しており、前記クライアントは、ユーザーの操作データを取得して前記操作データを前記クラウドサーバーに送信すると共に、前記クラウドサーバーから送信されたゲーム画面を受信してゲーム画面を表示するためのものであり、前記クラウドサーバーは、複数のユーザーに一つのゲームのプロセスを作成し、前記複数のクライアントから送信された操作データを受信すると共に、前記操作データに基づいて、各ユーザーに現在の操作によるゲーム画面を生成し、前記ゲーム画面をユーザーのクライアントに対応的に送信するためのものである。
本発明に対する更なる改良としては、前記クライアントは、ユーザー操作を命令データに変換し、前記命令データを前記クラウドサーバーに送信するデータ変換・送信手段を含む。
本発明に対する更なる改良としては、前記クラウドサーバーは、各ユーザーに生成するゲーム画面をコーディングしてからユーザーのクライアントに対応的に送信し、クライアントは、前記クラウドサーバーから送信されたコーディング済みのゲーム画面を受信し、コーディング済みのゲーム画面をデコーディングして表示する。
本発明に対する更なる改良としては、前記複数のクライアントと前記クラウドサーバーとは、5Gネットワークを介してデータを転送する。
本発明に対する更なる改良としては、クライアントが操作信号を取得することは、コントロールハンドル、キーボード、マウス及びスクリーンタッチパネルの一つの一つを使うことを含む。
本発明に対する更なる改良としては、クライアントを実行するプラットフォームがWindows(登録商標)、Linux(登録商標)、Android(登録商標)及びios(登録商標)のうちの一つ又は複数である。
本発明に対する更なる改良としては、クライアントが受信するゲーム画面は、携帯、タブレット、PC、ネットワークスマートテレビ及びプロジェクター)のうちの一つ又は複数により表示される。
本発明による有益な効果が以下の通りである。
一つゲームのプロセスが複数のユーザーのゲームデータを処理し、一つのゲームのプロセスに複数の仮想ビデオカメラを同時に制御して異なるユーザーにゲーム画面を対応的に生成する。特に、ユーザーの数が比較的多い場合でも、本発明が採用する方法によると、サーバーリソースの消費を明らかに削減することができ、サーバーの数を減らすことができると共に、ゲーム画面の流暢性を確保することができ、ユーザーの体験の気持ちを高めることができ、異なるユーザー間を交換する流暢度を向上させることができる。
本発明の実施例に記載されているクラウドネイティブによる3D場面を含むゲームのレンダリング方法のフロチャートである。 本発明の実施例に記載されているクラウドネイティブによる3D場面を含むゲームのレンダリングシステムのデータ処理のフロチャートである。 本発明の実施例に記載されているクラウドネイティブによる3D場面を含むゲームのレンダリングシステムの構成の模式図である。 本発明の実施例に記載されているクラウドネイティブによる3D場面を含むゲームのレンダリングシステムのシステムアーキテクチャの模式図である。
以下には、本発明の実施例における図面を参照しながら、本発明の実施例における技術的手段を明確的にかつ完全的に説明するが、記載する実施例が本発明における一部の実施例に過ぎず、全ての実施例ではないということが明らかである。本発明における実施例に基づいて、創造性を付けた労働がない限り当業者が取得可能な如何なる他の実施例は、いずれも、本開示の保護しようとする範囲に含まれる。
説明するべきことは、本発明の実施例に方向性を有する指示(例えば上、下、左、右、前や後……)があれば、当該方向性を付けた指示は、ある特定の姿態(図面に示すように)において、各部件間における相対的な位置関係や動き場合などを解釈するためのものに過ぎず、当該特定の姿態が変わると、当該方向性による指示もそれに伴い変わるわけである。
また、本発明の説明では、係る用語が説明という目的にのみ用いられており、本開示の範囲を限定するものではない。「含み」及び/又は「含まれ」という用語は、素子、ステップ、操作及び/又は手段の存在を意味するためのものであるが、一つ以上である他の素子、ステップ、操作及び/又は手段が存在する場合を追加するのを排除するわけではない。「第一」や「第二」などの用語は、様々な素子を説明するためのものであるが、順番付けを意味せず、しかも、これらの素子に限定される役割もない。また、本発明の記載において、他の特別な断りが無ければ、「複数の」とは二つ又は二つの以上を意味している。これらの用語は、一つの要素及び他の要素を区別するということにしか用いられない。以下に図面を参照しながら、これら及び/又は他の局面が明らかになるだろう。しかも、当業者が本発明の実施例についての説明をより易く理解できるだろう。図面は、説明だけを目的として本開示の実施例を説明するためのものである。当業者は、以下の説明から本開示の原理を背離しない限り、本発明に開示する構成及び方法を代替する実施例を採用してもよいということを容易に認識することが可能である。
本発明の実施例に係るクラウドネイティブによる3D場面を含むゲームのレンダリング方法は、図1と図2に示すように、一人以上のユーザーがゲームクライアントを介してクラウドサーバーにゲームのリクエストを送信すること、及び、前記クラウドサーバーが一人以上のユーザーのゲームのリクエストによりゲームのプロセスを対応的に作成して起動すること、及び、前記ゲームのプロセスは、一人以上のユーザーのゲームデータを同時に処理することを含む。
前記ゲームのプロセスにおける処理の過程は、現在のN人のユーザーの命令データを取得すること、N個の命令データに基づいて、現在の命令に従ってゲーム制御データを生成すること、ゲーム制御データに基づいて、現在の命令に従って各ユーザーに対応するゲームデータを取得すると共に、取得された各ユーザーに対応するゲームデータをそれぞれレンダリングすること、及び、レンダリングされたゲーム画面をそれぞれユーザーに対応的に送信することが含まれている。
ゲームのプロセスは、各ユーザーによる操作命令のデータを即時で取得し、各ユーザーによる現在の命令データに基づいて、現在の命令データに従って一つのフレームのゲーム画面を生成し、各ユーザーのゲーム画面を、レンダリング・圧縮・コーディングという処理を経て、即時で、ネットワークを介してユーザーのクライアントに転送して表示する。そうすると、ユーザーによる操作と画面の表示とに、リアルタイムのインタラクションを有させるようにすることができる。
好ましい実施形態は、プロセスが起動すると、ゲームを初期化にする段階に、ゲームプログラムがユーザーの数に基づいて、対応する数だけの仮想ビデオカメラを作成し、各ユーザーがそれぞれ一つの仮想ビデオカメラに対応し、仮想ビデオカメラがユーザーに対応するゲーム画面を取得し、レンダリングプログラムを呼び出してゲーム画面をレンダリングすることである。
そのうち、ゲーム制御データによる制御は、仮想ビデオカメラがゲーム場面に位置する位置(ユーザーがゲーム場面に位置する位置及び視角を取得する)の制御、及び、取得されたゲーム画面のレンダリング結果の制御を含む。
ゲームの即時性をさらに高め、遅延を避けるためには、ゲーム画面をレンダリングする過程を最適化にしてもよい。
好ましい実施形態は、レンダリングを行う前に、画面外の物、遮られる要素や背景の画面を排除することにより、各フレームのゲーム画面のレンダリング量を減らして、レンダリングの速度を高めることである。
好ましい実施形態は、レンダリングを行う時、複数の仮想ビデオカメラが一つのモデルマネジャー及びテクスチャマネジャーを共用することである。これにより、リソースを重複してロードしてしまうのを避けると共に、各仮想ビデオカメラに単一の作動スレッドを配分したり、統合するスレッドプールスケジューリングを使ったりすることによりCPUのリソースを十分に利用でき、レンダリングの速度を向上させることができる。
好ましい実施形態は、複数の仮想ビデオカメラ間における相対する位置関係を構築し、前記相対する位置関係に基づいて、異なる仮想ビデオカメラのレンダリングデータを多重化することである。多重化することにより、スクリーン空間によりレンダリングを反射する結果、動的陰影のマッピングや光照射の結果が含まれることになり、レンダリング速度が高まる。
好ましい実施形態は、静的陰影マッピングを用いて、静的光源の場面に静的陰影を用いてマッピングすることである。
好ましい実施形態は、仮想ビデオカメラのレンダリングの順番を算出することである。これにより、二つの仮想ビデオカメラは視野の方向が基本的に平行する条件の場合に、相対する位置が後ろに近づく仮想ビデオカメラが前の仮想ビデオカメラによりレンダリングの結果を多重化にすることが可能となる。同様に、前の仮想ビデオカメラが、後ろの仮想ビデオカメラによるレンダリングの結果に、自体の視野に属される部分を直接にトリミングすることも可能である。このような形態を採用すると、条件が満たされている場合に、レンダリングの回数を減らしてレンダリングの速度を高めることができる。
好ましい実施形態は、レンダリングを行い、ユーザーのすべてに対応するレンダリング済みのゲーム画面をモザイクして、一つ完成画面を形成し、モザイク済みの画面を取得してRGB32という形式に変換し、変換済みの画面を分けることである。変換済みの画面を分けることは、モザイクを行う前におけるユーザーに対応するゲーム画面に従って、各ユーザーに一つの画面を対応的に分け、分けられたゲーム画面は、ユーザーに対応する仮想ビデオカメラにより取得されたゲーム画面と一致することになり、つまり、当該ユーザーによる現在のゲーム画面となる。図形APIを管理してレンダリング済みのゲーム画面を取得し、取得された画面をビデオエディタにリダイレクトしてから、ゲーム画面について例えば、モザイク、圧縮、分け、送信などの他の操作を行うとよい。
好ましい実施形態は、処理過程は、ゲームオーディオデータ即時処理をさらに含み、一つゲームのプロセスにおいて、各ユーザーにそれぞれ一つの音声モニターを配分し、各ユーザーに対応する音声モニターは、対応するユーザーにオーディオデータストリームを生成すると共に、生成されたオーディオデータストリームをユーザーに対応的に送信することである。その具体的な過程は、ゲームにおける複数のユーザーに、それぞれ、一つの音声モニターを配分し、3Dの音声源が音声を再生する時に、音声源と音声モニターとの距離及びドップラー効果に基づいて、音声の減衰を算出すると共に音声源のデータ情報を参照しながら、最終的に、対応するユーザーが聞こえるオーディオデータストリームを解析して生成し、次に、異なるデータストリームをユーザーのクライアントに対応的に配り、ユーザーのクライアントにより、受信されたオーディオの内容を最後解析することにより音声が聞こえることになり、クラウドゲームに複数の人がいる時にオーディオを正確に受信できないという問題を解決することができる。
本発明の実施例に係るクラウドネイティブによる3D場面を含むゲームのレンダリングシステムは、図3と図4に示すように、クライアント及びクラウドサーバーを含み、一つの前記クラウドサーバーが複数の前記クライアントにサービスを提供しており、前記クライアントは、ユーザーによる操作データを取得して前記操作データを前記クラウドサーバーに送信すると共に、前記クラウドサーバーから送信されたゲーム画面を受信してゲーム画面を表示するためのものであり、前記クラウドサーバーは、複数のユーザーに一つゲームのプロセスを作成し、前記複数のクライアントから送信された操作データを受信すると共に、前記操作データに基づいて、各ユーザーに当該ユーザーからの現在の操作によるゲーム画面を生成し、前記ゲーム画面をユーザーのクライアントに対応的に送信するためのものである。
好ましい実施形態は、クライアントがユーザー操作を命令データに変換して、命令データをクラウドサーバーに送信するデータ変換・送信手段を含むことである。
クラウドサーバーは、各ユーザーに生成するゲーム画面をコーディングしてからユーザーのクライアントに対応的に送信しており、クライアントは、クラウドサーバーから送信されたコーディング済みのゲーム画面を受信して、コーディング済みのゲーム画面をデコーディングして表示する。
好ましい実施形態は、クライアントとクラウドサーバーとは、例えば、5Gネットワークを介してデータを転送することである。本発明は、転送用ネットワークについて具体的な限りがなく、転送用ネットワークの選択は、ネットワークを介してゲームデータを転送する要求を満たすほうが良く、ネットワークの遅延によりゲーム画面が不円滑になり、ユーザーの体験の気持ちが低下してしまうのを避けるとよい。
本発明の実施例に係る実施過程は、一人以上のユーザーがゲームクライアントを介してクラウドサーバーにゲームのリクエストを送信し、クラウドサーバーが複数のユーザーからのゲームIDに基づいて、一つのゲームのプロセスを対応的に作成して起動する。
ゲームを初期化にする段階には、ゲームプログラムがユーザーの数に基づいて、ゲームの場面に対応する数だけの仮想ビデオカメラを追加し、各仮想ビデオカメラが一つのユーザーに対応しており、仮想ビデオカメラが見えるゲーム画面がユーザーに受信必要な画面となる。
初期化が終わると、ゲームが始まる。クライアントは、ユーザーによる操作データを取得する。操作データは、クライアントにより命令データに変換してからゲームクラウドサーバーに転送される。クラウドサーバーは、命令データに基づいて、ゲーム制御データを対応的に作成してゲームの制御システムに適用することにより、ゲームに対するユーザーの制御を実現すると共に、ゲーム場面における対応する要素のフィードバックを生成する。この時、各仮想ビデオカメラは、ゲーム場面における位置及び視角によって、異なる画面のフィードバックが見える。レンダリングプログラムは、各仮想ビデオカメラが見るゲーム画面をレンダリングする。ゲームプログラムは、先に、レンダリング済みの複数のゲーム画面をモザイクして、一つの画面を形成してビデオカードを介して表示・出力を行い、次に、hookの方式により、dircectX層の一連のレンダリングインターフェースを遮り、画面データを取得し、取得された画面データをRGB32の形式に変換し、変換済みの画面データを分けて複数のH265のビデオデータパケットに圧縮する。しかも、遅延を削減するように、ビデオエンコーダーを補正してBフレームを排除し、GOPを比較的大きく設置することによりIフレームの比例を低減し、各フレームに消費されるビットレートが制御可能な最大の範囲内にあるようにする。ゼロ遅延という設置することにより、入力されたフレームごとについて、データエンコーダーが直ぐにこのフレームのコーディングデータを出力するように確保して、エンコーダーがフレームのデータをバッファリングすることを避ける。分けられた各ビデオデータパケットは、ユーザーに対応する。ビデオデータパケットは、ネットワークを介してユーザーのクライアントに対応的に送信される。クライアントは、携帯、PAD、PC、ネットワークスマートテレビ又はプロジェクターなどのクライアントディバイスに内蔵されるビデオデコーディングチップを介して、ネットワークからのビデオデータパケットをデコーディングし、クライアントシステムにおける最も低い階層・最も急速であるビデオ表示方法を呼び出し、デコーディングされたビデオフレームであるゲーム画面を表示する。
本発明に係る前記のゲームシステムを用いて取得されるゲーム画面は、その速度が6msまで低くなり、ゲーム画面の流暢性及びユーザーの操作へのフィードバックの即時性を確保することができると共に、CPUのリソースを消費することが殆ど無く、各クラウドサーバーにより複数のユーザーが同時にオンラインであるようにサポートすることができる。一つのサーバーだけで一つのユーザーにサービスを提供し、又は、単一のサーバーによりゲームを多重化にするようにサポートするという形態に比べると、本発明に係るクラウドネイティブによる3D場面を含むゲームシステムは、如何なる仮想システムや仮想のコンテナが必要とならず、使用単一のプロセス、単一のレンダリング、多重化による出力をサポートできるという方式が、クラウドサーバーのGPU、CPU及びメモリのリソースを一層に省くことができる。一つのクラウドサーバーがサポートする最大のユーザーの数は、複数のプロセスによりゲームを多重化にするということを採用する場合のユーザーの数に比較すると倍になり、クラウドサーバーのハードウェアのコストを大幅に省くことができる。
つまり、当業者にとって理解するべきことは、上記した実施例の方法における全て又は一部のステップを実現することが、関連するハードウェアをプログラムにより命令して完了するものであり、当該プログラムは、記憶媒体に記憶されており、一つの装置(マイクロコントローラ、チップなどであってもよい)又はプロセッサー(processor)により本願の各実施例における前記方法の全て又は一部のステップを実行するための複数の命令を含む。上記した記憶媒体は、USBフラッシュドライブ、携帯型ハードディスク、読み出し専用のメモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、フロッピーディスク又は光ディスクなどの様々なプログラムコードを記憶できる媒体を含む。
ここで提供する明細書には、数多くの詳細を説明した。しかしながら、理解するべきことは、ここで開示している実施例が、これらの詳細が無い場合でも実施され得る。幾つかの実施例では、公知の方法、構成及び技術を詳しく提示しないことが、本明細書への理解を明確にするためである。
また、当業者にとって理解するべきことは、上記の幾つかの実施例に、他の実施例に含まれるある特徴を含み、他の特徴を含まないが、異なる実施例における特徴の組み合わせが本発明の範囲に含まれると共に異なる実施例を形成するということを意味している。例えば、特許請求の範囲には、保護を要求しようとする実施例のいずれか一つが任意の組み合わせの形態により使用されてもよい。
当業者にとって理解するべきことは、例示的な実施例を参照しながら本開示を説明したが、本発明の範囲を逸脱しない限り、様々な変化を行うと共に均等物により他の装置を置換することも可能である。また、本発明による実質的な範囲を逸脱しない限り、数多くの補正により、特定の場合や材料が本発明からの教示に適用され得るようにしてもよい。故に、本発明は、開示されている特定の実施例に限定されておらず、添付されている特許請求の範囲に含まれるあらゆる実施例を含む。

Claims (10)

  1. 一人以上のユーザーがゲームクライアントを介してクラウドサーバーにゲームのリクエストを送信するステップ、
    前記クラウドサーバーが一人以上の前記ユーザーからのゲームのリクエストにより、ゲームのプロセスを対応的に作成して起動するステップ、及び、
    前記ゲームのプロセスは、一人以上の前記ユーザーのゲームデータを同時に処理するステップを含み、
    レンダリングを実行する前に、予め、
    複数の仮想ビデオカメラ間の相対する位置関係を設定し、前記相対する位置関係に基づいて複数の前記仮想ビデオカメラのレンダリングデータを多重化しておくこと、及び、
    画面外の物(オブジェクト)、遮られる要素及び/又は背景の画面を排除し、各フレームのゲーム画面のレンダリング量を減らしておくことにより、
    レンダリングの実行時には、複数の前記仮想ビデオカメラが1つのモデルマネジャーとテクスチャマネジャーを共有し、重複したリソースのロードを回避し、
    各前記仮想ビデオカメラは個別の作業スレッドが配分されるか、又は統合スレッドプールを使用してスケジューリングされ、CPUリソースを最大限に活用し、前記レンダリングの速度を向上させることを特徴とするクラウドネイティブによる3D場面を含むゲームのレンダリング方法。
  2. 前記ゲームのプロセスにおける処理の過程には、
    現在のN人のユーザーからの命令データを取得するステップ、
    N個の前記命令データに基づいて、現在の命令に従ってゲーム制御データを生成するステップ、
    前記ゲーム制御データに基づいて、前記現在の命令に従って各ユーザーに対応するゲームデータを取得すると共に、前記各ユーザーに対応する取得されたゲームデータをそれぞれレンダリングするステップ、及び、
    前記レンダリングされたゲーム画面を前記各ユーザーに対応的に送信することが含まれている、ステップを含むこと特徴とする請求項1に記載のクラウドネイティブによる3D場面を含むゲームのレンダリング方法。
  3. プロセスが起動すると、ゲームを初期化にする段階において、ゲームプログラムが前記ユーザーの数に基づいて、対応する数だけの前記仮想ビデオカメラを作成しており、
    前記各ユーザーは、それぞれ、一つの前記仮想ビデオカメラに対応する、ことを特徴とする請求項2に記載のクラウドネイティブによる3D場面を含むゲームのレンダリング方法。
  4. ゲーム制御データは、異なる前記ユーザーに対応する仮想ビデオカメラが、前記ユーザーからの現在の操作によるゲーム画面を取得するように制御する、ことを特徴とする請求項2に記載のクラウドネイティブによる3D場面を含むゲームのレンダリング方法。
  5. N人の前記ユーザーに対応するゲームデータの全てがレンダリング済みである場合には、前記ユーザーのすべてに対応するレンダリング済みのゲーム画面をモザイクして、一つの完全画面を形成し、前記完全画面を取得して形式を変換すると共に画面を分け、分けて形成された画面が前記各ユーザーに対応するゲーム画面となる、ことを特徴とする請求項2に記載のクラウドネイティブによる3D場面を含むゲームのレンダリング方法。
  6. 前記処理の過程は、ゲームオーディオデータ即時処理をさらに含み、前記ゲームのプロセスに、前記各ユーザーにそれぞれ一つの音声モニターを配分し、前記各ユーザーに対応する音声モニターは、対応する前記ユーザーにオーディオデータストリームを生成し、生成されたオーディオデータストリームをユーザーに対応的に送信することを含む、ことを特徴とする請求項2に記載のクラウドネイティブによる3D場面を含むゲームのレンダリング方法。
  7. クライアント及びクラウドサーバーを含み、一つの前記クラウドサーバーが複数の前記クライアントにサービスを提供しており、
    前記クライアントは、ユーザーからの操作データを取得して前記操作データを前記クラウドサーバーに送信すると共に、前記クラウドサーバーから送信されたゲーム画面を受信してゲーム画面を表示するためのものであり、
    前記クラウドサーバーは、複数の前記ユーザーに一つのゲームのプロセスを作成し、前記複数のクライアントから送信された操作データを受信すると共に、前記操作データに基づいて、各ユーザーに現在の操作によるゲーム画面を生成し、前記ゲーム画面を前記ユーザーのクライアントに対応的に送信するためのものであり、
    前記ユーザーの数に応じた数の仮想ビデオカメラが作成され、
    レンダリングを実行する前に、予め、
    複数の前記仮想ビデオカメラ間の相対する位置関係を設定し、前記相対する位置関係に基づいて複数の前記仮想ビデオカメラのレンダリングデータを多重化しておくこと、及び、
    画面外の物(オブジェクト)、遮られる要素及び/又は背景の画面を排除し、各フレームのゲーム画面のレンダリング量を減らしておくことにより、
    レンダリングの実行時には、複数の前記仮想ビデオカメラが1つのモデルマネジャーとテクスチャマネジャーを共有し、重複したリソースのロードを回避し、
    各前記仮想ビデオカメラは個別の作業スレッドが配分されるか、又は統合スレッドプールを使用してスケジューリングされ、CPUリソースを最大限に活用し、前記レンダリングの速度を向上させることを特徴とするクラウドネイティブによる3D場面を含むゲームのレンダリングシステム。
  8. 前記クライアントは、前記ユーザーによる操作を命令データに変換し、前記命令データを前記クラウドサーバーに送信するデータ変換・送信手段を含む、ことを特徴とする請求項7に記載のクラウドネイティブによる3D場面を含むゲームのレンダリングシステム。
  9. 前記クラウドサーバーは、前記各ユーザーに生成するゲーム画面をコーディングしてから、前記ユーザーのクライアントに対応的に送信し、
    クライアントは、前記クラウドサーバーから送信されたコーディング済みのゲーム画面を受信し、コーディングされたゲーム画面をデコーディングして表示する、ことを特徴とする請求項7に記載のクラウドネイティブによる3D場面を含むゲームのレンダリングシステム。
  10. 前記複数のクライアントと前記クラウドサーバーとは、5Gネットワークを介してデータを転送する、ことを特徴とする請求項7に記載のクラウドネイティブによる3D場面を含むゲームのレンダリングシステム。
JP2021553813A 2020-07-29 2020-09-08 クラウドネイティブによる3d場面のゲーム方法及びシステム Active JP7475610B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010742583.0 2020-07-29
CN202010742583.0A CN111951366B (zh) 2020-07-29 2020-07-29 一种云原生3d场景游戏方法和系统
PCT/CN2020/113894 WO2022021536A1 (zh) 2020-07-29 2020-09-08 一种云原生3d场景游戏方法和系统

Publications (3)

Publication Number Publication Date
JP2022546145A JP2022546145A (ja) 2022-11-04
JPWO2022021536A5 JPWO2022021536A5 (ja) 2024-01-11
JP7475610B2 true JP7475610B2 (ja) 2024-04-30

Family

ID=73338439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021553813A Active JP7475610B2 (ja) 2020-07-29 2020-09-08 クラウドネイティブによる3d場面のゲーム方法及びシステム

Country Status (5)

Country Link
US (1) US20220193540A1 (ja)
EP (1) EP3975126A4 (ja)
JP (1) JP7475610B2 (ja)
CN (1) CN111951366B (ja)
WO (1) WO2022021536A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382221A (zh) * 2021-05-14 2021-09-10 异现实科技(成都)有限公司 单实例多终端云渲染系统及其方法
CN113209632B (zh) * 2021-06-08 2022-08-12 腾讯科技(深圳)有限公司 一种云游戏的处理方法、装置、设备及存储介质
CN113384901B (zh) * 2021-08-16 2022-01-18 北京蔚领时代科技有限公司 交互程序实例处理方法、装置、计算机设备及存储介质
CN113407292B (zh) * 2021-08-16 2022-02-22 北京蔚领时代科技有限公司 Ui数据处理系统
CN115082610A (zh) * 2022-07-15 2022-09-20 北京智汇云舟科技有限公司 基于3d云渲染的多用户协作方法、云渲染服务器及云渲染系统
CN114928754B (zh) * 2022-07-22 2022-10-04 埃洛克航空科技(北京)有限公司 用于实景三维数据的数据处理方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019524212A (ja) 2016-06-30 2019-09-05 株式会社ソニー・インタラクティブエンタテインメント 自動人工知能(ai)パーソナルアシスタント

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US7119808B2 (en) * 2003-07-15 2006-10-10 Alienware Labs Corp. Multiple parallel processor computer graphics system
US8784196B2 (en) * 2006-04-13 2014-07-22 Igt Remote content management and resource sharing on a gaming machine and method of implementing same
JP5840386B2 (ja) * 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP2012085876A (ja) * 2010-10-20 2012-05-10 Sony Computer Entertainment Inc 画像処理システム、画像処理方法、プログラム及び情報記憶媒体
US20140098715A1 (en) * 2012-10-09 2014-04-10 Tv Ears, Inc. System for streaming audio to a mobile device using voice over internet protocol
CN103023872B (zh) * 2012-11-16 2016-01-06 杭州顺网科技股份有限公司 一种云游戏服务平台
CN103095828B (zh) * 2013-01-14 2016-03-30 上海电力学院 基于云渲染的Web3D同步会议系统及实现同步的方法
JP5987060B2 (ja) * 2013-02-06 2016-09-06 株式会社スクウェア・エニックス・ホールディングス ゲームシステム、ゲーム装置、制御方法、プログラム及び記録媒体
CA2872130C (en) * 2013-03-05 2020-01-14 Square Enix Holdings Co., Ltd. Information processing apparatus, rendering apparatus, method and program
JP6379107B2 (ja) * 2013-05-21 2018-08-22 株式会社スクウェア・エニックス・ホールディングス 情報処理装置並びにその制御方法、及びプログラム
EP3000232A4 (en) * 2013-05-23 2017-01-25 Kabushiki Kaisha Square Enix Holdings (also trading as Square Enix Holdings Co., Ltd) Dynamic allocation of rendering resources in a cloud gaming system
EP3011540A4 (en) * 2013-06-17 2017-05-24 Square Enix Holdings Co., Ltd. Image processing apparatus, image processing system, image processing method and storage medium
CN105453051B (zh) * 2013-08-06 2018-12-28 史克威尔·艾尼克斯控股公司 信息处理设备、控制方法、程序以及记录介质
US20160210722A1 (en) * 2013-09-11 2016-07-21 Square Enix Holdings Co., Ltd. Rendering apparatus, rendering method thereof, program and recording medium
US20160293134A1 (en) * 2013-12-26 2016-10-06 Square Enix Holdings Co., Ltd. Rendering system, control method and storage medium
CN106127844A (zh) * 2016-06-22 2016-11-16 民政部零研究所 移动终端用户实时交互访问远程3d场景的渲染交互方法
CN106126423B (zh) * 2016-06-27 2018-10-19 华为技术有限公司 游戏应用程序的测试方法、装置及系统
CN106390450A (zh) * 2016-09-23 2017-02-15 广东小天才科技有限公司 一种游戏状态更新方法、装置及系统
US11077362B2 (en) * 2018-12-03 2021-08-03 Sony Interactive Entertainment LLC Machine learning driven resource allocation
CN109840058A (zh) * 2019-01-07 2019-06-04 烽火通信科技股份有限公司 云游戏数据采集方法及系统
CN110270094A (zh) * 2019-07-17 2019-09-24 珠海天燕科技有限公司 一种游戏中音频控制的方法及装置
CN110448894A (zh) * 2019-08-09 2019-11-15 广州点云科技有限公司 一种基于云游戏的联机方法和装置
CN110548284A (zh) * 2019-08-13 2019-12-10 广州点云科技有限公司 一种基于云游戏的分屏互动方法和装置
CN111450528B (zh) * 2020-03-31 2023-11-24 网易(杭州)网络有限公司 一种云游戏的渲染服务系统、方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019524212A (ja) 2016-06-30 2019-09-05 株式会社ソニー・インタラクティブエンタテインメント 自動人工知能(ai)パーソナルアシスタント

Also Published As

Publication number Publication date
US20220193540A1 (en) 2022-06-23
JP2022546145A (ja) 2022-11-04
CN111951366A (zh) 2020-11-17
WO2022021536A1 (zh) 2022-02-03
EP3975126A1 (en) 2022-03-30
CN111951366B (zh) 2021-06-15
EP3975126A4 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
JP7475610B2 (ja) クラウドネイティブによる3d場面のゲーム方法及びシステム
US10354430B2 (en) Image update method, system, and apparatus
US10229651B2 (en) Variable refresh rate video capture and playback
US7830388B1 (en) Methods and apparatus of sharing graphics data of multiple instances of interactive application
US12022160B2 (en) Live streaming sharing method, and related device and system
US8839112B2 (en) Cloning or extending a computer desktop on a wireless display surface
WO2018121556A1 (zh) 直播数据处理方法、装置、程序及介质
JP5952406B2 (ja) 遠隔描画能力を有するビデオゲーム装置
CN111818120A (zh) 端云用户交互方法、系统及相应设备、存储介质
WO2022048097A1 (zh) 一种基于多显卡的单帧画面实时渲染方法
WO2012021278A2 (en) Cloning specific windows on a wireless display surface
CN113209632B (zh) 一种云游戏的处理方法、装置、设备及存储介质
JP2012085301A (ja) 3次元映像信号処理方法及びこれを具現する携帯型3次元ディスプレイ装置
WO2022257699A1 (zh) 图像画面显示方法、装置、设备、存储介质及程序产品
CN106390449A (zh) 一种基于图形虚拟化技术的云游戏框架
KR101090981B1 (ko) 3차원 영상신호 처리방법 및 이를 구현하는 휴대형 3차원 디스플레이 장치
CN102033726A (zh) 一种显示方法和服务器
JP6306089B2 (ja) ネットワークを通してメディアを伝送するシステム及び方法
CN114845136B (zh) 视频合成方法、装置、设备和存储介质
CN115220906A (zh) 音频/视频合成应用的云执行
CN113051032A (zh) 应用画面处理方法、装置和系统
CN114327790A (zh) 基于Linux系统Android容器的渲染方法
CN117456113B (zh) 一种云端离线渲染交互应用实现方法及系统
Dóka et al. A Novel Split Rendering XR Framework with Occlusion Support
KR20230153467A (ko) 3d 오브젝트의 스트리밍 방법, 장치, 및 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20231227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240409

R150 Certificate of patent or registration of utility model

Ref document number: 7475610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150