JP5481606B1 - 画像生成システムおよび画像生成用プログラム - Google Patents

画像生成システムおよび画像生成用プログラム Download PDF

Info

Publication number
JP5481606B1
JP5481606B1 JP2013553708A JP2013553708A JP5481606B1 JP 5481606 B1 JP5481606 B1 JP 5481606B1 JP 2013553708 A JP2013553708 A JP 2013553708A JP 2013553708 A JP2013553708 A JP 2013553708A JP 5481606 B1 JP5481606 B1 JP 5481606B1
Authority
JP
Japan
Prior art keywords
server
terminal
side image
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013553708A
Other languages
English (en)
Other versions
JPWO2015011762A1 (ja
Inventor
正 對馬
佳樹 柏谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUZZ, INC.
Original Assignee
FUZZ, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUZZ, INC. filed Critical FUZZ, INC.
Application granted granted Critical
Publication of JP5481606B1 publication Critical patent/JP5481606B1/ja
Publication of JPWO2015011762A1 publication Critical patent/JPWO2015011762A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

端末１００に表示させる表示画像の生成処理をサーバ２００だけで行う際には、サーバ２００から端末１００にサーバ側画像（表示画像）が送信されたときの通信速度を履歴として通信履歴記憶部３０に記憶しておき、表示画像の生成処理を端末１００とサーバ２００とで分散して行う際には、通信履歴記憶部３０に記憶されている通信速度の履歴に基づいて、サーバ２００で生成するサーバ側画像のデータ量を調整することにより、通信時間が長くならないようにし、端末側画像とサーバ側画像とを同期をとって画像合成するために要する端末１００側での待ち時間ができるだけ短くなるようにする。

Description

本発明は、画像生成システムおよび画像生成用プログラムに関し、特に、画像の生成処理を端末とサーバとで分散して行い、端末で生成された画像とサーバで生成された画像とを端末において合成して表示させるようになされた画像生成システムに用いて好適なものである。
従来、サーバ上でゲームを動作させ、回線を通じて端末にゲーム画面と音声とをストリーミング配信するようにしたクラウドゲームサービスが提供されている。クラウドゲームサービスでは、端末側で入力された操作情報がサーバに送信され、それに基づいた演算やレンダリング等の画像処理がサーバ側で実行される。そして、その実行結果として得られるゲーム画面や音声が端末にストリーミング配信される。
このクラウドゲームサービスによれば、プレイヤ側の端末には、ゲームプログラムやデータを保存する記憶媒体、高性能なグラフィック処理性能といった環境が不要になる。そのため、これらの高性能な動作環境をサーバ側に用意しておけば、専用のゲーム機やハイエンドのパーソナルコンピュータ以外にも様々な端末で快適にゲームを実行することができるようになる。
ただし、クラウドゲームサービスの場合、サーバから端末に対して配信する画像のデータ量が大きくなるため、回線のトラフィックが増大した場合には通信に遅延が発生する。そのため、ユーザが端末で何らかの操作を行った後、それに応じた演算結果の画像データがサーバから返信されて画面表示されるまでのレスポンス時間が長くなってしまい、ユーザが快適にゲーム楽しむことができないという問題があった。
このような問題を解決するための１つの手段として、画像のレンダリングを端末とサーバとで分散して行い、端末で生成した画像とサーバから配信されてきた画像とを合成して表示させることが考えられる。少なくとも一部の画像を端末側で生成することにより、サーバ側で生成する画像のデータ量、つまりサーバから端末に配信する画像のデータ量を減らすことができる。
なお、サーバで生成した画像と端末で生成した画像とを端末で合成して表示する技術自体は、従来から知られている（例えば、特許文献１，２参照）。
特開平８−６９５４５号公報 特開２００８−６７２９０号公報
特許文献１に記載の技術では、サーバの描画エンジンにおいて背景画像を生成し、映像符号化装置において符号化し、ネットワークを介してユーザ端末に伝送する。ユーザ端末は、映像復号化装置によりこれを復号化し、描画装置において生成した近景画像と画像合成装置において合成し、ディスプレイに表示する。
特許文献２に記載の技術では、画像管理サーバ装置は、画像データ保存部に保存された登録画像データの中から、クライアント端末から送信されるメタデータに対応する画像データと相関の高い高相関性画像データを検索し、検索の結果得られた高相関性画像データを、ネットワークを介してクライアント端末に送信する。クライアント端末は、画像管理サーバ装置から受信した高相関性画像データおよび画像管理サーバ装置に対して送信したメタデータに対応する画像データを用いて合成画像データを生成する。
しかしながら、端末に表示させる画像の生成処理を端末とサーバとで分散して行う場合、端末側で画像を生成するのに要する処理時間と、サーバ側で画像を生成して端末に配信するのに要する処理時間とが異なるので、同期をとって画像合成する必要がある。同期をとるためには、端末側の処理時間（画像生成時間）およびサーバ側の処理時間（画像生成時間＋通信時間）のうち遅い方の時間に合わせる必要がある。
そのため、例えば端末側で一部の画像を生成し終わっても、サーバから残りの画像が配信してこなければ、端末では画像合成を行うまでに一定の待ち時間が生じてしまう。この待ち時間により、合成画像が画面表示されるまでのレスポンス時間が長くなってしまい、ユーザが快適にゲーム楽しむことができる程度まで十分に画面表示の応答性能を上げることができないという問題があった。
本発明は、このような問題を解決するために成されたものであり、端末に表示させる表示画像の生成処理を端末とサーバとで分散して行う場合において、同期をとって画像合成するために要する端末側での待ち時間をできるだけ短くすることにより、画面表示の応答性能を上げることを目的とする。
上記した課題を解決するために、本発明では、端末に表示させる表示画像の生成処理を端末とサーバとで分散して行うか否かを判定し、その判定の結果に応じて、端末側画像とサーバ側画像とを合成することによって表示画像を生成する分散処理、または、サーバ側画像そのものを表示画像として生成する単独処理の何れかを実行するように制御する。単独処理を実行する際には、サーバから端末にサーバ側画像を送信したときの通信速度を履歴として通信履歴記憶部に記憶しておく。また、分散処理を実行する際には、通信履歴記憶部に記憶されている通信速度の履歴に基づいて、サーバで生成するサーバ側画像のデータ量を調整するようにしている。
上記のように構成した本発明によれば、端末に表示させる表示画像の生成処理を端末とサーバとで分散して行う場合、過去にサーバ側画像を端末に送信したときの通信速度の履歴に基づいて、通信時間が長くならないようにサーバ側画像のデータ量が調整されることとなる。これにより、端末側画像とサーバ側画像とを同期をとって画像合成するために要する端末側での待ち時間をできるだけ短くすることができ、画面表示の応答性能を上げることができる。
本実施形態による画像生成システムのネットワーク構成例を示すブロック図である。 本実施形態による端末の機能構成例を示すブロック図である。 本実施形態によるサーバの機能構成例を示すブロック図である。 本実施形態による画像生成システムの動作例を示すフローチャートである。
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による画像生成システムのネットワーク構成例を示すブロック図である。
図１に示すように、本実施形態の画像生成システムは、クラウドゲームのプレイヤが使用する端末１００と、クラウドゲームで使用するゲーム画面や音声をストリーミング配信するサーバ２００とを備えて構成される。端末１００とサーバ２００とは、インターネット３００等の通信ネットワークを介して接続可能性に構成されている。
図２は、本実施形態による端末１００の機能構成例を示すブロック図である。また、図３は、本実施形態によるサーバ２００の機能構成例を示すブロック図である。
図２に示すように、本実施形態の端末１００は、その機能構成として、配信要求部１１、端末側画像生成部１２、サーバ側画像受信部１３、画像合成部１４、表示制御部１５、判定部１６および制御部１７、通信速度検出部１８、記録部１９、データ量調整部２０および通信履歴記憶部３０を備えている。また、図３に示すように、本実施形態のサーバ２００は、その機能構成として、配信要求受信部２１、サーバ側画像生成部２２およびサーバ側画像送信部２３を備えている。
端末１００の各ブロック１１〜２０の機能は、例えば、端末１００に事前にインストールされるゲームアプリケーション（以下、端末側ゲームアプリという）に組み込まれている画像生成用プログラムによって実現される。すなわち、上記各ブロック１１〜２０は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像生成用プログラムが動作することによって実現される。
一方、サーバ２００の各ブロック２１〜２３の機能は、例えば、サーバ２００にあらかじめインストールされているゲームアプリケーション（以下、サーバ側ゲームアプリという）に組み込まれた画像生成用プログラムによって実現される。すなわち、上記各ブロック２１〜２３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像生成用プログラムが動作することによって実現される。
本実施形態では、端末側ゲームアプリとサーバ側ゲームアプリとが協働することによってクラウドゲームが実行される。このクラウドゲームの実行の中で、本実施形態の画像生成システムは、端末１００に表示させる表示画像の生成処理を端末１００とサーバ２００とで分散して行い、端末１００で生成された画像（以下、端末側画像という）とサーバ２００で生成された画像（以下、サーバ側画像という）とを端末１００において合成して表示させるようになされている。なお、本実施形態において画像とは、動画であってもよいし、静止画であってもよい。
以下に、この画像合成の仕組みについて詳しく説明する。端末１００の配信要求部１１は、クラウドゲームの進行の状態に応じて、端末１００に画面表示させる画像の配信をサーバ２００に対して要求する。典型的には、プレイヤによるゲーム操作に応じて画面を切り替える場面になったとき、ゲームの実行結果に応じてプログラムが画面を自動的に切り替える場面になったときなどに、配信要求部１１がサーバ２００に対して必要な画像の配信を要求する。
端末側画像生成部１２は、配信要求部１１がサーバ２００に対して画像の配信を要求する際に、必要に応じて端末側画像の生成処理を行う。必要に応じてというのは、端末側画像とサーバ側画像とを端末１００において合成して表示させる場合、という意味である。本実施形態では、常に画像合成を行うわけではなく、サーバ２００から受信するサーバ側画像だけで表示画像を構成する場合もある。画像合成を行うか否かの制御は判定部１６および制御部１７によって行われるのであるが、これについては後述する。
ここで、端末１００はサーバ２００ほどの高性能なグラフィック処理環境を持たないため、それほどクオリティの高さが要求されない文字画像を端末側画像生成部１２により生成する。一方、高性能なグラフィック処理環境を有するサーバ２００では、文字画像以外の本体画像、すなわち、クオリティの高さが要求される背景やキャラクタ等の画像をサーバ側画像生成部２２により生成する。
サーバ側画像受信部１３は、サーバ側画像生成部２２により生成されたサーバ側画像をサーバ２００から受信する。画像合成部１４は、端末側画像生成部１２により生成された端末側画像と、サーバ側画像受信部１３により受信されたサーバ側画像とを合成することによって表示画像を生成する。
なお、端末側画像生成部１２による端末側画像の生成処理が完了するタイミングと、サーバ２００で生成され送信されたサーバ側画像のサーバ側画像受信部１３による受信処理が完了するタイミングとは必ずしも一致しない。よって、画像合成部１４は、端末側画像とサーバ側画像とを、互いの同期をとって合成する必要がある。
サーバ２００は高性能なグラフィック処理環境を有しているものの、端末側画像に比べてクオリティレベルが高くデータ量も多いサーバ側画像を生成して送信する。そのため、多くの場合、画像合成部１４は、端末側画像生成部１２により端末側画像が生成された後、サーバ側画像受信部１３によりサーバ側画像が受信されるのを待って、画像合成を行うことになる。
ただし、本実施形態では、後述するようにサーバ側画像のデータ量を調整することにより、同期のための待ち時間ができるだけ短くなるようにしている。これにより、表示画像の切り替わりがスムーズに行われるようにして、プレイヤにストレスを感じさせずに気持ちよくゲームを楽しむことができるようにしている。
表示制御部１５は、表示画像を端末１００の画面上に表示させる。上述したように、表示画像は、端末側画像生成部１２により生成された端末側画像と、サーバ側画像受信部１３により受信されたサーバ側画像との合成によって構成される場合もあるし、サーバ側画像受信部１３により受信されたサーバ側画像だけで構成される場合もある。
判定部１６は、表示画像の生成処理を端末１００とサーバ２００とで分散して行うか否かを判定する。つまり、判定部１６は、端末側画像とサーバ側画像とを合成して表示画像を生成するか、それともサーバ側画像だけで表示画像を生成するかを判定する。
本実施形態では、判定部１６は、これから生成しようとする表示画像の中に文字画像が含まれているか否かによって、表示画像の生成処理を端末１００とサーバ２００とで分散して行うか否かを判定する。すなわち、表示画像の中に文字画像が含まれている場合には画像生成の分散処理を行い、文字画像が含まれていない場合には画像生成の分散処理を行わないと判定する。
なお、ゲームの進行状態に応じてこれから生成しようとする表示画像の中に文字画像が含まれているか否かは、例えば、端末側ゲームアプリにあらかじめ組み込まれた情報によって判定することができる。あるいは、文字画像の生成に関する実行命令と、それ以外の本体画像の生成に関する実行命令とを分けて端末側ゲームアプリを構築しておき、このような実行命令形態になっているかを確認することによって判定するようにしてもよい。なお、ここに挙げた判定方法は一例に過ぎず、このやり方に限定されるものではない。
制御部１７は、判定部１６による判定の結果に応じて、分散処理または単独処理の何れかを実行するように制御する。分散処理は、端末側画像生成部１２および画像合成部１４を動作させて、端末側画像とサーバ側画像とを合成することによって表示画像を生成する処理である。また、単独処理は、端末側画像生成部１２および画像合成部１４を動作させずに、サーバ側画像受信部１３で受信されるサーバ側画像だけから表示画像を生成する処理である。また、制御部１７は、判定部１６による判定の結果に応じて、配信要求部１１、通信速度検出部１８、記録部１９およびデータ量調整部２０の動作を制御する。
通信速度検出部１８は、端末１００とサーバ２００との間を接続するインターネット３００の通信速度を検出する。例えば、通信速度検出部１８は、サーバ側画像受信部１３がサーバ２００からサーバ側画像を受信するときにおける通信速度を検出する。なお、通信速度の検出は、少なくとも、サーバ側画像受信部１３で受信されるサーバ側画像を表示画像として生成する単独処理の実行時に行えばよい。
記録部１９は、制御部１７の制御によって単独処理を実行する際に、通信速度検出部１８により検出された通信速度を通信履歴記憶部３０に履歴として記憶させる。すなわち、通信履歴記憶部３０は、単独処理を実行してサーバ２００から端末１００にサーバ側画像を送信したときの通信速度を履歴として記憶する。
データ量調整部２０は、分散処理の実行時に、通信履歴記憶部３０に記憶されている通信速度の履歴に基づいて、サーバ２００にて生成するサーバ側画像のクオリティレベルを決定することにより、当該サーバ側画像のデータ量を調整する。具体的には、データ量調整部２０は、通信履歴記憶部３０に記憶されている通信速度のうち、最も遅い通信速度でサーバ側画像を送信する場合の要処理時間が所定時間（タイムアウト時間）以内に収まるデータ量に調整する。
ここで、タイムアウト時間は、プレイヤがストレスを感じることなく表示画像が切り替わるまでの時間であり、ゲームの進行状態に応じて生成される表示画像の種類毎にあらかじめ決められている。このタイムアウト時間は、例えば、端末側ゲームアプリのプログラム中にあらかじめ情報として組み込まれている。あるいは、当該プログラムとは別にテーブル情報を有し、表示画像の種類毎のタイムアウト時間をテーブル情報に記憶しておくようにしてもよい。
通信速度がビット毎秒（ｂｐｓ：bit per second）で表されている場合において、タイムアウト時間が１秒に設定されているとき、データ量調整部２０は、その１秒間で画像配信が完了するデータ量となるようにサーバ側画像のクオリティレベルを調整する。サーバ側画像のクオリティレベルは、例えば、画像圧縮率の大きさによって指定する。データ量調整部２０は、調整したサーバ側画像のクオリティレベルを配信要求部１１に通知する。配信要求部１１は、上述した画像配信要求と共にこのクオリティレベルをサーバ２００に通知する。
なお、実際には、配信要求部１１がサーバ２００に対して画像の配信要求を送信してから、その応答としてサーバ側画像が送られてくるまでの間に要する時間は、サーバ側画像を生成する時間とサーバ側画像を送信する時間との合計となる。そこで、この合計時間がタイムアウト時間以内となるようにサーバ側画像のデータ量（クリティレベル）を調整するのが好ましい。
サーバ２００の配信要求受信部２１は、端末１００から送られてくる画像配信要求を受信する。サーバ側画像生成部２２は、配信要求受信部２１により画像配信要求を受信したときに、サーバ側画像の生成処理を行う。サーバ側画像送信部２３は、サーバ側画像生成部２２により生成されたサーバ側画像を端末１００に送信する。
ここで、サーバ側画像生成部２２は、画像配信要求と共にクオリティレベルが通知されているときは、そのクオリティレベルに従ってサーバ側画像を生成する。一方、クオリティレベルの通知がない場合、サーバ側画像生成部２２は、例えば、あらかじめ決められたクオリティレベル（高画質を実現するレベル）でサーバ側画像を生成する。あるいは、画像配信要求を受信したときの通信速度をサーバ２００側で検出し、その通信速度でサーバ２００から端末１００にサーバ側画像を送信する場合の要処理時間がタイムアウト時間以内に収まるデータ量となるように設定したクオリティレベルでサーバ側画像を生成するようにしてもよい。
図４は、上記のように構成した本実施形態による画像生成システムの動作例を示すフローチャートである。図４に示すフローチャートは、端末１００にインストールされた端末側ゲームアプリを起動したときに開始する。
まず、端末１００の判定部１６は、クラウドゲームの進行の状態に応じて、表示画像を切り替える場面になったか否かを判定する（ステップＳ１）。画像切替の場面になっていない場合は、そのままゲームの進行を続け、表示画像を切り替える場面になったか否かを判定し続ける。
一方、表示画像を切り替える場面になったと判定した場合、判定部１６は、これから生成しようとする表示画像の中に文字画像が含まれているか否かによって、表示画像の生成処理を端末１００とサーバ２００とで分散して行うか否かを判定する（ステップＳ２）。ここで、分散処理を行うと判定部１６により判定された場合、その旨を制御部１７に通知する。
データ量調整部２０は、制御部１７による制御を受けて、通信履歴記憶部３０に記憶されている通信速度の履歴に基づいて、サーバ２００にて生成するサーバ側画像（文字画像以外の本体画像）のクオリティレベルを決定する（ステップＳ３）。具体的には、データ量調整部２０は、通信履歴記憶部３０に記憶されている通信速度のうち、最も遅い通信速度でサーバ２００から端末１００にサーバ側画像を送信する場合の要処理時間がタイムアウト時間以内に収まるデータ量となるように、サーバ側画像のクオリティレベルを決定する。
その後、配信要求部１１は、データ量調整部２０により決定されたクオリティレベルの情報と共に画像配信要求をサーバ２００に送信する（ステップＳ４）。さらに、端末側画像生成部１２は、制御部１７からの制御を受けて、端末側画像（文字画像）の生成処理を行う（ステップＳ５）。
一方、上記ステップＳ２において、これから生成しようとする表示画像の中に文字画像が含まれておらず、表示画像の生成処理をサーバ２００が単独で行うと判定部１６にて判定された場合、配信要求部１１は、サーバ側画像に関するクオリティレベルの情報無しで画像配信要求をサーバ２００に送信する（ステップＳ６）。
サーバ２００の配信要求受信部２１は、ステップＳ４またはステップＳ６で端末１００から送信された画像配信要求を受信する（ステップＳ７）。この画像配信要求を受けて、サーバ側画像生成部２２は、サーバ側画像の生成処理を行う（ステップＳ８）。このときサーバ側画像生成部２２は、画像配信要求と共にクオリティレベルの情報が通知されているときは、そのクオリティレベルに従ってサーバ側画像を生成する。そして、サーバ側画像送信部２３は、サーバ側画像生成部２２により生成されたサーバ側画像を端末１００に送信する（ステップＳ９）。
端末１００では、サーバ側画像送信部２３により送信されたサーバ側画像をサーバ側画像受信部１３で受信する（ステップＳ１０）。ここで、判定部１６は、分散処理の実行中か否かを判定する（ステップＳ１１）。分散処理を実行中の場合、画像合成部１４は、制御部１７による制御に従って、ステップＳ５で端末側画像生成部１２により生成された端末側画像と、ステップＳ１０でサーバ側画像受信部１３により受信されたサーバ側画像とを合成することによって表示画像を生成する（ステップＳ１２）。そして、表示制御部１５は、画像合成部１４により生成された表示画像を端末１００の画面上に表示させる（ステップＳ１３）。
一方、ステップＳ１１で分散処理を実行中ではないと判定部１６にて判定された場合、つまり単独処理を実行中の場合、通信速度検出部１８は、制御部１７による制御に従って、サーバ側画像受信部１３がサーバ２００からサーバ側画像を受信したときにおける通信速度を検出する（ステップＳ１４）。そして、記録部１９は、通信速度検出部１８により検出された通信速度を通信履歴記憶部３０に履歴として記憶させる（ステップＳ１５）。その後、表示制御部１５は、ステップＳ１０でサーバ側画像受信部１３により受信されたサーバ側画像そのものを表示画像として端末１００の画面上に表示させる（ステップＳ１３）。
その後、判定部１６は、ゲームが終了となったか否かを判定する（ステップＳ１６）。すなわち、判定部１６は、ゲームの進行によりゲームオーバーとなったり、ユーザによる操作によってゲームの終了が指示されたりしたかどうかを判定する。ゲームが終了となっていない場合、処理はステップＳ１に戻る。一方、ゲームが終了となった場合、図４に示すフローチャートの処理は終了する。
以上詳しく説明したように、本実施形態では、ゲームの進行に応じて端末１００に表示させる画像を切り替える必要が生じたとき、その表示画像の生成処理を端末１００とサーバ２００とで分散して行うか否か、サーバ２００において単独で行うかを判定する。そして、単独処理を行う場合は、端末１００にてサーバ側画像を受信したときの通信速度を検出して履歴として通信履歴記憶部３０に記憶しておく。一方、分散処理を行う場合は、通信履歴記憶部３０に記憶されている通信速度の履歴に基づいて、サーバ２００で生成するサーバ側画像のデータ量（クオリティレベル）を調整するようにしている。
このように構成した本実施形態によれば、端末１００に表示させる表示画像の生成処理を端末１００とサーバ２００とで分散して行う場合、過去にサーバ側画像をサーバ２００から端末１００に送信したときの通信速度の履歴に基づいて、通信時間が長くならないようにサーバ側画像のデータ量が調整されることとなる。これにより、端末側画像とサーバ側画像とを同期をとって画像合成するために要する端末１００側での待ち時間をできるだけ短くすることができ、表示画像の切り替え時における画面表示の応答性能を上げることができる。
なお、上記実施形態では、端末１００に端末側ゲームアプリを事前にインストールしておく例について説明したが、本発明はこれに限定されない。例えば、ゲーム起動時に端末側ゲームアプリをサーバ２００から端末１００にダウンロードするようにしてもよい。また、ゲームの進行に応じて表示画像を切り替える場面ごとに、その場面での画像表示に必要な実行命令を記述したスクリプトをサーバ２００から端末１００にダウンロードするようにしてもよい。
また、上記実施形態では、通信速度検出部１８、記録部１９、データ量調整部２０および通信履歴記憶部３０を端末１００に設ける例について説明したが、これらをサーバ２００に設けるようにしてもよい。この場合、配信要求部１１は、判定部１６による判定の結果を知らせる通知と共に画像配信要求をサーバ２００に送信する。
また、上記実施形態では、判定部１６および制御部１７を端末１００に設ける例について説明したが、これらをサーバ２００に設けるようにしてもよい。この場合、ゲームの進行に応じて表示画像を切り替える場面になったとき、サーバ２００の判定部１６において分散処理を行うか否かを判定し、分散処理を行う場合はその旨を端末１００に通知する。その後、サーバ２００でのサーバ側画像の生成および送信と、端末１００での端末側画像の生成とを並行して行い、両画像の合成処理を端末１００にて行う。
また、上記実施形態では、分散処理の実行時に、通信履歴記憶部３０に記憶されている通信速度のうち、最も遅い通信速度でサーバ側画像を送信する場合の要処理時間がタイムアウト時間以内に収まるようにサーバ側画像のデータ量を調整するようにしている。しかし、そのときの実際の通信速度が過去の最も遅い通信速度よりも更に遅かった場合には、サーバ側画像をタイムアウト時間内に送信することができなくなる。
この場合、端末１００では、タイムアウト時間になった時点で端末側画像のみを表示させるようにしてもよい。タイムアウト時間を過ぎてもサーバ側画像が送られてくるまで待ってその間は何も画像が表示されない状態となるよりも、文字画像だけでも表示させた方がプレイヤのストレスが少ないと考えられるからである。文字画像さえ表示されていれば、それ以外の本体画像がなくても、少なくともその画面の意味をプレイヤに伝えることは可能である。
また、上記実施形態では、端末側画像を文字画像とし、サーバ側画像をそれ以外の本体画像とする例について説明したが、本発明はこれに限定されない。例えば、一連の動画の中で動きのない背景画像を端末側画像として生成し、動きのあるキャラクタ画像等をサーバ側画像として生成するようにしてもよい。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
１１ 配信要求部
１２ 端末側画像生成部
１３ サーバ側画像受信部
１４ 画像合成部
１５ 表示制御部
１６ 判定部
１７ 制御部
１８ 通信速度検出部
１９ 記録部
２０ データ量調整部
２１ 配信要求受信部
２２ サーバ側画像生成部
２３ サーバ側画像送信部
３０ 通信履歴記憶部
１００ 端末
２００ サーバ

Claims (8)

  1. 端末に表示させる表示画像の生成処理を上記端末とサーバとで分散して行い、上記端末で生成された端末側画像と上記サーバで生成されたサーバ側画像とを上記端末において合成して表示させるようになされた画像生成システムであって、
    上記表示画像の生成処理を上記端末と上記サーバとで分散して行うか否かを判定する判定部と、
    上記判定部による判定の結果に応じて、上記端末側画像と上記サーバ側画像とを合成することによって上記表示画像を生成する分散処理、または、上記サーバ側画像を上記表示画像として生成する単独処理の何れかを実行するように制御する制御部と、
    上記単独処理を実行して上記サーバから上記端末に上記サーバ側画像を送信したときの通信速度を履歴として記憶する通信履歴記憶部と、
    上記分散処理を実行して上記サーバ側画像を生成する際に、上記通信履歴記憶部に記憶されている通信速度の履歴に基づいて、上記サーバ側画像のデータ量を調整するデータ量調整部とを備えたことを特徴とする画像生成システム。
  2. 上記データ量調整部は、上記通信履歴記憶部に記憶されている通信速度のうち最も遅い通信速度で上記サーバ側画像を送信する場合の要処理時間が所定時間以内に収まるデータ量に調整することを特徴とする請求項１に記載の画像生成システム。
  3. 上記所定時間は、上記表示画像の種類毎にあらかじめ決められたタイムアウト時間であることを特徴とする請求項２に記載の画像生成システム。
  4. 上記分散処理の実行時に上記端末で生成される上記端末側画像は上記表示画像に含まれる文字画像であり、上記分散処理の実行時に上記サーバで生成される上記サーバ側画像は上記文字画像以外の画像であり、
    上記判定部は、上記表示画像の中に上記文字画像が含まれているか否かによって、上記表示画像の生成処理を上記端末と上記サーバとで分散して行うか否かを判定することを特徴とする請求項１に記載の画像生成システム。
  5. 端末に表示させる表示画像の生成処理を上記端末とサーバとで分散して行い、上記端末で生成された端末側画像と上記サーバで生成されたサーバ側画像とを上記端末において合成して表示させるようになされた画像生成システムであって、
    上記端末は、
    画像の配信を要求する配信要求部と、
    上記端末側画像の生成処理を行う端末側画像生成部と、
    上記サーバ側画像を受信するサーバ側画像受信部と、
    上記端末側画像生成部により生成された上記端末側画像および上記サーバ側画像受信部により受信された上記サーバ側画像を合成することによって上記表示画像を生成する画像合成部と、
    上記表示画像を表示させる表示制御部と、
    上記表示画像の生成処理を上記端末と上記サーバとで分散して行うか否かを判定する判定部と、
    上記判定部による判定の結果に応じて、上記端末側画像生成部および上記画像合成部を動作させて上記表示画像を生成する分散処理、または、上記端末側画像生成部および上記画像合成部を動作させずに上記サーバ側画像受信部で受信される上記サーバ側画像を上記表示画像として生成する単独処理の何れかを実行するように制御する制御部と、
    上記端末と上記サーバとの間を接続する回線の通信速度を検出する通信速度検出部と、
    上記単独処理の実行時に、上記サーバ側画像受信部により上記サーバ側画像を受信したときに上記通信速度検出部により検出された通信速度を通信履歴記憶部に履歴として記憶させる記録部と、
    上記分散処理の実行時に、上記通信履歴記憶部に記憶されている通信速度の履歴に基づいて、上記サーバ側画像のデータ量を調整するデータ量調整部とを備え、
    上記サーバは、
    上記端末から送られてくる画像の配信要求を受信する配信要求受信部と、
    上記配信要求受信部により上記配信要求を受信したときに、上記データ量調整部により調整されたデータ量となるように上記サーバ側画像の生成処理を行うサーバ側画像生成部と、
    上記サーバ側画像生成部により生成された上記サーバ側画像を上記端末に送信するサーバ側画像送信部とを備えたことを特徴とする画像生成システム。
  6. 端末に表示させる表示画像の生成処理を上記端末とサーバとで分散して行い、上記端末で生成された端末側画像と上記サーバで生成されたサーバ側画像とを上記端末において合成して表示させるようになされた画像生成システムであって、
    上記端末は、
    画像の配信を要求する配信要求部と、
    上記端末側画像の生成処理を行う端末側画像生成部と、
    上記サーバ側画像を受信するサーバ側画像受信部と、
    上記端末側画像生成部により生成された上記端末側画像および上記サーバ側画像受信部により受信された上記サーバ側画像を合成することによって上記表示画像を生成する画像合成部と、
    上記表示画像を表示させる表示制御部と、
    上記表示画像の生成処理を上記端末と上記サーバとで分散して行うか否かを判定する判定部と、
    上記判定部による判定の結果に応じて、上記端末側画像生成部および上記画像合成部を動作させて上記表示画像を生成する分散処理、または、上記端末側画像生成部および上記画像合成部を動作させずに上記サーバ側画像受信部で受信される上記サーバ側画像を上記表示画像として生成する単独処理の何れかを実行するように制御する制御部とを備え、
    上記サーバは、
    上記端末から送られてくる画像の配信要求を受信する配信要求受信部と、
    上記配信要求受信部により上記配信要求を受信したときに、上記サーバ側画像の生成処理を行うサーバ側画像生成部と、
    上記サーバ側画像生成部により生成された上記サーバ側画像を上記端末に送信するサーバ側画像送信部と、
    上記端末と上記サーバとの間を接続する回線の通信速度を検出する通信速度検出部と、
    上記単独処理の実行時に、上記サーバ側画像送信部により上記サーバ側画像を送信したときに上記通信速度検出部により検出された通信速度を通信履歴記憶部に履歴として記憶させる記録部と、
    上記分散処理の実行時に、上記通信履歴記憶部に記憶されている通信速度の履歴に基づいて、上記サーバ側画像のデータ量を調整するデータ量調整部とを備え、
    上記サーバ側画像生成部は、上記配信要求受信部により上記配信要求を受信したときに、上記データ量調整部により調整されたデータ量となるように上記サーバ側画像の生成処理を行うことを特徴とする画像生成システム。
  7. 端末に表示させる表示画像の生成処理を上記端末とサーバとで分散して行い、上記端末で生成された端末側画像と上記サーバで生成されたサーバ側画像とを上記端末において合成して表示させるようになされた画像生成システムであって、
    上記端末は、
    画像の配信を要求する配信要求部と、
    上記端末側画像の生成処理を行う端末側画像生成部と、
    上記サーバ側画像を受信するサーバ側画像受信部と、
    上記端末側画像生成部により生成された上記端末側画像および上記サーバ側画像受信部により受信された上記サーバ側画像を合成することによって上記表示画像を生成する画像合成部と、
    上記表示画像を表示させる表示制御部とを備え、
    上記サーバは、
    上記端末から送られてくる画像の配信要求を受信する配信要求受信部と、
    上記配信要求受信部により上記配信要求を受信したときに、上記サーバ側画像の生成処理を行うサーバ側画像生成部と、
    上記サーバ側画像生成部により生成された上記サーバ側画像を上記端末に送信するサーバ側画像送信部と、
    上記表示画像の生成処理を上記端末と上記サーバとで分散して行うか否かを判定する判定部と、
    上記判定部による判定の結果に応じて、上記端末側画像と上記サーバ側画像とを別に生成してこれらを上記画像合成部で合成することによって上記表示画像を生成する分散処理、または、上記サーバ側画像だけで上記表示画像を生成する単独処理の何れかを実行するように制御する制御部と、
    上記端末と上記サーバとの間を接続する回線の通信速度を検出する通信速度検出部と、
    上記単独処理の実行時に、上記サーバ側画像送信部により上記サーバ側画像を送信したときに上記通信速度検出部により検出された通信速度を通信履歴記憶部に履歴として記憶させる記録部と、
    上記分散処理の実行時に、上記通信履歴記憶部に記憶されている通信速度の履歴に基づいて、上記サーバ側画像のデータ量を調整するデータ量調整部とを備え、
    上記サーバ側画像生成部は、上記配信要求受信部により上記配信要求を受信したときに、上記データ量調整部により調整されたデータ量となるように上記サーバ側画像の生成処理を行うことを特徴とする画像生成システム。
  8. 端末に表示させる表示画像の生成処理を上記端末とサーバとで分散して行い、上記端末で生成された端末側画像と上記サーバで生成されたサーバ側画像とを上記端末において合成して表示させるようになされた画像生成システムに適用される画像生成用プログラムであって、
    上記表示画像の生成処理を上記端末と上記サーバとで分散して行うか否かを判定する判定手段、
    上記判定手段による判定の結果に応じて、上記端末側画像と上記サーバ側画像とを合成することによって上記表示画像を生成する分散処理、または、上記サーバ側画像を上記表示画像として生成する単独処理の何れかを実行するように制御する制御手段、
    上記単独処理を実行して上記サーバから上記端末に上記サーバ側画像を送信したときの通信速度を履歴として通信履歴記憶部に記憶させる記録手段、および
    上記分散処理を実行して上記サーバ側画像を生成する際に、上記通信履歴記憶部に記憶されている通信速度の履歴に基づいて、上記サーバ側画像のデータ量を調整するデータ量調整手段
    としてコンピュータを機能させるための画像生成用プログラム。
JP2013553708A 2013-07-22 2013-07-22 画像生成システムおよび画像生成用プログラム Active JP5481606B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/069799 WO2015011762A1 (ja) 2013-07-22 2013-07-22 画像生成システムおよび画像生成用プログラム

Publications (2)

Publication Number Publication Date
JP5481606B1 true JP5481606B1 (ja) 2014-04-23
JPWO2015011762A1 JPWO2015011762A1 (ja) 2017-03-02

Family

ID=50749993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013553708A Active JP5481606B1 (ja) 2013-07-22 2013-07-22 画像生成システムおよび画像生成用プログラム

Country Status (4)

Country Link
US (1) US20160001177A1 (ja)
EP (1) EP3026919A4 (ja)
JP (1) JP5481606B1 (ja)
WO (1) WO2015011762A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016131757A (ja) * 2015-01-20 2016-07-25 株式会社サミーネットワークス ゲーム制御プログラム、ゲーム制御装置及びゲーム制御方法
JP2016131756A (ja) * 2015-01-20 2016-07-25 株式会社サミーネットワークス ゲームサーバ、ゲーム制御プログラム及びゲーム制御方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9839843B1 (en) * 2014-11-14 2017-12-12 Amazon Technologies, Inc. Coordination of content presentation operations
US10158700B1 (en) 2014-11-14 2018-12-18 Amazon Technologies, Inc. Coordination of content presentation operations
US9821222B1 (en) 2014-11-14 2017-11-21 Amazon Technologies, Inc. Coordination of content presentation operations
KR101745808B1 (ko) * 2015-12-31 2017-06-28 엔에이치엔엔터테인먼트 주식회사 서버측 로직의 모듈화를 위한 모듈 처리 방법 및 시스템
CN111797689B (zh) * 2017-04-28 2024-04-16 创新先进技术有限公司 车辆定损图像获取方法、装置、服务器和客户端
US11524230B2 (en) * 2019-10-01 2022-12-13 Sony Interactive Entertainment Inc. Encoder tuning to improve tradeoffs between latency and video quality in cloud gaming applications
US11539960B2 (en) 2019-10-01 2022-12-27 Sony Interactive Entertainment Inc. Game application providing scene change hint for encoding at a cloud gaming server
US11420118B2 (en) 2019-10-01 2022-08-23 Sony Interactive Entertainment Inc. Overlapping encode and transmit at the server
US11235235B2 (en) 2019-10-01 2022-02-01 Sony Interactive Entertainment Inc. Synchronization and offset of VSYNC between gaming devices
US11458391B2 (en) 2019-10-01 2022-10-04 Sony Interactive Entertainment Inc. System and method for improving smoothness in cloud gaming applications
JP7250721B2 (ja) * 2020-03-23 2023-04-03 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
CN113419802B (zh) * 2021-06-21 2022-08-05 网易（杭州）网络有限公司 图集生成方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869545A (ja) * 1994-08-31 1996-03-12 Sony Corp 対話型画像提供方法
JP2006121267A (ja) * 2004-10-20 2006-05-11 Sharp Corp 連続再生システム
JP2008148071A (ja) * 2006-12-11 2008-06-26 Dowango:Kk 表示装置、コメント表示方法、及びプログラム
JP2011199727A (ja) * 2010-03-23 2011-10-06 Mitsubishi Electric Corp 複数公衆回線を用いた高帯域動画伝送システムおよび方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634531B2 (en) * 2002-01-23 2009-12-15 Ali Abdolsalehi Interactive internet browser based media broadcast
JP2008067290A (ja) 2006-09-11 2008-03-21 Victor Co Of Japan Ltd 画像表示システム、クライアント端末、および画像管理サーバ装置
US9211473B2 (en) * 2008-12-15 2015-12-15 Sony Computer Entertainment America Llc Program mode transition
US8506402B2 (en) * 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869545A (ja) * 1994-08-31 1996-03-12 Sony Corp 対話型画像提供方法
JP2006121267A (ja) * 2004-10-20 2006-05-11 Sharp Corp 連続再生システム
JP2008148071A (ja) * 2006-12-11 2008-06-26 Dowango:Kk 表示装置、コメント表示方法、及びプログラム
JP2011199727A (ja) * 2010-03-23 2011-10-06 Mitsubishi Electric Corp 複数公衆回線を用いた高帯域動画伝送システムおよび方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016131757A (ja) * 2015-01-20 2016-07-25 株式会社サミーネットワークス ゲーム制御プログラム、ゲーム制御装置及びゲーム制御方法
JP2016131756A (ja) * 2015-01-20 2016-07-25 株式会社サミーネットワークス ゲームサーバ、ゲーム制御プログラム及びゲーム制御方法

Also Published As

Publication number Publication date
JPWO2015011762A1 (ja) 2017-03-02
US20160001177A1 (en) 2016-01-07
WO2015011762A1 (ja) 2015-01-29
EP3026919A1 (en) 2016-06-01
EP3026919A4 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
JP5481606B1 (ja) 画像生成システムおよび画像生成用プログラム
EP4141781B1 (en) Memory management in gaming rendering
US11012338B2 (en) Network adaptive latency reduction through frame rate control
JP6695449B2 (ja) ブラウザベースのクラウドゲーム
US10771565B2 (en) Sending application input commands over a network
JP6288594B2 (ja) デスクトップクラウドベースのメディア制御方法およびデバイス
JP6310073B2 (ja) 描画システム、制御方法、及び記憶媒体
US8549167B2 (en) Just-in-time transcoding of application content
CN104918072A (zh) 低延时实况视频流传输
US20160101356A1 (en) System And Method For Delivering Media Over Network
US9843825B1 (en) Distributed and synchronized media switching
WO2012054089A2 (en) Distributed processing pipeline and distributed layered application processing
US9584809B2 (en) Encoding control apparatus and encoding control method
JP5913554B2 (ja) ネットワークを通してメディアを伝送するシステム及び方法
CN115661011A (zh) 渲染方法、装置、设备和存储介质
JP6560696B2 (ja) データのセグメント受信を制御するクライアント、プログラム及び方法
JP6513054B2 (ja) コンテンツ配信システムのクライアント装置、コンテンツの取得方法及びプログラム
JP7191900B2 (ja) ゲームストリーミングのための方法および装置
US10560548B2 (en) Delivery system, delivery method, and delivery program
JP2016015597A (ja) 配信制御システム、配信制御方法、及びプログラム
US9525901B2 (en) Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method
KR20130109904A (ko) 멀티스크린 기반의 다차원 게임 서비스 방법 및 그 장치
CN113242472B (zh) 电视图文播控管理方法、装置、计算机设备及存储介质
CN110536171B (zh) 互动场景中的多媒体处理方法、装置及电子设备
Stensland et al. Using a commodity hardware video encoder for interactive applications

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140204

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140217

R150 Certificate of patent or registration of utility model

Ref document number: 5481606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350