JP5520190B2 - 画像処理システム、画像処理方法、動画像送信装置、動画像受信装置、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、画像処理システム、画像処理方法、動画像送信装置、動画像受信装置、プログラム及び情報記憶媒体に関する。

動画像をサーバから端末に送信する技術が存在する。特許文献１には、画像フレーム毎に設定された重要度を動画ストリームのパケットのヘッダに優先度タグとして付加して、パケットの優先度制御機能をもつルータで構成されるネットワークに優先度タグ付きのパケットを送信することで、動画ストリームをネットワークで送受信する場合に、動画ストリームの優先度制御を効果的に行って動画を再生することのできる画像処理システムが開示されている。

米国特許第７７３４１０４号明細書

複数の動画像がまとめて表示される画面をクライアントが表示出力する一手法として、例えば、サーバが複数の動画像をクライアントにストリーミング配信して、クライアントがこれら複数の動画像それぞれのフレーム画像を合成した画面を生成して表示出力するという手法が考えられる。

また、別の手法として、サーバが複数の動画像それぞれのフレーム画像を合成した合成画像を含む画面を順次生成して、クライアントにストリーミング配信して、クライアントがこの画面を表示出力するという手法が考えられる。

前者の手法を採用する場合は、クライアントにおいて複数の動画像のそれぞれをデコードして画面を生成する処理を行う必要が生じる。しかし、クライアントの処理性能が低い場合には、クライアントにおいてこのような処理を行えない、あるいは、画面の生成に非常に時間がかかってしまうという事態が発生するおそれがある。また、サーバとクライアントとを接続するネットワークの帯域が狭い場合には、帯域が逼迫してしまうおそれがある。

一方、後者の手法を採用する場合は、サーバで画面を生成する処理を実行する必要が生じる。そうすると、例えば、サーバから多数のクライアントに動画像を配信するような場合には、全体としてのサービスレベルが低下するという事態が発生するおそれがある。

また、クライアントの性能やサーバの性能によっては、複数の動画像をクライアントにまとめて表示させる代わりに、そのうちの１つ、あるいは、いくつかの動画像を選択してクライアントに表示させる方がよい場合もある。

このように、利用者に提示される画面の基礎となる動画像の数は、多い方がいい場面もあれば少ない方がよい場面もある。

本発明は上記課題に鑑みてなされたものであって、利用者に提示される画面の基礎となる、動画像送信装置から動画像受信装置へと送信される動画像の数の柔軟性を高めることができる画像処理システム、画像処理方法、動画像送信装置、動画像受信装置、プログラム及び情報記憶媒体を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理システムは、動画像送信装置と、動画像受信装置と、を含み、前記動画像送信装置が、動画像を前記動画像受信装置に送信する動画像送信手段、を含み、前記動画像受信装置が、一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成手段、を含み、前記動画像送信手段は、所与の規則に従って決定される数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信し、前記画面生成手段は、前記決定される数の動画像のフレーム画像が含まれる画面を生成することを特徴とする。

また、本発明に係る画像処理方法は、動画像送信装置が、動画像を動画像受信装置に送信する動画像送信ステップと、前記動画像受信装置が、一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成ステップと、を含み、前記動画像送信ステップでは、所与の規則に従って決定される数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信し、前記画面生成ステップでは、前記決定される数の動画像のフレーム画像が含まれる画面を生成することを特徴とする。

また、本発明に係る動画像送信装置は、一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する動画像受信装置に動画像を送信する動画像送信手段、を含み、前記動画像送信手段は、所与の規則に従って決定される数の動画像を一画面内に配置される動画像として、当該決定される数の動画像のフレーム画像が含まれる画面を生成する前記動画像受信装置に送信することを特徴とする。

また、本発明に係る動画像受信装置は、動画像を送信する動画像送信手段を含む動画像送信装置から一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成手段、を含み、前記画面生成手段は、前記動画像送信手段により一画面内に配置される動画像として送信される所定の規則に従って決定される数の動画像を受信して、当該決定される数の動画像のフレーム画像が含まれる画面を生成することを特徴とする。

また、本発明に係るプログラムは、一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する動画像受信装置に動画像を送信する動画像送信手段、としてコンピュータを機能させ、前記動画像送信手段は、所与の規則に従って決定される数の動画像を一画面内に配置される動画像として、当該決定される数の動画像のフレーム画像が含まれる画面を生成する前記動画像受信装置に送信することを特徴とする。

また、本発明に係る別のプログラムは、動画像を送信する動画像送信手段を含む動画像送信装置から一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成手段、としてコンピュータを機能させ、前記画面生成手段は、前記動画像送信手段により一画面内に配置される動画像として送信される所定の規則に従って決定される数の動画像を受信して、当該決定される数の動画像のフレーム画像が含まれる画面を生成することを特徴とする。

また、上記のプログラムは、いずれも、コンピュータ読み取り可能な情報記憶媒体に記憶することもできる。

本発明によると、所与の規則に従って決定される数の動画像が一画面内に配置される動画像として動画像送信装置から動画像受信装置に送信されるので、利用者に提示される画面の基礎となる、動画像送信装置から動画像受信装置へと送信される動画像の数の柔軟性を高めることができる。

本発明の一態様では、前記動画像送信手段は、所定の条件を満足するか否かに応じて、複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信するか、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信するか、を変え、前記画面生成手段は、複数の動画像を受信した場合は、当該複数の動画像それぞれのフレーム画像を合成して画面を生成し、フレーム画像が前記合成画像である動画像を受信した場合は、当該動画像のフレーム画像が含まれる画面を生成することを特徴とする。

また、本発明の一態様では、前記動画像送信手段は、前記動画像受信装置の属性に応じて、複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信するか、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信するか、を変えることを特徴とする。

また、本発明の一態様では、前記動画像送信手段は、前記動画像送信装置と前記動画像受信装置との間の通信の状況に応じて、複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信するか、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信するか、を変えることを特徴とする。

また、本発明の一態様では、前記動画像送信手段は、前記動画像送信装置若しくは前記動画像受信装置の負荷、又は、前記動画像送信装置と前記動画像受信装置との間の通信の状況が変化した際に、当該変化に応じて、一画面内に配置される動画像として送信する動画像の数を変えることを特徴とする。

また、本発明の一態様では、前記動画像送信手段は、候補である複数の動画像のうちから所定の基準に従って選択される前記決定される数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信することを特徴とする。

本実施形態に係るコンピュータネットワークの全体構成の一例を示す図である。 ゲーム画面の一例を示す図である。 ゲーム画面の一例を示す図である。 本実施形態に係るクラウドサービスとクライアントとの関係の一例を示す概念図である。 本実施形態に係るクラウドサービス及びクライアントで実現される機能の一例を示す機能ブロック図である。 属性設定対応データの一例を示す図である。 配信設定データの一例を示す図である。 フレンド表示画面の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係るコンピュータネットワークの全体構成の一例を示す図である。図１に示すように、インターネットなどのコンピュータネットワーク１４には、いずれもコンピュータを中心に構成されたクラウドサービス１０、クライアント１２（１２−１〜１２−ｎ）、が接続されている。そして、クラウドサービス１０、クライアント１２は、互いに通信可能になっている。本実施形態では、クラウドサービス１０は、動画像送信装置として機能し、クライアント１２は、動画像受信装置として機能する。また、本実施形態では、クラウドサービス１０及びクライアント１２全体として画像処理システムとして機能する。

クライアント１２は、クラウドサービス１０のユーザが利用するコンピュータであり、例えば、パーソナルコンピュータ、ゲームコンソール、テレビ受像器、携帯型ゲーム装置、携帯情報端末、などである。そして、クライアント１２は、例えば、ＣＰＵ等の制御装置、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブ等の記憶装置、ディスプレイ、スピーカ等の出力装置、ゲームコントローラ、タッチパッド、マウス、キーボード、マイク等の入力装置、ネットワークボード等の通信装置、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスク（コンピュータ読み取り可能な情報記憶媒体）を読み取る光ディスクドライブ、等を備えている。

また、本実施形態に係るクライアント１２は、ウェブブラウザ及びクライアントプログラムが予めインストールされており、これらのアプリケーションプログラムが実行される。

クラウドサービス１０は、例えば、分散コンピューティング環境であり、互いに通信可能に接続されている複数台のＷｅｂアプリケーションサーバ、複数台のデータベースサーバ、複数台のストレージデバイス、などを含んで構成されている。クラウドサービス１０に含まれるサーバは、例えば、ＣＰＵ等の制御部、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである記憶部、ネットワークボードなどの通信インタフェースである通信部、を含んで構成されている。これらの要素は、バスを介して接続される。

クラウドサービス１０を利用するクライアント１２は、クラウドサービス１０内に存在するサーバやストレージデバイスなどのリソースの所在を特に意識することなく、クラウドサービス１０が提供する各種サービスを利用することができる。

本実施形態では、クライアント１２が、ウェブブラウザを通じてクラウドサービス１０にアクセスし、ユーザＩＤ及びパスワードを入力してから、その後に所定のＵＲＬにアクセスすると、クライアント１２のディスプレイに所定のＵＲＬに対応する画面が表示される。なお、ユーザＩＤ及びパスワードを入力した後は、クラウドサービス１０は、例えば、クッキーを参照することによりクライアント１２を利用するユーザのユーザＩＤを特定することができるようになっている。

本実施形態では、例えば、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤ、それぞれのクライアント１２から、複数人数でのゲームのプレイ（マルチプレイ）の実行の開始要求をクラウドサービス１０に送信すると、クラウドサービス１０はそのゲームの実行を開始する。以下、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤのユーザＩＤは、それぞれ、「００１」、「００２」、「００３」、及び、「００４」であることとする。そして、このゲームが実行されている間、クラウドサービス１０は、このゲームのプレイ内容を表す動画像をエンコードして各クライアント１２にストリーミング送信する。すなわち、クラウドサービス１０は、このゲームのプレイ内容を表すフレーム画像２０を順次各クライアント１２にストリーミング送信する。そして、クライアント１２は、この動画像を受信し、デコードし、デコードされた動画像のフレーム画像２０が配置されたゲーム画面２２を生成して、ディスプレイに表示出力する（図２、及び、図３参照）。以下、上述のようにして順次ストリーミング送信される一連のフレーム画像２０から構成される、プレイが進行中であるゲームのプレイ内容を表す動画像をプレイ動画像と呼ぶこととする。

図２に、ユーザＡのクライアント１２のディスプレイに表示されるゲーム画面２２の一例を示す。図３に、ユーザＢのクライアント１２のディスプレイに表示されるゲーム画面２２の一例を示す。図３では、例えば、ユーザＢのプレイ動画像のフレーム画像２０が左上に配置されており、ユーザＡ、ユーザＣ、及び、ユーザＤのプレイ動画像のフレーム画像２０が、それぞれ、右上、左下、右下に配置されている。

本実施形態では、各ユーザは、プレイ動画像を見ながら、ゲームコントローラのボタンを押下するなどしてゲームを楽しむことができる。本実施形態では、各ユーザ、ゲームコントローラのボタンを押下するなどの、キー入力を行うことにより、ゲームにおけるプレイヤオブジェクトの移動等の操作を行うことができる。

図２及び図３に示すように、本実施形態では、複数のユーザが同じゲームをマルチプレイでプレイしている状況であっても、各ユーザのクライアント１２のディスプレイには異なるゲーム画面２２が表示出力される場合がある。また、本実施形態では、複数のユーザが同じゲームをマルチプレイでプレイしている状況であっても、各ユーザのクライアント１２にクラウドサービス１０から送信されるプレイ動画像の数が異なる場合がある。

また、本実施形態では、例えば、ゲームをプレイしているユーザとは異なるユーザ（ここでは、例えば、ユーザＥ）のクライアント１２から、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤによるゲームのプレイの観戦要求をクラウドサービス１０に送信すると、クラウドサービス１０は、例えば、上述の４人のユーザによりプレイされているゲームのプレイ動画像をユーザＥのクライアント１２に配信する。そして、ユーザＥのクライアント１２は、例えば、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤのプレイ動画像のフレーム画像２０が、それぞれ、左上、右上、左下、及び、右下に配置されたゲーム画面２２をディスプレイに表示出力する。このようにして、本実施形態では、ユーザＥは、上述の４人のユーザがプレイしているゲームのプレイ内容を表すプレイ動画像を閲覧することができる。

図４は、本実施形態に係るクラウドサービス１０とクライアント１２との関係の一例を示す概念図である。本実施形態に係るクラウドサービス１０では、例えば、管理プロセス３０、サービス提供プロセス３２、エミュレータ３４が実行される。また、クラウドサービス１０に含まれるストレージデバイス等の記憶装置には、予め、各種ゲームプログラムのイメージファイルが記憶されている。ゲームプログラムには、ゲームの識別子であるゲームＩＤが関連付けられている。

サービス提供プロセス３２は、例えば、クラウドサービス１０に含まれるサーバが、ショッピングサイトやＳＮＳ（Social Networking Service）等、クラウドサービス１０が提供する種々のサービスを実現するプログラムを起動することで生成されるプロセスである。

管理プロセス３０は、例えば、クラウドサービス１０に含まれるサーバが、クラウドサービス１０に含まれるサーバやストレージデバイスにインストールされている管理プログラムを起動することで生成されるプロセスであり、エミュレータ３４の所在管理処理、エミュレータ３４の起動処理及び停止処理、クライアント１２からの要求に応じたクライアント１２とエミュレータ３４との接続処理及び切断処理、などを実行する。

エミュレータ３４は、例えば、クラウドサービス１０に含まれるサーバやストレージデバイスに記憶されているゲームプログラムを実行するための仮想マシンとして機能するプロセスである。エミュレータ３４は、管理プロセス３０が、クライアント１２からの要求に応じて、クラウドサービス１０に含まれるサーバやストレージデバイスにインストールされているエミュレータプログラムを起動することにより生成される。そして、管理プロセス３０は、クライアント１２からの要求に応じて、クライアント１２により指定されたゲームプログラムのイメージファイルを読み込み、エミュレータ３４にロードする。このことによって、エミュレータ３４上でゲームプログラムが実行されることとなる。なお、エミュレータ３４が、クライアント１２により指定されたゲームプログラムを自プロセスにロードするようにしてもよい。

また、エミュレータ３４は、例えば、クライアント１２や管理プロセス３０からの要求に応じて、エミュレータ３４が管理しているエミュレートされたメモリイメージやレジスタ（例えば、プログラムカウンタ等）、エミュレータ３４上で動作するゲームプログラムによる入出力アクセスログ、エミュレータ３４上で実行されるＣＰＵ命令やＧＰＵ命令のログなどを出力する。

本実施形態では、図４に示すように、１つのエミュレータ３４を１つのクライアント１２が専有することができる（ゲームプログラムＰ１参照）。また、１つのエミュレータ３４に対して複数のクライアント１２が接続可能となっている（ゲームプログラムＰ２参照）。また、１つのエミュレータ３４上で複数のゲームプログラムが実行可能となっている（ゲームプログラムＰ３、Ｐ４参照）。

また、本実施形態では、図４に示すように、クライアント１２にエミュレータプログラムがインストールされている場合は、管理プロセス３０は、クライアント１２からの要求に応じて、クライアント１２にエミュレータ３４の起動指示や停止指示を出力する。クライアント１２は、管理プロセス３０から受け付ける起動指示に応じて、クライアント１２にインストールされているエミュレータプログラムを起動する。また、クライアント１２は、管理プロセス３０から受け付ける停止指示に応じて、実行中のエミュレータ３４を停止する。そして、クライアント１２に記憶されているゲームプログラムをクライアント１２で実行されているエミュレータ３４で実行することもできるようになっている（ゲームプログラムＰ５参照）。また、クライアント１２で実行されているエミュレータ３４に対して他のクライアント１２から接続できるようになっている（ゲームプログラムＰ６参照）。

また、本実施形態では、図４に示すように、１つのクライアント１２が複数のエミュレータ３４に接続することもできる（ゲームプログラムＰ７、Ｐ８参照）。

図５は、本実施形態に係るクラウドサービス１０及びクライアント１２で実現される機能の一例を示す機能ブロック図である。なお、図５には、以下の説明と特に関係がある機能が示されているにすぎず、本実施形態に係るクラウドサービス１０やクライアント１２では、図５に示す機能以外の機能も実現されている。

図５に示すように、本実施形態に係るクラウドサービス１０は、機能的には、例えば、データ記憶部４０、データ受信部４２、データ送信部４４、配信管理部４６、ゲーム実行部４８、合成画像生成部５０、ゲーム状況監視部５２、ネットワーク状況監視部５４、を含んで構成される。データ記憶部４０は、例えば、クラウドサービス１０に含まれるサーバに含まれるメモリやハードディスクドライブ、ストレージデバイス、などといった記憶装置を主として実現される。データ受信部４２、データ送信部４４は、クラウドサービス１０が備えるネットワークボードなどの通信インタフェースを主として実現される。また、ゲーム実行部４８は、例えば、エミュレータ３４で実現される機能に対応する。その他の要素は、例えば、管理プロセス３０で実現される機能に対応する。

また、図５に示すように、本実施形態に係るクライアント１２は、機能的には、例えば、データ受信部６０、データ送信部６２、配信設定管理部６４、画面生成部６６、画面出力部６８、を含んで構成される。データ受信部６０、データ送信部６２は、クライアント１２が備えるネットワークボードなどの通信インタフェースを主として実現される。配信設定管理部６４、画面生成部６６は、クライアント１２が備えるＣＰＵ等の制御装置を主として実現される。画面出力部６８は、クライアント１２が備えるディスプレイなどの出力装置を主として実現される。

クラウドサービス１０は、上述のようにコンピュータを中心に構成されており、プログラムを実行することにより、図５においてクラウドサービス１０が担う各機能要素が実現されるようになっている。また、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信ネットワークを介してクラウドサービス１０に供給される。また、クライアント１２も、上述のようにコンピュータを中心に構成されており、上述のクライアントプログラムを実行することにより、図５においてクライアント１２が担う各機能要素が実現されるようになっている。また、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどの通信ネットワークを介してクライアント１２に供給される。

配信管理部４６は、本実施形態では、例えば、クライアント１２からの要求に応じてエミュレータ３４を起動したり停止したりする。また、配信管理部４６は、クライアント１２からの要求に応じた、クライアント１２とエミュレータ３４との接続処理及び切断処理を実行する。また、配信管理部４６は、起動したエミュレータ３４へのゲームプログラムのイメージファイルのロードも行う。また、配信管理部４６は、エミュレータ３４の所在管理処理も実行する。

本実施形態では、例えば、クライアント１２のデータ送信部６２が、クラウドサービス１０に、そのクライアント１２の属性データに関連付けられた、アクションゲームの、複数人数でのプレイ（マルチプレイ）の実行の開始要求を送信する。クライアント１２の属性データは、具体的には、例えば、クライアント１２の名称、クライアント１２のディスプレイサイズ、クライアント１２が備えるＣＰＵの数、クライアント１２が備えるＣＰＵの種別、クライアント１２が備えるハードディスクドライブの容量、クライアント１２が備えるメモリのサイズ、クライアント１２の最大通信速度、クライアント１２タッチパッドを備えているか否か、クライアント１２の種別（パーソナルコンピュータ、ゲームコンソール、テレビ受像器、携帯型ゲーム装置、携帯情報端末、のいずれであるのか）などを示している。ここでは、例えば、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２が、それぞれ、自分のクライアント１２の属性データに関連付けられた、アクションゲームのマルチプレイ実行の開始要求を送信する。すると、クラウドサービス１０のデータ受信部４２が、これらの開始要求を受信する。

本実施形態では、データ記憶部４０に、予め、図６に例示する属性設定対応データ７０が記憶されている。属性設定対応データ７０では、上述の属性データが示す属性と、クライアント１２に出力されるゲーム画面２２の画面構成やクライアント１２への動画像の配信方式などといった設定と、が対応付けている。図６に例示する属性設定対応データ７０では、クライアント１２のディスプレイサイズを示すディスプレイサイズデータとクライアント１２が備えるＣＰＵの数を示すＣＰＵ数データとの組合せに、配信対象となる少なくとも１つの動画像を示す配信対象動画像データ、合成画像生成部５０でのフレーム画像２０の合成を行うか否かを示す合成要否データ、及び、ゲーム画面２２の画面構成を示す画面構成データが対応付けられている。

配信対象動画像データには、例えば、ゲームの実行の開始要求の送信元のクライアント１２を利用するユーザ（以下、送信元ユーザと呼ぶ。）のプレイ動画像を配信する（図６には「送信元ユーザ」と示されている。）のか、マルチプレイでのゲームをプレイするプレイヤ全員のプレイ動画像を配信する（図６には「全員」と示されている。）のか、が示されている。

本実施形態において、画面構成とは、例えば、プレイ動画像のフレーム画像２０が配置されるゲーム画面２２内における位置（例えば、ゲーム画面２２内においてフレーム画像２０の左上端が配置されるＸ座標及びＹ座標など）、大きさ（例えば、フレーム画像２０の縦横の画素数）、解像度などを指す。そして、本実施形態では、画面構成データに上述の画面構成が示されている。

本実施形態では、例えば、属性設定対応データ７０において、ディスプレイサイズデータの値「３．８型」には、値が「タイプＡ」である画面構成データが対応付けられている。タイプＡの画面構成とは、例えば、図２に示すような、中央に送信元ユーザのプレイ動画像のフレーム画像２０が配置される画面構成を指す。

また、本実施形態では、例えば、属性設定対応データ７０において、ディスプレイサイズデータの値「４２型」と、ＣＰＵ数データの値「１」との組合せ、及び、ディスプレイサイズデータの値「４２型」と、ＣＰＵ数データの値「２」との組合せには、値が「タイプＢ」である画面構成データが対応付けられている。タイプＢの画面構成とは、例えば、図３に示すような、左上に送信元ユーザのプレイ動画像のフレーム画像２０が配置され、右上、右下、左下にそれぞれ他のユーザのプレイ動画像のフレーム画像２０がランダムに配置され、送信元ユーザのプレイ動画像のフレーム画像２０の大きさが他のユーザのプレイ動画像のフレーム画像２０よりも大きく設定された画面構成を指す。このように、画面構成データにおいて、送信元ユーザのフレーム画像２０の画面構成と、他のユーザのフレーム画像２０の画面構成とが異なるよう設定されていてもよい。

そして、クラウドサービス１０の配信管理部４６は、図７に例示する、動画像の配信に関する設定を示す配信設定データ７２を生成する。配信設定データ７２には、例えば、クライアント１２でのゲーム画面２２の画面構成や、配信対象となるプレイ動画像、及び、プレイ動画像のフレーム画像２０を合成画像生成部５０で合成してからクライアント１２に送信するか否か、などといった、動画像の配信方式などが示されている。

配信設定データ７２は、本実施形態では、例えば、動画像の配信先となるクライアント１２を利用するユーザのユーザＩＤ、配信対象となる動画像にプレイ内容が表されているユーザのユーザＩＤである配信動画像対応ユーザＩＤ（配信動画像対応ユーザＩＤは１つであることもあれば複数であることもある。）、フレーム画像２０の合成に関する方式を示す合成方式データ（本実施形態では、合成画像生成部５０により合成されたフレーム画像２０を配信する場合は、「合成後配信」の値が設定され、複数のプレイ動画像がクライアント１２に配信され、クライアント１２で複数のフレーム画像２０に基づいてゲーム画面２２が生成される場合は、「合成前配信」の値が設定される。）、ゲーム画面２２の画面構成を示す画面構成データ、を含んでいる。

本実施形態では、配信管理部４６は、例えば、属性設定対応データ７０において、各クライアント１２から受信した属性データに含まれるディスプレイサイズ及びＣＰＵの数の組合せに対応付けられている配信対象動画像データ、合成要否データ、及び、画面構成データを特定する。そして、配信管理部４６は、これらのデータに基づいて、図７に例示する配信設定データ７２を生成する。そして、配信管理部４６は、生成した配信設定データ７２をデータ記憶部４０に出力する。

本実施形態では、例えば、ユーザＡのクライアント１２は、ディスプレイサイズが３．８型である携帯型ゲーム端末であり、ユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２は、ディスプレイサイズが４２型であるゲームコンソールであるとする。また、ユーザＡ、及び、ユーザＢのクライアント１２のＣＰＵの数は１であり、ユーザＣ、及び、ユーザＤのクライアント１２のＣＰＵの数は２であることとする。

この場合、配信管理部４６は、ユーザＡのクライアント１２から受信した属性データに、ディスプレイサイズが３．８型であることが示されていることに基づいて、配信対象動画像データの値「送信元ユーザ」、合成要否データの値「不要」、及び、画面構成データの値「タイプＡ」を特定する。そして、配信管理部４６は、このことに基づいて、ユーザＩＤの値「００１」、配信動画像対応ユーザＩＤの値「００１」、及び、画面構成データの値「タイプＡ」が設定された配信設定データ７２を生成する。

そして、配信管理部４６は、ユーザＢのクライアント１２から受信した属性データに、ディスプレイサイズが４２型であること及びＣＰＵの数が１であることが示されていることに基づいて、配信対象動画像データの値「全員」、合成要否データの値「要」、及び、画面構成データの値「タイプＢ」を特定する。そして、配信管理部４６は、このことに基づいて、ユーザＩＤの値「００２」、配信動画像対応ユーザＩＤの値「００１，００２,００３，００４」、合成方式データの値「合成後配信」及び、画面構成データの値「タイプＢ」が設定された配信設定データ７２を生成する。

そして、配信管理部４６は、ユーザＣ、及び、ユーザＤのクライアント１２から受信した属性データに、ディスプレイサイズが４２型であること及びＣＰＵの数が２であることが示されていることに基づいて、配信対象動画像データの値「全員」、合成要否データの値「不要」、及び、図３のゲーム画面２２に相当する画面構成データを特定する。そして、配信管理部４６は、このことに基づいて、ユーザＩＤの値「００３」、配信動画像対応ユーザＩＤの値「００１，００２,００３,００４」、合成方式データの値「合成前配信」及び、画面構成データの値「タイプＢ」が設定された配信設定データ７２、及び、ユーザＩＤの値「００４」、配信動画像対応ユーザＩＤの値「００１，００２,００３,００４」、合成方式データの値「合成前配信」及び、画面構成データの値「タイプＢ」が設定された配信設定データ７２を生成する。

そして、クラウドサービス１０のデータ送信部４４は、各配信設定データ７２を、配信設定データ７２に含まれるユーザＩＤの値に基づいて特定されるクライアント１２に送信する。そして、各クライアント１２のデータ受信部６０は、配信設定データ７２を受信する。そして、クライアント１２の配信設定管理部６４は、受信した配信設定データ７２をクライアント１２が備える記憶装置に出力する。

そして、クラウドサービス１０の配信管理部４６は、エミュレータ３４を起動し、起動したエミュレータ３４にアクションゲームのイメージファイルをロードする。そして、配信管理部４６は、このエミュレータ３４と、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２を接続する。そして、ゲーム実行部４８が、ロードされたアクションゲームの実行を開始する。このようにして、本実施形態では、クラウドサービス１０が、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤがプレイヤとして参加するアクションゲームのマルチプレイの実行を開始する。

本実施形態では、配信設定データ７２において、合成方式データの値が設定されていないユーザ、又は、合成方式データの値が「合成前配信」であるユーザについては、クラウドサービス１０は、ゲーム実行部４８による、アクションゲームの開始以降、所定のゲーム更新時間（例えば、１／６０秒）毎に、ゲームの状況を示すゲーム状況データを更新するゲーム状況データ更新処理、ゲーム実行部４８による、更新後のゲーム状況データに基づいてゲームのプレイ内容を表すフレーム画像２０を生成するフレーム画像生成処理、データ送信部４４による、生成されたフレーム画像２０をクライアント１２に送信するフレーム画像送信処理、の順に、これら３つの処理を実行する。すなわち、クラウドサービス１０は、ゲーム更新時間間隔で、上述の３つの処理を順次実行するという処理を繰り返し実行する。

また、本実施形態では、配信設定データ７２において、合成方式データの値が設定されていないユーザ、又は、「合成後配信」であるユーザについては、クラウドサービス１０は、ゲーム実行部４８による、アクションゲームの開始以降、所定のゲーム更新時間（例えば、１／６０秒）毎に、ゲームの状況を示すゲーム状況データを更新するゲーム状況データ更新処理、ゲーム実行部４８による、更新後のゲーム状況データに基づいてゲームのプレイ内容を表すフレーム画像２０を生成するフレーム画像生成処理、合成画像生成部５０によるフレーム画像生成処理により生成されたフレーム画像２０に基づいて合成画像をフレーム画像２０として生成する合成画像生成処理、データ送信部４４による、合成画像生成処理により生成されたフレーム画像２０をクライアント１２に送信するフレーム画像送信処理、の順に、これら４つの処理を実行する。すなわち、クラウドサービス１０は、ゲーム更新時間間隔で、上述の４つの処理を順次実行するという処理を繰り返し実行する。

本実施形態では、ゲーム実行部４８は、フレーム画像生成処理において、例えば、更新後のオブジェクト群の位置や向きを示すゲーム状況データに基づいてフレーム画像２０を生成する処理を実行する。

また、本実施形態では、合成画像生成部５０は、上述の合成画像生成処理において、例えば、フレーム画像生成処理により生成されたフレーム画像２０を取得して、取得したフレーム画像に基づいて、配信設定データ７２に含まれる画面構成データが示す画面構成と同様に各フレーム画像２０が配置されるよう合成画像を生成する。本実施形態では、ユーザＢのクライアント１２への送信対象となるフレーム画像２０は、合成画像生成部５０が合成したフレーム画像２０となる。合成画像生成部５０は、例えば、左上にユーザＢのプレイ動画像のフレーム画像２０が配置され、右上、左下、右下には、その他のユーザのプレイ動画像のフレーム画像２０が配置された合成画像を、ユーザＢのクライアント１２への送信対象となるフレーム画像２０として生成する。

また、本実施形態では、データ送信部４４は、フレーム画像送信処理において、例えば、生成されたフレーム画像２０を生成時刻順に順序付けられているフレーム画像２０の識別子であるフレームＩＤ、及び、そのフレーム画像２０にプレイ内容が表されているユーザのユーザＩＤに関連付けてクライアント１２に送信する。

本実施形態では、クラウドサービス１０のデータ送信部４４は、配信設定データ７２が示す設定に従って、プレイ動画像のフレーム画像２０を各クライアント１２に送信する。例えば、クラウドサービス１０のデータ送信部４４は、ユーザＡのクライアント１２には、ユーザＡによるプレイ内容を表すプレイ動画像のフレーム画像２０を送信する。また、例えば、クラウドサービス１０のデータ送信部４４は、ユーザＢのクライアント１２には、図３に示すゲーム画面２２（図３に示すゲーム画面２２に相当するフレーム画像２０）を送信する。また、例えば、クラウドサービス１０のデータ送信部４４は、ユーザＣ、及び、ユーザＤのクライアント１２には、ユーザＡによるプレイ内容を表すプレイ動画像のフレーム画像２０、ユーザＢによるプレイ内容を表すプレイ動画像のフレーム画像２０、ユーザＣによるプレイ内容を表すプレイ動画像のフレーム画像２０、及び、ユーザＤによるプレイ内容を表すプレイ動画像のフレーム画像２０を送信する。このように、本実施形態では、クラウドサービス１０のデータ送信部４４は、ユーザＡ、及び、ユーザＢのクライアント１２に１つのプレイ動画像を配信し、ユーザＣ、及び、ユーザＤのクライアント１２に４つのプレイ動画像を配信する。

そして、クライアント１２のデータ受信部６０は、クラウドサービス１０から順次送信されるフレーム画像２０を受信（取得）する。

そして、クライアント１２の画面生成部６６は、クラウドサービス１０から受信した配信設定データ７２と、クラウドサービス１０から受信したフレーム画像２０と、に基づいて、ゲーム画面２２を生成する。

本実施形態では、例えば、ユーザＡのクライアント１２の画面生成部６６は、図２に示すゲーム画面２２を生成する。また、ユーザＢのクライアント１２の画面生成部６６は、クラウドサービス１０から送信される、図３に示すゲーム画面２２に相当するフレーム画像２０をゲーム画面２２の中央に配置することによって、図３に示すゲーム画面２２を生成する。また、ユーザＣ、及び、ユーザＤのクライアント１２の画面生成部６６は、配信設定データ７２に含まれる画面構成データに基づいて、各フレーム画像２０をゲーム画面２２に配置することによって、フレーム画像２０と配置されている場所との関係が異なる、図３と同様のゲーム画面２２を生成する。なお、本実施形態では、ユーザＣのクライアント１２の画面生成部６６は、左上にユーザＣのプレイ動画像のフレーム画像２０が配置されたゲーム画面２２を生成し、ユーザＤのクライアント１２の画面生成部６６は、左上にユーザＤのプレイ動画像のフレーム画像２０が配置されたゲーム画面２２を生成する。

そして、各クライアント１２の画面出力部６８は、自装置の画面生成部６６が生成したゲーム画面２２をディスプレイに表示出力する。なお、本実施形態では、各クライアント１２は、所定のフレームレートで、ゲーム画面２２の生成及び表示出力を行う。また、本実施形態では、クライアント１２は、関連付けられているフレームＩＤ順にフレーム画像２０を表示出力する。このようにして、プレイ動画像がクラウドサービス１０からクライアント１２へストリーミング配信される。

以上のように、本実施形態では、クラウドサービス１０からユーザＡ及びユーザＢのクライアント１２に配信されるプレイ動画像の数は１であり、クラウドサービス１０からユーザＣ及びユーザＤのクライアント１２に配信されるプレイ動画像の数は４であることとなる。

このように、本実施形態では、クラウドサービス１０が複数のクライアント１２からの要求に応じてこれら複数のクライアント１２それぞれを利用するユーザが参加するゲームを実行している場合に、ユーザが利用するクライアント１２のディスプレイサイズやＣＰＵの数に応じて、クライアント１２に表示出力されるゲーム画面２２の画面構成や、クライアント１２に配信されるプレイ動画像の数が変わることとなる。また、本実施形態では、同じ画面構成のゲーム画面２２が表示出力される場合であっても、ユーザが利用するクライアント１２のＣＰＵの数に応じて、フレーム画像２０の合成がクラウドサービス１０で行われるか、クライアント１２で行われるか、が異なることとなる。

本実施形態では、ゲーム実行部４８は、ゲーム状況更新処理において、例えば、ゲームにおけるプレイヤオブジェクトや敵オブジェクトといったキャラクタオブジェクトなどの位置や向きを示すゲーム状況データを更新する処理を実行する。また、本実施形態では、ゲーム実行部４８は、ゲーム状況更新処理において、更新後のオブジェクト間の衝突判定処理や、衝突判定結果に基づく、ゲームステージクリア判定処理、ミス判定処理なども併せて実行する。

また、本実施形態では、ゲームの実行中に、クライアント１２が、ユーザによるボタンの押下などのキー入力を受け付けた際に、入力に応じたキー情報（例えば、押下されたボタンの種別を示す信号）を、クラウドサービス１０に送信する。そして、クラウドサービス１０のゲーム実行部４８は、このキー情報に応じたゲーム状況データの更新（例えば、押下されたボタンが示す方向へのプレイヤオブジェクトの移動等）を実行する。

また、本実施形態では、ゲーム状況監視部５２が、例えば、ゲーム実行部４８が実行しているゲームのゲーム処理の進行状況を監視する。本実施形態では、予め、ゲームにおいて所定のイベントが発生する時点（具体的には、例えば、ボスキャラクタと遭遇した時点や、ボスキャラクタとの戦いの開始時点等）のフレーム画像２０がデータ記憶部４０に記憶されている。以下、これらのフレーム画像を判定画像と呼ぶこととする。本実施形態では、ゲーム状況監視部５２は、例えば、ゲーム実行部４８により生成されるフレーム画像を監視する。そして、ゲーム状況監視部５２は、公知の画像処理技術を用いて、監視されたフレーム画像と、データ記憶部４０に記憶されているいずれかの判定画像とが一致していることを確認した際に、ボスキャラクタに遭遇した、ボスキャラクタとの戦いが始まったなどといったイベントの発生を判定する。このようにして、本実施形態では、所定のイベントの発生時点を検出することができるようになっている。

そして、本実施形態では、ゲーム状況監視部５２は、イベントを検出した際に、配信管理部４６にその旨を通知する。すると、クラウドサービス１０の配信管理部４６は、イベントに応じて、配信設定データ７２を変更する。

本実施形態では、例えば、ユーザＣがプレイしているゲームにおいてイベントが発生した旨を、配信管理部４６がゲーム状況監視部５２から受け付けた際に、配信管理部４６は、ユーザＣのフレーム画像２０のサイズが所定倍（例えば、１．１倍）に拡大されるよう、ユーザＩＤの値が、「００２」、「００３」、及び、「００４」である配信設定データ７２に含まれる画面構成データを変更する。

そして、クラウドサービス１０のデータ送信部４４は、変更後の配信設定データ７２をユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２に送信する。そして、ユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２の配信設定管理部６４は、クライアント１２が備える記憶装置に記憶されている配信設定データ７２を変更する。本実施形態では、クラウドサービス１０及びクライアント１２は、配信設定データ７２が変更されると、変更後の配信設定データに基づいて、処理を実行するようになる。本実施形態では、例えば、クラウドサービスの合成画像生成部５０、及び、クライアント１２の画面生成部６６は、配信設定データ７２が変更された後は、変更後の配信設定データに基づいてゲーム画面２２を生成する。

このようにして、本実施形態では、ユーザＣがプレイしているゲームにおいてイベントが発生した際に、ユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２のディスプレイに表示出力されるゲーム画面２２内における、ユーザＣのプレイ動画像のフレーム画像２０が占める領域が広くなる。このことによって、各ユーザは、ユーザＣにゲームにおけるイベントが発生したことを知ることができる。

また、本実施形態では、ネットワーク状況監視部５４が、クライアント１２とクラウドサービス１０と、を接続するコンピュータネットワーク１４の通信の状況（例えば、帯域幅）を監視する。そして、ネットワーク状況監視部５４は、クライアント１２とクラウドサービス１０とを接続するコンピュータネットワーク１４が所定の上限帯域幅以上となった場合や、所定の下限帯域幅以下となった場合などに、その旨を配信管理部４６に通知する。そして、配信管理部４６は、例えば、この通知に応じて、配信設定データ７２を変更する。

本実施形態では、例えば、クラウドサービス１０とユーザＣのクライアント１２とを接続するコンピュータネットワーク１４の帯域幅が所定の下限帯域幅未満となったことを、配信管理部４６がネットワーク状況監視部５４から受け付けた際に、配信管理部４６は、ユーザＩＤの値が「００３」である配信設定データ７２に含まれる配信動画像対応ユーザＩＤの値を「００３」に変更し、合成方式データの値を削除し、画面構成データの値を「タイプＡ」に変更する。

そして、クラウドサービス１０のデータ送信部４４は、変更後の配信設定データ７２をユーザＣのクライアント１２に送信する。そして、ユーザＣのクライアント１２は、クライアント１２が備える記憶装置に記憶されている配信設定データ７２を変更する。このようにして、本実施形態では、クラウドサービス１０とユーザＣのクライアント１２とを接続するコンピュータネットワーク１４の帯域幅が所定の下限帯域幅未満となった際に、ユーザＣのクライアント１２のディスプレイに表示出力されるゲーム画面２２に含まれるフレーム画像２０の数が４つから１つに変化するとともに、クラウドサービス１０からユーザＣのクライアント１２に送信されるプレイ動画像の数が４つから１つに減少する。

もちろん、クラウドサービス１０は、クラウドサービス１０とクライアント１２とを接続するコンピュータネットワーク１４の帯域幅が所定の上限帯域幅以上となった場合に、クライアント１２のディスプレイに表示出力されるゲーム画面２２に含まれるフレーム画像２０の数を増加させたり、クラウドサービス１０からクライアント１２に送信されるプレイ動画像の数を増加させたりしてもよい。

このようにして、本実施形態では、コンピュータネットワーク１４の帯域幅が変更するなどといった、クラウドサービス１０やクライアント１２やコンピュータネットワーク１４に関する状況が変化した際に、クライアント１２に表示出力されるゲーム画面２２の画面構成や、クラウドサービス１０からクライアント１２に送信されるプレイ動画像の数を変えることができる。なお、クラウドサービス１０は、例えば、クラウドサービス１０やクライアント１２の負荷の変化に応じて、クライアント１２に表示出力されるゲーム画面２２の画面構成や、クラウドサービス１０からクライアント１２に送信されるプレイ動画像の数を変えてもよい。

また、例えば、クラウドサービス１０とユーザＣのクライアント１２とを接続するコンピュータネットワーク１４の帯域幅が所定の下限帯域幅未満となったことを、配信管理部４６がネットワーク状況監視部５４から受け付けた際に、配信管理部４６は、ユーザＩＤの値が「００３」である配信設定データ７２に含まれる合成方式データの値を「合成後配信」に変更するようにしてもよい。そして、配信設定データ７２の変更後は、クラウドサービス１０が、合成画像生成部５０により生成される合成画像をフレーム画像２０としてユーザＣのクライアント１２に送信するようにしてもよい。こうすれば、コンピュータネットワーク１４の帯域幅が変更するなどといったクラウドサービス１０やクライアント１２やコンピュータネットワーク１４に関する状況が変化した際に、画面構成を変えることなく、フレーム画像２０の合成がクラウドサービス１０で行われるか、クライアント１２で行われるか、が切り替わることとなる。

また、本実施形態では、ユーザがクライアント１２のタッチパッド等を用いて、フレーム画像２０のサイズの変更操作や、フレーム画像２０の表示位置の変更操作を実行すると、クライアント１２のデータ送信部６２が、変更操作に応じた、配信設定データ７２の変更要求をクラウドサービス１０に送信する。すると、クラウドサービス１０のデータ受信部４２が変更要求を受け付ける。すると、配信管理部４６が、受信した変更要求に応じて、配信設定データ７２を変更する。そして、クラウドサービス１０のデータ送信部４４は、クライアント１２に変更後の配信設定データ７２を送信する。そして、クライアント１２の配信設定管理部６４は、この配信設定データ７２を受信して、記憶部に記憶されている配信設定データを変更する。また、本実施形態では、例えば、ユーザがマウスなどを用いてフレーム画像２０上にポインタを配置した（フォーカスした）際に、クラウドサービス１０の配信管理部４６が、そのフレーム画像２０が大きく表示されるよう配信設定データ７２を変更する。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、上述のようにユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤの４人がマルチプレイでのゲームをプレイしている場面で、ユーザＣがコントローラ等を用いて所定の操作を行った際に、ユーザＣのクライアント１２のデータ送信部６２はクラウドサービス１０に、ユーザＣの画面の強調表示出力要求を送信し、クラウドサービス１０のデータ受信部４２がこの強調表示出力要求を受信してもよい。そして、クラウドサービス１０の配信管理部４６が、この強調表示出力要求に応じて、ユーザＣのプレイ動画像のフレーム画像２０が強調表示されるよう（例えば、ユーザＣのフレーム画像２０が拡大表示されるよう、ユーザＣのフレーム画像２０の周りに枠線等、フレーム画像２０を目立たせるハイライト画像が配置されるよう、など）配信設定データ７２を変更してもよい。この場合は、上述のように、ユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２が備える記憶装置に記憶されている配信設定データ７２も変更される。そして、ユーザＢ、ユーザＣ、及び、ユーザＤのクライアント１２の画面出力部６８は、ユーザＣのプレイ動画像のフレーム画像２０が強調表示されたゲーム画面２２をディスプレイに表示出力する。

こうすれば、例えば、ユーザＡ、ユーザＢ、ユーザＣ、及び、ユーザＤの４人がマルチプレイでのゲームをプレイしていて、ユーザＣが他のユーザに自分のプレイに注目してもらいたくなった場面などに、ユーザＣが他のユーザに自分のプレイに注目してもらうよう促すことができる。

また、例えば、属性設定対応データ７０に含まれる、所定の属性に対応付けられている配信対象動画像データが、配信対象となる動画像の数、あるいは、上限となる配信対象の動画像の数を示していてもよい。具体的には、例えば、配信対象動画像データの値として「２」や、「上限２」などが設定されていてもよい。また、属性設定対応データ７０に含まれる画面構成データが、配信対象動画像データに設定されている数のフレーム画像２０が配置されたゲーム画面２２の画面構成を示していてもよい。

そして、例えば、クラウドサービス１０が受信した属性データが上述の所定の属性を示している場合に、クラウドサービス１０の配信管理部４６が、ゲームをプレイしているユーザのうちから、所与の規則に従って選択された、配信対象動画像データが示す配信対象の動画像の数（あるいは、上限数）のユーザＩＤ（例えば、送信元ユーザ、及び、他のユーザのうちからランダムに選択されたユーザのユーザＩＤ）を示す配信動画像対応ユーザＩＤ、及び、上述の画面構成を示す画面構成データが含まれる配信設定データ７２を生成してもよい。

そして、例えば、４人によるマルチプレイでゲームがプレイされている際に、クライアント１２の画面出力部６８が、４人のうちから選択された２人のプレイ動画像のフレーム画像２０が含まれる（すなわち、２つのフレーム画像２０が含まれる）ゲーム画面２２をディスプレイに表示出力するようにしてもよい。

また、クラウドサービス１０の配信管理部４６は、例えば、クラウドサービス１０を構成するサーバの負荷、予め定められたネットワーク帯域幅、現在のコンピュータネットワーク１４の帯域幅、動画像の送信の遅延時間、ジッタ値、コンピュータネットワーク１４でのパケットロス率、等に応じた配信設定データ７２を生成するようにしてもよい。

また、例えば、クラウドサービス１０が複数のクライアント１２に対して動画像を配信する場合（１つの動画像を配信する場合も複数の動画像を配信する場合も含む）に、クラウドサービス１０は、クラウドサービス１０を構成するサーバの負荷（ＣＰＵ）やコンピュータネットワーク１４の帯域の負荷と、各ストリーミングの優先度（例えば、クライアント１２を利用するユーザが会員であるか非会員であるかなどに基づく優先度）に基づいて、ストリーミングの質を調整する（例えば、クラウドサービス１０が、非会員であるユーザのクライアント１２に対するストリーミング配信のビットレートを下げたり動画像の画質を下げたりする）ようにしてもよい。

また、例えば、クラウドサービス１０は、クライアント１２にハードウェアデコーダが含まれているか否か、クライアント１２に動画像に対応するコーデックがインストールされているか否か、クラウドサービス１０における動画像のエンコードの負荷、等の状況に応じて、配信される動画像のビットレートを変更したり、符号化方式を変更したりするようにしてもよい。

また、例えば、配信設定データ７２は、配信動画像対応ユーザＩＤ、合成方式データ、画面構成データ、以外のデータを含んでいてもよいし、配信動画像対応ユーザＩＤ、合成方式データ、画面構成データの少なくとも１つを含んでいなくてもよい。配信設定データ７２は、例えば、クライアント１２が確保すべきバッファサイズ、許容遅延時間、フレームレート、ビットレート、配信プロトコルを示すデータ（例えば、ＴＣＰによる配信であるかＵＤＰによる配信であるかを示すデータ）、通信経路などを示すデータを含んでいてもよい。そして、クラウドサービス１０のデータ送信部４４は、配信設定データ７２が示すビットレートや配信プロトコルや通信経路などに従ったプレイ動画像の配信を行うようにしてもよい。また、クライアント１２は、配信設定データ７２が示すバッファサイズを確保するようにしてもよい。また、クライアント１２の画面生成部６６は、配信設定データ７２が示すフレームレートで画面の生成を行うようにしてもよい。また、クライアント１２の画面生成部６６は、配信設定データ７２が示す解像度でフレーム画像２０をゲーム画面２２に配置してもよい。

また、配信管理部４６は、ＣＰＵの数やディスプレイサイズ以外の要素（例えば、コンピュータネットワーク１４の帯域幅、クラウドサービス１０の負荷、クライアント１２の名称、ＣＰＵの種別、ハードディスク容量、メモリサイズ、最大通信速度、タッチパッドの有無、種別（パーソナルコンピュータ、ゲームコンソール、テレビ受像器、携帯型ゲーム装置、携帯情報端末、のいずれであるのか）等）に基づいて、配信設定データ７２が示す値を決定するようにしてもよい。

また、例えば、配信管理部４６は、フレーム画像２０の大きさに応じた解像度の値が設定された配信設定データ７２を生成するようにしてもよい。すなわち、ゲーム画面２２におけるフレーム画像２０の大きさと解像度との間に関連があっても構わない。

また、クライアント１２は、ゲーム画面２２を、ウェブブラウザを介してディスプレイに表示出力してもよいし、クライアントプログラムによって生成される画面としてディスプレイに表示出力するようにしてもよい。

また、クラウドサービス１０のデータ記憶部４０に、配信設定データ７２が示す値を算出する数式を示すデータが記憶されていてもよい。そして、クラウドサービス１０の配信管理部４６が、数式に従って算出される設定値が設定された配信設定データ７２を生成するようにしてもよい。

また、例えば、クラウドサービス１０のデータ送信部４４は、以上に挙げた規則とは異なる所与の規則に従って決定される数の動画像を一画面内に配置される動画像としてクライアント１２に送信してもよい。そして、クライアント１２の画面生成部６６は、その決定された数の動画像のフレーム画像２０が含まれるゲーム画面２２を生成してもよい。また、例えば、クライアント１２の画面生成部６６は、以上に挙げた規則とは異なる所与の規則に従った設定で複数のフレーム画像２０が配置されたゲーム画面２２を生成してもよい。

また、例えば、上述の実施形態を、他のユーザにより同一のゲームがマルチプレイでプレイされている様子を観戦する場面に応用してもよい。この場合は、ゲーム画面２２には、他のユーザのプレイ動画像のフレーム画像２０が少なくとも１つ含まれることとなる。例えば、複数のプレイヤによりプレイされているレーシングゲームなどを観戦している場面において、上述の処理を応用して、例えば、ラップタイムが更新された、ファイナルラップに突入した、あるいは、ゴールしたというイベントが発生した際に、そのイベントを発生させたユーザのプレイ動画像のフレーム画像２０が大きくなるよう、クラウドサービス１０の配信管理部４６が、配信設定データ７２を変更するようにしてもよい。

また、例えば、他のユーザによりプレイされている様々なゲームのプレイ内容を表す複数のプレイ動画像を観戦する場面に応用してもよい。このとき、クラウドサービス１０の配信管理部４６が、エミュレータ３４に対して接続されているクライアント１２の数に基づいて算出される、現在プレイ動画像を閲覧しているユーザの数、あるいは、エミュレータ３４に対するクライアント１２の接続履歴に基づいて算出される、今までにプレイ動画像を閲覧したユーザの数、等に基づいて、配信設定データ７２を生成する（例えば、閲覧しているユーザの数が多いプレイ動画像であるほど、フレーム画像２０のサイズが大きくなるよう設定された配信設定データ７２を生成する）ようにしてもよい。

また、例えば、ユーザ自身がゲームを楽しみつつ、他のユーザによりプレイされているゲームの観戦も楽しむような場面に応用してもよい。この場合は、ゲーム画面２２には、自らによるプレイの内容を表すプレイ動画像のフレーム画像２０と、他のユーザによるプレイの内容を表すプレイ動画像のフレーム画像２０と、が含まれることとなる。このとき、配信管理部４６は、自らによるプレイの内容を表すプレイ動画像のフレーム画像２０のサイズが、他のユーザによるプレイの内容を表すプレイ動画像のフレーム画像２０のサイズよりも大きくなるよう、あるいは、自らによるプレイの内容を表すプレイ動画像のフレーム画像２０の画質が、他のユーザによるプレイの内容を表すプレイ動画像のフレーム画像２０の画質よりも高くなるよう、配信設定データ７２を設定してもよい。また、配信管理部４６は、自らがプレイしているゲームと同種のゲーム、若しくは、同一のゲームのプレイ動画像のフレーム画像２０のサイズが、その他のフレーム画像２０のサイズよりも大きくなるよう、又は、自らがプレイしているゲームと同種のゲーム、若しくは、同一のゲームのプレイ動画像のフレーム画像２０の画質が、その他のフレーム画像２０の画質よりも高くなるよう、配信設定データ７２を設定してもよい。このように、画面生成部６６が、各フレーム画像２０が、そのフレーム画像２０にプレイ内容が表されているゲームと、ゲーム画面２２が提示されるユーザによりプレイされているゲームと、の関係に応じた設定で配置されたゲーム画面２２を生成するようにしてもよい。画面生成部６６は、例えば、フレーム画像２０にプレイ内容が表されているゲームと、ゲーム画面２２が提示されるユーザによりプレイされているゲームとの関係が強いフレーム画像２０であるほど画質が高くなるよう各フレーム画像２０が配置されたゲーム画面２２を生成するようにしてもよい。

また、上述の実施形態を、プレイ動画像の配信だけではなく、既に実行されたゲームのプレイ内容を表す動画像であるリプレイ動画像の配信の場面にも応用しても構わない。例えば、クラウドサービス１０のデータ記憶部４０には、既に実行されたゲームのプレイ内容を表す動画像であるリプレイ動画像が記憶されていてもよい。そして、クラウドサービス１０のデータ送信部４４は、リプレイ動画像のフレーム画像２０をクライアント１２に送信するようにしてもよい。すなわち、ゲーム画面２２には、リプレイ動画像のフレーム画像２０が含まれていても構わない。なお、リプレイ動画像は、ＳＶＣ（Scalable Video Coding）によりエンコードされた動画像であっても構わない。そして、クラウドサービス１０のデータ送信部４４は、配信設定データ７２が示す配信方式に従った画質や解像度でクライアント１２にリプレイ動画像を配信するようにしてもよい。

また、例えば、配信管理部４６が、ゲーム画面２２に含まれる各フレーム画像２０の優先度や優先順位を示す配信設定データ７２を生成してもよい。そして、クライアント１２の画面生成部６６が、配信設定データ７２が示す優先度や優先順位に基づいて各フレーム画像２０をゲーム画面２２に配置するようにしてもよい。配信管理部４６は、例えば、ユーザ自身がプレイしているゲームの状況を表すプレイ動画像のフレーム画像２０が、ユーザが観戦しているゲームの状況を表すプレイ動画像のフレーム画像２０よりも高い優先度が設定された配信設定データ７２を生成するようにしてもよい。そして、クライアント１２の画面生成部６６は、この配信設定データ７２に基づいて、ゲーム画面２２内における、ユーザ自身がプレイしているゲームの状況を表すプレイ動画像のフレーム画像２０が、ユーザが観戦しているゲームの状況を表すプレイ動画像のフレーム画像２０よりも大きくなるようゲーム画面２２を生成するようにしてもよい。

また、例えば、図８に示すように、関係するユーザとして登録されているユーザ（以下、フレンドと呼ぶ。）の一覧表示画面であるフレンド表示画面７４の表示において、上述の実施形態を応用してもよい。図８に示すフレンド表示画面７４では、クラウドサービス１０でのゲームを実行しているフレンドについて、フレンドのアバタ画像、フレンドであるユーザのユーザＩＤ、そのユーザがプレイしているゲームのゲームタイトル、そのユーザがプレイしているゲームのステージの名称、そのユーザによるゲームの総プレイ時間、そのユーザによる現在のゲームのプレイ動画像のフレーム画像２０が含まれている。このフレンド表示画面７４は、スクロール可能となっている。フレンド表示画面７４がユーザによりスクロールされた際に、クライアント１２のデータ送信部６２が、フレンド表示画面７４に表示されているプレイ動画像だけがクライアント１２に表示されるよう、配信設定データ７２の変更要求をクラウドサービス１０に送信するようにしてもよい。そして、クラウドサービス１０が、この変更要求に応じて、フレンド表示画面７４に表示されるべきフレーム画像２０がクライアント１２に送信されるよう配信設定データ７２を変更するようにしてもよい。また、ユーザがクライアント１２でプレイ動画像のフレーム画像２０をクリックことにより、そのプレイ動画像の閲覧を行えたり、プレイ動画像によりプレイされているゲームに参加したりすることができてもよい。

また、例えば、クラウドサービス１０が、プレイ動画像のフレーム画像２０の代わりに、クライアント１２から受け付けるキー情報をその受け付けたタイミングを示すデータと関連付けてクライアント１２に送信するようにしてもよい。そして、クライアント１２の画面生成部６６が、キー情報に基づいてゲーム画面２２を生成するようにしてもよい。

また、例えば、データ記憶部４０には、予め、判定画像の代わりに、ゲームにおけるイベントの発生時点における、エミュレータ３４が管理しているエミュレートされたメモリイメージの内容やレジスタの値が記憶されていてもよい。そして、ゲーム状況監視部５２が、エミュレータ３４が管理しているエミュレートされたメモリイメージの内容やレジスタの値を監視して、その監視結果とデータ記憶部４０に記憶されている上述のデータとの比較結果に基づいて、ゲームにおけるイベントの発生を検出するようにしてもよい。

また、例えば、ゲーム状況データは、例えば、ゲームにおけるパラメータやステータスを示すデータでもよい。また、例えば、クラウドサービス１０で実現されている機能が単一のサーバにより実現されていてもよい。また、ゲームプログラムはエミュレータ３４上で実行される必要はなく、例えば、クラウドサービス１０やクライアント１２のシステムソフトウェア（オペレーティングシステム等）上で実行されてもよい。また、クラウドサービス１０とクライアント１２の役割分担は上述の例には限定されない。

また、上記の具体的な数値や文字列や図面中の具体的な数値や文字列は例示であり、これらの数値や文字列には限定されない。

１０ クラウドサービス、１２ クライアント、１４ コンピュータネットワーク、２０ フレーム画像、２２ ゲーム画面、３０ 管理プロセス、３２ サービス提供プロセス、３４ エミュレータ、４０ データ記憶部、４２ データ受信部、４４ データ送信部、４６ 配信管理部、４８ ゲーム実行部、５０ 合成画像生成部、５２ ゲーム状況監視部、５４ ネットワーク状況監視部、６０ データ受信部、６２ データ送信部、６４ 配信設定管理部、６６ 画面生成部、６８ 画面出力部、７０ 属性設定対応データ、７２ 配信設定データ、７４ フレンド表示画面。

Claims (10)

1. 動画像送信装置と、動画像受信装置と、を含み、
   前記動画像受信装置が、
   前記動画像受信装置の属性を示す属性データを前記動画像送信装置に送信する属性データ送信手段、を含み、
   前記動画像送信装置が、
   前記属性データを受信する属性データ受信手段と、
   記憶手段に記憶されている、前記動画像受信装置の属性と、複数の動画像を送信するか、フレーム画像が複数の動画像それぞれのフレーム画像の合成画像である動画像を送信するかを示す合成要否データと、が対応付けられた属性設定対応データを参照して、前記属性データ受信手段が受信する属性データが示す属性に対応付けられている前記合成要否データを特定する合成要否データ特定手段と、
   動画像を前記動画像受信装置に送信する動画像送信手段と、を含み、
   前記動画像受信装置が、
   一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成手段、をさらに含み、
   前記動画像送信手段は、
   前記合成要否データ特定手段により、複数の動画像を送信することを示す前記合成要否データが特定される場合は、送信対象となる複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信し、
   前記合成要否データ特定手段により、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を送信することを示す前記合成要否データが特定される場合は、フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信する処理を実行し、
   前記画面生成手段は、
   送信対象となる複数の動画像を一画面内に配置される動画像として受信する場合は、当該複数の動画像それぞれのフレーム画像を合成して画面を生成し、
   フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として受信する場合は、当該動画像のフレーム画像が含まれる画面を生成する、
   ことを特徴とする画像処理システム。
2. 前記動画像送信手段は、フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像が一画面内に配置される動画像として前記動画像受信装置に送信されている際に、前記動画像送信装置と前記動画像受信装置との間の帯域幅が所定の上限帯域幅以上となった場合は、送信対象となる複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信するようにする、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記動画像送信手段は、フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信している際に、前記動画像送信装置と前記動画像受信装置との間の帯域幅が所定の下限帯域幅未満となった場合は、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信するようにする、
   ことを特徴とする請求項１に記載の画像処理システム。
4. 動画像受信装置が、当該動画像受信装置の属性を示す属性データを動画像送信装置に送信する属性データ送信ステップと、
   前記動画像送信装置が、前記属性データを受信する属性データ受信ステップと、
   前記動画像送信装置が、記憶手段に記憶されている、前記動画像受信装置の属性と、複数の動画像を送信するか、フレーム画像が複数の動画像それぞれのフレーム画像の合成画像である動画像を送信するかを示す合成要否データと、が対応付けられた属性設定対応データを参照して、前記属性データ受信ステップで受信する属性データが示す属性に対応付けられている前記合成要否データを特定する合成要否データ特定ステップと、
   前記動画像送信装置が、動画像を前記動画像受信装置に送信する動画像送信ステップと、
   前記動画像受信装置が、一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成ステップと、を含み、
   前記動画像送信ステップでは、
   前記合成要否データ特定ステップで、複数の動画像を送信することを示す前記合成要否データが特定される場合は、送信対象となる複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信し、
   前記合成要否データ特定ステップで、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を送信することを示す前記合成要否データが特定される場合は、フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信する処理を実行し、
   前記画面生成ステップでは、
   送信対象となる複数の動画像を一画面内に配置される動画像として受信する場合は、当該複数の動画像それぞれのフレーム画像を合成して画面を生成し、
   フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として受信する場合は、当該動画像のフレーム画像が含まれる画面を生成する、
   ことを特徴とする画像処理方法。
5. 動画像受信装置の属性を示す属性データを受信する属性データ受信手段と、
   記憶手段に記憶されている、前記動画像受信装置の属性と、複数の動画像を送信するか、フレーム画像が複数の動画像それぞれのフレーム画像の合成画像である動画像を送信するかを示す合成要否データと、が対応付けられた属性設定対応データを参照して、前記属性データ受信手段が受信する属性データが示す属性に対応付けられている前記合成要否データを特定する合成要否データ特定手段と、
   動画像を前記動画像受信装置に送信する動画像送信手段と、を含み、
   前記動画像送信手段は、
   前記合成要否データ特定手段により、複数の動画像を送信することを示す前記合成要否データが特定される場合は、送信対象となる複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信し、
   前記合成要否データ特定手段により、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を送信することを示す前記合成要否データが特定される場合は、フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信する処理を実行する、
   ことを特徴とする動画像送信装置。
6. 動画像送信装置から動画像を受信する動画像受信装置であって、
   前記動画像受信装置の属性を示す属性データを前記動画像送信装置に送信する属性データ送信手段と、
   一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成手段と、を含み、
   前記画面生成手段は、
   送信対象となる複数の動画像を一画面内に配置される動画像として受信する場合は、当該複数の動画像それぞれのフレーム画像を合成して画面を生成し、
   フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として受信する場合は、当該動画像のフレーム画像が含まれる画面を生成する、
   ことを特徴とする動画像受信装置。
7. 動画像受信装置の属性を示す属性データを受信する属性データ受信手順、
   記憶手段に記憶されている、前記動画像受信装置の属性と、複数の動画像を送信するか、フレーム画像が複数の動画像それぞれのフレーム画像の合成画像である動画像を送信するかを示す合成要否データと、が対応付けられた属性設定対応データを参照して、前記属性データ受信手順で受信する属性データが示す属性に対応付けられている前記合成要否データを特定する合成要否データ特定手順、
   動画像を前記動画像受信装置に送信する動画像送信手順、
   をコンピュータに実行させるプログラムであって、
   前記動画像送信手順では、
   前記合成要否データ特定手順により、複数の動画像を送信することを示す前記合成要否データが特定される場合は、送信対象となる複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信し、
   前記合成要否データ特定手順により、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を送信することを示す前記合成要否データが特定される場合は、フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信する処理を実行する、
   ことを特徴とするプログラム。
8. 動画像受信装置の属性を示す属性データを受信する属性データ受信手順、
   記憶手段に記憶されている、前記動画像受信装置の属性と、複数の動画像を送信するか、フレーム画像が複数の動画像それぞれのフレーム画像の合成画像である動画像を送信するかを示す合成要否データと、が対応付けられた属性設定対応データを参照して、前記属性データ受信手順で受信する属性データが示す属性に対応付けられている前記合成要否データを特定する合成要否データ特定手順、
   動画像を前記動画像受信装置に送信する動画像送信手順、
   をコンピュータに実行させるプログラムを記憶するコンピュータ読み取り可能な情報記憶媒体であって、
   前記動画像送信手順では、
   前記合成要否データ特定手順により、複数の動画像を送信することを示す前記合成要否データが特定される場合は、送信対象となる複数の動画像を一画面内に配置される動画像として前記動画像受信装置に送信し、
   前記合成要否データ特定手順により、フレーム画像が当該複数の動画像それぞれのフレーム画像の合成画像である動画像を送信することを示す前記合成要否データが特定される場合は、フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として前記動画像受信装置に送信する処理を実行する、
   ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
9. 動画像送信装置から動画像を受信する動画像受信装置であるコンピュータに実行させるプログラムであって、
   前記動画像受信装置の属性を示す属性データを前記動画像送信装置に送信する属性データ送信手順、
   一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成手順、を前記コンピュータに実行させ、
   前記画面生成手順では、
   送信対象となる複数の動画像を一画面内に配置される動画像として受信する場合は、当該複数の動画像それぞれのフレーム画像を合成して画面を生成し、
   フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として受信する場合は、当該動画像のフレーム画像が含まれる画面を生成する、
   ことを特徴とするプログラム。
10. 動画像送信装置から動画像を受信する動画像受信装置であるコンピュータに実行させるプログラムを記憶したコンピュータを記憶したコンピュータ読み取り可能な情報記憶媒体であって、
    前記動画像受信装置の属性を示す属性データを前記動画像送信装置に送信する属性データ送信手順、
    一画面内に配置される動画像として受信する動画像のフレーム画像が含まれる画面を生成する画面生成手順、を前記コンピュータに実行させ、
    前記画面生成手順では、
    送信対象となる複数の動画像を一画面内に配置される動画像として受信する場合は、当該複数の動画像それぞれのフレーム画像を合成して画面を生成し、
    フレーム画像が送信対象となる複数の動画像それぞれのフレーム画像の合成画像である動画像を一画面内に配置される動画像として受信する場合は、当該動画像のフレーム画像が含まれる画面を生成する、
    ことを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

Images