JP6373560B2 - 出力データ提供サーバ、情報処理装置、情報処理システム、出力データ提供方法、および情報処理方法 - Google Patents

Description

本発明は、ネットワークを利用して情報処理のサービスを提供する技術に関する。

近年の情報処理技術の発展、ネットワークの充実化などにより、パーソナルコンピュータ、携帯端末などユーザが操作する装置の性能や使用環境によらず、様々な情報処理をサーバとの連携により実現させることが可能となっている。例えばユーザが操作する端末と、それに応じた情報処理を実施する情報処理装置とを分離することにより、簡素な構成の携帯端末などでも高度な情報を出力できるような技術が提案されている（例えば特許文献１参照）。クラウドコンピューティングのように、サーバが提供する様々なサービスをネットワークを介して利用することにより、高度な情報処理や膨大なデータ管理を、ユーザが置かれた環境によらず実現できるようにする技術的傾向は益々強くなっている。

特開２０１０−２０１５９号公報

上記のようにユーザのための処理をサーバが集約的に行う技術は、ユーザが操作する端末の処理負荷を軽減できる利点に加え、複数の端末やユーザ間で情報処理の結果や管理データを共有できるという効果をもたらす。一方、このような情報処理の共有化、並列化を許容するほど、提示される画像や音声などの出力データが画一化され、ユーザ個々の要望に対応しにくくなる、という問題が生じる。

本発明はこのような課題に鑑みてなされたものであり、その目的は、サーバによる集約的な情報処理とユーザ個別の要求への対応とを、処理の負荷を増大させることなく両立できる技術を提供することにある。

本発明のある態様は出力データ提供サーバに関する。この出力データ提供サーバは、クライアント端末とネットワークを介して接続し、当該クライアント端末におけるユーザ操作に係る情報を受信して情報処理を行い、その結果得られる出力データを、それを要求するクライアント端末に送信する出力データ提供サーバであって、ユーザ操作に係る情報を入力情報として取得する入力情報受信部と、入力情報に基づき情報処理を行う情報処理部と、情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない基礎出力データを生成する基礎出力データ生成部と、出力データのうち、送信先のクライアント端末において基礎出力データと合成されて出力される個別出力データを各クライアント端末に対応づけて生成する個別出力データ生成部と、基礎出力データと個別出力データを対応づけて送信先のクライアント端末に送信する出力データ送信部と、を備えることを特徴とする。

本発明の別の態様は情報処理装置に関する。この情報処理装置は、ネットワークを介してサーバと接続し、当該サーバで行われた情報処理の結果得られる出力データを受信して出力する情報処理装置であって、出力データのうち、受信する装置によらず生成された基礎出力データを出力可能な状態にする基礎出力データ処理部と、出力データのうち、自装置に対応づけて生成された個別出力データを抽出し、出力可能な状態の基礎出力データに必要なタイミングで合成して最終的な出力データとする個別出力データ処理部と、最終的な出力データを出力する出力部と、を備えることを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、クライアント端末とネットワークを介して接続し、当該クライアント端末の少なくともいずれかにおけるユーザ操作に係る情報を受信して情報処理を行うサーバと、その結果得られる出力データを受信して出力するクライアント端末と、を含む情報処理システムであって、サーバは、ユーザ操作に係る情報を入力情報として取得する入力情報受信部と、入力情報に基づき情報処理を行う情報処理部と、情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない基礎出力データを生成する基礎出力データ生成部と、出力データのうち、送信先のクライアント端末において基礎出力データと合成されて出力される個別出力データを各クライアント端末に対応づけて生成する個別出力データ生成部と、基礎出力データと前記個別出力データを対応づけて送信先のクライアント端末に送信する出力データ送信部と、を備え、クライアント端末は、基礎出力データを出力可能な状態にする基礎出力データ処理部と、自装置に対応づけて生成された個別出力データを抽出し、出力可能な状態の基礎出力データに必要なタイミングで合成して最終的な出力データとする個別出力データ処理部と、最終的な出力データを出力する出力部と、を備えることを特徴とする。

本発明のさらに別の態様は出力データ提供方法に関する。この出力データ提供方法は、サーバが、クライアント端末とネットワークを介して接続し、当該クライアント端末におけるユーザ操作に係る情報を受信して情報処理を行い、その結果得られる出力データを、それを要求するクライアント端末に送信する出力データ提供方法であって、ユーザ操作に係る情報を入力情報として取得するステップと、入力情報に基づき情報処理を行うステップと、情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない基礎出力データを生成するステップと、出力データのうち、送信先のクライアント端末において基礎出力データと合成されて出力される個別出力データを各クライアント端末に対応づけて生成するステップと、基礎出力データと個別出力データを対応づけて送信先のクライアント端末に送信するステップと、を含むことを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置がネットワークを介してサーバと接続し、当該サーバで行われた情報処理の結果得られる出力データを受信して出力する情報処理方法であって、出力データのうち、受信する装置によらず生成された基礎出力データを出力可能な状態にするステップと、出力データのうち、自装置に対応づけて生成された個別出力データを抽出し、出力可能な状態の基礎出力データに必要なタイミングで合成して最終的な出力データとするステップと、最終的な出力データを出力するステップと、を含むことを特徴とする。

本発明のさらに別の態様はコンテンツデータのデータ構造に関する。このコンテンツデータのデータ構造は、ネットワークを介して接続されたクライアント端末におけるユーザ操作に係る情報に基づきサーバにおいて実行した情報処理の結果として生成され、データを要求するクライアント端末に出力されるために送信されるコンテンツデータのデータ構造であって、送信先のクライアント端末によらず共通に生成された基礎出力データと、送信先のクライアント端末において基礎出力データと合成されて出力される、クライアント端末ごとに生成された個別出力データと、を対応づけたことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、ユーザごとのニーズを加味した情報処理の共有を容易に実現できる。

本実施の形態に適用できる情報処理システムの構成を示す図である。 本実施の形態におけるクライアント端末とサーバの構成をより詳細に示す図である。 本実施の形態においてユーザ端末の出力部に表示される画面例を示す図である。 本実施の形態においてユーザ端末の出力部に表示される画面の別の例を示す図である。 本実施の形態においてユーザ端末の出力部に表示される画面のさらに別の例を示す図である。 本実施の形態においてユーザが操作するクライアント端末にデータを出力する処理手順を示すフローチャートである。 図６で示した処理手順によってクライアント端末とサーバ間で送受されるデータの例を示す図である。 本実施の形態において全てのクライアント端末に共通に個別出力データを生成した場合のデータ構造例を示す図である。 本実施の形態において全てのクライアント端末に共通に個別出力データを生成した場合のデータ構造例を示す図である。 本実施の形態において情報処理の多言語化を実現するときのクライアント端末とサーバの処理手順を示すフローチャートである。 図１０で示した処理手順によってクライアント端末とサーバ間で送受されるデータと、各クライアント端末における表示画面の例を示す図である。

図１は本実施の形態における情報処理システムの構成を示す。情報処理システム１においてクライアント端末１０ａ、１０ｂ、１０ｃは、それぞれネットワーク３を介してサーバ３０に接続可能に構成され、サーバ３０とデータの送受信を行う。サーバ３０はクライアント端末１０ａ、１０ｂ、１０ｃからの要求に応じて情報処理を実施し、その結果生成した出力データをクライアント端末１０ａ、１０ｂ、１０ｃに送信する。クライアント端末１０ａ、１０ｂ、１０ｃおよびサーバ３０は、ネットワーク３へ有線または無線で接続する。クライアント端末１０ａ、１０ｂ、１０ｃとサーバ３０との接続手法や情報処理の依頼、出力データ送受信に係る手続きには一般的な技術を適用することができる。

クライアント端末１０ａ、１０ｂ、１０ｃはそれぞれのユーザが操作する装置であり、ユーザが行った操作を入力情報としてサーバ３０へ送信し、それに応じた情報処理を要求するとともに、サーバ３０が情報処理を行った結果、生成した出力データを画像や音声として出力する。クライアント端末１０ａ、１０ｂ、１０ｃはタブレット、携帯電話、携帯端末、パーソナルコンピュータなど、一般的な装置や端末のいずれでもよい。なおネットワーク３に接続するクライアント端末１０ａ、１０ｂ、１０ｃ、サーバ３０の数は特に限定されない。以後、クライアント端末１０ａ、１０ｂ、１０ｃを総称してクライアント端末１０とも呼ぶ。

クライアント端末１０がサーバ３０に要求する情報処理は特に限定されないが、以後の説明では主に、ゲームを実現する態様について述べる。つまりサーバ３０は、クライアント端末１０においてユーザが指定したゲームを起動し、クライアント端末１０におけるユーザの操作に従い当該ゲームを進捗させる。そしてそれに応じて生成したゲームの画像や音声などの出力データをクライアント端末１０に逐次送信する。クライアント端末１０では、サーバ３０から送信された出力データを順次、復号するなどして出力可能な形態に変換し、画像や音声として出力する。

これにより、ユーザの操作に応じたゲーム画面、音声がクライアント端末１０から出力される。この構成は、サーバ３０が、ユーザの操作に応じて内容を変化させる動画像のデータをコンテンツデータとして送信するサービスを提供しているともいえる。ただしサーバ３０で実施する情報処理はゲームのほか、文書作成、画像描画、電子掲示板などのコミュニケーションツールなど、一般的な情報処理のいずれでもよい。また出力データは、画像データのみ、音声データのみ、画像データと音声データの双方のいずれでもよく、実施する情報処理の内容などによって適宜決定する。

サーバ３０はさらに、複数のクライアント端末１０に同じ出力データを送信することにより、複数のユーザが当該出力データを共有できるようにする。例えば実施する情報処理を、複数のユーザが参加可能なネットワークゲームとした場合、サーバ３０は複数のクライアント端末１０からそれぞれのユーザの操作に係る情報を逐次受信し、ゲームの進捗に反映させる。そして生成したゲームの出力データを全てのクライアント端末１０に送信することにより対戦型のゲームを実現できる。

出力データの送信先は、ゲームに参加しているユーザのクライアント端末１０以外に、単にゲームを観戦したい他のユーザのクライアント端末１０を含めてもよい。このように本実施の形態では、その数によらずクライアント端末１０で受け付けたユーザの操作情報をサーバ３０が逐次受信し、リアルタイムで出力データを生成してクライアント端末１０に送信することにより、クライアント端末１０において、操作に応じた出力を逐次行うことを基本とする。ただし出力データの共有は、複数のクライアント端末１０に同じデータを同時に送信する場合以外に、一旦、サーバ３０の記憶装置に保存しておいたものを、クライアント端末１０からの要求に応じて後から送信するなどの時間差があってもよい。

このような態様において、サーバ３０は全てのクライアント端末１０に共通した出力データのほかに、送信先のクライアント端末１０ごとに異なる個別の出力データを作成して送信する。クライアント端末１０では、それらの出力データを合成して出力する。このようにすることで、サーバ３０において集約的に処理しているにも関わらず、個別のユーザの要望にも対応したデータ出力が可能となる。

例えば複数のユーザが参加するゲームを実行中、各ユーザが操作しているオブジェクトやキャラクタの位置や、それらが動いたことによって発生させるべき効果音のタイミングは、ユーザごとに独立した情報である。そこで当該位置を表す簡単な図形を描画するための情報や、効果音を発生させるべきタイミングに係る情報などを、送信先のクライアント端末１０ごとに生成する。このようにすることで、自分の操作対象を認識しやすくしたり、他のユーザの操作に起因した効果音が脈絡なく発生するのを防いだりできる。以後、複数のクライアント端末１０で共通する基礎的な出力データを「基礎出力データ」、送信先のクライアント端末ごとに異なる出力データを「個別出力データ」と呼ぶ。

なお個別出力データとして生成する出力する図形や音は、ユーザが操作するオブジェクト自体の位置や効果音に限定されない。つまり個々の操作を認識しやすくさせるもの、操作に対し臨場感を与えられるものなど、他のユーザと区別して表示または聴かせたい画像や音をゲームの内容に応じて決定すればよい。例えばオブジェクトが存在する世界の環境音やＢＧＭ、敵の位置や音でもよいし、場合によっては他のユーザが操作するオブジェクトの位置や音などであっても、自分の操作に何らかの関連性があれば個別出力データに含めてよい。

図２はクライアント端末１０とサーバ３０の構成をより詳細に示している。クライアント端末１０は、ユーザ操作を受け付ける入力部１２、受け付けた操作内容を入力情報としてサーバ３０へ送信する入力情報送信部１４、サーバ３０から送信された出力データを受信する出力データ受信部１６、当該出力データのうち基礎出力データを処理して出力可能な形式にする基礎出力データ処理部１８、個別出力データを処理して出力可能な形式にする個別出力データ処理部２０、個別出力データを処理するのに必要な情報を格納する個別出力データ用情報記憶部２２、基礎出力データや個別出力データを一時記憶するバッファメモリ２４、出力データを画像、音声の少なくともいずれかとして出力する出力部２６を含む。

サーバ３０は、クライアント端末１０からユーザによる入力情報を受信する入力情報受信部３２、クライアント端末１０から要求された情報処理を実施する情報処理部３４、情報処理の結果として基礎出力データを生成する基礎出力データ生成部３６、個別出力データを生成する個別出力データ生成部３８、基礎出力データおよび個別出力データを必要に応じて記憶する出力データ記憶部４０、基礎出力データおよび個別出力データを統合し出力データとしてクライアント端末１０に送信する出力データ送信部４２を含む。

図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、記録媒体や記憶装置に格納されメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

クライアント端末１０の入力部１２は、ユーザがサーバ３０に要求する情報処理を指定したり、当該情報処理に対する操作を行ったりコマンドを入力したりするための入力手段であり、ボタン、タッチパネル、キーボード、マウス、ジョイスティックなど一般的な入力装置のいずれかによって実現する。入力情報送信部１４は、サーバ３０と一般的な手法により通信を確立し、入力部１２に対するユーザの操作内容を表す信号を入力情報として生成してサーバ３０に送信する。

入力情報送信部１４はまた、個別出力データ用情報記憶部２２に格納しておいた自身のクライアント端末１０の識別情報などを読み出してサーバ３０に送信する。当該識別情報は、サーバ３０が個別出力データを生成、送信する対象を識別する情報であり、例えばＩＰアドレス、ＭＡＣアドレス、ユーザのログイン名など、クライアント端末１０またはそれを操作するユーザに一意に与えられる情報のいずれかでよい。

サーバ３０の入力情報受信部３２は、クライアント端末１０から送信された識別情報および入力情報を受信する。サーバ３０の情報処理部３４は、入力情報受信部３２が受信した入力情報に従いゲームなどの情報処理を実施する。前述したように入力情報は１つまたは複数のクライアント端末１０から逐次送信され、情報処理部３４はそれに応じて情報処理をリアルタイムで進捗させる。クライアント端末１０の入力情報送信部１４、サーバ３０の入力情報受信部３２間の信号の送受は所定のプロトコルに従い実施し、情報処理部３４は入力情報受信部３２からの入力信号により、あたかもクライアント端末１０内部で情報処理を行うのと同様に情報処理を実施する。

具体的なプロトコルや入力信号自体の処理などには一般的なエミュレーションの技術を適用できるためここでは説明を省略する。ただし本実施の形態における情報処理部３４はさらに、各クライアント端末１０から送信された識別情報ごとに、情報処理の結果から、対応するオブジェクトの位置や効果音の発生タイミングに係る情報を抽出する。

サーバ３０の基礎出力データ生成部３６は、情報処理部３４における情報処理の結果として出力すべきデータのうち基礎出力データを生成する。これはユーザの操作に応じて動作するオブジェクトを含むコンピュータグラフィックスを描画したり、それに対応するバックグラウンドミュージックのデータを図示しない記憶装置から読み出したりする一般的な処理でよい。情報処理をオブジェクトが動くゲームとした場合、基礎出力データ生成部３６は、情報処理部３４によるゲームの進捗処理に従い、動画像のフレームを所定の時間間隔で描画することになる。

個別出力データ生成部３８は、送信先のクライアント端末１０に対応する個別出力データを生成する。そのためオブジェクトの位置や効果音の発生タイミングなど必要な情報を、クライアント端末１０の各識別情報に対応づけて情報処理部３４から取得する。基礎出力データ生成部３６が動画像のフレームを逐次描画する場合、情報処理部３４は、基礎出力データと個別出力データの時間的な対応関係を明示したうえで個別出力データ生成部３８へ必要な情報を供給する。

例えばオブジェクトの位置に係る情報は、動画像のフレーム番号とオブジェクトの位置座標とを対応づけて供給する。効果音を発生させるタイミングに係る情報としては、そのタイミングで表示すべき動画像のフレーム番号を供給する。なおオブジェクトが停止しているなど個別出力データを更新する必要がない期間は、その生成処理を省略してもよい。また個別出力データとして出力する図形や音声は、オブジェクトの位置を表す図形や効果音に限らない。ただし単純な図形や音とするほどクライアント端末１０の処理の負荷が軽減され、サーバ３０側で出力データの生成処理をおよそ完了させることとの相乗効果が高くなる。個別出力データ生成部３８は、それぞれ生成した個別出力データを対応するクライアント端末１０の識別情報に対応づけておく。

出力データ送信部４２は、基礎出力データ生成部３６が生成した基礎出力データと、個別出力データ生成部３８が生成した個別出力データとを統合してクライアント端末１０に送信する。基礎出力データが動画像データである場合、出力データ送信部４２は個別出力データ生成部３８からの情報に従い、基礎出力データと個別出力データとの時間的な対応関係が明らかになるように出力データを統合する。例えば動画像データをストリーム転送する場合、対応するフレームと同期をとって個別出力データを送出することにより対応関係が明らかとなる。ただし同じ位置に図形を描画するなど個別出力データが基礎出力データの時間軸と関連しない態様においては、基礎出力データの先頭にのみ個別出力データを付加するなどでもよい。

このように基礎出力データをストリーム転送する態様において個別出力データを送出するタイミングは、情報処理部３４が行う情報処理の内容や、個別出力データによって表現する対象によって様々に設定してよい。一方、ある程度の時間間隔をもって操作がなされ、それに応じてのみ出力データが静止画として更新されるような情報処理の場合、操作の都度、出力データを送信すればよい。この場合、基礎出力データとそれに応じて更新すべき個別出力データをまとめて１つのファイルとして送信してもよい。

なお個別出力データは、送信先のクライアント端末１０に対応するもののみを送信してもよいし、各クライアント端末１０の識別情報と個別出力データとを対応づけた情報を全てのクライアント端末１０に共通に送信してもよい。送信に際し、出力データ送信部４２は出力データに含まれる画像データや音声データを、一般的な方式で圧縮符号化する。出力データ送信部４２はまた、統合した出力データを出力データ記憶部４０に格納する。そして、ゲームの様子をプレイヤが後から確認したり、別のユーザが遅延したタイミングで観戦したりする場合に、必要に応じて出力データ記憶部４０から該当データを読み出してクライアント端末１０へ送信する。ただしこのような機能を実現しない場合、出力データ記憶部４０はなくてもよい。

クライアント端末１０の出力データ受信部１６は、出力データ送信部４２から送信された出力データを受信する。基礎出力データ処理部１８は、出力データ受信部１６が受信した出力データのうち基礎出力データを復号、伸張するなどして元の画像データ、音声データとする。それらのデータはバッファメモリ２４に格納する。個別出力データ処理部２０は、出力データのうち個別出力データに基づき基礎出力データに合成すべき図形や音声を特定し、バッファメモリ２４に格納された基礎出力データの画像や音声に合成する。

個別出力データを、識別情報と個別出力データとを対応づけた、クライアント端末共通のデータとした場合、個別出力データ処理部２０は、個別出力データ用情報記憶部２２が保持する自身の識別情報を読み出し、それに対応する個別出力データを抽出する。また個別出力データ用情報記憶部２２には、図形の種類、色、音の種類など、個別出力データとして合成する図形や音声の属性とその識別番号とを対応づけた情報を格納しておき、個別出力データにおいて当該識別番号を指定するようにしてもよい。この場合、個別出力データ処理部２０は、個別出力データに指定された識別番号を元に個別出力データ用情報記憶部２２を検索し、その結果に従った図形や音声を合成する。

なお個別出力データ処理部２０は、ユーザや情報処理内部の設定によって合成処理を実施するか否かを切り替えてもよい。実施しない場合は、基礎出力データのみが出力されることになる。出力部２６は、バッファメモリ２４に格納された出力データを画像や音声として出力する。したがって出力部２６は画像を表示する液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイなどの一般的なディスプレイ、音声信号を音響として出力するスピーカ、イヤフォン、ヘッドフォンなどの音声出力機器、およびそれらの装置を制御するコントローラによって実現する。

図３はクライアント端末１０の出力部２６に表示される画面例を示しており、上段の画面５０ａはあるクライアント端末１０ａに表示され、下段の画面５０ｂはそれとは別のクライアント端末１０ｂに表示される画面の例である。この例は、「Ｊａｃｋ」、「Ｍｏｍ」、「Ｔａｒｏ」、「Ｄｏｃ」、「ＢＡＺ」、「ＦＯＯ」なるニックネームを有する６人のユーザが参加し、各自のレーンの球を何らかの規則により操作して画面右方向に進め、速さを競うゲームを想定している。ここで、画面５０ａはニックネームが「Ｍｏｍ」であるユーザが操作するクライアント端末１０ａであり、画面５０ｂは「ＢＡＺ」であるユーザが操作するクライアント端末１０ｂの画面であるとする。

このとき図示するように、ニックネーム、レーンの順序、球、などを含むゲーム画面自体はユーザによらず共通でよいため、基礎出力データとして生成する。一方、画面５０ａにおいては「Ｍｏｍ」のレーンのみを囲む矩形５２ａを、画面５０ｂにおいては「ＢＡＺ」のレーンのみを囲む矩形５２ｂを、図示するように描画すると、各ユーザは自分のレーンを認識しやすくなる。そこでこれらの矩形を個別出力データとして生成し、ゲーム画面に合成する。同図の態様の場合、ゲームの進捗に関わらず個別出力データにより描画する矩形は固定であるため、サーバ３０は、ゲーム開始時にレーンの割り当てを決定した時点で、個別出力データを一度送信すればよい。ただしゲームの途中で参加者が増減するなどしてレーンのレイアウトを変更することを許容した場合は、レイアウト変更の都度、個別出力データを送信する。

図４は図３と同様のゲームにおいてクライアント端末１０に表示される画面の別の例を示している。図３と同様、上段の画面５４ａはニックネームが「Ｍｏｍ」であるユーザが操作するクライアント端末１０ａ、下段の画面５４ｂはニックネームが「ＢＡＺ」であるユーザが操作するクライアント端末１０ｂの画面である。この例では個別出力データにより、それぞれのニックネームが矩形５６ａ、５６ｂで囲まれ、さらにそれぞれの操作する球が円５８ａ、５８ｂで囲まれている。

この場合、ニックネームを囲む矩形５６ａ、５６ｂはゲームの進捗に関わらず固定であるため、それらを描画するための個別出力データはゲーム開始時にのみ送信すればよい。一方、操作対象の球を囲む円５８ａ、５８ｂは球の移動に伴い移動させる必要があるため、球が移動している期間は、基礎出力データである動画像の各フレームに対応づけて個別出力データを送信する。円５８ａ、５８ｂのように移動しているオブジェクトそのものに図形を付加することにより、ユーザは自分の操作対象を他と区別しやすくなる。このことは、多数のオブジェクトが任意の方向に行き交うような形態のゲーム画像などにおいては特に有効である。

図５は図３、図４と同様のゲームにおいてクライアント端末１０に表示される画面のさらに別の例を示している。図３、図４と同様、上段の画面６０ａはニックネームが「Ｍｏｍ」であるユーザが操作するクライアント端末１０ａ、下段の画面６０ｂはニックネームが「ＢＡＺ」であるユーザが操作するクライアント端末１０ｂの画面であり、それぞれのニックネームが個別出力データによる矩形６２ａ、６２ｂで囲まれている。一方、この例では、基礎出力データであるゲーム自体の画像６４ａ、６４ｂを各クライアント端末の画面６０ａ、６０ｂより小さいサイズで表示して画面右側に余白を設けている。そしてその下方に各ユーザのスコア６６ａ、６６ｂを表示している。

サーバ３０は、ゲーム開始時などに画面全体のレイアウトやスコア６６ａ、６６ｂの文字フォント、サイズ、スコアの初期値などを基礎出力データとして各クライアント端末１０に送信しておく。さらに矩形６２ａ、６２ｂを描画するための個別出力データも送信する。そしてゲーム開始後、ゲーム自体の画像６４ａ、６４ｂを基礎出力データとして送信し続けるとともに、各ユーザのスコアが更新される都度、その値を個別出力データとして送信する。

このように個別出力データによって描画する対象は、図形以外に文字や数字などでもよい。図形の場合、その形状は矩形や円のみならず多角形、直線、曲線、矢印などのシンボルマークなどでもよい。また、指定した領域に対し輝度や透明度を含む何らかの色情報を変化させたり陰影をつけたりするなどの簡易な画像加工を施してもよい。また図形や文字を描画する場合、その目的によって、基礎出力データの画像上に重ねてもよいし、図５のスコアのように別の領域に描画してもよい。音声を付加する場合は、上述のように、個別出力データによって指定されたタイミングで効果音を発生させるのみでもよいし、基礎出力データとして出力している楽曲に対し、指定されたタイミングで何らかの音声加工を施してもよい。いずれにしろ個別出力データは、各ユーザが自分の操作や自分に関連する動きや表示などを他のユーザのものと識別できるような変化を、視覚的、または聴覚的、またはその双方で生じさせるものとする。

次にクライアント端末１０とサーバ３０の動作を説明する。図６は本実施の形態においてユーザが操作するクライアント端末にデータを出力する処理手順を示すフローチャートである。同図では１つのクライアント端末１０とサーバ３０による処理手順を示しているが、上述の通り複数のクライアント端末１０が同時にサーバ３０と接続してよく、この場合、複数のクライアント端末１０が同様に処理を進める。またデータの生成、送信、出力などの各処理を１つのステップとして示しているが、処理内容によっては時間幅を有する場合があり、この場合は適宜並行して処理が進捗するものとする。後に説明する図１０のフローチャートも同様である。

まずクライアント端末１０の入力部１２に対し、ユーザはゲーム名を指定するなど処理内容を指定したうえ処理の開始を要求する操作を行う（Ｓ３０）。すると入力情報送信部１４は、それに応じた処理開始要求信号を生成し、クライアント端末１０の識別情報とともにサーバ３０へ送信する。サーバ３０の入力情報受信部３２が、当該処理開始要求信号および識別情報を受信すると、情報処理部３４は、ゲームプログラムを起動させるなど指定された内容の情報処理を開始する。そして初期画面、音声などの初期出力データを作成し、出力データ送信部４２が適宜圧縮符号化してクライアント端末１０へ送信する（Ｓ３２）。

ここで送信するデータは、処理の内容やデザインに応じて、基礎出力データのみでもよいし、基礎出力データおよび個別出力データの双方を含んでもよい。前者の場合、基礎出力データ生成部３６が基礎出力データを生成する。後者の場合はさらに、個別出力データ生成部３８が個別出力データを生成する。例えば図３に示したような画面を初期画面とする場合、レーンの配置や各ユーザへの割り当てが決定した時点で、基礎出力データ生成部３６がゲーム画面の初期状態を生成し、個別出力データ生成部３８が矩形５２ａ、５２ｂに係る情報を個別出力データとして生成する。

クライアント端末１０の出力データ受信部１６が初期出力データを受信すると、そのうちの基礎出力データを基礎出力データ処理部１８が復号し、出力部２６が出力することにより、初期画面や音声がクライアント端末１０から出力される（Ｓ３４）。初期出力データに個別出力データが含まれている場合は、個別出力データ処理部２０がそれを解釈し、出力データに合成する。なお初期出力データが動画と楽曲など時間的な幅を有するデータである場合、Ｓ３２における送信処理はストリーム転送でよく、クライアント端末１０は受信したデータを順次処理し出力していく。

そのようにして表示された初期画面を見ながら、ユーザが入力部１２に対しコマンド入力などの指示入力を行ったら、入力情報送信部１４はその都度、当該入力情報をサーバ３０に送信する（Ｓ３６）。サーバ３０の入力情報受信部３２が当該情報を受信すると、情報処理部３４はそれに対応する情報処理を実施する（Ｓ３８）。なおクライアント端末１０のユーザがゲームの観戦者など出力結果のみを要求する場合、そのクライアント端末１０についてはＳ３６の処理を省略する。

サーバ３０の基礎出力データ生成部３６は、情報処理の結果である画像および音声のデータを、基礎出力データとして生成する（Ｓ４０）。個別出力データ生成部３８は、必要なタイミングで、各クライアント端末１０に対応させて個別出力データを生成する（Ｓ４２）。個別出力データの更新がない期間はＳ４２の処理を省略できる。そして出力データ送信部４２が、基礎出力データ、個別出力データを適宜圧縮符号化して統合し、クライアント端末１０に送信する（Ｓ４３）。

クライアント端末１０の出力データ受信部１６は、送信された出力データのうち、基礎出力データを基礎出力データ処理部１８に、個別出力データを個別出力データ処理部２０に供給する。基礎出力データ処理部１８は基礎出力データである画像や音声のデータを復号してバッファメモリ２４に格納する（Ｓ４４）。個別出力データ処理部２０は、そのようにして格納された画像や音声に、個別出力データに基づく図形や音声を合成する（Ｓ４６）。基礎出力データが動画など時間幅を有する場合、図形などの描画については直近に送信された個別出力データに基づき各画像フレームに同じ図形を合成していく。効果音の付加については、発生タイミングとして対応づけられた画像フレームが表示される時点で効果音が発生するように同期をとる。ここで基礎出力データに楽曲が含まれる場合はそれに合成する。

そして出力部２６は、バッファメモリ２４に格納された画像をディスプレイに表示し、音声をスピーカなどから出力する（Ｓ４８）。Ｓ３６からＳ４８の処理を繰り返すことにより、基礎出力データに基づくゲームなどの画面や音声、個別出力データに基づく図形や音声などが、適宜更新され情報処理が進捗する態様を実現できる。

図７は図６で示した処理手順によってクライアント端末１０とサーバ３０間で送受されるデータの例を示している。この例では、３人のユーザが同じゲームに参加、あるいは観戦するため、それぞれのクライアント端末１０ａ、１０ｂ、１０ｃをサーバ３０に接続している。各クライアント端末１０ａ、１０ｂ、１０ｃのユーザのログイン名がそれぞれ、「Ｍｏｍ」、「ＢＡＺ」、「Ｊａｃｋ」であったとすると、各クライアント端末からはゲーム開始時に、それぞれのログイン名が識別情報としてサーバ３０に送信される。同図では「ＩＤ＝Ｍｏｍ」、「ＩＤ＝ＢＡＺ」、「ＩＤ＝Ｊａｃｋ」なる表記および矢印で当該送信処理が示されている。ただし上述の通り、識別情報は端末自体を識別する情報などでもよい。

するとサーバ３０は、各クライアント端末１０ａ、１０ｂ、１０ｃに、ゲーム画面などの基礎出力データを送信する。図７の例では、動画および音声のデータをストリーム転送することを「動画・音声ストリーム（共通）」なる表記および矢印で示している。さらに、クライアント端末ごとの個別出力データを必要に応じて送信する。同図の例では、クライアント端末１０ａ、１０ｂに、ログイン名「Ｍｏｍ」、「ＢＡＺ」に対応する図形や音声のデータをそれぞれ送信することが、「個別データ（Ｍｏｍ）」、「個別データ（ＢＡＺ）」なる表記および矢印で示されている。

一方、クライアント端末１０ｃには、ログイン名「Ｊａｃｋ」に対応する個別出力データが送信されていない。このように、個別出力データはクライアント端末ごとに制御できるデータであるため、設定やタイミングによっては送信しなくてもよい。つまりクライアント端末１０ｃには、図示したのと別のタイミングでログイン名「Ｊａｃｋ」に対応する個別出力データを送信することも、全ての期間で送信しないことも可能である。その他のクライアント端末１０ａ、１０ｂに対しても、個別出力データを常時送信しなくてもよい。このようにすることで、クライアント端末１０ｃでは個別出力データに基づく図形が表示されなかったり、更新されなかったり、クライアント端末１０ａ、１０ｂのみで効果音が鳴ったり、といった独立した出力制御が可能となる。

図７の態様は、クライアント端末１０ａ、１０ｂ、１０ｃごとにそれぞれ異なる個別出力データを生成し、送信することを想定している。例えばクライアント端末１０ａにはログイン名「Ｍｏｍ」のユーザ専用の個別出力データとして、クライアント端末１０ａで描画すべき図形の種類、位置、サイズなどを指定したデータを生成する。データのフォーマットは特に限定されないが、例えば左上の頂点が画面上の座標（２０，２０）に位置する、横および縦のサイズが（３００，３０）の矩形を描画する場合、「Ｒｅｃｔａｎｇｌｅ：｛２０，２０，３００，３０｝」などとする。これにより図３の矩形５２ａのような矩形が描画される。画面上の座標をＵＶ座標系で表したり、さらに色や線の太さを指定したりしてもよい。

一方、上述のように、クライアント端末１０ａ、１０ｂ、１０ｃの識別情報と各個別出力データを対応づけることにより全てのクライアント端末に共通に個別出力データを生成し、各クライアント端末側で自らに対して設定された個別出力データを抽出するようにしてもよい。図８はこのような場合の個別出力データの構造例を示している。個別出力データテーブル７０は、識別情報欄７２ａおよび図形データ欄７２ｂを含む。識別情報欄７２ａは各クライアント端末１０から送信される識別情報であり、同図の場合、ログイン名「Ｊａｃｋ」、「Ｍｏｍ」、「Ｔａｒｏ」、「Ｄｏｃ」、・・・などである。これらの識別情報に対し、図形データ欄７２ｂには、各クライアント端末１０で描画すべき図形の情報を、上述したようなフォーマットで記載する。

このような個別出力データテーブル７０を全てのクライアント端末１０に送信することにより、例えばログイン名「Ｍｏｍ」のユーザのクライアント端末１０ａでは、個別出力データ処理部２０が、自らのログイン名「Ｍｏｍ」に対応づけられた図形データ欄７２ｂにおける設定を読み出す。なお上述のように、図形の形状、太さ、色、字を描画する場合のフォント、色などを個別出力データ用情報記憶部２２に格納しておき、図形データ欄７２ｂにはそれを示す識別番号と描画位置のみを設定すればよいようにしてもよい。

図９は全てのクライアント端末１０に共通に生成する個別出力データの構造の別の例を示している。個別出力データテーブル７４は、識別情報欄７６ａおよび効果音ＩＤ欄７６ｂを含み、個別出力データとして効果音の識別番号を設定している。実際に発生させる効果音のデータと、各データと識別番号との対応関係は、ゲーム開始時にサーバ３０から送信するなどして個別出力データ用情報記憶部２２に格納しておく。効果音ＩＤ欄７６ｂに無効データ（同図では「−」と表記）が設定されている場合は、効果音を出力しない。

このようにすることで、ログイン名「Ｍｏｍ」のクライアント端末には「＃０６」の効果音が、ログイン名「Ｄｏｃ」のクライアント端末には「＃０２」の効果音が、この個別出力データテーブル７４と同期をとるなどして対応付けて送信された画像フレームや音声の出力タイミングで出力される。一方、このタイミングでは、ログイン名「Ｊａｃｋ」および「Ｔａｒｏ」のクライアント端末では効果音は発生しない。このような個別出力データテーブル７４を、いずれかのクライアント端末１０で効果音を発生させる必要が生じる都度、生成し、同時に出力すべき画像フレームと対応づけて送信する。

これにより、自分が操作するオブジェクトの動きにのみ対応するタイミングで効果音を発生させるなど、効果音を発生させるタイミングや音の種類を、クライアント端末ごとに制御できる。なお効果音についても、クライアント端末ごとに個別出力データを生成してよく、この場合、効果音の識別番号のみを、適切なタイミングで対象のクライアント端末のみに送信すればよい。また図８、９はそれぞれ、１つの図形または効果音を出力する場合の個別出力データの例を示しているが、同時に複数の設定を行ってもよく、図形と効果音を組み合わせてもよい。

これまで述べた構成において、個別出力データを複数の言語のテキストデータや音声データとすることにより、情報処理を多言語化することもできる。図１０は、本実施の形態において情報処理の多言語化を実現するときのクライアント端末１０とサーバ３０の処理手順を示すフローチャートである。クライアント端末１０における処理開始要求操作から初期データを出力するまでの処理は図６と同様であるため省略している。ただしクライアント端末１０から送信する識別情報として、出力したい言語の識別情報もサーバ３０へ送信する。そして初期画面を見ながらユーザが入力部１２に対し指示入力を行ったら、入力情報送信部１４はその都度、当該入力情報をサーバ３０に送信する（Ｓ５０）。

サーバ３０の入力情報受信部３２が当該情報を受信すると、情報処理部３４はそれに対応する情報処理を実施する（Ｓ５２）。そして基礎出力データ生成部３６は、情報処理の結果である画像のデータを、基礎出力データとして生成する（Ｓ５４）。基礎出力データには、バックグラウンドミュージックなど言語以外の音声のデータをさらに含めてもよい。一方、個別出力データ生成部３８は、Ｓ５２でなされた情報処理に対応させて出力すべき字幕および音声の少なくともいずれかのデータを、各クライアント端末１０が要求する言語で個別出力データとして生成する。

例えばゲームで登場する人物の音声のデータを、複数のクライアント端末１０がそれぞれ指定した複数の言語で、ゲームの進捗に合わせて生成し、各クライアント端末１０の識別情報に対応づける。生成する対象は字幕のみ、音声のみ、あるいは双方のいずれでもよい。クライアント端末１０ごとに選択できるようにしてもよい。

そして出力データ送信部４２は、Ｓ５４で生成された基礎出力データと、Ｓ５６で生成された字幕や音声の個別出力データとを適宜圧縮符号化して統合し、クライアント端末１０に送信する。なおゲームの開始時などに字幕の表示位置やフォントなどを基礎出力データとして送信しておくことにより、個別出力データはテキストデータのみでもよくなる。音声を出力する場合は、出力形式によって、音声データ自体を送信してもよいし、テキストデータを送信してクライアント端末側で音声合成を行うようにしてもよい。

また基礎出力データの送信を動画のストリーム転送とする場合は、図形や効果音の場合と同様、字幕を表示させるべきタイミング、音声を出力すべきタイミングに応じて、個別出力データと基礎出力データとの同期をとったうえで送信する。クライアント端末１０の出力データ受信部１６は、送信された出力データのうち、基礎出力データを基礎出力データ処理部１８に、個別出力データを個別出力データ処理部２０に供給する。基礎出力データ処理部１８は基礎出力データである画像や音声のデータを復号してバッファメモリ２４に格納する（Ｓ５８）。

クライアント端末１０において字幕または音声を出力する設定がなされていたら（Ｓ６０のＹ）、個別出力データ処理部２０は、個別出力データのうち自らが要求した言語のデータを抽出し、バッファメモリに格納されたゲームの画像や音声に合成する（Ｓ６２、Ｓ６４）。なおこのフローチャートは、サーバ３０が、要求された全ての言語のデータを統合して全クライアント端末１０に送信し、各クライアント端末において、自らが要求した言語のデータを抽出することを想定している。一方、各クライアント端末１０が要求した言語のデータのみを送信する場合は、Ｓ６２の処理は省略できる。

ユーザの設定などによって字幕や音声を出力しない場合は（Ｓ６０のＮ）、Ｓ６２、Ｓ６４の処理を省略する。そして出力部２６は、バッファメモリ２４に格納された画像をディスプレイに表示し、音声をスピーカなどから出力する（Ｓ６６）。Ｓ５０からＳ６６の処理を繰り返すことにより、基礎出力データに基づくゲームなどの画面や楽曲、個別出力データに基づく字幕や音声などが適宜更新され情報処理が進捗する態様を実現できる。

図１１は図１０で示した処理手順によってクライアント端末１０とサーバ３０間で送受されるデータと、各クライアント端末１０における表示画面の例を示している。図７と同様、３人のユーザが同じゲームに参加、あるいは観戦するため、それぞれのクライアント端末１０ａ、１０ｂ、１０ｃをサーバ３０に接続している。そしてゲーム開始時に、クライアント端末１０ａ、１０ｂからは、それぞれ日本語、英語がサーバ３０に要求される。同図では「日本語要求」、「英語要求」なる表記および矢印で当該要求処理が示されている。一方、クライアント端末１０ｃでは、ユーザが言語出力を不必要と設定したため、言語の要求はなされないものとする。

するとサーバ３０は、各クライアント端末１０ａ、１０ｂ、１０ｃに、ゲーム画面などの基礎出力データを送信する。図１１の例では、動画のデータをストリーム転送することを「動画ストリーム」なる表記および矢印で示している。さらに、クライアント端末１０ａおよびクライアント端末１０ｂからそれぞれ要求された日本語および英語の字幕のテキストデータを、個別出力データとして全てのクライアント端末１０ａ、１０ｂ、１０ｃに送信する。同図の例では、「字幕（英語・日本語）」なる表記および矢印で当該送信処理を示している。

するとクライアント端末１０ａでは、自らが要求した日本語のテキストデータを抽出し、基礎出力データである動画のフレームに文字として描画することにより、図示するように日本語の字幕が付加された動画像が表示される。クライアント端末１０ｂでも同様にして、英語の字幕が付加された動画像が表示される。一方、クライアント端末１０ｃでは、ユーザの設定によって、個別出力データからの抽出や合成はなされず、字幕は表示されない。なお字幕の表示位置は図示するように動画上でもよいし、図５のスコア６６ａのように動画と別の表示領域を設けてもよい。また同図は字幕の例であったが、音声であっても同様である。

なお字幕や音声を出力するか否かは、情報処理の途中で切り替え可能としてもよい。またクライアント端末１０ｃのように言語を要求しないクライアント端末に対しては、個別出力データを送信しなくてもよい。このように、クライアント端末が実際に要求した言語のみで字幕や音声のデータを生成することにより、多言語対応としてもサーバ３０の処理を必要最低限に抑えられる。例えば全てのクライアント端末１０が同じ言語を要求した場合は、当該言語でのみ字幕や音声のデータを生成、送信すればよくなる。また全てのクライアント端末１０が言語の出力を要求しない場合は、個別出力データを生成しなくてもよくなる。

また上述のようにサーバ３０は、このように生成した基礎出力データと個別出力データを統合し、出力データ記憶部４０に格納してもよい。このときも、基礎出力データに複数の言語の字幕や音声のデータ付加したものをまとめて１つのデータとしてもよいし、言語ごとに基礎出力データと個別出力データの対を生成して格納してもよい。そしてクライアント端末１０からの任意のタイミングにおける要求に応じて、要求元のクライアント端末１０が指定する言語のデータを含む出力データを送信する。これにより例えばゲームの場合、自分の過去のプレイを再生して確認したり、他人のプレイを後から観戦したりすることができる。

後者の場合、プレイ中のクライアント端末１０が要求した言語に関わらず、使用頻度の高い所定の言語で投機的に字幕や音声のデータを生成しておくと、より多くの人が使用言語によらずゲーム観戦を楽しむことができるようになる。また図６では図形や効果音を合成する場合を示し、図１０では字幕や音声を合成する場合を示したが、それらを組み合わせて同時に合成してもよいし、それらのいずれか１つ以上を選択的に合成してもよい。

以上述べた本実施の形態によれば、クライアント端末におけるユーザ操作に係る情報をサーバで受信し、それに応じてサーバ側で実施した情報処理の結果として、出力データをクライアント端末へ送信することにより、ユーザ操作に応じた画像や音声を出力する。このとき、情報処理の主たる結果である画像や音声の基礎出力データに加え、送信先のクライアント端末固有の図形、効果音、字幕、音声に係る情報を個別出力データとして作成し送信する。そしてクライアント端末側ではそれらを合成して出力する。

これにより、同じ情報処理の結果を基礎出力データとして複数のクライアント端末で共有する場合でも、クライアント端末ごとにカスタマイズされた状態で画像や音声を出力できる。また複数のユーザが参加するゲームなどでも自分の着目すべきオブジェクトなどを容易に他と区別できるようになる。したがって、ユーザが望む情報処理をサーバで集約させることによって生まれる、クライアント端末の処理負荷の軽減や、複数ユーザの参加によるコミュニケーションの発生、といった利点を生かしながら、見やすさ、操作のしやすさといった観点でユーザごとの要求にも応えることができる。

一般的に、サーバからのデータ送信を動画や音声のストリーム転送とした場合、それに連動する図形や効果音などを、クライアント端末側で別個に生成することは困難である。またゲームのようにユーザ操作に対しリアルタイムに画像や音声のデータを生成していく態様では、あらかじめ付加するデータを生成しておくことも難しくなる。本実施の形態では、サーバ側で基礎出力データ、個別出力データを一括して生成し、送信することにより、リアルタイムに生成されたデータであっても容易に同期をとることができる。また個別出力データを簡易なものとすることにより、クライアント端末の処理性能によらず同様の出力が可能である。

さらに、基礎出力データと個別出力データを１つの出力データとしてサーバ側で保持しておくことにより、情報処理終了後などでも、個別出力データとして生成されたデータの範囲内で、各ユーザの要求に対応する形態での出力が可能である。また本実施の形態は、クライアント端末において出力する段階で個別出力データを利用した合成を行うため、それによる図形や字幕の表示／非表示、効果音や音声の出力／非出力を、ユーザの好みや状況に応じて容易に切り替えることができる。結果として、ユーザの要望に対して臨機応変に出力形態を変化させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 情報処理システム、 １０ クライアント端末、 １２ 入力部、 １４ 入力情報送信部、 １６ 出力データ受信部、 １８ 基礎出力データ処理部、 ２０ 個別出力データ処理部、 ２２ 個別出力データ用情報記憶部、 ２４ バッファメモリ、 ２６ 出力部、 ３０ サーバ、 ３２ 入力情報受信部、 ３４ 情報処理部、 ３６ 基礎出力データ生成部、 ３８ 個別出力データ生成部、 ４０ 出力データ記憶部、 ４２ 出力データ送信部。

Claims (20)

1. クライアント端末とネットワークを介して接続し、当該クライアント端末におけるユーザ操作に係る情報を受信して情報処理を行い、その結果得られる出力データを、それを要求するクライアント端末に送信する出力データ提供サーバであって、
   前記ユーザ操作に係る情報を入力情報として取得する入力情報受信部と、
   前記入力情報に基づき情報処理を行う情報処理部と、
   前記情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない動画像の基礎出力データを生成する基礎出力データ生成部と、
   前記出力データのうち、送信先のクライアント端末ごとのデータであり、各クライアント端末において前記基礎出力データに合成することにより前記動画像の一部を構成する個別出力データを各クライアント端末に対応づけて生成する個別出力データ生成部と、
   前記基礎出力データと前記個別出力データとを同期させて送信先のクライアント端末に送信する出力データ送信部と、
   を備えることを特徴とする出力データ提供サーバ。
2. 前記基礎出力データ生成部は前記入力情報に応じて順次基礎出力データを生成し、
   前記個別出力データ生成部は、前記基礎出力データ生成部における基礎出力データの生成処理と並行して、必要なタイミングで前記個別出力データを生成することを特徴とする請求項１に記載の出力データ提供サーバ。
3. 前記出力データ送信部は、前記基礎出力データが生成された順に、当該基礎出力データを送信先のクライアント端末にストリーム転送するとともに、前記個別出力データを、合成して出力すべき前記基礎出力データ内のデータと同期させて送信することを特徴とする請求項１または２に記載の出力データ提供サーバ。
4. 前記個別出力データ生成部は前記動画像中、送信先の各クライアント端末に対応する対象物に付加する図形を描画するためのデータを生成することを特徴とする請求項１から３のいずれかに記載の出力データ提供サーバ。
5. 前記個別出力データ生成部は前記動画像中、送信先の各クライアント端末に対応する対象物に対応させて発生させる効果音を出力するためのデータを生成することを特徴とする請求項１から３のいずれかに記載の出力データ提供サーバ。
6. 前記個別出力データ生成部は前記動画像に対応して出力すべき字幕および音声の少なくともいずれかのデータを、送信先の各クライアント端末が要求する言語で生成することを特徴とする請求項１から３のいずれかに記載の出力データ提供サーバ。
7. 前記個別出力データ生成部は、送信先のクライアント端末別に前記個別出力データを生成し、
   前記出力データ送信部は、送信先のクライアント端末ごとに、当該クライアント端末に対応する個別出力データと前記基礎出力データを対応づけて送信することを特徴とする請求項１から６のいずれかに記載の出力データ提供サーバ。
8. 前記個別出力データ生成部は、送信先のクライアント端末の識別情報と各クライアント端末の個別出力データとを対応づけたテーブルを生成し、
   前記出力データ送信部は、前記個別出力データ生成部が生成したテーブルと前記基礎出力データを対応づけて送信先の全てのクライアント端末に送信することを特徴とする請求項１から６のいずれかに記載の出力データ提供サーバ。
9. 前記基礎出力データと前記個別出力データを対応づけて記憶する出力データ記憶部をさらに備え、
   前記出力データ送信部は、前記出力データ記憶部に一旦記憶させた出力データを、クライアント端末からの要求に応じて逐次送信することを特徴とする請求項１から８のいずれかに記載の出力データ提供サーバ。
10. ネットワークを介してサーバと接続し、当該サーバで行われた情報処理の結果得られる出力データを受信して出力する情報処理装置であって、
    前記出力データのうち、受信する装置によらず生成された動画像の基礎出力データを出力可能な状態にする基礎出力データ処理部と、
    前記出力データのうち、自装置に対応づけられたデータであり、前記基礎出力データに合成することにより前記動画像の一部を構成するように生成され、前記基礎出力データと同期させて送信された個別出力データを抽出し、出力可能な状態の前記基礎出力データに必要なタイミングで合成して最終的な出力データとする個別出力データ処理部と、
    前記最終的な出力データを出力する出力部と、
    を備えることを特徴とする情報処理装置。
11. 前記基礎出力データは、自装置および他の情報処理装置の少なくともいずれかにおけるユーザ操作に係る入力情報に基づき前記サーバにおいて逐次生成された連続的なデータとして当該サーバからストリーム転送されることを特徴とする請求項１０に記載の情報処理装置。
12. 前記個別出力データ処理部は、ユーザによる設定に従い、前記個別出力データを合成する処理を停止することを特徴とする請求項１０または１１に記載の情報処理装置。
13. 前記サーバに対し使用言語を指定する入力情報送信部をさらに備え、
    前記個別出力データ処理部は、前記個別出力データとして前記動画像のデータとともに送信され、前記使用言語で表された字幕および音声の少なくともいずれかを、前記動画像に合成することを特徴とする請求項１０から１２のいずれかに記載の情報処理装置。
14. クライアント端末とネットワークを介して接続し、当該クライアント端末の少なくともいずれかにおけるユーザ操作に係る情報を受信して情報処理を行うサーバと、その結果得られる出力データを受信して出力するクライアント端末と、を含む情報処理システムであって、
    前記サーバは、
    前記ユーザ操作に係る情報を入力情報として取得する入力情報受信部と、
    前記入力情報に基づき情報処理を行う情報処理部と、
    前記情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない動画像の基礎出力データを生成する基礎出力データ生成部と、
    前記出力データのうち、送信先のクライアント端末ごとのデータであり、各クライアント端末において前記基礎出力データに合成することにより前記動画像の一部を構成する個別出力データを各クライアント端末に対応づけて生成する個別出力データ生成部と、
    前記基礎出力データと前記個別出力データを同期させて送信先のクライアント端末に送信する出力データ送信部と、を備え、
    前記クライアント端末は、
    前記基礎出力データを出力可能な状態にする基礎出力データ処理部と、
    自装置に対応づけて生成された前記個別出力データを抽出し、出力可能な状態の前記基礎出力データに必要なタイミングで合成して最終的な出力データとする個別出力データ処理部と、
    前記出力データを出力する出力部と、
    を備えることを特徴とする情報処理システム。
15. サーバが、クライアント端末とネットワークを介して接続し、当該クライアント端末におけるユーザ操作に係る情報を受信して情報処理を行い、その結果得られる出力データを、それを要求するクライアント端末に送信する出力データ提供方法であって、
    前記ユーザ操作に係る情報を入力情報として取得するステップと、
    前記入力情報に基づき情報処理を行うステップと、
    前記情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない動画像の基礎出力データを生成するステップと、
    前記出力データのうち、送信先のクライアント端末ごとのデータであり、各クライアント端末において前記基礎出力データに合成することにより前記動画像の一部を構成する個別出力データを各クライアント端末に対応づけて生成するステップと、
    前記基礎出力データと前記個別出力データを同期させて送信先のクライアント端末に送信するステップと、
    を含むことを特徴とする出力データ提供方法。
16. 情報処理装置がネットワークを介してサーバと接続し、当該サーバで行われた情報処理の結果得られる出力データを受信して出力する情報処理方法であって、
    前記出力データのうち、受信する装置によらず生成された動画像の基礎出力データを出力可能な状態にするステップと、
    前記出力データのうち、自装置に対応するデータであり、前記基礎出力データに合成することにより前記動画像の一部を構成するように生成され、前記基礎出力データと同期させて送信された個別出力データを抽出し、出力可能な状態の前記基礎出力データに必要なタイミングで合成して最終的な出力データとするステップと、
    前記最終的な出力データを出力するステップと、
    を含むことを特徴とする情報処理方法。
17. コンピュータに、クライアント端末とネットワークを介して接続し、当該クライアント端末におけるユーザ操作に係る情報を受信して情報処理を行い、その結果得られる出力データを、それを要求するクライアント端末に送信する機能を実現させるコンピュータプログラムであって、
    前記ユーザ操作に係る情報を入力情報として取得する機能と、
    前記入力情報に基づき情報処理を行う機能と、
    前記情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない動画像の基礎出力データを生成する機能と、
    前記出力データのうち、送信先のクライアント端末ごとのデータであり、各クライアント端末において前記基礎出力データに合成することにより前記動画像の一部を構成する個別出力データを各クライアント端末に対応づけて生成する機能と、
    前記基礎出力データと前記個別出力データを同期させて送信先のクライアント端末に送信する機能と、
    を前記コンピュータに実現させることを特徴とするコンピュータプログラム。
18. コンピュータに、ネットワークを介してサーバと接続し、当該サーバで行われた情報処理の結果得られる出力データを受信して出力する機能を実現させるコンピュータプログラムであって、
    前記出力データのうち、受信する装置によらず生成された動画像の基礎出力データを出力可能な状態にする機能と、
    前記出力データのうち、自装置に対応するデータであり、前記基礎出力データに合成することにより前記動画像の一部を構成するように生成され、前記基礎出力データと同期させて送信された個別出力データを抽出し、出力可能な状態の前記基礎出力データに必要なタイミングで合成して最終的な出力データとする機能と、
    前記最終的な出力データを出力する機能と、
    を前記コンピュータに実現させることを特徴とするコンピュータプログラム。
19. コンピュータに、クライアント端末とネットワークを介して接続し、当該クライアント端末におけるユーザ操作に係る情報を受信して情報処理を行い、その結果得られる出力データを、それを要求するクライアント端末に送信する機能を実現させるコンピュータプログラムを記録した記録媒体であって、
    前記ユーザ操作に係る情報を入力情報として取得する機能と、
    前記入力情報に基づき情報処理を行う機能と、
    前記情報処理の結果、得られる出力データのうち、送信先のクライアント端末によらない動画像の基礎出力データを生成する機能と、
    前記出力データのうち、送信先のクライアント端末ごとのデータであり、各クライアント端末において前記基礎出力データに合成することにより前記動画像の一部を構成する個別出力データを各クライアント端末に対応づけて生成する機能と、
    前記基礎出力データと前記個別出力データを同期させて送信先のクライアント端末に送信する機能と、
    を前記コンピュータに実現させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。
20. コンピュータに、ネットワークを介してサーバと接続し、当該サーバで行われた情報処理の結果得られる出力データを受信して出力する機能を実現させるコンピュータプログラムを記録した記録媒体であって、
    前記出力データのうち、受信する装置によらず生成された動画像の基礎出力データを出力可能な状態にする機能と、
    前記出力データのうち、自装置に対応するデータであり、前記基礎出力データに合成することにより前記動画像の一部を構成するように生成され、前記基礎出力データと同期させて送信された個別出力データを抽出し、出力可能な状態の前記基礎出力データに必要なタイミングで合成して最終的な出力データとする機能と、
    前記最終的な出力データを出力する機能と、
    を前記コンピュータに実現させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。

Images