JP6518689B2 - プログラムおよび情報処理装置 - Google Patents

Description

本発明は、ゲームシーンを編集する技術に関する。

ゲームプログラムは、ユーザによるプレイ状況を示すリプレイデータを蓄積し、ゲーム中に発生したイベントのゲームシーンを、リプレイ画像として再現する「リプレイ機能」を有している。特許文献１は、ユーザがゲームをしている様子を示す撮像画像をリプレイ画像に合成して、再生用画像を生成する技術を提案している。

米国特許出願公開第２０１２／１４６５８号明細書

特許文献１に開示されるように、発生したイベントのゲームシーンに、そのイベント発生時のプレイユーザの様子を撮像した画像を合成することで、再生用画像の視聴者は、ゲームのリプレイとともに、プレイユーザがゲームを楽しんでいたり、熱中していたりする雰囲気を感じられるようになる。本発明者は特許文献１に開示された技術を改良して、より臨場感の高い再生用画像を生成する技術に想到した。

本発明は、ゲームシーンのプレイ画像またはリプレイ画像などのゲーム画像と、ユーザの撮像画像とを合成する技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様のプログラムは、コンピュータに、ゲーム画像を生成する機能と、合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定する機能と、決定したユーザを撮像したユーザ画像を取得する機能と、取得したユーザ画像と、ゲーム画像との合成画像を生成する機能と、を実現させる。

本発明の別の態様は、情報処理装置である。この装置は、ゲーム画像を生成する画像生成部と、合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定するユーザ決定部と、決定したユーザを撮像したユーザ画像を取得するユーザ画像取得部と、取得したユーザ画像と、ゲーム画像との合成画像を生成する合成処理部とを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の情報処理技術によると、効果的にゲーム画像とユーザの撮像画像とを合成する技術を提供することが可能となる。

本発明の実施例にかかる情報処理システムを示す図である。 入力装置の外観構成を示す図である。 情報処理装置の機能ブロックを示す図である。 ゲームのリプレイ画像を処理する構成を示す図である。 表示されるゲーム画面の一例を示す図である。 カメラによって撮影される空間の一例を示す図である。 ゴールイベントのイベント情報の例を示す図である。 タイプ情報による切り出し形態を説明するための図である。 顔認識部による顔識別結果を示す図である。 顔識別結果をもとに設定される切出領域を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 ゴールイベントの優先情報を示す図である。 情報処理システムの変形例を示す図である。

図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、配信主となるユーザがプレイ中のゲーム画像をライブ配信し、別の視聴ユーザがゲーム画像を視聴する環境を実現する。情報処理システム１は、配信ユーザが利用する情報処理装置１０と、ネットワークサーバ５と、共有サーバ１１と、各種の端末装置９ａ、９ｂを備え、これらはインターネットやＬＡＮ（Local Area Network）、電話網などのネットワーク３を介して接続している。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のネットワークサーバ５、共有サーバ１１と通信可能に接続する。

情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザが操作した情報を情報処理装置１０に出力する。情報処理装置１０は入力装置６から操作情報を受け付けるとシステムソフトウェアやゲームソフトウェアの処理に反映し、出力装置４から処理結果を出力させる。情報処理システム１において情報処理装置１０はゲームプログラムを実行するゲーム装置であり、入力装置６はゲームコントローラなど情報処理装置１０に対してユーザの操作情報を供給する機器であってよい。情報処理装置１０は、端末装置９ａ、９ｂに対して、プレイ中のゲーム画像データをストリーミング配信し、したがって実施例における情報処理システム１は、ゲーム画像配信システムとして動作する。

ネットワークサーバ５は情報処理装置１０のユーザに対してゲームのネットワークサービスを提供する。ネットワークサーバ５はユーザを識別するネットワークアカウントを管理しており、ユーザは、ネットワークアカウントを用いて、ネットワークサーバ５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、ネットワークサーバ５に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品（トロフィ）を登録できる。

この例では、３人のユーザＡ、Ｂ、Ｃが情報処理装置１０で一緒にゲームをプレイしており、ユーザＡは入力装置６ａを、ユーザＢは入力装置６ｂを、ユーザＣは入力装置６ｃをそれぞれ操作している。出力装置４には、プレイ中のゲーム画像が表示されており、このゲーム画像は、共有サーバ１１を通じて、視聴ユーザの端末装置９ａ、９ｂに配信されている。図１においては端末装置９ａがパーソナルコンピュータであって、ＡＰ経由でネットワーク３に接続し、また端末装置９ｂがスマートフォンなどのモバイル機器であって、基地局を経由してネットワーク３に接続している様子を示しているが、視聴ユーザは、情報処理装置１０と同じ端末装置で、ゲーム画像の配信を受けてもよい。なお別の例では、情報処理装置１０と端末装置とがＰ２Ｐで接続して、互いにデータを送受信するようにしてもよい。以下、特に区別しない場合には、視聴ユーザの端末を「端末装置９」と総称する。

補助記憶装置２はＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってよく、内蔵型記憶装置であってもよい。出力装置４は画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置４は、情報処理装置１０に有線ケーブルで接続されてよく、無線接続されてもよい。

入力装置６は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側方に配置されてもよく、いずれにしても出力装置４の前方でゲームをプレイするユーザＡ、Ｂ、Ｃを撮像できる位置に配置される。カメラ７は、ステレオカメラであってもよい。

実施例において、ゲームプログラムは、ユーザによるプレイ状況を示すリプレイデータを蓄積し、ゲーム中に発生したイベントのゲームシーンを、ハイライトシーンのリプレイ画像として再現する「リプレイ機能」を有している。たとえばサッカーゲームにおけるゴールシーンは典型的なイベントであり、ゲームプログラムは、試合終了後に、ゴールシーンの仮想３次元空間を、仮想カメラ視点や視線方向を変えて再現した複数のリプレイ画像を生成して表示させる。このときゲームプログラムは、ユーザがゲームをしている様子を示すカメラ７の撮像画像をリプレイ画像に合成し、情報処理装置１０は、合成した再生用画像を共有サーバ１１を通じて端末装置９に配信する。

このように実施例においては、プレイ終了後、編集したハイライトシーンのゲーム画像（リプレイ画像）とともに、ハイライトシーンをプレイしていたユーザの撮像画像も合わせて配信するが、プレイ中においても、ユーザを撮影した撮像画像が、ユーザがプレイするゲーム画像とともに、視聴ユーザの端末装置９にリアルタイム配信されてもよい。なお、ハイライトシーンのプレイ中に配信される撮像画像と、編集したハイライトシーンに含まれる撮像画像とは異なってもよい。たとえば、あるハイライトシーンにおいて、プレイ中にはユーザＢの撮像画像が配信されていても、再生用画像にはユーザＡの撮像画像が含まれるようにしてもよい。

入力装置６のボタン構成について説明する。
［上面部の構成］
図２（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置６の電源をオンし、同時に入力装置６と情報処理装置１０とを接続する通信機能をアクティブにするために使用される。入力装置６が情報処理装置１０と接続した後は、機能ボタン８０は、情報処理装置１０にホーム画面を表示させるためにも使用される。

ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、情報処理装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。ＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。ＯＰＴＩＯＮＳボタン８２は、情報処理装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

［奥側側面部の構成］
図２（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。図１に示すように、３台の入力装置６ａ、６ｂ、６ｃが使用されている場合、情報処理装置１０は、ユーザＡ、Ｂ、Ｃが各入力装置６を区別できるように、入力装置６ａ、６ｂ、６ｃの発光部８５の点灯色を異なる色、それぞれ青、赤、緑と定めてよい。これにより各ユーザは、自分が使用している入力装置６を発光部８５の点灯色によって認識できるため、入力装置６を取り違える可能性が低減される。

筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部８５が、右側の上側ボタン８３ａ、下側ボタン８４ａの並びと、左側の上側ボタン８３ｂ、下側ボタン８４ｂの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ７は、点灯した発光部８５を好適に撮像できる。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。

図３は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。メインＣＰＵはＯＳを起動し、ＯＳが提供する環境下において、補助記憶装置２にインストールされたアプリケーションを実行する機能をもつ。サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。

メインＣＰＵは補助記憶装置２やＲＯＭ媒体４４にインストールされているゲームプログラムを実行する機能をもつ一方で、サブＣＰＵはそのような機能をもたない。しかしながらサブＣＰＵは補助記憶装置２にアクセスする機能、ネットワークサーバ５との間でデータを送受信する機能を有している。サブＣＰＵは、このような制限された処理機能のみを有して構成されており、したがってメインＣＰＵと比較して小さい消費電力で動作できる。これらのサブＣＰＵの機能は、メインＣＰＵがスタンバイ状態にある際に実行される。実施例の情報処理装置１０は、メインシステム６０のスタンバイ時にはサブシステム５０が稼働しているため、ネットワークサーバ５が提供するネットワークサービスに、常時サインインした状態を維持する。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

図４は、ゲームのリプレイ画像を処理する情報処理装置１０の構成を示す。情報処理装置１０は処理部１００、通信部１０２および受付部１０４を備える。処理部１００はプログラム実行部１１０、撮像画像取得部１４０、画像生成部１５０、表示処理部１６０および共有処理部１６２を備える。図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

プログラム実行部１１０は、ゲームプログラムを実行し、ゲーム進行部１１２、リプレイデータ生成部１１４およびリプレイ処理部１２０の各機能を実現する。リプレイ処理部１２０は、リプレイデータ取得部１２２、シーン決定部１２４、リプレイ画像生成部１２６、ユーザ決定部１２８、ユーザ画像要求部１３０、ユーザ画像取得部１３２および合成処理部１３４を有する。ここで示している各機能は、ゲームプログラムを実行することで実現され、ゲームプログラムやＧＰＵ（Graphics Processing Unit）などにより構成される。

画像生成部１５０は、要求受付部１５２、撮像画像読出部１５４、顔認識部１５６、オブジェクト認識部１５７およびユーザ画像生成部１５８を有する。顔認識部１５６は、情報処理装置１０に実装されている顔認識エンジンにより実現される。

通信部１０２は、入力装置６の操作情報を受信し、また処理部１００で生成したゲーム画像を、共有サーバ１１経由で他の端末装置９に配信する。処理部１００は、ユーザによるリアルタイムのプレイ状況を示すプレイ画像と、過去のプレイ状況を再現したリプレイ画像を生成する機能をもつ。端末装置９のユーザは、ネットワーク３に接続する共有サーバ１１にアクセスして、情報処理装置１０から配信されているゲーム画像を視聴できる。通信部１０２は図３に示す無線通信モジュール３８および有線通信モジュール４０の機能を併せ持つ構成として表現している。なお通信部１０２は、他の端末装置９に直接コンテンツを配信してもよい。

受付部１０４は、通信部１０２と処理部１００との間に設けられ、通信部１０２と処理部１００との間でデータないしは情報を伝送する。受付部１０４は通信部１０２を介して入力装置６の操作情報を受け付けると、その操作情報を処理部１００に供給する。また受付部１０４は、プログラム実行部１１０からゲーム画像を受け付け、通信部１０２に提供する。

登録ユーザ情報保持部１７０は補助記憶装置２の記憶領域に形成されて、情報処理装置１０に登録されているユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、ログイン用パスコード、ネットワークサーバ５にサインインするためのサインインＩＤ、ネットワークアカウント、ユーザのオンラインＩＤ（ネットワーク上でのユーザ名）、またユーザを表現するためのユーザアイコンなどを、登録ユーザ情報として保持している。また登録ユーザ情報保持部１７０は、ユーザアカウントに関連付けて、顔認識処理のための顔識別用データを登録ユーザ情報として保持している。

ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認識部１５６による顔認識処理において比較対象とされるデータであり、顔認識部１５６が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、実施例では顔認識部１５６が既知の顔認識アルゴリズムを採用している。

実施例の情報処理装置１０は、ユーザがログインすることを条件として入力装置６の操作を受け付ける。したがって図１に示す例では、ユーザＡ〜Ｃのそれぞれが、情報処理装置１０にログインしている。ログインユーザ記憶部１７４は補助記憶装置２の記憶領域に形成されて、情報処理装置１０にログインしているユーザ情報を記憶している。既述したように使用中の入力装置６の発光部８５は、情報処理装置１０により設定された発光色で点灯している。ログインユーザ記憶部１７４は、ログインユーザと、入力装置６の識別情報と、入力装置６の発光色とを対応付けて記憶する。実施例において入力装置６ａ、６ｂ、６ｃの発光部８５が、それぞれ青、赤、緑で点灯している場合、ログインユーザ記憶部１７４は、ユーザＡのユーザアカウント、入力装置６ａの識別情報、入力装置６ａが青点灯していることを関連づけて記憶し、また、ユーザＢのユーザアカウント、入力装置６ｂの識別情報、入力装置６ｂが赤点灯していることを関連づけて記憶し、ユーザＣのユーザアカウント、入力装置６ｃの識別情報、入力装置６ｃが緑点灯していることを関連づけて記憶している。

ゲーム進行部１１２はゲームプログラムを実行して、ゲームを進行させる。ゲーム進行部１１２は、ユーザＡ〜Ｃのそれぞれから入力装置６ａ〜６ｃに入力された操作情報をもとに、３次元仮想空間においてゲームオブジェクトを動かす演算処理を行う。ここでゲーム進行部１１２は、ゲームプログラムそのものであってよく、ＧＰＵなどを利用して、ゲーム画像データを生成する。この意味において、ゲーム進行部１１２は、プレイ中のゲーム画像を生成するゲーム画像生成部として機能する。表示処理部１６０は、ゲーム画像を出力装置４から出力し、共有処理部１６２は、ゲーム画像データをエンコードして、配信画像として配信する。

図５は、出力装置４に表示されるゲーム画面の一例を示す。この例では、ユーザＡ〜Ｃが、それぞれサッカー選手を操作して一緒にサッカーゲームを楽しんでいる。各ユーザはサッカー選手を選び、選んだサッカー選手は、ゲーム中に変更できない設定であってもよいが、入力装置６の所定のボタンを押すことで、ゲーム中に変更できる設定であってもよい。共有処理部１６２は、ユーザＡ〜Ｃが見ているゲーム画面と同じ画面を、端末装置９に配信する。情報処理装置１０は、ゲーム画像のうち、少なくとも過去のプレイ状況を再現したリプレイ画像を配信する際には、ユーザを撮像したユーザ画像も一緒に配信する。

ゲーム進行部１１２が、入力装置６ａ〜６ｃに入力された操作情報をもとにゲームを進行するが、このときリプレイデータ生成部１１４は、ゲームのプレイ状況を再現するためのリプレイデータを生成する。リプレイデータは、ゲームプログラムが受け付ける入力装置６ａ〜６ｃの操作情報を少なくとも含む。なおゲーム中、ゲームプログラムは、入力装置６が操作されたタイミングで操作情報を処理するが、過去のプレイ状況を再現するためには、操作情報が入力されたタイミング情報も必要である。そこでリプレイデータ生成部１１４は、ゲーム進行部１１２によるゲームプログラムの実行中に、ユーザＡ〜Ｃがそれぞれ入力装置６ａ〜６ｃを操作した操作情報と、その操作情報を受け付けたタイミングデータとを関連づけたリプレイデータを生成する。

タイミングデータは、たとえばゲームプログラムの実行開始などの基準タイミングからの時間情報や、ゲーム画像のフレーム番号として生成される。つまりリプレイデータは、ゲーム進行部１１２がゲーム進行に使用した入力装置６の操作情報および操作タイミングを関連づけたものであり、リプレイ画像の生成時には、ゲームプログラムがリプレイデータに含まれる擬似的な操作タイミングで操作情報を受け付けることで、過去にプレイしたゲームシーンを再現できる。実施例においてリプレイデータ生成部１１４は、ユーザによるゲームプレイの開始から終了までの期間のリプレイデータを生成し、リプレイデータ保持部１６６に格納する。なお操作情報には、どの入力装置６からの入力であるかを特定する情報も関連づけられており、具体的には操作情報に、その操作情報を入力した入力装置６の識別情報が関連づけられている。

またリプレイデータ生成部１１４は、ゲーム進行部１１２によるゲームプログラムの実行中に発生したイベントの内容および発生したタイミングデータを含むイベントデータを生成して、リプレイデータ保持部１６６に格納する。リプレイデータ生成部１１４は、ゲームプレイ中にイベント発生を検出したタイミングでイベントデータを生成してもよく、またゲームプレイないしはゲーム中のステージが終了したタイミングで、リプレイデータからイベントの発生を探索して、イベントデータを生成してもよい。なお、この場合は、リプレイデータ生成部１１４が、リプレイデータとして、イベントの発生を示すイベント発生情報をタイミングデータとともにリプレイデータ保持部１６６に格納しておき、リプレイデータ生成部１１４は、イベント発生情報を探索して、イベントデータを生成する。たとえばサッカーゲームにおいてイベントは、得点が入ったこと（ゴールイベント）や、キーパーがスーパーセーブを決めたこと（スーパーセーブイベント）など、ユーザが盛り上がるゲームシーンに対して設定されている。

またイベントは、ゲームプログラムに設定されたものに限らず、外部事情によって設定されてもよい。たとえば所定の音量以上の音声がマイク（図示せず）から入力された際に、リプレイデータ生成部１１４は、大きな声が発せられたことと、発声があったタイミングデータとを関連づけたイベントデータを生成してリプレイデータ保持部１６６に格納する。またカメラ７に撮影されているユーザが飛び上がるような動きをしたときに、リプレイデータ生成部１１４は、ユーザが興奮していることと、ユーザが興奮したタイミングデータとを関連づけたイベントデータを生成してリプレイデータ保持部１６６に格納する。

ここで所定の音量以上の音声がマイクから入力されたこと、またカメラ７に撮影されているユーザが所定の動きをしたことは、システムソフトウェアにより検出され、システムソフトウェアは当該事象の発生を検出すると、リプレイデータ生成部１１４に通知する。リプレイデータ生成部１１４は、システムソフトウェアから当該事象の発生を通知されることで、タイミングデータと関連づけたイベントデータを生成し、リプレイデータ保持部１６６に格納する。

さらにイベントは、入力装置６の操作状況によって設定されてもよい。たとえば入力装置６のボタンやキーが連打されるなど、通常時と比べて短時間で多くの操作がなされた際に、リプレイデータ生成部１１４は、連打されたことと、連打したタイミングデータとを関連づけたイベントデータを生成してリプレイデータ保持部１６６に格納する。格闘ゲームなどにおいては、複数種類のボタンの連続操作で必殺技を繰り出せるようにしているが、短時間に複数種類のボタンが連続操作された際に、リプレイデータ生成部１１４は、複数種類のボタンが連続操作されたことと、連続操作したタイミングデータとを関連づけたイベントデータを生成してリプレイデータ保持部１６６に格納してもよい。ゲームにおいてイベントとして設定されている必殺技が繰り出されたときには、リプレイデータ生成部１１４はイベント発生を検出できるが、連続操作に失敗して必殺技を出せなかったような場合においても、複数種類のボタンが連続操作されたことをもって、必殺技を出そうとして失敗したイベントとしてとらえ、リプレイデータ生成部１１４がイベントデータを生成することも可能である。

撮像画像取得部１４０は、カメラ７から撮像画像データを取得する。たとえばカメラ７は周期的（たとえば１／６０秒ごと）に空間を撮像して、撮像画像をＵＳＢモジュール３４を経由して撮像画像取得部１４０に提供する。撮像画像取得部１４０は、取得した撮像画像データを、撮像したタイミングを示すタイミングデータに関連づけて、撮像画像データ保持部１６８に格納する。タイミングデータは、基準タイミングからの時間情報や、基準タイミングからのゲーム画像のフレーム番号であってよい。なおフレーム番号は、基準タイミングから生成された画像フレーム数に対応し、基準タイミングのフレーム番号を１番として、その後、ゲーム画像が生成されるたびに、１ずつインクリメントされる。

リプレイデータ保持部１６６に保持されるリプレイデータ、および撮像画像データ保持部１６８に保持される撮像画像データは、それぞれタイミングデータを有している。既述したようにタイミングデータは、あるタイミングを基準として設定され、たとえば基準となるタイミングは、ゲームプログラムが起動したときや、ユーザがプレイを開始したときであってよい。ゲームのフレーム画像が１／３０秒ごとに生成され、カメラ７の撮像画像が１／６０秒ごとに取得される場合、撮像画像取得部１４０は、２枚に１枚を間引いて１／３０秒ごとの撮像画像を撮像画像データ保持部１６８に格納してもよい。なおゲームのフレーム画像の生成周期と、カメラ７の撮像周期とは厳密には同期しないが、あるフレーム番号のゲーム画像に対して、撮像画像取得部１４０は、そのゲーム画像の直後に取得された撮像画像に同じフレーム番号を付与することで、ゲーム画像と撮像画像のフレーム番号を揃えることができる。撮像画像取得部１４０は、プログラム実行部１１０から、基準タイミングを通知されると、その直後に取得した撮像画像にフレーム番号を１とするタイミングデータを付与して撮像画像データ保持部１６８に格納し、以後は、２枚に１枚を間引いて、撮像画像のフレーム番号を１ずつインクリメントして、撮像画像データ保持部１６８に格納していく。

リプレイデータに含まれる操作情報のフレーム番号が“Ｎ”であるとき、その操作情報は、基準タイミングからＮ番目に生成されたゲーム画像に反映された操作情報であることを意味し、また撮像画像データに含まれるフレーム番号が“Ｎ”であるとき、その撮像画像データは、基準タイミングからＮ番目に撮像画像データ保持部１６８に格納されたことを意味する。

図６は、カメラ７によって撮影される空間の一例を示す。この撮影空間には、３人のユーザＡ〜Ｃが存在している。図６において３人のユーザを取り囲む四角の枠はカメラ７の撮像範囲（画角）を表現している。撮像画像取得部１４０は、カメラ７から撮像画像データを取得する。たとえばカメラ７は１／６０秒ごとに空間を撮像して、撮像画像をＵＳＢモジュール３４を経由して撮像画像取得部１４０に提供する。既述したように撮像画像取得部１４０は、ゲーム画像のフレームレートに合わせたタイミングで（必要であれば間引いて）、タイミングデータとなるフレーム番号を付加した撮像画像を撮像画像データ保持部１６８に格納する。

情報処理装置１０の顔認識処理について説明する。
顔認識部１５６は、撮像画像においてユーザの顔画像を検出する機能をもつ。ここで顔認識部１５６は、撮像画像において、人の顔と推定される部分を検出して抜き出し、その部分の特徴量データを導出して、登録ユーザ情報保持部１７０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であるか否かを判定する。

具体的に顔認識部１５６は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１７０に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば１００点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が９０点を超えていれば、顔認識部１５６は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が９０点を超えるものが複数存在する場合には、顔認識部１５６は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が９０点を超えるものがなければ、顔認識部１５６は、撮像画像に含まれるユーザが、顔画像を登録したユーザでないことを判定する。このように顔認識部１５６は、登録ユーザ情報保持部１７０に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。

ゲームプログラムによるリプレイ処理機能について説明する。
サッカーゲームでは、試合終了後に、ゴールシーンなどのリプレイ画像を生成する。ゴールシーンなどのハイライトシーンは、ゲーム中で検出されたイベントにより定められる。なおハイライトシーンは、外部事情によりユーザＡ〜Ｃが盛り上がっていることが検出されたことによって定められてもよい。

リプレイ処理部１２０において、リプレイデータ取得部１２２は、リプレイデータ保持部１６６に保持されたリプレイデータおよびイベントデータを取得する。シーン決定部１２４は、取得したイベントデータを参照して、ハイライトシーンとして編集するゲームシーンを決定する。イベントデータには、イベントの内容および発生タイミングデータが含まれているが、イベントの内容に応じて、編集するシーン期間が定められていてよい。たとえば、ゴールのイベントに関しては、ボールがゴールに入る前の５秒間と、入った後の５秒間が、リプレイ画像のシーン期間として定められている。以下、ゴールイベントのリプレイ画像の生成処理について説明する。

シーン決定部１２４は、ゴールシーンのイベントデータに含まれるタイミングデータを参照して、イベント発生時の５秒前のタイミング（シーン開始フレーム番号）と５秒後のタイミング（シーン終了フレーム番号）を特定する。リプレイ画像生成部１２６は、シーン決定部１２４からシーン開始フレーム番号とシーン終了フレーム番号を受け取り、ゴールシーンのリプレイ画像を生成する。

具体的にリプレイ画像生成部１２６はゲームプログラムを実行し、リプレイデータに含まれる操作情報が、その操作情報に関連づけられているタイミングデータで特定されるタイミングで入力装置６ａ〜６ｃから入力されたものとみなして、リプレイ画像を生成する。このようにリプレイ画像生成部１２６は、リプレイデータを擬似操作情報としてゲームプログラムに提供して、３次元仮想空間内でサーカー選手を動かすゲーム画像を生成する。

なおリプレイ画像生成部１２６は、ゲームプレイ時の仮想カメラ視点や視線方向でリプレイ画像を生成してもよいが、仮想カメラ視点や視線方向を変えてもよい。またリプレイ画像生成部１２６は、ゴールシーンを様々な角度から見ることができるように、複数の仮想カメラ視点および視線方向から、複数のリプレイ画像を生成してもよい。たとえばゴールシーンに関してリプレイ画像生成部１２６は、遠目から見た（プレイ画像と同じもしくは近い）第１リプレイ画像と、シュートを決めた選手の動きにフォーカスした第２リプレイ画像と、ゴール裏から見た第３リプレイ画像とを生成する。このように３種類のリプレイ画像は、それぞれ仮想カメラ視点および視線方向を異ならせて生成される。

ユーザ決定部１２８は、合成画像に含めるユーザを決定する。ここで合成画像とは、リプレイ画像生成部１２６により生成されるリプレイ画像と、撮像画像を切り出したユーザ画像とを合成した画像である。ユーザ決定部１２８は、リプレイデータを参照し、ゲームシーンにおけるプレイ状況にもとづいてユーザを決定する。具体的にユーザ決定部１２８は、ゴールシーンのゴールイベントに関与したゲームオブジェクト（サッカー選手）を操作したユーザを、合成画像に含めるユーザとして決定する。

イベント情報保持部１７２は、イベントのリプレイ画像に付加する撮像画像に含まれるユーザを決定するためのオブジェクト情報を保持する。またイベント情報保持部１７２は、撮像画像からユーザ画像の切り出し形態を特定するタイプ情報も保持する。オブジェクト情報およびタイプ情報は、リプレイ画像に対応付けられる。イベント情報保持部１７２は、これらのイベント情報をテーブル形式で有していてもよく、ＣＳＶ形式で有していてもよい。イベント情報を記録したファイルはゲームソフトウェアに含まれており、ゲームプログラムを開始する際に、補助記憶装置２に読み出され、ユーザ決定部１２８によるユーザ決定処理に使用される。

図７は、ゴールイベントのイベント情報の例を示す。既述したように、リプレイ画像生成部１２６は、ゴールイベントについて第１〜第３リプレイ画像を生成する。「リプレイ画像」はリプレイ画像を特定する情報であり、リプレイ画像の項目の“１”は第１リプレイ画像、リプレイ画像の項目の“２”は第２リプレイ画像、リプレイ画像の項目の“３”は第３リプレイ画像を示す。

「ゲームオブジェクト」は、リプレイ画像に付加するユーザを指定するための項目であり、具体的には、当該ゲームオブジェクトを操作していたユーザを、合成画像に含めるユーザとして決定するための情報である。ここで第１リプレイ画像、第２リプレイ画像のゲームオブジェクトは、“シュートをした選手”であり、したがってユーザ決定部１２８は、第１リプレイ画像、第２リプレイ画像に、シュートをした選手を操作していたユーザを含む撮像画像を付加することを決定する。また第３リプレイ画像のゲームオブジェクトは“キーパー”であるため、ユーザ決定部１２８は、第３リプレイ画像に、キーパーを操作していたユーザを含む撮像画像を付加することを決定する。このようにユーザ決定部１２８は、ゲームシーンのリプレイ画像に対応付けられているゲームオブジェクト（サッカー選手）を操作したユーザを、合成画像に含めるユーザとして決定する。実施例ではゴールシーンにおいて、ユーザＡがシュートをした選手を操作しており、ユーザＣがキーパーを操作していたものとする。

「タイプ情報」は、撮像画像からユーザ画像の切り出し形態を特定するための項目である。
図８は、タイプ情報による切り出し形態を説明するための図である。実施例では、撮像画像からユーザを切り出す形態を３種類用意する。なお図８には、ユーザＡを切り出す例を示している。切出領域２００は、タイプ１による切出領域であり、切出領域２０２は、タイプ２による切出領域であり、切出領域２０４は、タイプ３による切出領域である。いずれの切出領域２００、２０２、２０４も、ユーザ決定部１２８が決定したユーザの顔画像を少なくとも含むように設定されるが、タイプ番号が大きくなるにつれて、領域内の顔画像の割合は小さくなる。

タイプ１の切出領域２００は、ユーザの顔画像の割合が大きくなるように設定される。切出領域２００で切り出される撮像画像は、リプレイ画像に合成された際に、プレイユーザの顔を大きく映すために、視聴ユーザは、プレイユーザの顔の表情をよく見ることができる。

タイプ２の切出領域２０２は、ユーザの上半身を切り出すように設定される。切出領域２０２で切り出される撮像画像は、リプレイ画像に合成された際に、プレイユーザの上半身を映すために、視聴ユーザは、プレイユーザの動きから盛り上がっている様子を見ることができる。

タイプ３の切出領域２０４は、撮像画像全体を切り出すように設定される。切出領域２０４は、撮像画像そのものであってもよい。特に複数のプレイユーザがいる場合に、切出領域２０４で切り出される撮像画像は、リプレイ画像に合成された際に、複数のプレイユーザの様子を映すために、視聴ユーザは、プレイ中の雰囲気を知ることができる。

図７に示すように、切出領域のタイプ情報は、イベント情報としてリプレイ画像に対して設定されている。ゲームメーカは、生成するリプレイ画像に対して、どのユーザの撮像画像を合成し、また、撮像画像をどのように切り出すかを定めて、イベント情報を生成する。上記したように、タイプ１〜３の切出領域には、それぞれの特徴があり、ゲームメーカは、編集するリプレイ画像に相応しい切出領域を定める。

図７に示すイベント情報では、遠目から見た第１リプレイ画像と、シュートを決めた選手にフォーカスした第２リプレイ画像に、ゲームオブジェクトである“シュートをした選手”と、タイプ情報２が対応付けられている。シュートを決めた選手を操作するユーザは、興奮して大喜びすると考えられるため、その様子が伝わりやすいタイプ情報２が選択されている。一方、ゴール裏から見た第３リプレイ画像には、ゲームオブジェクトである“キーパー”と、タイプ情報３が対応付けられている。キーパーを操作するユーザは落胆すると考えられるため、がっかりした顔の表情を大きく映すタイプ情報１を選択することで、失望した雰囲気を効果的に伝えられる。このようなポリシーはゲームメーカにより適宜選択されてよい。１つのハイライトシーンにおいて、リプレイ画像に応じて切り出し形態を異ならせると、視聴ユーザは、その演出にも興味をもつようになり、ゲームプログラムの人気向上にもつながる。

画像生成部１５０はタイプ情報をもとに撮像画像を切り出すライブラリを有しており、ライブラリの内容がゲームメーカに対して公開されることで、ゲームメーカは、演出に工夫をこらしたイベント情報を生成できる。なおタイプ情報は、３種類に限定されるものではなく、それ以上であってもよいし、それ以下であってもよい。リプレイ処理部１２０は、ユーザとタイプ情報とを指定するだけで、画像生成部１５０から、切り出したユーザ画像の提供を受けられるようになる。

なお図８では、ユーザＡの切出領域について説明したが、ユーザＢ、Ｃに対しても、それぞれの顔画像を含んだ切出領域が設定される。

ユーザ決定部１２８は図７に示すイベント情報を参照して、ゴールシーンのリプレイデータから、撮像画像から切り出すユーザを決定する。リプレイデータに含まれる操作情報には、操作情報を入力した入力装置６の識別情報が関連づけられており、これによりユーザ決定部１２８は、ゲームオブジェクトを操作した入力装置６を特定する。ここでシュートをした選手を操作した入力装置が入力装置６ａであり、ユーザ決定部１２８は、ログインユーザ記憶部１７４の記憶内容を参照して、入力装置６ａの使用者がユーザＡであることを判定する。またキーパーを操作した入力装置６が入力装置６ｃであり、ユーザ決定部１２８は、ログインユーザ記憶部１７４の記憶内容を参照して、入力装置６ｃの使用者がユーザＣであることを判定する。このようにしてユーザ決定部１２８は、第１リプレイ画像と第２リプレイ画像に付加するユーザ画像の対象者がユーザＡであり、第３リプレイ画像に付加するユーザ画像の対象者がユーザＣであることを決定する。ユーザ決定部１２８は、切り出す対象者として決定したユーザのユーザアカウントと、撮像画像のタイプ情報とをユーザ画像要求部１３０に通知する。またシーン決定部１２４は、シーン開始フレーム番号とシーン終了フレーム番号とをユーザ画像要求部１３０に通知する。

ユーザ画像要求部１３０は通知を受けて、シーン開始フレーム番号とシーン終了フレーム番号、ユーザのユーザアカウントと、撮像画像のタイプ情報とを指定して、ユーザ画像の提供を要求するユーザ画像生成要求を画像生成部１５０に送信する。シーン開始フレーム番号とシーン終了フレーム番号は、ゴールイベントにおけるゴールシーンの期間を指定しており、ユーザ画像生成要求は、このゴールシーンにおけるユーザＡのタイプ２の画像の提供と、ユーザＣのタイプ１の画像の提供を要求している。

画像生成部１５０において、要求受付部１５２が、ユーザ画像生成要求を受け付ける。このユーザ画像生成要求に含まれるシーン開始フレーム番号とシーン終了フレーム番号とをもとに、撮像画像読出部１５４は、撮像画像データ保持部１６８から、シーン開始フレーム番号とシーン終了フレーム番号の間の１０秒間分の撮像画像を読み出す。顔認識部１５６は、読み出された撮像画像中のユーザ認識処理を行う。

図９は、顔認識部１５６による顔識別結果を示す。たとえば図６に示すカメラ画像がゴールシーンにおけるものである場合、左側のユーザがユーザＡであること、真ん中のユーザがユーザＢであること、右側のユーザがユーザＣであることが判定される。顔認識部１５６は、ユーザＡの顔の撮像画像中の位置を示す顔領域２０６ａと、ユーザＢの顔の撮像画像中の位置を示す顔領域２０６ｂと、ユーザＣの顔の撮像画像中の位置を示す顔領域２０６ｃとを、カメラ画像中の座標で設定する。各顔領域２０６は、ユーザの顔画像に外接する矩形領域として設定されてよい。

図１０は、顔識別結果をもとに設定される切出領域を示す。ユーザ画像生成部１５８は、顔認識部１５６により設定されたユーザＡの顔領域２０６ａをもとに、ユーザＡのタイプ２の切出領域２０２ａを定める。またユーザ画像生成部１５８は、ユーザＣの顔領域２０６ｃをもとに、ユーザＣのタイプ１の切出領域２００ｃを定める。

ユーザ画像生成部１５８は、ゴールシーンにおけるユーザＡの顔画像を含む切出領域２０２ａを撮像画像から切り出し、リプレイ処理部１２０に提供する。またユーザ画像生成部１５８は、ゴールシーンにおけるユーザＣの顔画像を含む切出領域２００ｃを撮像画像から切り出し、リプレイ処理部１２０に提供する。ユーザ画像取得部１３２は、指定したユーザＡのタイプ２の撮像画像およびユーザＣのタイプ１の撮像画像を取得する。

以上は、顔認識部１５６による顔識別結果を利用して、ユーザ画像生成部１５８がユーザの切出領域を定めることを示したが、オブジェクト認識部１５７が撮像画像中で入力装置６を検出し、その検出結果を利用して、ユーザ画像生成部１５８がユーザの切出領域を定めてもよい。

オブジェクト認識部１５７は、撮像画像において、入力装置６を探索する。使用中の入力装置６は所定色で点灯しているため、オブジェクト認識部１５７は、所定色の矩形領域、すなわち発光部８５の形状で点灯している領域を撮像画像中で探索する。ユーザ画像要求部１３０から送信されるユーザ画像生成要求が、ユーザＡとユーザＣのユーザ画像を要求しているため、オブジェクト認識部１５７は、ログインユーザ記憶部１７４の記憶内容を参照して、ユーザＡの入力装置６ａの点灯色である青色の矩形領域と、ユーザＣの入力装置６ｃの点灯色である緑色の矩形領域を探索する。オブジェクト認識部１５７は、検出した矩形領域の点灯色と、矩形領域の位置座標をユーザ画像生成部１５８に提供する。なお、この例では、顔認識部１５６は、顔識別によりユーザを特定する必要はないが、顔画像が存在することを検出し、検出位置座標（すなわち顔領域２０６の位置座標）をユーザ画像生成部１５８に提供する。

ユーザ画像生成部１５８は、ログインユーザ記憶部１７４の記憶内容を参照して、青色の矩形領域の位置座標の上方に位置する検出ユーザがユーザＡであることを判定する。またユーザ画像生成部１５８は、ログインユーザ記憶部１７４の記憶内容を参照して、緑色の矩形領域の位置座標の上方に位置する検出ユーザがユーザＣであることを判定する。これによりユーザ画像生成部１５８は、顔領域２０６ａをもとに、ユーザＡのタイプ２の切出領域２０２ａを定め、またユーザＣの顔領域２０６ｃをもとに、ユーザＣのタイプ１の切出領域２００ｃを定めてもよい。

合成処理部１３４は、ユーザ画像取得部１３２が取得したユーザ画像と、リプレイ画像生成部１２６が生成したリプレイ画像との合成画像を生成する。
図１１は、合成画像の一例を示す。合成処理部１３４は、第１リプレイ画像の一部の領域に、ユーザ画像２１０を重ねて表示する。合成処理部１３４は、リプレイ画像中の所定の領域、たとえば右上に、ユーザ画像２１０を重畳表示してもよい。なおリプレイ画像生成部１２６は、リプレイ画像を生成する際に、ユーザ画像を重畳しても問題がない領域を検出して、その領域を合成処理部１３４に通知してもよい。ゴールシーンにおいてユーザ画像を重畳しても問題がない領域とは、サッカーボールが通過しない領域であり、リプレイ画像生成部１２６は、リプレイ画像中の右上、右下、左下、左上の領域のうち、サッカーボールが通過しない領域を検出して、合成処理部１３４に通知してもよい。合成処理部１３４は、この通知を受けて、重畳領域を定めてもよい。なお合成処理部１３４は、ユーザ画像をリプレイ画像に重畳させるのではなく、リプレイ画像を若干縮小して、縮小したことによる余白部分にユーザ画像を配置してもよい。図１１に示す合成画像は、ゴールシーンにおいて選手がシュートをする直前の様子を示している。

図１２は、合成画像の一例を示す。図１２に示す合成画像は、ゴールが決まった瞬間の様子を示している。ゴールが決まった瞬間、ユーザ画像２１０において、ユーザＡが喜んでいる様子が示される。このように、リプレイ画像と、そのときのユーザの様子を示すユーザ画像とを合成することで、ハイライトシーンにおけるユーザの興奮を視聴ユーザにも伝えることができる。

またイベント情報により指定されるユーザの画像が選択されることで、ハイライトシーンに相応しいユーザの撮像画像が、リプレイ画像に付加されることになる。なお図１１，図１２の例は、第１リプレイ画像とユーザＡの画像との合成画像を示しているが、合成処理部１３４は、第２リプレイ画像とユーザＡの画像との合成画像、および第３リプレイ画像とユーザＣの画像との合成画像も生成し、表示処理部１６０は、第１リプレイ画像、第２リプレイ画像、第３リプレイ画像の順に出力装置４から出力する。

実施例において、ユーザ決定部１２８は、図７に示すイベント情報を参照して、ゴールシーンのリプレイデータから、合成画像に含めるユーザを決定している。ユーザ決定部１２８は、イベントに対応付けられているゲームオブジェクトの優先順位にしたがって、合成画像に含めるユーザを決定してもよい。

図１３は、ゴールイベントの優先情報を示す。この優先情報は、イベント情報の一部を構成して、イベント情報保持部１７２に保持されてもよい。この優先情報は、合成画像に含めるユーザを決定するときの優先順位を定める。この例では、１位が“シュートをした選手”であり、２位が“アシストをした選手”であり、３位が“キーパー”である。ユーザ決定部１２８は、第１リプレイ画像に、１位の選手を操作していたユーザを含む撮像画像を付加することを決定し、第２リプレイ画像に、２位の選手を操作していたユーザを含む撮像画像を付加することを決定し、第３リプレイ画像に、３位の選手を操作していたユーザを含む撮像画像を付加することを決定してもよい。なお優先情報には、優先順位に関連づけて、切り出し形態を特定するタイプ情報が含まれてもよい。

なお図７に示すイベント情報と、図１３に示す優先情報が併用されてもよく、ユーザ決定部１２８が、図７に示すイベント情報にしたがってユーザを決定できない場合に、図１３に示す優先情報を用いて、合成画像に含めるユーザを決定してもよい。

以上、実施例をとおしてユーザ決定部１２８が、合成画像に含めるユーザを直接決定することを説明したが、ユーザ決定部１２８によるユーザ決定処理は、合成画像に含めるユーザを間接的に特定することも含む。ユーザ決定部１２８は、ユーザが使用した入力装置６を特定するが、入力装置６が特定されれば、ログインユーザ記憶部１７４を参照するだけで、ユーザを直接特定できる。つまり入力装置６とユーザとは一対一の関係にあり、したがって少なくともユーザ決定部１２８は、ゲームオブジェクトを操作した入力装置６を決定することで、合成画像に含めるユーザを間接的に決定している。ユーザ画像要求部１３０は、入力装置６の識別情報を含むユーザ画像生成要求を画像生成部１５０に送信すると、要求受付部１５２が、入力装置６の識別情報からログインユーザ記憶部１７４の記憶内容を参照して、ユーザを特定してもよい。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。たとえば合成処理部１３４はリプレイ画像とユーザ画像とを合成せずに、ユーザ画像のみを再生用画像として利用してもよい。またリプレイ画像とユーザ画像との合成画像を表示または配信する際には、前回のゲームプレイにおける合成画像と合わせて表示または配信してもよい。

実施例において、プログラム実行部１１０は、ゲームプログラムを実行し、リプレイ処理部１２０の機能を実現することを説明したが、リプレイ処理部１２０として説明したユーザ画像取得部１３２および合成処理部１３４の機能はシステムソフトウェアにより実現されてもよい。

イベントには、そのイベントによりポジティブな結果を得たユーザと、ネガティブな結果を得たユーザとが存在することがある。たとえばゴールイベントに関して言えば、シュートをした選手を操作していたユーザ、アシストをした選手を操作していたユーザがポジティブな結果を得ており、一方でシュートを決められたキーパーを操作していたユーザはネガティブな結果を得ている。図７に示すイベント情報や、図１３に示す優先情報において、ゲームオブジェクトに対して、ポジティブまたはネガティブを示す属性情報が割り当てられていてもよく、ユーザ画像生成部１５８は、撮像画像から切り出した切出領域に、ゲームオブジェクトに割り当てられている属性情報に応じて、所定の加工を行ってもよい。たとえばユーザ画像生成部１５８は、切出領域に対して、属性情報に応じた背景ないしは縁取りを設定してもよい。たとえばポジティブ属性が割り当てられたゲームオブジェクトを操作したユーザの切出領域の背景および／または縁取りを、喜びを表す色やテクスチャに設定し、一方でネガティブ属性が割り当てられたゲームオブジェクトを操作したユーザの切出領域の背景および／または縁取りを、落胆を表す色やテクスチャに設定してもよい。喜びを表す色やテクスチャとは、明るい色や鮮やかなテクスチャであり、落胆を表す色やテクスチャとは、暗い色や重苦しい雰囲気のテクスチャであってよい。これによりユーザの動きや表情だけでなく、その背景や縁取りなどによっても、ユーザの喜びや落胆を表現できるようになる。

実施例では、試合終了後に、リプレイ処理部１２０が、合成画像を生成することを説明したが、たとえば試合中にイベントの発生が検出されると、その時点でリプレイ処理部１２０が合成画像を生成してもよい。

また実施例では、図７に示すように、切出領域のタイプ情報およびゲームオブジェクトが、イベント情報としてリプレイ画像に対して設定されており、イベント情報がゲームメーカによって生成されることを説明した。なお、このタイプ情報およびゲームオブジェクトは、配信するユーザによって定められてもよいし、また視聴ユーザによって定められてもよい。また図１３において、合成画像に含めるユーザを決定するための優先情報を示したが、優先情報は、イベントに関係なく、配信するユーザによって定められてもよいし、視聴ユーザによって定められてもよい。

また実施例では、過去のプレイ状況を再現するリプレイ画像に、ユーザ画像を重畳して再生用画像を編集することを説明したが、現在のプレイ状況に、ユーザ画像を重畳したプレイ画像を生成してもよい。たとえばゲームプログラムは、ゴールが生まれる可能性の高いプレイを、予備イベントとして設定する。ゴールシーンの予備イベントは、ボールをドリブルしている選手がペナルティエリアに入ったことであったり、ゴール前にクロスボールが上げられたことに設定される。このときユーザ決定部１２８は、予備イベントに設定されているイベント情報を参照して、プレイ画像に重畳するユーザを決定し、合成処理部１３４が、プレイ画像とユーザ画像とを合成してもよい。このようにリプレイ処理部１２０は、現在のプレイ画像に対して、ユーザ画像を付加することも可能である。

この場合、ユーザ決定部１２８は、予備イベントに関するイベント情報のみならず、実施例において説明したイベント情報を参照して、撮像画像から切り出すユーザを決定し、ユーザ画像要求部１３０に通知してもよい。ユーザ画像要求部１３０が、ユーザのユーザアカウントを指定したユーザ画像生成要求を画像生成部１５０に送信すると、ユーザ画像生成部１５８が、現在撮像中の撮像画像から、指定されたユーザの切出領域を定めて切り出し、リプレイ処理部１２０に提供する。これにより合成処理部１３４は、ユーザ画像取得部１３２が取得したユーザ画像と、ゲーム進行部１１２が生成するゲームシーンのプレイ画像との合成画像を生成し、共有処理部１６２が、プレイ中のゲーム画像とユーザ画像とを合成した合成画像をライブ配信してもよい。ユーザ決定部１２８によるユーザ決定手法は、実施例で説明した手法と同じであってよく、ユーザ決定部１２８がユーザを決定した後、ユーザ画像生成部１５８が、現在ライブ撮影されている撮像画像からユーザ画像を切り出してユーザ画像を生成する点を除けば、プレイ画像にユーザ画像を重畳する処理は、基本的には実施例で説明したリプレイ画像にユーザ画像を重畳する処理と違いはない。

図１４は、情報処理システムの変形例を示す。情報処理システム３００は、ユーザが操作する情報処理装置１０ａ、１０ｂ、１０ｃと、ネットワークサーバ５とを備え、これらはインターネットやＬＡＮ（Local Area Network）などのネットワーク３を介して接続している。この例では、ユーザＡが情報処理装置１０ａを操作し、ユーザＢが情報処理装置１０ｂを操作し、ユーザＣが情報処理装置１０ｃを操作する。情報処理装置１０ａ、１０ｂ、１０ｃは、実施例で説明した情報処理装置１０と同じまたは同様の機能を有する。

実施例の情報処理システム１では、ユーザＡ〜Ｃが同じ情報処理装置１０を操作して、ゲームを一緒にプレイしていたが、変形例の情報処理システム３００では、ユーザＡ〜Ｃが、それぞれの情報処理装置１０ａ〜１０ｃを操作して、同じサッカーゲームをオンラインで一緒にプレイしている。

このような情報処理システム３００におけるリプレイ処理機能について説明する。
各ユーザの撮像画像は、それぞれの補助記憶装置２ａ〜２ｃにおける撮像画像データ保持部１６８に格納される。たとえばユーザＡがマスタとしての役割を果たす場合、情報処理装置１０ａにおいて、ユーザ決定部１２８が、ハイライトシーンの合成画像に含めるユーザを決定する。決定されたユーザが自分自身（ユーザＡ）であれば、ユーザＡの撮像画像は補助記憶装置２ａの撮像画像データ保持部１６８に保持されており、そのため画像生成部１５０は、ユーザＡのユーザ画像を生成して、合成処理部１３４に提供する。

一方、ユーザ決定部１２８により決定されたユーザが、自分以外（たとえばユーザＣ）である場合、ユーザＣの撮像画像は、補助記憶装置２ｃの撮像画像データ保持部１６８に保持されている。そのためユーザ画像要求部１３０は、ユーザＣの情報処理装置１０ｃに対して、ゲームシーンのシーン開始フレーム番号とシーン終了フレーム番号、ユーザＣのネットワークアカウントと、撮像画像のタイプ情報とを指定したユーザ画像生成要求を送信する。

ユーザＣの情報処理装置１０ｃにおいて、画像生成部１５０は、ユーザ画像生成要求を受け付けると、タイプ情報にしたがって、ゴールシーンの開始から終了までの間のユーザＣの顔画像を含む切出領域を撮像画像から切り出して、情報処理装置１０ａに提供する。これにより情報処理装置１０ａのリプレイ処理部１２０は、ユーザＣのユーザ画像とリプレイ画像との合成画像を生成できる。なお情報処理装置１０ａにおいて生成した合成画像は、他のゲーム参加ユーザ、つまりユーザＢ、Ｃに配信されて、ゲーム参加ユーザが、合成画像を見ることができる。

なお情報処理装置１０ａ〜１０ｃで実行されているゲームプログラムは同じであり、各情報処理装置１０ａ〜１０ｃにおいて合成画像を生成するようにしてもよい。各情報処理装置１０ａ〜１０ｃにおいて、ユーザ決定部１２８がハイライトシーンの合成画像に含めるユーザを決定し、決定されたユーザが自分以外であれば、そのユーザの情報処理装置１０に対してユーザ画像生成要求を送信し、生成されたユーザ画像を受信することで、他のユーザのユーザ画像とリプレイ画像との合成画像を生成できる。

なお外部サーバに、ユーザＡ〜Ｃの顔識別用データをもたせ、また各ユーザＡ〜Ｃの撮像画像を外部サーバに提供することで、外部サーバが、ユーザ画像の生成処理を担当するようにしてもよい。

なお図１４に示す例においても、ユーザ画像生成要求に含まれるタイプ情報やユーザの識別情報は、ユーザにより指定されてもよい。

また実施例ではサッカーゲームについて説明したが、当然のことながら、別のゲームについても本発明を利用できる。イベントはゲームごとに適宜設定され、たとえばユーザが仮想的な表彰品であるトロフィを獲得したことに設定されていてもよく、またユーザが何回もミッションに挑戦してようやく成功したことに設定されていてもよい。

１・・・情報処理システム、１０・・・情報処理装置、１００・・・処理部、１０２・・・通信部、１０４・・・受付部、１１０・・・プログラム実行部、１１２・・・ゲーム進行部、１１４・・・リプレイデータ生成部、１２０・・・リプレイ処理部、１２２・・・リプレイデータ取得部、１２４・・・シーン決定部、１２６・・・リプレイ画像生成部、１２８・・・ユーザ決定部、１３０・・・ユーザ画像要求部、１３２・・・ユーザ画像取得部、１３４・・・合成処理部、１４０・・・撮像画像取得部、１５０・・・画像生成部、１５２・・・要求受付部、１５４・・・撮像画像読出部、１５６・・・顔認識部、１５７・・・オブジェクト認識部、１５８・・・ユーザ画像生成部、１６０・・・表示処理部、１６２・・・共有処理部、１６６・・・リプレイデータ保持部、１６８・・・撮像画像データ保持部、１７０・・・登録ユーザ情報保持部、１７２・・・イベント情報保持部、１７４・・・ログインユーザ記憶部、３００・・・情報処理システム。

本発明は、ゲームシーンを編集する技術分野に利用できる。

Claims (6)

1. コンピュータに、
   ゲーム画像を生成する機能と、
   合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定する機能と、
   決定したユーザを撮像したユーザ画像を取得する機能と、
   取得したユーザ画像と、ゲーム画像との合成画像を生成する機能と、を実現させるためのプログラムであって、ユーザ決定機能は、ゲームシーンに対応付けられている、仮想空間におけるゲームオブジェクトを操作したユーザを、合成画像に含めるユーザとして決定する機能を含むものであって、
   ユーザ決定機能は、ゲームシーンのイベントに対応付けられているゲームオブジェクトの優先順位にしたがってユーザを決定する機能を含む、
   ことを特徴とするプログラム。
2. コンピュータに、
   ゲーム画像を生成する機能と、
   合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定する機能と、
   決定したユーザを撮像したユーザ画像を取得する機能と、
   取得したユーザ画像と、ゲーム画像との合成画像を生成する機能と、
   ゲームのプレイ状況を再現するためのリプレイデータを取得する機能と、を実現させるためのプログラムであって、ユーザ決定機能は、ゲームシーンに対応付けられている、仮想空間におけるゲームオブジェクトを操作したユーザを、合成画像に含めるユーザとして決定する機能を含むものであって、
   ゲーム画像生成機能は、取得したリプレイデータをもとに、ゲームシーンのリプレイ画像を生成する機能を含み、
   合成画像生成機能は、取得したユーザ画像と、リプレイ画像との合成画像を生成する機能を含む、
   ことを特徴とするプログラム。
3. コンピュータに、
   ゲーム画像を生成する機能と、
   合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定する機能と、
   撮像画像に、それぞれがゲームオブジェクトを操作する複数のユーザが含まれる場合に、顔認識処理のためのユーザの顔識別用データを用いた顔認識処理によりユーザを特定する機能と、
   顔認識処理の結果にもとづいて、決定したユーザを含むユーザ画像を撮像画像から切り出す機能と、
   ユーザ画像を取得する機能と、
   取得したユーザ画像と、ゲーム画像との合成画像を生成する機能と、を実現させるためのプログラムであって、
   ユーザ決定機能は、ゲームシーンに対応付けられている、仮想空間におけるゲームオブジェクトを操作したユーザを、合成画像に含めるユーザとして決定する機能を含む、ことを特徴とするプログラム。
4. ゲーム画像を生成するゲーム画像生成部と、
   合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定するユーザ決定部と、
   決定したユーザを撮像したユーザ画像を取得するユーザ画像取得部と、
   取得したユーザ画像と、ゲーム画像との合成画像を生成する合成処理部と、を備え、前記ユーザ決定部は、ゲームシーンに対応付けられている、仮想空間におけるゲームオブジェクトを操作したユーザを、合成画像に含めるユーザとして決定するものであって、
   前記ユーザ決定部は、ゲームシーンのイベントに対応付けられているゲームオブジェクトの優先順位にしたがってユーザを決定する機能を含む、
   ことを特徴とする情報処理装置。
5. ゲーム画像を生成するゲーム画像生成部と、
   合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定するユーザ決定部と、
   決定したユーザを撮像したユーザ画像を取得するユーザ画像取得部と、
   ゲームのプレイ状況を再現するためのリプレイデータを取得するリプレイデータ取得部と、
   取得したリプレイデータをもとに、ゲームシーンのリプレイ画像を生成するリプレイ画像生成部と、を備え、前記ユーザ決定部は、ゲームシーンに対応付けられている、仮想空間におけるゲームオブジェクトを操作したユーザを、合成画像に含めるユーザとして決定するものであって、
   取得したユーザ画像と、リプレイ画像との合成画像を生成する合成処理部を、さらに備える、
   ことを特徴とする情報処理装置。
6. ゲーム画像を生成するゲーム画像生成部と、
   合成画像に含めるユーザを、ゲームシーンにおけるプレイ状況にもとづいて決定するユーザ決定部と、
   顔認識処理のためのユーザの顔識別用データを保持する保持部と、
   撮像画像に、それぞれがゲームオブジェクトを操作する複数のユーザが含まれる場合に、前記保持部に保持された顔識別用データを用いた顔認識処理によりユーザを特定する顔認識部と、
   顔認識部による顔認識結果にもとづいて、前記ユーザ決定部が決定したユーザを含むユーザ画像を撮像画像から切り出すユーザ画像生成部と、
   ユーザ画像を取得するユーザ画像取得部と、
   取得したユーザ画像と、ゲーム画像との合成画像を生成する合成処理部と、を備え、
   前記ユーザ決定部は、ゲームシーンに対応付けられている、仮想空間におけるゲームオブジェクトを操作したユーザを、合成画像に含めるユーザとして決定する、
   ことを特徴とする情報処理装置。

Images