WO2021224972A1 - 中継サーバおよび配信画像生成方法 - Google Patents

Abstract

第１取得部３１２は、情報処理装置からコンテンツ画像を取得する。第２取得部３１４は、情報処理装置からカメラ画像を取得する。合成処理部３１６は、コンテンツ画像およびカメラ画像を合成した配信画像を生成する。送信処理部３１８は、生成した配信画像を、画像共有サーバに送信する。

Description

中継サーバおよび配信画像生成方法

　本発明は、配信画像を生成する技術および配信画像を送信する技術に関する。

　特許文献１は、配信ユーザがプレイしているゲーム画像を含む表示画像を、共有サーバ経由で視聴ユーザに配信するシステムを開示する。表示画像には、ゲーム画像、視聴ユーザから送信されたコメント、配信ユーザを撮影したカメラ画像が含まれ、配信ユーザの情報処理装置は、表示画像をエンコードして、共有サーバに送信する。これにより視聴ユーザが、配信ユーザと同じ表示画像を見ることが可能となる。

国際公開第２０１４／０６８８０６号

　近年のゲームプログラムは高度な演算処理を要求するため、ゲームプログラムによるＣＰＵ（Central Processing Unit）使用率は高くなることが多い。ゲーム画像配信時には、ＣＰＵが配信処理にも使用されるため、プログラム実行による演算処理および配信処理以外の処理負荷をできるだけ低減することが好ましい。

　そこで本発明は、ゲームなどのコンテンツ画像を視聴ユーザに配信する画像共有システムの有用性を高めるための技術を提供することを目的とする。

　上記課題を解決するために、本発明のある態様の中継サーバは、ユーザが操作する情報処理装置と、画像共有サーバに接続する中継サーバであって、情報処理装置からコンテンツ画像を取得する第１取得部と、情報処理装置からカメラ画像を取得する第２取得部と、コンテンツ画像およびカメラ画像を合成した配信画像を生成する合成処理部と、生成した配信画像を、画像共有サーバに送信する送信処理部とを備える。

　本発明の別の態様は、ユーザが操作する情報処理装置と画像共有サーバに接続する中継サーバにおいて配信画像を生成する方法であって、情報処理装置からコンテンツ画像を取得するステップと、情報処理装置からカメラ画像を取得するステップと、コンテンツ画像およびカメラ画像を合成した配信画像を生成するステップと、を含む。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、コンテンツ画像を視聴ユーザに配信する画像共有システムの有用性を高めるための技術を提供する。

実施例にかかる画像共有システムを示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置の機能ブロックを示す図である。 ゲーム画面の一例を示す図である。 共有処理の選択肢を示す入力画面の一例を示す図である。 設定画面の一例を示す図である。 設定画面の一例を示す図である。 中継サーバの機能ブロックを示す図である。 合成した配信画像の例を示す図である。

　図１は、本発明の実施例にかかる画像共有システム１を示す。実施例の画像共有システム１は、配信主となるユーザ（以下、「配信ユーザ」とも呼ぶ）がプレイ中のゲーム画像およびゲーム音（ゲーム画音）をライブ配信し、視聴ユーザがゲーム画音を視聴する環境を実現する。実施例では、配信ユーザが、自身がプレイ中のゲーム画音をストリーミング配信するが、ストリーミング配信するコンテンツはゲームに限らず、他の種類の動画コンテンツであってもよい。

　画像共有システム１は、配信ユーザが操作する情報処理装置１０と、中継サーバ１２と、視聴ユーザにゲーム画音を提供する第１画像共有サーバ１４ａ、第２画像共有サーバ１４ｂ、第３画像共有サーバ１４ｃ、第４画像共有サーバ１４ｄ（以下、特に区別しない場合には「画像共有サーバ１４」と呼ぶ）とを備える。中継サーバ１２は、情報処理装置１０と画像共有サーバ１４に、インターネットなどのネットワークにより接続する。画像共有サーバ１４は複数存在することが好ましいが、１つであってもよい。複数の画像共有サーバ１４は、それぞれ異なる事業体により運営されてよいが、複数の画像共有サーバ１４が１つの事業体により運営されて、１つの事業体の中で異なる種類のサービスを提供するものであってもよい。

　情報処理装置１０周辺の構成について説明する。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク上の中継サーバ１２と通信可能に接続する。情報処理装置１０は、画像共有サーバ１４に直接接続して配信画像を画像共有サーバ１４に送信することも可能であるが、中継サーバ１２経由で画像共有サーバ１４に配信画像を送信することで、動画配信にかかる処理負荷を低減できるようになる。

　ユーザが操作する入力装置６は、情報処理装置１０と無線または有線で接続し、ユーザによる操作情報を情報処理装置１０に出力する。情報処理装置１０は入力装置６から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置４から処理結果を出力させる。実施例において情報処理装置１０はゲームプログラムを実行するゲーム装置であり、入力装置６はゲームコントローラであってよい。入力装置６は、複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。

　補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）などのストレージであり、内蔵型記憶装置であってよく、またはＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音を出力するスピーカを有するテレビであってよく、またヘッドマウントディスプレイであってもよい。カメラ７はユーザが存在する空間を所定の周期で撮影し、情報処理装置１０に出力する。カメラ７はステレオカメラであって、情報処理装置１０は、２つのカメラで撮影された画像から深度情報を算出できる。

　画像共有システム１では、ゲーム画像およびゲーム音（ゲーム画音）が視聴ユーザに配信されるが、以下では特に、配信におけるゲーム画像の取り扱いについて説明する。画像共有システム１において情報処理装置１０は、ユーザがプレイ中のゲーム画像を中継サーバ１２に送信し、中継サーバ１２が配信画像を生成して画像共有サーバ１４に送信し、画像共有サーバ１４が視聴ユーザに配信画像をブロードキャストする。このように画像共有システム１は、コンテンツ画像配信システムとして動作する。

　中継サーバ１２は、ストリーミング配信を中継する中継サービスをユーザに提供し、画像共有サーバ１４は、ストリーミング配信を実施する画像共有サービスをユーザに提供する。中継サーバ１２および画像共有サーバ１４は、ユーザに対して、ユーザを識別するネットワークアカウントをそれぞれ設定している。中継サーバ１２は、当該ユーザより画像共有サービスのネットワークアカウントを通知され、中継サービスのネットワークアカウントと画像共有サービスのネットワークアカウントとを紐付けて管理する。

　配信開始前、ユーザは中継サービスのネットワークアカウントを用いて、中継サーバ１２にサインインする。中継サーバ１２はユーザから、配信に利用する１以上の画像共有サービスの指定を受け付け、指定された画像共有サービスのネットワークアカウントを用いて、ユーザを画像共有サーバ１４にサインインさせる。

　配信開始後、中継サーバ１２は、情報処理装置１０からゲーム画像と、カメラ７がユーザを撮影した撮影画像（以下、「カメラ画像」と呼ぶ）とを別個のストリームにより受信し、ゲーム画像とカメラ画像とを合成した配信画像を生成する。合成処理を中継サーバ１２が実施することで、情報処理装置１０が合成処理を行わなくてよい。中継サーバ１２は、生成した配信画像を、ユーザにより指定された画像共有サービスを提供する画像共有サーバ１４に送信する。実施例の画像共有サーバ１４は動画配信サーバであって、中継サーバ１２から配信画像を受信し、視聴ユーザの端末装置にストリーミング配信する。

　図２は、情報処理装置１０のハードウェア構成を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

　メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵは補助記憶装置２またはＲＯＭ媒体４４に記録されたゲームプログラムを実行する機能をもつ。

　サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えず、ゲームプログラムを実行する機能をもたない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。

　メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

　システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

　クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

　メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。

　ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。有線通信モジュール４０は、外部機器と有線通信し、ＡＰ８を介して外部のネットワークに接続する。

　図３は、ストリーミングデータの送信装置として動作する情報処理装置１０の機能ブロックを示す。情報処理装置１０は、処理部１００、通信部１０２および受付部１０４を備え、処理部１００は、実行部１１０、画像処理部１２０、音提供部１２２、カメラ画像供給部１２４および共有処理部１３０を備える。実行部１１０は、ゲーム画像生成部１１２およびゲーム音生成部１１４を有する。共有処理部１３０は、設定画像生成部１３２、ゲーム画像取得部１３４、ゲーム音取得部１３６、カメラ画像取得部１３８、第１送信処理部１４０、第２送信処理部１４２、情報送信部１４４および設定部１４６を有する。

　図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　通信部１０２は、入力装置６の入力部をユーザが操作した操作情報を受信し、処理部１００で生成した配信用データを中継サーバ１２に送信する。処理部１００は配信用データとして、ゲーム画像およびゲーム音とを合成したストリームデータと、カメラ画像を含むストリームデータとを生成し、通信部１０２が別個のストリームとして中継サーバ１２に送信する。通信部１０２の機能ブロックは、図２に示す無線通信モジュール３８および有線通信モジュール４０の機能を併せ持つ構成として表現している。

　受付部１０４は、通信部１０２と処理部１００との間に設けられ、通信部１０２と処理部１００との間でデータないしは情報を伝送する。受付部１０４は通信部１０２を介して入力装置６の操作情報を受け付けると、その操作情報を処理部１００における所定の機能ブロックに供給する。

　実行部１１０はゲームプログラム（以下、単に「ゲーム」とも呼ぶこともある）を実行する。ここで実行部１１０として示す機能ブロックは、システムソフトウェア、ゲームソフトウェアなどのソフトウェア、ＧＰＵなどのハードウェアなどにより実現される。ゲームプログラムの実行結果を受けて、ゲーム画像生成部１１２は、ゲームの画像データを生成し、ゲーム音生成部１１４は、ゲームの音データを生成する。なおゲームはアプリケーションの一例であり、実行部１１０は、ゲーム以外のアプリケーションを実行してもよい。

　ユーザによるゲームプレイ中、実行部１１０はゲームプログラムを実行して、ユーザが入力装置６に入力した操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。ゲーム画像生成部１１２は、レンダリング処理などを実行するＧＰＵ（Graphics Processing Unit）を含み、仮想空間における演算処理結果を受けて、仮想空間内の視点位置（仮想カメラ）からのゲーム画像データを生成する。ゲーム音生成部１１４は、仮想空間内のゲーム音データを生成する。

　図４は、ユーザの出力装置４に表示されるゲーム画面の一例を示す。ユーザのゲームプレイ中、ゲーム画像生成部１１２はゲーム画像を生成して、画像処理部１２０に供給し、ゲーム音生成部１１４はゲーム音を生成して、音提供部１２２に供給する。画像処理部１２０は、ゲーム画像を出力装置４に提供し、音提供部１２２は、ゲーム音を出力装置４に提供する。出力装置４は、ゲーム画像およびゲーム音を出力し、ユーザは、出力装置４から出力されるゲーム画音を視聴しながら、ゲームをプレイする。

　以下、実施例の共有処理について説明する。
　共有処理部１３０は、ユーザがプレイ中のゲームの画音データを、中継サーバ１２および画像共有サーバ１４を介して他の視聴ユーザと共有するための処理を実施する。ゲーム画音データの共有処理は、ユーザが入力装置６に設けられた特定の入力ボタン（ＳＨＡＲＥボタン）を操作したことを契機として開始され、設定画像生成部１３２は画音データの共有に関する選択肢を示す入力画像を生成する。

　図５は、共有処理の選択肢を示す入力画面の一例を示す。設定画像生成部１３２は、共有処理の選択肢を示す入力画像を生成して画像処理部１２０に供給し、画像処理部１２０は、共有処理の選択肢を示す入力画像を出力装置４に表示する。

　この入力画面に、画音データの共有に関する３つの選択肢が示される。“ビデオクリップをアップロードする”は、補助記憶装置２に記録された画像を画像共有サーバ１４にアップロードすることを指定するためのＧＵＩ要素、“スクリーンショットをアップロードする”は、スクリーンショットの画像を画像共有サーバ１４にアップロードすることを指定するためのＧＵＩ要素、“ゲームプレイをブロードキャストする”は、ゲームの画音データを画像共有サーバ１４を介してライブ中継することを指定するためのＧＵＩ要素である。ユーザは入力装置６を操作して選択枠２００を動かし、いずれかのＧＵＩ要素を選択して決定ボタンを押すことで、選択した共有処理が実行される。

　実施例では“ゲームプレイをブロードキャストする”のＧＵＩ要素が選択される。このＧＵＩ要素が選択された後、設定画像生成部１３２は、ブロードキャスト配信における設定情報を選択させる設定画面を出力装置４に表示させる。

　図６は、“ゲームプレイをブロードキャストする”が選択された場合に表示される設定画面の一例を示す。この設定画面でユーザは、複数の画像共有サービスの中から、利用する１つ以上の画像共有サービスを指定する。図６に示す例では、第１画像共有サービス、第２画像共有サービス、第３画像共有サービス、第４画像共有サービスが指定可能に提示されている。ここで第１画像共有サービスは第１画像共有サーバ１４ａにより提供され、第２画像共有サービスは第２画像共有サーバ１４ｂにより提供され、第３画像共有サービスは第３画像共有サーバ１４ｃにより提供され、第４画像共有サービスは第４画像共有サーバ１４ｄにより提供される。実施例の画像共有システム１においてユーザは、複数の画像共有サービスを選択できる。

　実施例とは異なり、情報処理装置１０が画像共有サーバ１４に直接接続して、ゲーム画像を配信する画像共有システムでは、情報処理装置１０は、複数の画像共有サービスを利用するために、複数の画像共有サーバ１４のそれぞれにゲーム画像を送信する必要がある。たとえば３つの画像共有サービスを利用してゲーム画像を配信する場合、情報処理装置１０は、３つの画像共有サーバ１４のそれぞれにゲーム画像を送信しなければならない。そのため配信処理にかかるＣＰＵ負荷は高くなる。

　一方で実施例の画像共有システム１では、中継サーバ１２が、複数の画像共有サーバ１４にゲーム画像を送信する役割を担うため、情報処理装置１０は中継サーバ１２にのみゲーム画像を送信すればよい。そのため配信処理にかかるＣＰＵ負荷を相対的に下げられる。図６に示す例でユーザは、３つの画像共有サービスのチェックボックスを選択し、第１画像共有サーバ１４ａ、第３画像共有サーバ１４ｃおよび第４画像共有サーバ１４ｄを通じたライブ動画の配信を指定している。ユーザが入力装置６の決定ボタンを操作すると、設定画像生成部１３２は、別の設定画面を出力装置４に表示させる。

　図７は、“ゲームプレイをブロードキャストする”が選択された場合に表示される設定画面の一例を示す。この設定画面には、ブロードキャストの配信態様を設定するための以下の項目が含まれる。

（ａ）配信画像に、カメラ画像を含めるか否かを選択するための項目
　項目（ａ）に関し、「カメラの映像をブロードキャストに含める」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザは、カメラ画像の配信を希望しなければ、チェックボックスの選択を解除する。なお「カメラの映像をブロードキャストに含める」ことを選択した場合に、さらにカメラ画像の表示位置を設定するための選択肢が提供され、ユーザは、カメラ画像の表示位置を指定できてもよい。

（ｂ）マイク音声を配信するか否かを選択するための項目
　項目（ｂ）に関し、「マイクの音声をブロードキャストに含める」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザは、マイク音声の配信を希望しなければ、チェックボックスの選択を解除する。

（ｃ）表示画面に視聴ユーザからのコメントを表示するか否かを選択するための項目
　項目（ｃ）に関し、「画面にコメントを表示する」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザは、コメント表示を希望しなければ、チェックボックスの選択を解除する。

（ｄ）配信画像の画質を選択するための項目
　項目（ｄ）に関し、ユーザは、出力装置４に表示されるゲーム画像の解像度以下の解像度を選択できる。配信画像の解像度として、出力装置４に表示されるゲーム画像の解像度よりも低い解像度がデフォルト設定されていてもよい。

　設定部１４６は、ゲーム画像のブロードキャストに関し、項目（ａ）～（ｄ）についてユーザが選択した内容を設定する。具体的にはユーザが枠２０２を「ブロードキャストをはじめる」に配置して入力装置６の決定ボタンを押すと、設定部１４６が、ユーザが項目（ａ）～（ｄ）に関して選択した内容を、ブロードキャストの設定情報として補助記憶装置２に登録するとともに、設定情報を画像処理部１２０、音提供部１２２およびカメラ画像供給部１２４に通知する。

　以下、項目（ａ）に関して、「カメラの映像をブロードキャストに含める」ことが設定されている場合の配信処理について説明する。配信処理の開始前、情報送信部１４４は、中継サーバ１２に、利用する画像共有サービスを特定する情報を送信する。この例では第１画像共有サービス、第３画像共有サービス、第４画像共有サービスを利用することを示す情報が、情報送信部１４４から中継サーバ１２に送信される。

　配信処理が開始されると、画像処理部１２０は、ゲーム画像生成部１１２で生成されたゲーム画像を出力装置４に出力するだけでなく、共有処理部１３０にも出力する。また音提供部１２２は、ゲーム音生成部１１４で生成されたゲーム音を出力装置４に出力するだけでなく、共有処理部１３０にも出力する。なお項目（ｂ）に関して、「マイクの音声をブロードキャストに含める」ことが設定されている場合は、音提供部１２２がマイク（図示せず）に入力された音信号（マイク音）をゲーム音と合成して、合成した音信号を共有処理部１３０に出力する。カメラ画像供給部１２４は、カメラ７からカメラ画像を取得し、共有処理部１３０に供給する。このときカメラ画像供給部１２４は、ステレオカメラの撮影画像から深度情報を算出し、カメラ画像を深度情報とともに共有処理部１３０に供給する。

　共有処理部１３０において、ゲーム画像取得部１３４は、画像処理部１２０から供給されるゲーム画像を取得し、ゲーム音取得部１３６は、音提供部１２２から供給されるゲーム音を取得する。ゲーム画像およびゲーム音には、それぞれ時刻情報（タイムスタンプ）が付加されている。第１送信処理部１４０は、取得したゲーム画像およびゲーム音の品質を必要に応じて調整してエンコードし、１つのストリーム（以下、「第１ストリーム」とも呼ぶ）として中継サーバ１２に送信する。

　カメラ画像取得部１３８は、カメラ画像供給部１２４から供給されるカメラ画像を取得する。カメラ画像にも、時刻情報（タイムスタンプ）が付加されている。第２送信処理部１４２は、取得したカメラ画像をエンコードし、１つのストリーム（以下、「第２ストリーム」とも呼ぶ）として中継サーバ１２に送信する。

　このように実施例の共有処理部１３０は、ゲーム画像とカメラ画像とを合成することなく、それぞれ別個のストリームとして中継サーバ１２に送信する。これにより情報処理装置１０においてゲーム画像とカメラ画像とを合成する処理をなくすことができる。特に配信するゲーム画像に含めるカメラ画像を加工する場合に、画像加工にかかる処理を中継サーバ１２に担当させることで、情報処理装置１０の処理負荷を低減できる。

　図８は、情報処理装置と画像共有サーバとの間で配信画像を中継する中継サーバの機能ブロックを示す図である。中継サーバ１２は、処理部３００および通信部３０２を備え、処理部３００は、情報取得部３１０、第１取得部３１２、第２取得部３１４、合成処理部３１６および送信処理部３１８を備える。処理部３００は、ゲーム画像とカメラ画像とを合成した配信画像を生成し、配信画像とゲーム音とを１つのストリームで画像共有サーバ１４に送信する機能をもつ。通信部３０２は、情報処理装置１０からゲーム画像を含む第１ストリームおよびカメラ画像を含む第２ストリームを受信し、処理部３００で生成した配信画像を画像共有サーバ１４に送信する。

　図８において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　情報処理装置１０による配信開始前、情報取得部３１０は情報処理装置１０から、ユーザが利用する画像共有サービスを特定する情報、すなわち配信画像を配信する画像共有サーバ１４を特定する情報を取得する。図６に示すように、第１画像共有サービス、第３画像共有サービス、第４画像共有サービスを特定する情報を受信すると、情報取得部３１０は、第１画像共有サーバ１４ａ、第３画像共有サーバ１４ｃ、第４画像共有サーバ１４ｄが配信画像の配信元になることを特定し、送信処理部３１８に通知する。

　情報処理装置１０による配信開始後、第１取得部３１２は、情報処理装置１０からゲーム画像を含む第１ストリームを取得し、第２取得部３１４は、情報処理装置１０からカメラ画像を含む第２ストリームを取得する。なお上記したように第１ストリームには、ゲーム音も含まれ、またユーザがマイク音声の配信を許可している場合には、マイク音も含まれる。第１ストリームおよび第２ストリームともに、生成された時刻情報（タイムスタンプ）が付加されている。

　合成処理部３１６は、それぞれに付加されたタイムスタンプを利用して、ゲーム画像およびカメラ画像の生成時刻を揃えて合成した配信画像を生成する。
　図９は、合成処理部３１６が合成した配信画像の例を示す。合成処理部３１６は、タイムスタンプが示す時刻が一致するゲーム画像とカメラ画像とを合成する。図９に示す例では、カメラ画像がゲーム画像内に重畳表示されているが、その他の手法で合成されてもよい。

　なお第２取得部３１４が取得した第２ストリームには、カメラ画像とともに、カメラ画像の深度情報が含まれている。カメラ画像には、配信ユーザと、その背景が含まれているが、合成処理部３１６は、カメラ画像に含まれる配信ユーザを深度情報を用いて背景から切り出して、ゲーム画像に合成してもよい。このようにカメラ画像を加工することで、カメラ画像に含まれるユーザの背景をゲーム画像に重畳せずにすむ。

　送信処理部３１８は、情報取得部３１０が取得した情報にしたがって、合成処理部３１６が生成した配信画像を画像共有サーバ１４に送信する。この例で送信処理部３１８は、第１画像共有サーバ１４ａ、第３画像共有サーバ１４ｃ、第４画像共有サーバ１４ｄに配信画像を送信し、第１画像共有サーバ１４ａ、第３画像共有サーバ１４ｃ、第４画像共有サーバ１４ｄは、視聴ユーザに配信画像を配信する。このように画像共有システム１によれば、中継サーバ１２を設けたことで、情報処理装置１０における配信負荷や、カメラ画像の処理負荷を低減することが可能となる。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例ではゲーム画像の配信について説明したが、本技術は、ゲーム以外のコンテンツの配信にも利用可能である。

　本発明は、コンテンツ画像を配信する技術に利用できる。

１・・・画像共有システム、１０・・・情報処理装置、１２・・・中継サーバ、１４・・・画像共有サーバ、１４ａ・・・第１画像共有サーバ、１４ｂ・・・第２画像共有サーバ、１４ｃ・・・第３画像共有サーバ、１４ｄ・・・第４画像共有サーバ、１００・・・処理部、１０２・・・通信部、１０４・・・受付部、１１０・・・実行部、１１２・・・ゲーム画像生成部、１１４・・・ゲーム音生成部、１２０・・・画像処理部、１２２・・・音提供部、１２４・・・カメラ画像供給部、１３０・・・共有処理部、１３２・・・設定画像生成部、１３４・・・ゲーム画像取得部、１３６・・・ゲーム音取得部、１３８・・・カメラ画像取得部、１４０・・・第１送信処理部、１４２・・・第２送信処理部、１４４・・・情報送信部、１４６・・・設定部、３００・・・処理部、３０２・・・通信部、３１０・・・情報取得部、３１２・・・第１取得部、３１４・・・第２取得部、３１６・・・合成処理部、３１８・・・送信処理部。

Claims (5)

1. 　ユーザが操作する情報処理装置と、画像共有サーバに接続する中継サーバであって、
   　前記情報処理装置からコンテンツ画像を取得する第１取得部と、
   　前記情報処理装置からカメラ画像を取得する第２取得部と、
   　コンテンツ画像およびカメラ画像を合成した配信画像を生成する合成処理部と、
   　生成した配信画像を、画像共有サーバに送信する送信処理部と、
   　を備えることを特徴とする中継サーバ。
2. 　前記第２取得部は、カメラ画像とともに、カメラ画像の深度情報を取得し、
   　前記合成処理部は、カメラ画像に含まれるユーザを深度情報を用いて切り出して、コンテンツ画像に合成する、
   　ことを特徴とする請求項１に記載の中継サーバ。
3. 　前記情報処理装置から、配信画像を配信する画像共有サーバを特定する情報を取得する情報取得部をさらに備え、
   　前記送信処理部は、前記情報取得部が取得した情報にしたがって、配信画像を送信する、
   　ことを特徴とする請求項１または２に記載の中継サーバ。
4. 　ユーザが操作する情報処理装置と画像共有サーバに接続する中継サーバにおいて配信画像を生成する方法であって、
   　前記情報処理装置からコンテンツ画像を取得するステップと、
   　前記情報処理装置からカメラ画像を取得するステップと、
   　コンテンツ画像およびカメラ画像を合成した配信画像を生成するステップと、
   　を含むことを特徴とする配信画像生成方法。
5. 　ユーザが操作する情報処理装置と画像共有サーバに接続するコンピュータに、
   　前記情報処理装置からコンテンツ画像を取得する機能と、
   　前記情報処理装置からカメラ画像を取得する機能と、
   　コンテンツ画像およびカメラ画像を合成した配信画像を生成する機能と、
   　生成した配信画像を、画像共有サーバに送信する機能と、
   　を実現させるためのプログラム。

Images