JP6743241B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6743241B2
JP6743241B2 JP2019095257A JP2019095257A JP6743241B2 JP 6743241 B2 JP6743241 B2 JP 6743241B2 JP 2019095257 A JP2019095257 A JP 2019095257A JP 2019095257 A JP2019095257 A JP 2019095257A JP 6743241 B2 JP6743241 B2 JP 6743241B2
Authority
JP
Japan
Prior art keywords
image
command
information
unit
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019095257A
Other languages
English (en)
Other versions
JP2019165490A (ja
Inventor
朋記 高市
朋記 高市
仁彦 塩見
仁彦 塩見
藤原 雅宏
雅宏 藤原
智弘 小川
智弘 小川
恵里佳 大野
恵里佳 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2019165490A publication Critical patent/JP2019165490A/ja
Application granted granted Critical
Publication of JP6743241B2 publication Critical patent/JP6743241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/51Server architecture

Description

本発明は、ゲームなどのアプリケーションのストリーミングデータを配信し、または視聴する技術に関する。
多人数でのコミュニケーションツールとして、様々なソーシャル・ネットワーキング・サービス(SNS:Social Networking Service)が活用されている。またユーザが作成またはキャプチャした動画を共有するサービスも普及しており、ユーザは、ネットワーク上で様々な情報を他のユーザと共有できるようになっている。
近年、複数のユーザがインターネットを介して一緒にゲームをプレイする環境が整っている。このようなゲームのネットワークサービスは既にコミュニケーションツールとしての役割を有するようになっており、友人同士または見知らぬ人との間で効率的に情報を共有できる仕組みの構築が望まれている。特にユーザがプレイ中のゲーム画像を簡易にストリーミング配信でき、そのライブ映像を他のユーザと共有することで、ゲームの楽しさを広められるとともに、ユーザ同士のコミュニケーションが活発になることが期待される。なおゲームに限らず、複数の情報処理装置が接続する他の種類のネットワークサービスにおいても、情報を効率的に共有できることが好ましい。
そこで本発明は、アプリケーションの画像データをストリーミング配信し、また視聴する技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の情報処理装置は、アプリケーション画像を含むストリーミングデータを配信する配信処理部と、視聴ユーザから送信されるコマンドデータを取得する手段と、コメントデータからアプリケーションの進行に反映させるためのコマンドに対応付けられた文字列を抽出する手段と、文字列をアプリケーションに渡す手段と、を備える。
本発明の別の態様の情報処理装置は、アプリケーション画像を含むストリーミングデータを取得する取得部と、ストリーミングデータを再生してアプリケーション画像を生成する画像生成部と、視聴ユーザによるコメントの入力を受け付けてコメント欄に表示させ、所定の操作によってコメントデータを、ストリーミングデータを配信する配信ユーザに送信するコメント処理部とを備える。コメント処理部は、アプリケーションの進行に反映させるためのコマンドに対応付けられた文字列を含むコメントデータを送信する。
本発明のさらに別の態様の情報処理システムは、共有サービスを提供する共有サーバと、アプリケーション画像を共有サーバに送信する第1情報処理装置と、共有サーバからアプリケーション画像を含むストリーミングデータを取得して再生する第2情報処理装置と、を備える。第2情報処理装置は、アプリケーションの進行に反映させるためのコマンドに対応付けられた文字列を含むコメントデータを共有サーバに送信し、共有サーバはコメントデータを第1情報処理装置に送信し、第1情報処理装置は、コメントデータから文字列を抽出して、文字列をアプリケーションに渡す。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の実施例にかかる情報処理システムを示す図である。 入力装置の外観構成を示す図である。 入力装置の背面側の外観構成を示す図である。 入力装置の内部構成を示す図である。 情報処理装置の機能ブロック図を示す図である。 ストリーミングデータの配信装置として動作する情報処理装置の内部構成を示す図である。 出力装置に表示されるメニュー画面の一例を示す図である。 出力装置に表示されるゲーム画面の一例を示す図である。 ゲーム画面上に重畳表示される入力画面の一例を示す図である。 “Video Streaming”が選択された場合にゲーム画面上に重畳表示される入力画面の一例を示す図である。 テンプレート保持部に保持されるテンプレートの一例を示す図である。 出力装置に表示されるライブ配信画面の一例を示す図である。 メッセージ画像の一例を示す図である。 メッセージ画像の一例を示す図である。 ストリーミングデータの再生装置として動作する情報処理装置の内部構成を示す図である。 コンテンツの一覧画面を示す図である。 テンプレート保持部に保持されるテンプレートの一例を示す図である。 出力装置に表示される視聴画面の一例を示す図である。 視聴者端末と各サーバ間との関係を示す図である。 出力装置に表示されるゲーム画面の一例を示す図である。 出力装置に表示される視聴画面の別の例を示す図である。 コマンド画像の一例を示す図である。
図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、ストリーミングデータの配信ユーザの情報処理装置10と、ネットワークサーバ5と、共有サーバ9a、9bと、管理サーバ13と、ストアサーバ16と、ストリーミングデータの視聴ユーザの情報処理装置14a、14bとを備え、これらはインターネットやLAN(Local Area Network)などのネットワーク3を介して接続している。管理サーバ13はゲームのセッション情報や配信ユーザの情報処理装置10のアドレス(たとえばIPアドレス)を管理し、ここではセッションサーバ11およびゲームサーバ12a、12bを統括した概念として示されている。セッションサーバ11は情報処理システム1の運営主体により保守、管理され、ゲームサーバ12a、12bは、それぞれゲームのメーカやパブリッシャなどにより保守、管理される。
アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上のネットワークサーバ5、共有サーバ9a、9b、セッションサーバ11、ゲームサーバ12a、12b、ストアサーバ16と通信可能に接続する。情報処理装置14a、14bも同様に、ネットワークサーバ5、共有サーバ9a、9b、セッションサーバ11、ゲームサーバ12a、12b、ストアサーバ16と通信可能に接続する。なお情報処理装置10および情報処理装置14は、ゲームサーバ12などのサーバを介さずに通信可能に直接接続することもできる。
情報処理装置10は、ユーザが操作する入力装置6と無線または有線で接続し、入力装置6はユーザの操作結果を示す操作情報を情報処理装置10に出力する。情報処理装置10は入力装置6から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置4から処理結果を出力させる。情報処理システム1において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6はゲームコントローラなど情報処理装置10に対してユーザの操作情報を供給する機器であってよい。ゲームをプレイするためにユーザは情報処理装置10のOS(システムソフトウェア)にログインする。システムソフトウェアにログインするユーザは、情報処理装置10において登録されているユーザアカウントによって管理される。
ネットワークサーバ5は情報処理システム1の運営主体により保守、管理され、情報処理システム1のユーザに対してゲームのネットワークサービスを提供する。ネットワークサーバ5はユーザを識別するネットワークアカウントを管理しており、ユーザは、ネットワークアカウントを用いて、ネットワークサーバ5が提供するネットワークサービスにサインインする。ユーザは情報処理装置10からネットワークサービスにサインインすることで、ネットワークサーバ5に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品(トロフィ)を登録できる。
共有サーバ9a、9bは、情報処理装置10からアップロードまたは配信される画像データおよび/または画像データに関する情報を共有するためのサービスを提供する。たとえば共有サーバ9aはSNSを提供するサーバであってよく、共有サーバ9bは画像共有(配信)サービスを提供するサーバであってよい。以下、共有サーバ9a、9bを区別しない場合には、「共有サーバ9」とよぶ。情報処理システム1において共有サーバ9の数は図示される2つに限定されるものではなく、それ以上存在してよい。共有サーバ9により提供される情報共有サービスは、対象とするユーザを登録会員に限定してもよく、また一般に開放してもよい。本実施例において「データや情報を共有する」とは、データや情報を共有サーバ9にアップロードまたは配信するユーザ以外の他のユーザが、そのデータや情報にアクセス(たとえば視聴)できる状態にすることを意味し、アクセスできるユーザが特定の会員に限定されるか否かを問題とするものではない。
なお本実施例では、共有サーバ9は、情報処理装置10から送信されてくるストリーミングデータを受信してトランスコードし、ライブコンテンツとして配信するストリーミングサーバとして構成される。情報処理装置10は出力装置4の表示画像を生成する画像データと同じ画像データをストリーミングフォーマットへエンコードし、共有サーバ9に送信する。情報処理装置14a、14bは、共有サーバ9に接続してストリーミングデータを受信し、デコードして出力装置15a、15bから出力する。ここでストリーミングデータは、情報処理装置10においてユーザAがプレイしているゲームの画像データであり、情報処理装置14a、14bのユーザは、ユーザAのプレイ映像をライブで視聴できる。以下、情報処理装置14a、14bを区別しない場合には、「情報処理装置14」とよぶ。
情報処理装置14は、共有サーバ9から配信されるストリーミングデータを再生する機能を有する端末装置である。情報処理装置14はWebブラウザ機能を有する据置型のパーソナルコンピュータやモバイル機器であってよいが、配信ユーザの情報処理装置10と同じ機器、すなわち同じゲーム装置であってよい。視聴ユーザの情報処理装置14が、後述する視聴アプリケーションを搭載した情報処理装置10であることで、視聴ユーザが利便性の高い共有サービスを享受できるようになる。
管理サーバ13は、情報処理装置14のユーザが情報処理装置10のユーザAと一緒にゲームをプレイする際に、情報処理装置14と情報処理装置10との接続を管理する。ゲームサーバ12a、12bはそれぞれ異なるゲームに対応し、それぞれが対応するゲームのセッションを互いに独立して生成する。ゲームセッションの形態はゲームに依存し、従来であればゲームセッションに参加するユーザは、そのゲームに対応するゲームサーバ12に直接アクセスして参加を申し込む必要があった。本実施例の情報処理システム1ではセッションサーバ11が、ゲームサーバ12a、12bからセッション情報を収集し、セッション情報を統括的に管理するため、参加を希望するユーザは、セッションサーバ11にアクセスすることで、対応するゲームサーバ12のセッション情報を取得でき、ゲームサーバ12に直接アクセスする場合と比較して、簡易な取得処理を実現できる。
このように情報処理装置14は、セッションサーバ11からセッション情報を取得する。情報処理装置14が情報処理装置10と同じ機種のゲーム装置であれば、情報処理装置14は、セッションサーバ11からセッション情報を取得して、情報処理装置10で実行されているゲームに参加することが可能となる。セッションサーバ11は、ネットワークサーバ5と同じ運営主体により保守、管理されてよい。
なおセッションサーバ11は、セッション情報を管理するだけでなく、ネットワーク3に接続している情報処理装置10のアドレス情報も管理する。情報処理装置10のアドレス情報は、たとえばIPアドレスであってよい。たとえばセッションサーバ11は、ネットワークサーバ5から情報処理装置10のアドレス情報を提供されてもよい。ストアサーバ16は、ゲームなどのアプリケーションを販売するサイトを提供する。
補助記憶装置2はHDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、内蔵型記憶装置であってもよい。出力装置4は画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置4は、情報処理装置10に有線ケーブルで接続されてよく、無線接続されてもよい。
入力装置6は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。撮像装置であるカメラ7は出力装置4の近傍に設けられ、出力装置4周辺の空間を撮像する。図1ではカメラ7が出力装置4の上部に取り付けられている例を示しているが、出力装置4の側方に配置されてもよく、いずれにしても出力装置4の前方でゲームをプレイするユーザを撮像できる位置に配置される。情報処理装置10は、カメラ7の撮像画像からユーザを顔認証する機能をもつ。
図2は、入力装置6の外観構成を示す。ユーザは左手で左側把持部78bを把持し、右手で右側把持部78aを把持して、入力装置6を操作する。入力装置6の筐体上面79には、入力部である方向キー71、アナログスティック77a、77bと、4種の操作ボタン76が設けられている。4種のボタン72〜75には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン72には赤色の丸、×ボタン73には青色のバツ、□ボタン74には紫色の四角形、△ボタン75には緑色の三角形が記されている。筐体上面79上において、方向キー71と操作ボタン76の間の平坦な領域にはタッチパッドが設けられてもよい。
2つのアナログスティック77a、77bの間には機能ボタン80が設けられる。機能ボタン80は、入力装置6の電源をオンし、同時に入力装置6と情報処理装置10とを接続する通信機能をアクティブにするために使用される。なお情報処理装置10のメイン電源がオフとなっている場合、機能ボタン80が押下されると、情報処理装置10は、入力装置6から送信される接続要求を、メイン電源をオンにするための指示としても受け付け、これにより情報処理装置10のメイン電源がオンとなる。入力装置6が情報処理装置10と接続した後は、機能ボタン80は、情報処理装置10にメニュー画面を表示させるためにも使用される。
SHAREボタン81は、左側アナログスティック77bの左横に設けられる。SHAREボタン81は、情報処理装置10におけるシステムソフトウェアに対するユーザからの指示を入力するために利用される。OPTIONボタン82は、右側アナログスティック77aの右横に設けられる。OPTIONボタン82は、情報処理装置10において実行されるアプリケーション(ゲーム)ソフトウェアに対するユーザからの指示を入力するために利用される。SHAREボタン81およびOPTIONボタン82は、いずれもプッシュ式ボタンとして形成されてよい。
図3は、入力装置6の背面側の外観構成を示す。入力装置6の筐体背面86には、横長の略矩形状の発光部85が設けられる。発光部85は、赤(R)、緑(G)、青(B)のLEDを有し、情報処理装置10から送信される発光色情報にしたがって点灯する。筐体背面86において、上側ボタン83a、下側ボタン84aと、上側ボタン83b、下側ボタン84bとが長手方向の左右対称な位置に設けられる。上側ボタン83a、下側ボタン84aは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン83b、下側ボタン84bは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部85が、右側の上側ボタン83a、下側ボタン84aの並びと、左側の上側ボタン83b、下側ボタン84bの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ7は、点灯した発光部85を好適に撮像することができる。上側ボタン83はプッシュ式ボタンとして構成され、下側ボタン84は回動支持されたトリガー式のボタンとして構成されてよい。
図4は、入力装置6の内部構成を示す。入力装置6は、無線通信モジュール90、処理部91、発光部85および振動子98を備える。無線通信モジュール90は、情報処理装置10の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部91は、入力装置6における所期の処理を実行する。
処理部91は、メイン制御部92、入力受付部93、発光制御部94、3軸加速度センサ95、3軸ジャイロセンサ96および駆動制御部97を有する。メイン制御部92は、無線通信モジュール90との間で必要なデータの送受を行う。
入力受付部93は、方向キー71、操作ボタン76、アナログスティック77、機能ボタン80、SHAREボタン81、OPTIONボタン82、上側ボタン83および下側ボタン84などの入力部の操作情報を受け付け、メイン制御部92に送る。メイン制御部92は、受け取った操作情報を無線通信モジュール90に供給し、無線通信モジュール90は、所定のタイミングで情報処理装置10に送信する。なおメイン制御部92は受け取った操作情報を必要に応じて所定の制御情報に変換してもよい。
発光制御部94は、発光部85を構成する赤色LED87、緑色LED88、青色LED89の発光を制御する。情報処理装置10が発光部85の発光色を指定する発光色情報を送信すると、無線通信モジュール90にて受信した発光色情報はメイン制御部92に渡され、メイン制御部92は、発光制御部94に発光色情報を通知する。これにより発光制御部94は、指定された発光色で発光部85を点灯させることができる。
振動子98は偏心モータなどを含んで構成され、入力装置6全体を振動させるために設けられる。無線通信モジュール90は情報処理装置10から振動制御信号を受信するとメイン制御部92に供給し、メイン制御部92は、振動制御信号をもとに振動子98を振動させる駆動制御部97を動作させる。駆動制御部97は、振動子98を駆動するためのスイッチとして構成されてもよく、供給電圧のデューティ比を可変とするPWM制御部として構成されてもよい。
3軸加速度センサ95は、入力装置6のXYZの3軸方向の加速度成分を検出する。3軸ジャイロセンサ96は、XZ平面、ZY平面、YX平面における角速度を検出する。メイン制御部92は3軸加速度センサ95および3軸ジャイロセンサ96から検出値情報を受け付け、無線通信モジュール90は検出値情報を、ボタン入力などの操作情報とともに、所定の周期で情報処理装置10に送信する。
図5は、情報処理装置10の機能ブロック図を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)を有して構成され、サブシステム50は、サブCPUを有して構成される。メインCPUとサブCPUは排他的に動作し、すなわちメインCPUが起動してアクティブ状態にある間は、サブCPUがスタンバイ状態にあり、一方でサブCPUが起動してアクティブ状態にある間は、メインCPUがスタンバイ状態にある。情報処理装置10のメイン電源がオンされている間、メインCPUはシステムソフトウェアが生成する環境下においてアプリケーションなどの各種処理を実行する一方で、サブCPUはスリープしている。一方で情報処理装置のメイン電源がオフされると、メインCPUがサブCPUを起動するとともに、メインCPUがスリープする。このように、メインCPUとサブCPUとは排他的に動作する。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム60がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム60がスタンバイ状態にあることを意味する。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。なおメイン電源のオン/オフはメイン電源ボタン20の短押し操作により行われ、メイン電源ボタン20が長押し操作されると、情報処理装置10のシステム電源がオフされて、情報処理装置10への電力供給が停止されるように構成されてもよい。
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。なお既述したようにメイン電源のオン/オフは、入力装置6から制御することができ、メイン電源がオフ状態にあるときに入力装置6の機能ボタン80が押下されると、システムコントローラ24は、そのボタン操作を「オン指示」として取得する。
システムコントローラ24がオン指示を取得すると、アクティブ状態にあるサブシステム50に検出結果を通知するとともに、スタンバイ用LED22を消灯して、電源ON用LED21を点灯する。このときサブシステム50は、メインシステム60を起動して、自身はスタンバイモードに入る。一方、システムコントローラ24がオフ指示を取得すると、アクティブ状態にあるメインシステム60に検出結果を通知するとともに、電源ON用LED21を消灯して、スタンバイ用LED22を点灯する。このときメインシステム60は、サブシステム50を起動して、自身はスタンバイモードに入る。
メインCPUは補助記憶装置2にインストールされているゲームプログラムを実行する機能をもつ一方で、サブCPUはそのような機能をもたない。しかしながらサブCPUは補助記憶装置2にアクセスする機能、ネットワークサーバ5との間で情報を送受信する機能を有している。サブCPUは、このような制限された処理機能のみを有して構成されており、したがってメインCPUと比較して小さい消費電力で動作できる。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。
デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェアを記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。なお無線通信モジュール38は、ITU(International Telecommunication Union;国際電気通信連合)によって定められたIMT−2000(International Mobile Telecommunication 2000)規格に準拠した第3世代(3rd Generation)デジタル携帯電話方式に対応してもよい。有線通信モジュール40は、外部機器と有線通信し、たとえばAP8を介してネットワーク3に接続する。
メインシステム60は、メインCPU、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUはシステムソフトウェアを起動し、システムソフトウェアが提供する環境下において、補助記憶装置2にインストールされたアプリケーションを実行する機能をもつ。
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。上記したように、サブCPUは、メインCPUがスタンバイ状態にある間に動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブCPUおよびメモリは、別個のチップに形成されてもよい。
図6は、ストリーミングデータの配信装置として動作する情報処理装置10の内部構成を示す。情報処理装置10は処理部100、通信部102および受付部104を備え、処理部100はアプリケーション実行部106、画像生成部110、画像切替部130および共有処理部150を備える。
画像生成部110は出力装置4に表示するための画像データを生成し、ゲーム画像生成部112、撮像画像生成部114、コメント画像生成部116、ステータス画像生成部118およびメニュー画像生成部120を有する。ゲーム画像生成部112、撮像画像生成部114、コメント画像生成部116およびステータス画像生成部118のそれぞれは、ライブ配信レイアウトに表示するための画像データを生成して、ライブ配信画像を出力装置4に表示する。メニュー画像生成部120は、ゲームやアプリケーションのアイコン画像などを配列したメニュー画像データを生成して、出力装置4に表示する。画像切替部130は、出力装置4に表示する画像を、メニュー画像とライブ配信画像とで切り替える。
共有処理部150は、画像生成部110により生成されたライブ配信画像データを共有サーバ9に送信してライブ配信画像を他のユーザと共有するための処理を行い、入力画像生成部152、確認処理部154、エンコード部156、配信処理部158、テンプレート保持部160および情報取得部162を有する。
図6において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
本実施例の情報処理システム1において、通信部102は、入力装置6の入力部をユーザが操作した情報(以下、「操作情報」ともよぶ)を受信し、また処理部100で生成したコンテンツを共有サーバ9に送信する。ここでコンテンツは、画像生成部110において生成されたライブ配信画像である。通信部102は図5に示す無線通信モジュール38および有線通信モジュール40の機能を併せ持つ構成として表現している。
受付部104は、通信部102と処理部100との間に設けられ、通信部102と処理部100との間でデータないしは情報を伝送する。受付部104は通信部102を介して入力装置6に設けられた入力部の操作情報を受け付けると、その操作情報を処理部100におけるアプリケーション実行部106、画像生成部110、画像切替部130、共有処理部150の1つまたは2つ以上に供給する。
情報処理装置10のメイン電源がオフの状態でユーザによりメイン電源ボタン20が押下されると、メインシステム60が起動される。メインシステム60はメニュー画像生成部120に対してメニュー画像の生成指示を供給し、メニュー画像生成部120は、アプリケーションのアイコン画像などを配列したメニュー画像を生成して、出力装置4に出力する。なお情報処理装置10のメイン電源がオンの状態でユーザが入力装置6の機能ボタン80を押下したときに、メニュー画像生成部120がメニュー画像を生成してもよい。メニュー画像生成部120の機能はシステムソフトウェアにより実現される。
図7は、出力装置4に表示されるメニュー画面の一例を示す。メニュー画面はユーザがプレイするゲームを選択する場合や、他ユーザのアクティビティを閲覧するような場合に表示される。カテゴリ選択領域204には、情報処理装置10に用意されているメニューのカテゴリが表示される。ゲームアイコン表示領域200には、ログインユーザがプレイ可能なゲームのアイコンおよび実行可能なアプリケーションのアイコンが画面横方向にリスト表示される。ユーザは入力装置6を操作して、このリストを右または左にスクロールできる。ゲームアイコン表示領域200において、所定の位置にフォーカス領域210が設定されており、ユーザが関心のあるゲームアイコンをフォーカス領域210に配置すると、そのゲームに関連するアイコンが関連アイコン表示領域202に表示され、また関連する情報が関連情報表示領域206および208に表示される。ユーザが入力装置6の入力部を操作して、プレイしようとするゲームのアイコンをフォーカス領域210に配置した後、所定の決定キーを押下すると、図6に示す受付部104がその操作情報をゲーム実行コマンドとして受け付け、アプリケーション実行部106が、そのゲームを実行する。
関連情報表示領域206には、フォーカス領域210に配置されたゲームの関連情報が表示され、たとえばゲームに関する動画が表示される。表示される動画は、共有サーバ9に蓄積されているゲームのプレイ動画や、共有サーバ9から配信されるライブ動画であってよい。関連情報表示領域208には、フォーカス領域210に配置されたゲームの関連情報が表示され、たとえば、そのゲームをプレイしているフレンドのリストが表示されてよい。メニュー画像生成部120は、このようなメニュー画像を生成して出力装置4から表示する。
ユーザによりゲームの実行コマンドが入力されると、アプリケーション実行部106は、フォーカス領域210に配置されたゲームのプログラムを実行する。この例では、タイトル“SAMURAI”のゲームがスタートする。
本実施例においてアプリケーション実行部106はゲームプログラムを実行するが、他の種類のアプリケーションプログラムを実行してもよい。アプリケーション実行部106は、ユーザから入力装置6に入力された操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。ここでアプリケーション実行部106は、アプリケーション(ゲームプログラム)そのものであってよい。ゲーム画像生成部112はレンダリング処理などを実行するGPU(Graphics Processing Unit)であってよく、アプリケーション実行部106による処理結果を受けて、出力装置4に表示するアプリケーション(ゲーム)の画像データを生成する。図8は、出力装置4に表示されるゲーム画面の一例を示す。
本実施例の共有処理部150は、画像生成部110で生成されたゲーム画像データを他のユーザと共有するための仕組みを提供する。この共有処理は、ユーザが入力装置6に設けられた特定の入力部を操作したことを契機として実行される。
図2および図3に戻って、入力装置6に設けられる複数の入力部は、情報処理装置10に対する操作情報の入力という観点から、3つのタイプに分類できる。
(第1タイプ)
第1のタイプは、情報処理装置10のシステムソフトウェアに対する操作情報を入力するための入力部であり、具体的には機能ボタン80およびSHAREボタン81が該当する。機能ボタン80およびSHAREボタン81の操作情報は、システムソフトウェアに対してのみ提供され、アプリケーションソフトウェアには提供されない。ここでシステムソフトウェアは、情報処理装置10のコンピュータのハードウェアを管理/制御して、情報処理装置10の稼動や使用をサポートするためのソフトウェアを意味する。またアプリケーションソフトウェアは、システムソフトウェアにより構築される環境においてユーザが実行したい作業を実施する機能を直接的に有するソフトウェアを意味する。代表的にシステムソフトウェアはOSを含み、またアプリケーションソフトウェアはゲームソフトウェアを含む。
(第2タイプ)
第2のタイプは、情報処理装置10のアプリケーションソフトウェアに対する操作情報を入力するための入力部であり、具体的にはOPTIONボタン82が該当する。OPTIONボタン82の操作情報は、アプリケーションソフトウェアに対してのみ提供され、システムソフトウェアには提供されない。
(第3タイプ)
第3のタイプは、情報処理装置10のシステムソフトウェアまたはアプリケーションソフトウェアのいずれかに対する操作情報を入力するための入力部であり、具体的には方向キー71、操作ボタン76、アナログスティック77、上側ボタン83、下側ボタン84が該当する。システムソフトウェアにより生成されるメニュー画面(図7参照)の表示中、第3タイプの入力部の操作情報は、システムソフトウェアに対して提供され、一方アプリケーションソフトウェアにより生成されるゲーム画面(図8参照)の表示中、第3タイプの入力部の操作情報は、アプリケーションソフトウェアに対して提供される。このように第3タイプの入力部の操作情報は、出力装置4に表示される画面の生成主体に対して提供される。
受付部104が3つのタイプの入力部のうち第1タイプの入力部、具体的にはSHAREボタン81の操作情報を受け付けると、共有処理部150は、画像生成部110により生成された画像データまたは画像データに関する情報を他のユーザと共有するための処理を行う。この共有処理は、受付部104が第2タイプおよび第3タイプの入力部の操作情報を受け付けたときには行われず、あくまでも第1タイプの入力部の操作情報を受け付けた場合にのみ行われる。
以下、図8に示すゲーム画面の表示中に、ユーザがSHAREボタン81を操作したときの共有処理について説明する。
入力画像生成部152が、画像データの共有に関する選択肢を示す入力画像を生成する。出力装置4に表示された入力画面には、ユーザが入力装置6を操作して所定の情報を入力するためのGUI(Graphical User Interface)やテキスト入力欄などが配置される。以下、共有サーバ9に対して提供するデータを「コンテンツ」と呼ぶこともある。入力画像では、共有処理の対象となるコンテンツを選択するためのGUIが表示される。
図9は、ゲーム画面上に重畳表示される入力画面の一例を示す。入力画面220において、コンテンツ共有に関する3つの選択肢が示される。“Upload Screenshot”は、スクリーンショットの画像データをアップロードすることを指定するGUI、“Upload Video”は、情報処理装置10においてリングバッファに記録された画像データをアップロードすることを指定するGUI、“Video Streaming”は、ゲームのプレイ映像をライブ中継することを指定するGUIである。ユーザは入力装置6を操作して、いずれかのGUIを選択し、Enterキーを押すことで、選択した共有処理が実行される。
図10は、“Video Streaming”が選択された場合にゲーム画面上に重畳表示される入力画面の一例を示す。入力画面222には、コンテンツの共有に関する選択肢が示され、ここでは、複数の共有サーバ9により提供されるコンテンツ共有サービスのいずれを選択するかの情報を入力するためのサービス選択欄230が示される。この例では、配信サービスA、配信サービスBの2つの選択肢が提示されており、これらの配信サービスは別事業体により運営されていてもよいが、1つの事業体により運営されていて、その中でのサービス種類が異なるものであってもよい。
ユーザはコメント入力欄228に、ライブ配信画像に関するコメントをテキスト入力できる。入力されたコメントは、共有サイトにおいてコンテンツのサムネイル画像などとともに表示されてよい。他のユーザが共有サイトに表示されるコメントを閲覧することでコンテンツへの関心が高まることが期待されるため、コメントの入力は共有サービスにおいて重要な意味をもつ。なお入力されたコメントは、サービス選択欄230において選択されたサービスのサイトだけでなく、たとえばSNSのサイトに送信されて、コンテンツ配信を行う共有サービスのURLなどの情報とともに、他のユーザが閲覧できるようにしてもよい。これにより他のユーザは、コンテンツが配信されることを認識でき、また容易に共有サーバ9にアクセスできるようになる。
画質選択欄226は、配信するストリーミングデータの画質を選択するための選択肢を示す。この例では、「高画質」、「中画質」、「低画質」の3種類の画質が提示されているが、これらに「最高画質」が追加されて、4種類の画質の中から選択できるようにしてもよい。ユーザは、入力装置6を用いて配信サービスおよび配信画質を選択し、コメントを入力した後、配信開始ボタン224を選択すると、配信処理部158が、選択された配信サービスを提供する共有サーバ9への接続処理を行う。なお図10に示す入力画面は、配信先サービスおよび配信画質を選択し、またコメントを入力できるように構成されているが、それ以外にもマイク音声や、カメラ7の撮像画像を配信に含めるか否かの選択肢や、視聴ユーザからのコメントを表示するか否かの選択肢が含まれてもよい。
情報処理装置10と共有サーバ9との接続が確立されると、画像生成部110は、テンプレート保持部160に保持されたテンプレートにしたがって、ライブ配信画像を生成する。ライブ配信画像は、出力装置4に出力されて表示されるとともに、共有処理部150においてエンコードされて、共有サーバ9に配信される。なお本実施例の情報処理システム1において、ライブ配信画像は共有サーバ9経由で視聴者の情報処理装置14に配信されるが、情報処理装置10と情報処理装置14とが接続を確立して、ライブ配信画像が情報処理装置10から共有サーバ9を経由せずに情報処理装置14に配信されてもよい。
図11は、テンプレート保持部160に保持されるテンプレートの一例を示す。テンプレート232は、出力装置4のディスプレイ全体の表示レイアウトを定義する。画像表示領域234には、ゲーム画像が表示される。ステータス表示領域236には、配信ステータスが表示される。撮像画像表示領域238には、カメラ7の撮像画像が表示される。コメント表示領域240には、他ユーザからのコメントが表示される。画像生成部110により各表示領域の画像が生成されることで、ライブ配信画像データが生成される。なお図11に示すテンプレート232は一例であって、たとえばテンプレート232からコメント表示領域240を排除したテンプレート、テンプレート232から撮像画像表示領域238を排除したテンプレート、さらにはテンプレート232から撮像画像表示領域238およびコメント表示領域240を排除したテンプレートなどがテンプレート保持部160に保持されていてもよい。画像生成部110は、図10に示す入力画面222において入力された情報にしたがって、使用するテンプレートをテンプレート保持部160から読み出す。
図12は、出力装置4に表示されるライブ配信画面の一例を示す。画像生成部110はテンプレート232にしたがって、ゲーム画像を含むライブ配信画像データを生成し、出力装置4および共有処理部150に出力する。エンコード部156は、ライブ配信画像データをストリーミングフォーマットへエンコードし、配信処理部158が、エンコードしたストリーミングデータを共有サーバ9に送信する。これにより、視聴ユーザの情報処理装置14が共有サーバ9にアクセスして、情報処理装置10から提供されたライブ配信画像を出力装置15に表示することが可能となる。共有サーバ9は、ライブ配信画像の視聴状況を管理して情報処理装置10に通知し、また情報処理装置14から送信されたコメントを情報処理装置10に送信する。情報処理装置10において、情報取得部162が、視聴状況やコメントなどのライブ配信画像データに関する情報を取得する。
ゲーム画像生成部112はゲーム画像データを生成し、ゲーム画像が画像表示領域234に表示される。撮像画像生成部114はカメラ7からカメラ画像を取得して撮像画像データを生成し、撮像画像が撮像画像表示領域238に表示される。コメント画像生成部116は情報取得部162で取得したコメントデータを用いてコメント画像データを生成し、コメント画像がコメント表示領域240に表示される。なおコメント画像生成部116は1人の視聴ユーザからのコメント画像を生成し、コメントの最小の表示時間を基準としてコメント画像データを順次生成してもよい。たとえばコメントの最小の表示時間が3秒と設定されており、情報取得部162が所定時間(たとえば1分に1回)ごとにコメントを共有サーバ9から取得する場合、取得したコメントが複数あれば、コメント画像生成部116は1分の間にコメント画像を順次生成し、これによりコメント表示領域240に新しいコメント画像が次々に表示される。なお取得したコメントが21以上ある場合、1つのコメントを3秒表示すると一部のコメントを表示できないため、表示できないコメントは破棄してもよい。ステータス画像生成部118は、情報取得部162で取得した視聴状況を用いてステータス画像データを生成し、ステータス画像がステータス表示領域236に表示される。なおステータス表示領域236には、視聴者から入力されたコメント数も表示されてよい。このように画像生成部110は、テンプレート232にしたがったライブ配信画像データを生成する。
ライブ配信画像には、少なくともゲーム画像と、情報取得部162で取得した情報の画像とが含まれる。この例では、情報取得部162で取得した情報の画像として、ステータス表示領域236におけるステータス画像と、コメント表示領域240におけるコメント画像とが含まれている。カメラ7の撮像画像は、ユーザの希望によってライブ配信画像に含まれても含まれなくてもよい。エンコード部156が画像生成部110で生成されたライブ配信画像データをエンコードし、配信処理部158がエンコードしたライブ配信画像データを共有サーバ9に送信することで、ライブ配信画像の視聴者が、配信者であるユーザAと同じコメント画像やステータス画像を視ることが可能となる。なお情報処理装置10にマイクが接続されている場合には、配信処理部158は、マイクからの音声もライブ配信画像に同期して共有サーバ9に送信する。これにより、ユーザAがコメント表示領域240に表示されたコメントに対して感想を述べると、その音声も視聴者に届くことになり、したがって視聴者と配信者(ユーザA)とがあたかも同じ空間に存在するような環境が実現されることになる。
なおゲームには、ネタバレ防止のために、録画や配信を禁止する情報が埋め込まれていることがある。たとえば特別なステージであったり、ボス戦のシーンなどのゲームの見せ場には、録画/配信禁止の情報が設定されている。以下、録画/配信が禁止されるシーンやステージのことを「禁止区間」とよぶ。確認処理部154は、ゲーム画像を配信してよいか否かの確認を行っている。確認処理部154は禁止情報をゲームから受け取ると、禁止区間におけるゲーム画像データの配信が許可されていないことを確認し、配信処理部158に伝える。これを受けて配信処理部158は、ライブ配信画像の配信を停止し、図13に示すメッセージ画像250を共有サーバ9に配信する。具体的にはエンコード部156がライブ配信画像のエンコードを中止して、既定のメッセージ画像250をエンコードし、配信処理部158がメッセージ画像を配信する。これにより出力装置4においては、図12に示すライブ配信画像が表示されており、一方で、視聴者の出力装置15には、メッセージ画像250が表示されることになる。確認処理部154が禁止区間の終了を検出すると、配信処理部158は、ライブ配信画像の配信を再開する。なお配信処理部158がゲーム画像データの配信不許可を確認したとき、画像生成部110が、ライブ配信画像データにおけるゲーム画像データをメッセージ画像250により上書きし、ゲーム画像がメッセージ画像250に置き換えられたライブ配信画像データが、配信処理部158から配信されてもよい。なお禁止区間においては確認処理部154が、出力装置4に表示されるライブ配信画像中に、禁止区間であることを示す情報を表示して、配信ユーザに通知することが好ましい。
ライブ配信画像の配信中、ユーザAが機能ボタン80を押下すると、画像切替部130は、出力装置4に表示する画像をメニュー画像(図7参照)に切り替える。なおメニュー画像の表示中に、ユーザAが所定のボタンを押下すると、画像切替部130は、出力装置4に表示する画像をライブ配信画像に切り替える。このように画像切替部130は、出力装置4に表示する画像を、メニュー画像とゲーム画像とで切り替える機能を有している。なお画像切替部130がライブ配信画像をメニュー画像に切り替えた場合であっても、アプリケーション実行部106がゲームを続行する場合には、ゲーム画像生成部112がゲーム画像をバックグランドで生成し続けてもよい。
配信処理部158は、ゲーム画像を含むライブ配信画像を共有サーバ9に配信するが、一方でメニュー画像は配信しない。つまり配信処理部158は、出力装置4にメニュー画像が表示されている場合に、メニュー画像を含まない画像データを共有サーバ9に送信する。たとえば図14は、メニュー画像表示中に共有サーバ9に送信されるメッセージ画像252を示し、視聴者は、ライブ配信画像の配信が再開されるまで、「しばらくお待ち下さい」のメッセージを見せられることになる。
以上、ストリーミングデータの配信元となる情報処理装置10の構成および動作について説明した。続いて、共有サーバ9にアクセスしてストリーミングデータを再生する情報処理装置14の構成および動作について説明する。なお既述したとおり情報処理装置14は、パーソナルコンピュータやモバイル端末などWebブラウザ機能を有する端末装置であってよいが、以下では、情報処理装置14が図5に示す機能ブロックを備えた情報処理装置10である場合について説明する。なお視聴ユーザは、入力装置6を用いて情報処理装置14に操作情報を提供するものとする。このように情報処理システム1において、情報処理装置10は、ストリーミングデータを配信する配信装置として動作し、またストリーミングデータを再生する再生装置としても動作する機能を有している。
図15は、ストリーミングデータの再生装置として動作する情報処理装置10の内部構成を示す。情報処理装置10は処理部100、通信部102および受付部104を備え、処理部100はアプリケーション実行部106、取得部300、画像生成部320、コマンド処理部340、コメント処理部360およびテンプレート保持部370を備える。なお情報処理装置10が再生装置として動作する場合、アプリケーション実行部106が、ライブ配信画像の視聴アプリケーションを起動する。この視聴アプリケーションが起動されることで、取得部300、画像生成部320、コマンド処理部340、コメント処理部360の各機能が実現される。
取得部300は、ネットワーク3上に存在する各種サーバから様々な情報およびデータを取得し、ストリーミングデータ取得部302、特定情報取得部304、コマンド情報取得部306、ストア情報取得部308、セッション情報取得部310、コメントデータ取得部312およびコンテンツ情報取得部314を有する。画像生成部320は出力装置15に表示するための画像データを生成し、ストリーミングデータ再生部322、コマンド画像生成部324、購入マーク生成部326、参加マーク生成部328、コメント画像生成部330およびリスト画像生成部332を有する。コマンド処理部340は、コマンド入力受付部342およびコマンド送信部344を有し、コメント処理部360は、コメント入力受付部362およびコメント送信部364を有する。
図15において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
通信部102は、各サーバから送信されるデータや情報、および入力装置6においてユーザが入力部を操作した操作情報を受信し、また処理部100で生成したコマンドやコメントを任意のサーバに送信する。通信部102は図5に示す無線通信モジュール38および有線通信モジュール40の機能を併せ持つ構成として表現している。
受付部104は、通信部102と処理部100との間に設けられ、通信部102と処理部100との間でデータないしは情報を伝送する。受付部104は通信部102を介して入力装置6に設けられた入力部の操作情報を受け付けると、その操作情報を処理部100における取得部300、画像生成部320、コマンド処理部340、コメント処理部360、アプリケーション実行部106の1つまたは2つ以上に供給する。
図7に示すメニュー画面において、ライブ配信画像の視聴アプリケーションのアイコンがフォーカス領域210に配置され、ユーザが入力装置6の所定の決定キーを押下すると、図15に示す受付部104がその操作情報をアプリケーション起動コマンドとして受け付け、アプリケーション実行部106が、視聴アプリケーションを実行する。視聴アプリケーションが実行されると、取得部300、画像生成部320、コマンド処理部340、コメント処理部360の各機能が実現される。視聴アプリケーションが起動されると、情報処理装置10は共有サーバ9と接続し、画像生成部320が、共有サーバ9においてストリーミング配信されているコンテンツの一覧を生成する。なお情報処理装置10と共有サーバ9との接続は、視聴アプリケーションにより行われてもよく、ユーザが手動により行ってもよい。
図16は、コンテンツの一覧画面を示す。視聴アプリケーションが起動されると、コンテンツ情報取得部314が、共有サーバ9から、ライブ配信されているコンテンツの情報を取得する。コンテンツの情報は、たとえば、配信されているアプリケーション映像のサムネイル画像、配信者を特定する情報、アプリケーションを特定する情報およびコメントデータを含み、コンテンツの属性情報として共有サーバ9に登録されたものであってよい。リスト画像生成部332は、コンテンツ情報取得部314が取得したコンテンツ情報を用いて、サムネイル画像、配信者名、ゲームタイトルを並べて一覧画面を生成する。ユーザは入力装置6を操作してフォーカス枠290を移動し、視聴したいサムネイル画像に配置する。図16に示す例では、ユーザAが配信しているゲームタイトル“SAMURAI”のサムネイル画像にフォーカス枠290が配置されている。
ストリーミングデータ取得部302は、フォーカス枠290が配置されたコンテンツを特定する情報を共有サーバ9に送信し、共有サーバ9は、コンテンツ特定情報で特定されるストリーミングデータを情報処理装置10に配信する。ストリーミングデータ再生部322は、ストリーミングデータをデコードして再生し、これによりフォーカス枠290が配置された領域にライブ映像が表示される。ユーザはフォーカス枠290を動かしてサムネイル画像に配置することで、そのサムネイル画像に対応するコンテンツのライブ映像を視聴することができる。なおフォーカス枠290がサムネイル画像に配置されると、リスト画像生成部332はフォーカス枠290の近傍に、コメントなどの情報を表示してもよい。ユーザが入力装置6のEnterキーを押すことで、フォーカス枠290が配置されたコンテンツの視聴画面が表示される。画像生成部320は、テンプレート保持部370に保持されたテンプレートにしたがって視聴画像データを生成し、出力装置15に出力する。
図17は、テンプレート保持部370に保持されるテンプレートの一例を示す。テンプレート272は、出力装置15のディスプレイ全体の表示レイアウトを定義する。ライブ映像表示領域274には、ライブ映像が表示される。コマンド画像表示領域276には、配信者がプレイ中のアプリケーションに対するコマンドを入力するためのコマンド画像が表示される。参加マーク表示領域278には、配信者がプレイ中のアプリケーションへの参加要求を入力するための参加マークが表示される。購入マーク表示領域280には、配信者がプレイ中のアプリケーションの購入要求を入力するための購入マークが表示される。コメント入力欄284は、視聴ユーザがコメントをテキスト入力する領域であり、コメントマーク表示領域282に表示されたコメントマークが選択されると、コメント入力欄284に入力されたコメントが共有サーバ9経由で配信ユーザAの情報処理装置10に送信される。コメント表示領域286は、コンテンツを視聴している視聴ユーザからのコメントが表示される領域である。
図18は、出力装置15に表示される視聴画面の一例を示す。画像生成部320はテンプレート272にしたがって、ライブ映像を含む視聴画像データを生成し、出力装置15に出力する。ストリーミングデータ取得部302は、共有サーバ9から配信されるゲーム画像を含むストリーミングデータを取得する。ストリーミングデータ再生部322は、取得したストリーミングデータをデコードしてライブ映像を再生し、再生したライブ映像は、ライブ映像表示領域274に表示される。
特定情報取得部304は、ストリーミングデータを提供する配信者の特定情報およびアプリケーションの特定情報を取得する。なお特定情報取得部304は、前述したコンテンツ情報取得部314により代替されてもよく、またコンテンツ情報取得部314から、視聴するコンテンツの配信者特定情報およびアプリケーション特定情報を受け取ってもよい。
コマンド情報取得部306は、アプリケーション特定情報をもとに、アプリケーションに対するコマンド情報を取得する。コマンド情報とは、コマンド画像表示領域276に、コマンドを特定するための情報(画像)を表示するために必要なデータであり、たとえばGUIボタンを表示するためのウィジェットであってもよい。情報処理装置10において実行されているゲーム“SAMURAI”は、外部ユーザからのコマンドを受け付けて、アプリケーションの処理に反映するように構成されている。ここで外部ユーザは、“SAMURAI”を情報処理装置10にインストールしている必要はなく、つまりは共有サーバ9から配信されるライブ映像を視聴していれば、ゲーム“SAMURAI”に対してコマンドを送信することができる。視聴ユーザは、必ずしもゲーム装置である情報処理装置10を利用している必要はなく、Webブラウザを有するタブレット端末などのユーザも、後述するようにコマンドを送信できるようにすることが好ましい。
ストア情報取得部308は、アプリケーション特定情報をもとに、アプリケーション購入に関する情報を取得する。アプリケーション購入に関する情報とは、ゲーム“SAMURAI”を販売しているストアサーバ16上のアドレス(URI:Uniform Resource Identifier)であってよい。
セッション情報取得部310は、配信者特定情報をもとに、セッション情報を取得する。ここでセッション情報は、配信ユーザがプレイ中のゲームに他ユーザが参加することを許容する場合に生成されており、参加を許容していない場合にはセッション情報は生成されていない。情報処理システム1において、配信ユーザが他ユーザの参加を許容する場合、ゲームサーバ12が、ゲームのセッションを特定するセッションIDを発行する。セッションIDは、セッションに参加する情報処理装置10がゲームサーバ12を介して同期通信をするために利用される、ゲームサーバ12へ接続するためのURIであってよい。発行したセッションIDおよび配信ユーザ特定情報を含むセッション情報は、セッションサーバ11に渡される。セッションサーバ11は、複数のゲームサーバ12からセッション情報を受け付け管理している。したがってセッション情報取得部310は、セッションサーバ11にアクセスして、配信ユーザがプレイ中のゲームが参加を許容しているかどうか確認し、許容している場合に、セッション情報を取得する。
以上の情報取得処理について説明する。図19は、視聴者端末と各サーバ間との関係を示す図である。
配信ユーザがゲーム“SAMURAI”への参加を許容する場合、情報処理装置10はゲームサーバ12に対して参加許容の旨を通知し、ゲームサーバ12は、セッションIDを生成して情報処理装置10に伝えるとともに、情報処理システム1におけるセッション情報を集中管理するセッションサーバ11にも伝える(S10)。これにより配信ユーザは、他の情報処理装置10から参加要求を受け付けることができ、他のユーザとゲームをプレイすることが可能となる。なお配信ユーザの情報処理装置10は、共有サーバ9に対して、エンコードしたストリーミングデータを配信している。
視聴ユーザが、情報処理装置10において視聴アプリケーションを起動する(S12)。情報処理装置10は共有サーバ9と接続を確立し(S14)、共有サーバ9は、配信者特定情報およびゲーム特定情報を情報処理装置10に送信する(S16)。なお配信者特定情報およびゲーム特定情報は、情報処理装置10においてコンテンツ一覧画面を生成する際に送信されてもよく、また視聴ユーザにより一覧画面からコンテンツが選択された際に送信されてもよい。
コマンド情報取得部306は、ゲーム特定情報により特定されるゲームサーバ12に対して、コマンド情報を要求する(S18)。既述したようにゲームサーバ12は、ゲームのセッションを処理するサーバであり、情報処理システム1においてゲームごとに設けられている。したがってコマンド情報取得部306は、ゲーム特定情報からゲーム“SAMURAI”のセッションを処理するゲームサーバ12を特定し、そのゲームサーバ12に対してコマンド情報を要求する。ここで“SAMURAI”が外部ユーザからのコマンドを受け付けないゲームであれば、ゲームサーバ12は、コマンド情報が存在しないことを情報処理装置10に通知する。一方、“SAMURAI”が外部ユーザからのコマンドを受け付けるゲームであれば、ゲームサーバ12は、コマンド情報を情報処理装置10に送信する。コマンド情報取得部306はコマンド情報を取得し、コマンド画像生成部324に渡す。
セッション情報取得部310は、ゲーム特定情報をもとにセッションサーバ11に対してセッション情報の有無を確認する(S22)。配信ユーザがゲームの参加を許容していない場合には、セッション情報は存在しない。一方で配信ユーザがゲームの参加を許容している場合には、セッションサーバ11は、セッション情報を情報処理装置10に送信する(S24)。セッション情報取得部310はセッション情報を取得し、参加マーク生成部328に渡す。
ストア情報取得部308は、ゲーム特定情報をもとにストアサーバ16に対してゲームの販売画面を提供するアドレスを要求する(S26)。ストアサーバ16はゲーム“SAMURAI”の販売ページのアドレスを送信し、ストア情報取得部308はアドレスを取得し、購入マーク生成部326に渡す。
なおS14の接続確立後、図示していないが共有サーバ9から情報処理装置10に対してストリーミングデータのライブ配信およびコメントデータの送信は行われており、それぞれストリーミングデータ取得部302およびコメントデータ取得部312において取得されている。
なおセッションサーバ11は、セッションの有無に関係なく、ネットワーク3に接続している情報処理装置10のユーザ情報、アドレス情報および情報処理装置10で実行されているゲームを特定する情報を管理してもよい。この場合、情報処理装置14の取得部300がセッションサーバ11に対してコンテンツの配信者特定情報およびゲーム特定情報を送信すると、セッションサーバ11が情報処理装置10のユーザおよびゲーム特定情報を認識する。セッションサーバ11は、ゲームに対するコマンド情報を予め保持している場合には、情報処理装置14に対してコマンド情報を送信し、またゲームの販売ページのアドレスを予め保持している場合には、情報処理装置14に対してアドレスを送信する。なおセッションサーバ11がコマンド情報を保持していなければ、対応するゲームサーバ12からコマンド情報を取得し、また販売ページのアドレスを保持していなければ、ストアサーバ16からアドレスを取得して、それぞれ情報処理装置14に送信する。このようにすることで、視聴者の情報処理装置14は、セッションサーバ11にアクセスするだけで、視聴画面を構成するために必要な情報を取得できるようになる。
以上、コマンド情報が、ゲームサーバ12またはセッションサーバ11から提供される例を示したが、情報処理装置10から提供されてもよい。特にゲームシーンに応じてコマンド情報が変更されるような場合には、情報処理装置10が、情報処理装置14に対して直接コマンド情報を送信することで、視聴ユーザがゲームシーンに応じた適切なコマンドを入力できる。なおゲームプレイの状況がリアルタイムでセッションサーバ11に伝えられている場合には、セッションサーバ11が、コマンド情報の更新があるたびに、情報処理装置14にコマンド情報を送信してもよい。
図18に戻って、ストリーミングデータ再生部322は、ストリーミングデータ取得部302で取得したストリーミングデータをデコードして再生し、ライブ配信画像がライブ映像表示領域274に表示される。コマンド画像生成部324は、コマンド情報取得部306で取得したコマンド情報をもとにコマンド画像380a、380b、380cを生成し、これらのコマンド画像380a、380b、380cがコマンド画像表示領域276に表示される。コマンド情報は、GUIボタンとして表示されるコマンド画像380a、380b、380cのコマンド種類を表現するための情報を含み、コマンド画像380aには“Arrow”、コマンド画像380bには“Fire”、コマンド画像380cには“Bomb”の文字が表示される。
ここでコマンド画像380aは、ライブ中継されているゲーム画面に矢(Arrow)をふらせるコマンドを指定するGUI、コマンド画像380bは、ゲーム画面に火(Fire)を噴射するコマンドを指定するGUI、コマンド画像380cは、ゲーム画面に爆弾(Bomb)をおとすコマンドを指定するGUIである。視聴ユーザが入力装置6を操作していずれかのコマンド画像を選択すると、そのコマンド画像に対応するコマンドがゲームサーバ12を介して配信ユーザの情報処理装置10に送信され、情報処理装置10におけるゲーム“SAMURAI”は、そのコマンドをゲーム進行に反映させる処理を実行する。これによりインタラクティブなゲーム環境が実現される。なお「いいね!」ボタンなど、ユーザの感想や評価を共有するためのウィジェットが用意されていてもよい。
購入マーク生成部326は、ストア情報取得部308で取得した販売サイトのアドレスをもとに購入画像を生成し、購入画像が購入マーク表示領域280に表示される。ここで購入画像はBuyマーク384であり、購入マーク表示領域280には、販売サイトのアドレスがリンクされている。視聴ユーザが入力装置6を操作してBuyマーク384を選択すると、情報処理装置10は販売サイトのアドレスに接続して、販売画面が出力装置15に表示される。なおストア情報取得部308が販売サイトのアドレスを取得できていない場合には、購入マーク表示領域280にBuyマーク384は表示されない。また情報処理装置14にゲームがインストール済みである場合、Buyマーク384は表示されない。購入マーク生成部326はゲームのインストール状況を確認し、既にインストール済みである場合にはBuyマーク384を購入マーク表示領域280に表示しない。なお、この場合には、たとえばゲームを起動するための“Play”ボタンが表示されてもよく、この“Play”ボタンが選択されると、アプリケーション実行部106がゲームを起動して、視聴ユーザがゲームをプレイできるようにしてもよい。
参加マーク生成部328は、セッション情報取得部310で取得したセッション情報をもとに参加画像を生成し、参加画像が参加マーク表示領域278に表示される。ここで参加画像はJoinマーク382であり、参加マーク表示領域278には、セッションのアドレス(URI)がリンクされている。視聴ユーザが入力装置6を操作してJoinマーク382を選択すると、アプリケーション実行部106が、セッションに参加した状態で“SAMURAI”ゲームを起動する。これにより視聴ユーザは、図18に示す視聴画面から、配信ユーザのゲームに参加できるようになる。なおセッション情報取得部310がセッション情報を取得できていない場合には、参加マーク表示領域278にJoinマーク382は表示されない。
コメント画像生成部330は、コメントデータ取得部312で取得したコメントデータをもとにコメント画像を生成し、コメント画像がコメント表示領域286に表示される。コメント表示領域286には、共有サーバ9にアクセスする複数のユーザからのコメントデータが逐次表示されることが好ましい。これにより、ライブ映像表示領域274に表示されているライブ映像に同期したコメントを視聴ユーザは閲覧できるようになり、臨場感の高いゲーム映像配信環境が実現される。
コマンド画像380の選択処理について説明する。コマンド処理部340において、コマンド入力受付部342が、ユーザによるコマンド画像380の選択入力を受け付ける。ユーザはフォーカス枠をコマンド画像表示領域276において所望のコマンド画像380に配置し、入力装置6の決定キーを押すことでコマンド画像380を選択する。なおユーザは、カーソルをコマンド画像380上に動かして入力装置6の決定キーを押すことでコマンド画像380を選択してもよい。コマンド送信部344は、コマンド入力受付部342で受け付けたコマンドを配信者特定情報とともにゲームサーバ12に送信する。ゲームサーバ12は、配信者特定情報により転送先がユーザAであることを認識し、コマンドをユーザAの情報処理装置10に送信する。
なお既述したようにセッションサーバ11が情報処理装置10のアドレス情報を管理し、情報処理装置14が、そのアドレス情報を取得していれば、コマンド送信部344は、コマンドを直接情報処理装置10に送信することも可能である。なおコマンド送信部344は、ゲームサーバ12ではなく、セッションサーバ11にコマンドを送信し、セッションサーバ11がコマンドを情報処理装置10に送信してもよい。このように情報処理システム1において、コマンドの送信ルートは様々考えられるが、コマンドが情報処理装置10に届くルートであれば、どのルートが採用されてもよい。
情報処理装置10において、ゲームは、コマンドを受け付け、ゲーム処理に反映する。たとえば図18に示す視聴画面においてコマンド画像380aが選択された場合、“Arrow”コマンドが情報処理装置10に送信され、ゲームは、そのコマンドをゲーム処理に反映する。図20は、矢が飛んでくるゲーム画面の一例を示す。このように情報処理システム1においては、ユーザがライブ映像を視聴できるだけでなく、視聴画面からゲームに参加することができ、インタラクティブなゲーム実行環境が生成される。
本実施例においてライブ映像視聴画面から入力されるコマンドは、ゲーム処理に反映されるものであればよく、その種類を限定するものではない。たとえばクイズゲームにおいて、A〜Dの回答の選択肢がある場合に、視聴者が、それぞれ正しいと思う答えを選んで、情報処理装置10に送信してもよい。このときゲーム画面には、A〜Dの回答の割合が表示されるような演出がなされる。またゲームが、視聴者からの応援メッセージをゲーム画面に表示させるようなコマンドであってもよい。
コメント入力処理について説明する。コメント処理部360において、コメント入力受付部362が、視聴ユーザによるコメントの入力を受け付ける。コメント入力受付部362において受け付けた文字は、適宜コメント入力欄284に表示され、視聴ユーザが確認できるようになっている。視聴ユーザがコメント入力を完了し、ユーザがコメントマーク表示領域282を選択すると、コメント送信部364がコメントデータを共有サーバ9に送信する。共有サーバ9は、視聴ユーザからのコメントデータを受け付けると、視聴ユーザに対してコメントデータを配信する。なお配信されたコメントデータは、既述したように情報処理装置10においてコメントデータ取得部312が取得し、コメント表示領域286に表示されるようになる。
本実施例において視聴ユーザの情報処理装置14は、情報処理装置10の機能を有していなくてもよく、Webブラウザ機能を有する端末装置であってよいことは既に説明した。視聴アプリケーションをもたない情報処理装置14の場合、視聴画面においてライブ映像やコメントなどを表示することはできるものの、ゲームサーバ12と通信できないためコマンド画像380を表示することができず、ゲームサーバ12に対して直接コマンドを送信できない。
しかしながらコメント入力欄284に入力されるコメントデータは、コメント送信部364により共有サーバ9に送信され、共有サーバ9から配信ユーザの情報処理装置10に転送される。そこで情報処理システム1においては、視聴ユーザがコメント入力欄284にコマンドを入力し、コメント送信部364が、入力されたコマンドを、配信者に対するコメントデータとして共有サーバ9を介して情報処理装置10に送信し、情報処理装置10においてゲームが、コメントデータからコマンドを抽出して、ゲームの処理に反映させるようにする。具体的には図6に示す情報処理装置10において、コメント画像生成部116は、コマンドに対応付けられた所定の文字列を抽出し、その所定の文字列をゲームに渡すことで、ゲームがコマンドを反映したゲーム画面を生成できるようになる。所定の文字列は、通常のコメントには使用されない文字列であることが好ましく、たとえば前側が3つのダブルクオーテーション(“““)、後側が2つのダブルクオーテーション(””)に囲まれたコマンドであってよい。たとえばコメント画像生成部116が、コメントデータにおいて“““Arrow””を検出すると、3つのダブルクオーテーションと2つのダブルクオーテーションの間の文字列をゲームに渡し、ゲームがコマンドとして解釈できるように構成されてよい。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
図21は、出力装置15に表示される視聴画面の別の例を示す。画像生成部320はテンプレート288にしたがって、ライブ映像を含む視聴画像データを生成し、出力装置15に出力する。図18に示す視聴画面と比較すると、図21に示す視聴画面においては、コマンド画像380を表示するためのコマンド画像表示領域276が設けられておらず、代わりに、コマンドマーク表示領域292が設けられている。図21に示す視聴画面では、出力装置15の表示領域からコマンド画像表示領域276をなくしたため、図18に示す視聴画面と比較すると、ライブ映像表示領域274を大きくとることが可能となる。
既述したように、コマンド情報取得部306は、アプリケーション特定情報をもとに、アプリケーションに対するコマンド情報を取得する。ここでコマンド情報は、コマンドマーク表示領域292にフォーカス枠が配置されたときに、コマンドを特定するための情報(画像)を表示するために必要なデータである。
図22は、表示されるコマンド画像の一例を示す。コマンドマーク表示領域292にフォーカス枠が配置されると、コマンド画像生成部324は、コマンド情報取得部306で取得したコマンド情報をもとにコマンド画像380a、380b、380cを生成し、これらのコマンド画像380a、380b、380cがコマンドマーク表示領域292の近傍に表示される。なお、この例では、コマンドマーク表示領域292の上方にコマンド画像380a、380b、380cが表示されているが、ライブ映像表示領域274に重ならない位置(たとえば、コマンドマーク表示領域292の右側)にコマンド画像380a、380b、380cが表示されてもよい。
なお、この変形例においてコマンド情報取得部306が取得するコマンド情報は、コマンドマーク表示領域292にフォーカス枠が配置されたときに、コマンド画像を表示するために用いられることを説明したが、コマンド画像380は、フォーカス枠がコマンドマーク表示領域292に配置されることを条件とせずに表示されてもよい。この場合、コマンド画像380は、フォーカス枠の配置とは無関係に表示され、したがってライブ映像表示領域274に重ならない位置に表示されることが好ましい。ユーザは、いずれかのコマンド画像380にフォーカス枠を配置し、入力装置6の決定キーを押してコマンド画像380を選択すると、コマンド入力受付部342が、コマンド画像380の選択入力を受け付けて、コマンド送信部344が、コマンドを配信者特定情報とともにゲームサーバ12に送信する。
なお、ユーザはコマンド画像380を見ても、その使用方法をすぐに理解できないことも考えられる。そのため、コマンド画像380にフォーカス枠が配置されると、コマンド画像生成部324は、そのコマンドの説明情報を表示するようにしてもよい。この説明情報は、コマンド情報とともに、コマンド情報取得部306により取得されてよい。たとえば「Arrow」の説明情報は、「このArrowコマンドは、上から矢を射ることができます」という説明文であり、また「Bomb」の説明情報は、「このBombコマンドは、上から爆弾を落とすことができます」という説明文である。コマンド画像380にフォーカス枠が配置されたときに、このような説明文が表示されることで、ユーザはコマンドの内容を知ることが可能となる。このような説明文は、図18に示すコマンド画像表示領域276におけるコマンド画像380にフォーカス枠が配置されたときも、同様に表示することができる。
なお、各コマンドの説明文だけでなく、ボタン自体の説明文を表示できるようにしてもよい。図22においては、コマンドマーク表示領域292におけるコマンドボタンにフォーカス枠を配置したとき、3種類のコマンド画像380を表示することを説明したが、これらのコマンド画像380とともに、コマンドボタン自体の説明文、たとえば「敵キャラクタを様々な武器で攻撃できます」という説明文を表示してもよい。この説明文は、コマンド画像380aの上方に配置される。これによりユーザは、コマンド群の意味を知ることができるとともに、各コマンドにフォーカス枠を当てることで、各コマンドの意味を知ることができる。
なお実施例において、視聴ユーザがコメント入力欄284にコマンドを入力し、コメント送信部364が、入力されたコマンドを、配信者に対するコメントデータとして共有サーバ9を介して情報処理装置10に送信できることを説明した。図22または図18に示す視聴画面において、ユーザがコマンド画像380を選択すると、コメント送信部364が、コマンド画像380に対応付けられたコメントデータを情報処理装置10に送信してもよい。このようにコマンド画像380が選択されると、コマンドに対応する所定の文字列がコメントデータとして情報処理装置10に送信され、情報処理装置10では、その文字列を抽出して、ゲームがコマンドとして解釈できるようにしてもよい。
なお実施例で説明したように情報処理装置14は、情報処理装置10の機能を有さず、Webブラウザ機能を有する端末装置であってもよい。この場合、視聴ユーザがコメント入力欄284にコマンドを入力し、コメント送信部364が、入力されたコマンドを、配信者に対するコメントデータとして共有サーバ9を介して情報処理装置10に送信する。視聴ユーザに、どのコマンドを入力できるかを知らせるために、たとえば情報処理装置10は、情報処理装置14に対して、入力できるコマンド群を通知し、情報処理装置14のWebブラウザが、そのコマンド群を表示できるようにしてもよい。この例ではコマンド群は、「Arrow」、「Fire」、「Bomb」であり、情報処理装置10がコマンド群を通知することで、視聴ユーザは、コメント入力欄284に、どのコマンドを入力すればよいか把握することが可能となる。なお上記したように、情報処理装置10は、各コマンドの説明情報も同様に通知して、情報処理装置14が、各コマンドの内容を説明文により表示できるようにしてもよい。
1・・・情報処理システム、4・・・出力装置、5・・・ネットワークサーバ、6・・・入力装置、9・・・共有サーバ、10・・・情報処理装置、11・・・セッションサーバ、12・・・ゲームサーバ、13・・・管理サーバ、14・・・情報処理装置、15・・・出力装置、16・・・ストアサーバ、100・・・処理部、102・・・通信部、104・・・受付部、106・・・アプリケーション実行部、110・・・画像生成部、112・・・ゲーム画像生成部、114・・・撮像画像生成部、116・・・コメント画像生成部、118・・・ステータス画像生成部、120・・・メニュー画像生成部、130・・・画像切替部、150・・・共有処理部、152・・・入力画像生成部、154・・・確認処理部、156・・・エンコード部、158・・・配信処理部、160・・・テンプレート保持部、162・・・情報取得部、300・・・取得部、302・・・ストリーミングデータ取得部、304・・・特定情報取得部、306・・・コマンド情報取得部、308・・・ストア情報取得部、310・・・セッション情報取得部、312・・・コメントデータ取得部、314・・・コンテンツ情報取得部、320・・・画像生成部、322・・・ストリーミングデータ再生部、324・・・コマンド画像生成部、326・・・購入マーク生成部、328・・・参加マーク生成部、330・・・コメント画像生成部、332・・・リスト画像生成部、340・・・コマンド処理部、342・・・コマンド入力受付部、344・・・コマンド送信部、360・・・コメント処理部、362・・・コメント入力受付部、364・・・コメント送信部、370・・・テンプレート保持部。

Claims (2)

  1. アプリケーション画像を含むストリーミングデータを取得する第1取得部と、
    アプリケーションに対するコマンド情報を取得する第2取得部と、
    ストリーミングデータを再生してアプリケーション画像を生成し、コマンド情報をもとにコマンド画像を生成する画像生成部と、
    視聴ユーザによるコメントの入力を受け付けてコメント欄に表示させ、所定の操作によってコメントデータを、ストリーミングデータを配信する配信ユーザに送信するコメント処理部と、を備え、
    前記コメント処理部は、視聴ユーザによりコマンド画像が選択されると、選択されたコマンド画像に対応付けられた、アプリケーションの進行に反映させるためのコマンドに対応付けられた文字列を含むコメントデータを配信ユーザに送信する、
    ことを特徴とする情報処理装置。
  2. コンピュータに、
    アプリケーション画像を含むストリーミングデータを取得する機能と、
    アプリケーションに対するコマンド情報を取得する機能と、
    ストリーミングデータを再生してアプリケーション画像を生成する機能と、
    コマンド情報をもとにコマンド画像を生成する機能と、
    視聴ユーザによるコメントの入力を受け付けてコメント欄に表示させ、所定の操作によってコメントデータを、ストリーミングデータを配信する配信ユーザに送信する機能と、
    視聴ユーザによりコマンド画像が選択されると、選択されたコマンド画像に対応付けられた、アプリケーションの進行に反映させるためのコマンドに対応付けられた文字列を含むコメントデータを配信ユーザに送信する機能と、
    を実現させるためのプログラム。
JP2019095257A 2012-11-05 2019-05-21 情報処理装置 Active JP6743241B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012243802 2012-11-05
JP2012243802 2012-11-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017005339A Division JP6532490B2 (ja) 2012-11-05 2017-01-16 情報処理装置および情報処理システム

Publications (2)

Publication Number Publication Date
JP2019165490A JP2019165490A (ja) 2019-09-26
JP6743241B2 true JP6743241B2 (ja) 2020-08-19

Family

ID=50626766

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014544210A Active JP6306512B2 (ja) 2012-11-05 2013-06-03 情報処理装置
JP2017005339A Active JP6532490B2 (ja) 2012-11-05 2017-01-16 情報処理装置および情報処理システム
JP2019095257A Active JP6743241B2 (ja) 2012-11-05 2019-05-21 情報処理装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014544210A Active JP6306512B2 (ja) 2012-11-05 2013-06-03 情報処理装置
JP2017005339A Active JP6532490B2 (ja) 2012-11-05 2017-01-16 情報処理装置および情報処理システム

Country Status (5)

Country Link
US (2) US9986001B2 (ja)
EP (1) EP2916558B1 (ja)
JP (3) JP6306512B2 (ja)
CN (1) CN104756513A (ja)
WO (1) WO2014068806A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6400280B2 (ja) * 2013-08-12 2018-10-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システムおよび情報処理装置
JP6407622B2 (ja) * 2014-08-14 2018-10-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、画像データ送信方法および情報処理システム
JP6407623B2 (ja) * 2014-08-14 2018-10-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報表示方法および情報処理システム
JP6407624B2 (ja) * 2014-08-14 2018-10-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザ情報表示方法
CN106797500B (zh) * 2014-09-11 2020-08-14 索尼互动娱乐股份有限公司 视频传输设备、终端、视频传输系统、控制方法、程序和信息存储介质
CN107078917B (zh) * 2014-12-17 2021-03-19 惠普发展公司,有限责任合伙企业 托管电话会议
JP6612086B2 (ja) * 2015-08-10 2019-11-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および視聴リクエスト送信方法
CN105080138B (zh) * 2015-08-24 2020-07-24 联想(北京)有限公司 一种信息处理方法和电子设备
US9873056B2 (en) * 2015-09-15 2018-01-23 Square Enix Holdings Co., Ltd. Game system including third party input
US9873055B2 (en) * 2015-09-15 2018-01-23 Square Enix Holdings Co., Ltd. Game system including third party control
US10076711B2 (en) * 2015-09-15 2018-09-18 Square Enix Holdings Co., Ltd. Remote rendering server with broadcaster
US10617945B1 (en) * 2015-12-14 2020-04-14 Amazon Technologies, Inc. Game video analysis and information system
JP2017184019A (ja) * 2016-03-30 2017-10-05 Line株式会社 配信方法、情報処理装置、及びプログラム
US10575030B2 (en) * 2016-06-22 2020-02-25 DeNA Co., Ltd. System, method, and program for distributing video
CN106162230A (zh) * 2016-07-28 2016-11-23 北京小米移动软件有限公司 直播信息的处理方法、装置、主播端、服务器及系统
US10547776B2 (en) 2016-09-23 2020-01-28 Apple Inc. Devices, methods, and graphical user interfaces for capturing and recording media in multiple modes
RU2673560C1 (ru) * 2016-10-31 2018-11-28 Бейджин Сяоми Мобайл Софтвеа Ко., Лтд. Способ и система воспроизведения мультимедийной информации, стандартизированный сервер и терминал прямой трансляции
JP6737717B2 (ja) * 2017-01-06 2020-08-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびアプリケーション画像配信方法
DE112018002562B3 (de) 2017-04-21 2022-01-05 Zenimax Media Inc. Systeme und Verfahren zur Spielereingabe-Bewegungskompensation in einem Client-Server-Videospiel durch Zwischenspeichern wiederkehrender Bewegungsvektoren
JP2019087226A (ja) 2017-11-03 2019-06-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システムおよび表情画像出力方法
US10425654B2 (en) * 2017-11-15 2019-09-24 Sony Interactive Entertainment LLC Synchronizing session content to external content
JP6615168B2 (ja) * 2017-11-30 2019-12-04 株式会社ドワンゴ 介入サーバおよび介入プログラム
JP2019097889A (ja) 2017-12-01 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画像配信方法
JP6839068B2 (ja) 2017-12-01 2021-03-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画像配信方法
JP6428955B1 (ja) * 2018-01-05 2018-11-28 株式会社セガゲームス 情報処理装置及び動画配信システム
JP7043307B2 (ja) * 2018-03-23 2022-03-29 株式会社コーエーテクモゲームス ゲームプログラム、及び記憶媒体
CN108932142B (zh) * 2018-04-28 2020-04-03 广州市百果园网络科技有限公司 一种画面捕捉方法及终端
JP6482706B1 (ja) * 2018-06-29 2019-03-13 株式会社ドワンゴ 配信サーバ、配信システム、配信方法及びプログラム
WO2020036213A1 (ja) * 2018-08-17 2020-02-20 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法及びプログラム
JP6869215B2 (ja) * 2018-09-19 2021-05-12 株式会社Nttドコモ 情報処理装置及び情報処理システム
JP7134082B2 (ja) 2018-12-10 2022-09-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびコンテンツ編集方法
JP7080164B2 (ja) 2018-12-17 2022-06-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
EP3929714A4 (en) * 2019-02-22 2022-03-02 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP6629476B1 (ja) * 2019-05-23 2020-01-15 KLab株式会社 ゲームシステム、閲覧制御方法、ならびに、プログラム
JP7098575B2 (ja) * 2019-06-25 2022-07-11 グリー株式会社 アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム
JP7383028B2 (ja) 2019-08-20 2023-11-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
JP6989796B2 (ja) * 2020-02-17 2022-01-12 株式会社カプコン 情報処理システム、情報処理装置およびプログラム
JP7365952B2 (ja) * 2020-03-26 2023-10-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像配信方法
US20230239550A1 (en) * 2020-05-07 2023-07-27 Sony Interactive Entertainment Inc. Relay server and distribution image generation method
JP7082431B2 (ja) * 2020-05-29 2022-06-08 株式会社コナミデジタルエンタテインメント 配信システム、配信システムの制御方法及びコンピュータプログラム
JP7069249B2 (ja) * 2020-06-08 2022-05-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像共有方法
JP7018484B2 (ja) * 2020-07-16 2022-02-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画像表示方法
JP7079822B2 (ja) * 2020-07-30 2022-06-02 株式会社バンダイナムコエンターテインメント ゲームシステムおよび投稿用動画生成方法
JP2022030275A (ja) * 2020-08-06 2022-02-18 司 志賀 セレモニー開催支援装置及びセレモニー開催支援方法
JP2022049148A (ja) * 2020-09-16 2022-03-29 株式会社Jvcケンウッド 情報処理装置および情報処理プログラム
JP7325828B2 (ja) * 2020-10-28 2023-08-15 株式会社コナミデジタルエンタテインメント 映像配信システム、それに用いるコンピュータプログラム、及び制御方法
JP2023060951A (ja) * 2021-10-19 2023-05-01 株式会社カプコン プログラム及び情報処理システム
JP2023166792A (ja) * 2022-05-10 2023-11-22 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5558339A (en) * 1994-05-05 1996-09-24 Perlman; Stephen G. Network architecture to support recording and playback of real-time video games
JPH08332280A (ja) * 1995-06-08 1996-12-17 Namco Ltd ゲーム装置
JP2001160021A (ja) * 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
JP3642750B2 (ja) 2000-08-01 2005-04-27 株式会社ソニー・コンピュータエンタテインメント 通信システム、コンピュータプログラム実行装置、記録媒体、コンピュータプログラム及び番組情報編集方法
JP2002268651A (ja) 2001-03-07 2002-09-20 Matsushita Electric Ind Co Ltd 楽曲検索機能を備えた携帯無線端末
JP2002288538A (ja) * 2001-03-28 2002-10-04 Yano Kazutaka インターネットを利用した通信ゲームにおける広告等の情報取得方法
JP3679350B2 (ja) * 2001-05-28 2005-08-03 株式会社ナムコ プログラム、情報記憶媒体及びコンピュータシステム
ATE375187T1 (de) 2002-08-12 2007-10-15 Alcatel Lucent Verfahren und vorrichtungen zur implementerung von hochinteraktiven unterhaltungsdiensten unter verwendung der medienströmungstechnologie, das die bereitstellung auf abstand von virtuelle realitätdiensten ermöglicht
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8840475B2 (en) 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US9339728B2 (en) * 2002-12-10 2016-05-17 Sony Interactive Entertainment America Llc System and method for managing audio and video channels for video game players and spectators
JP4287764B2 (ja) * 2004-02-26 2009-07-01 任天堂株式会社 競争ゲーム装置および競争ゲームプログラム
JP4696773B2 (ja) 2004-08-16 2011-06-08 ニプロ株式会社 医療用多層容器および医療用多層複室容器
US7458894B2 (en) * 2004-09-15 2008-12-02 Microsoft Corporation Online gaming spectator system
US7780532B2 (en) * 2005-10-14 2010-08-24 Leviathan Entertainment, Llc Ownership of game environments in a virtual world
US7632186B2 (en) * 2005-11-21 2009-12-15 Microsoft Corporation Spectator mode for a game
US8025572B2 (en) * 2005-11-21 2011-09-27 Microsoft Corporation Dynamic spectator mode
US9526995B2 (en) * 2006-11-22 2016-12-27 Sony Interactive Entertainment America Llc Video game recording and playback with visual display of game controller manipulation
JP5283150B2 (ja) 2007-03-30 2013-09-04 株式会社バンダイナムコゲームス プログラム、ゲーム機、及びゲームシステム
CN101127875B (zh) * 2007-09-13 2012-01-04 深圳市融创天下科技股份有限公司 一种视频流媒体节目播放中的观众互动方法
JP2009183315A (ja) 2008-02-01 2009-08-20 Dowango:Kk ネットワークゲームシステム、ネットワークゲーム方法およびネットワークゲームプログラム
JP5084577B2 (ja) 2008-03-24 2012-11-28 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
JP5436793B2 (ja) 2008-04-04 2014-03-05 株式会社バンダイナムコゲームス ゲーム動画配信システム
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8154553B2 (en) * 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
US8874661B2 (en) * 2008-08-07 2014-10-28 Microsoft Corporation Method and system providing spectator information for a multimedia application
JP4718622B2 (ja) * 2009-03-24 2011-07-06 株式会社スクウェア・エニックス ゲーム装置、ゲームの進行方法、ゲームプログラム及び記録媒体
US8346915B2 (en) * 2009-05-04 2013-01-01 Qualcomm Incorporated System and method of recording and sharing mobile application activities
JP5417111B2 (ja) 2009-10-01 2014-02-12 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲームシステムの制御方法、及びプログラム
US9381429B2 (en) * 2010-02-24 2016-07-05 Valve Corporation Compositing multiple scene shots into a video game clip
US20120021827A1 (en) * 2010-02-25 2012-01-26 Valve Corporation Multi-dimensional video game world data recorder
JP5511472B2 (ja) 2010-03-31 2014-06-04 Necパーソナルコンピュータ株式会社 コンテンツ配信システム、端末装置、サーバ装置、コンテンツ配信方法及びプログラム
US8298059B2 (en) * 2010-06-09 2012-10-30 International Business Machines Corporation Method, system and computer program product for creating custom tutorials based on interactive gameplay
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US20110312424A1 (en) * 2010-06-22 2011-12-22 International Business Machines Corp. Peer to Peer Video Game Clip Sharing
JP5991649B2 (ja) 2010-08-05 2016-09-14 株式会社ソニー・インタラクティブエンタテインメント ゲーム装置
US8066572B1 (en) * 2010-08-26 2011-11-29 Scores Two Go, LLC System for transmitting real-time game information for a game to a remote device
JP5809403B2 (ja) 2010-09-14 2015-11-10 株式会社バンダイナムコエンターテインメント プログラム、サーバ、及びネットワークシステム
JP5231588B2 (ja) * 2011-03-09 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
EP2497552A3 (en) 2011-03-09 2013-08-21 Sony Computer Entertainment Inc. Information processing apparatus
US8628423B2 (en) * 2011-06-28 2014-01-14 United Video Properties, Inc. Systems and methods for generating video hints for segments within an interactive video gaming environment
WO2013006351A2 (en) * 2011-07-01 2013-01-10 3G Studios, Inc. Techniques for controlling game event influence and/or outcome in multi-player gaming environments
US8821272B2 (en) * 2011-09-26 2014-09-02 Andrew Jack Thomas System and method of gamification of real-life events
WO2013099392A1 (ja) 2011-12-29 2013-07-04 株式会社ソニー・コンピュータエンタテインメント 映像再生システム

Also Published As

Publication number Publication date
JP6532490B2 (ja) 2019-06-19
JP6306512B2 (ja) 2018-04-04
US20150281296A1 (en) 2015-10-01
EP2916558B1 (en) 2022-03-09
US20180241788A1 (en) 2018-08-23
JP2017104573A (ja) 2017-06-15
EP2916558A4 (en) 2017-01-18
EP2916558A1 (en) 2015-09-09
CN104756513A (zh) 2015-07-01
WO2014068806A1 (ja) 2014-05-08
US9986001B2 (en) 2018-05-29
JP2019165490A (ja) 2019-09-26
US10182087B2 (en) 2019-01-15
JPWO2014068806A1 (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
JP6743241B2 (ja) 情報処理装置
JP5977147B2 (ja) 情報処理装置および入力装置
JP6400280B2 (ja) 情報処理システムおよび情報処理装置
JP6612019B2 (ja) 情報処理装置、制御データ送信方法および情報処理システム
WO2018128166A1 (ja) 情報処理装置およびアプリケーション画像配信方法
WO2020129748A1 (ja) 情報処理装置および画像生成方法
JP6139481B2 (ja) 情報処理装置、コンテンツ画像の共有制御方法および情報処理システム
JP6215995B2 (ja) 入力装置
JP7071550B2 (ja) 情報処理装置
JP7139473B2 (ja) 情報処理装置およびゲーム画像表示方法
JP7091289B2 (ja) 情報処理装置および入力装置
JP7018484B2 (ja) 情報処理装置およびゲーム画像表示方法
JP2018029974A (ja) 入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R150 Certificate of patent or registration of utility model

Ref document number: 6743241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150