WO2021193400A1 - 情報処理装置および画像配信方法 - Google Patents
情報処理装置および画像配信方法 Download PDFInfo
- Publication number
- WO2021193400A1 WO2021193400A1 PCT/JP2021/011301 JP2021011301W WO2021193400A1 WO 2021193400 A1 WO2021193400 A1 WO 2021193400A1 JP 2021011301 W JP2021011301 W JP 2021011301W WO 2021193400 A1 WO2021193400 A1 WO 2021193400A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- game
- sound
- microphone
- distribution
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 45
- 238000000034 method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000007704 transition Effects 0.000 claims description 4
- 239000000872 buffer Substances 0.000 description 28
- 238000004891 communication Methods 0.000 description 17
- 238000007726 management method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000003825 pressing Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/812—Ball games, e.g. soccer or baseball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
- A63F2300/577—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player for watching a game played by other players
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8011—Ball
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
ゲーム画像生成部112は、ゲーム画像を生成し、ゲーム音生成部114は、ゲーム音を生成する。音取得部154は、マイクに入力されたマイク音を取得する。配信処理部156は、マイク音、ゲーム音およびゲーム画像を配信する。受付部104は、ユーザによる操作を受け付ける。マイク音、ゲーム音およびゲーム画像の配信中に、受付部104が所定の操作を受け付けた後、配信処理部156は、第1待機画像を配信しつつ、マイク音も配信する第1モード、または第2待機画像を配信し、マイク音を配信しない第2モードのいずれかで動作する。
Description
本発明は、画像を配信する技術に関する。
特許文献1は、配信ユーザがプレイしているゲーム画像を含む表示画像を、共有サーバ経由で視聴ユーザに配信するシステムを開示する。表示画像の配信中、配信ユーザがゲームコントローラの所定のボタンを操作すると、配信ユーザの出力装置には、ゲーム画像に代わってメニュー画像が表示される。このとき配信処理部は、メニュー画像を含む表示画像を配信せず、表示画像とは異なる待機画像を配信する。特許文献1に開示されるシステムでは、ゲーム画像の配信が再開されるまで、視聴ユーザの表示装置には「しばらくお待ち下さい」のメッセージを含む待機画像が表示される。
ゲーム画像の配信は、様々な理由で一時停止される。ゲーム画像の配信を一時停止するモードを複数種類提供することで、配信ユーザは、自身の状況に応じた配信停止モードで、ゲーム画像の配信を一時停止できるようになる。
そこで本発明は、ゲーム画像を視聴ユーザに配信する画像共有システムの有用性を高めるための技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の情報処理装置は、ゲーム画像を生成するゲーム画像生成部と、ゲーム音を生成するゲーム音生成部と、マイクに入力されたマイク音を取得する音取得部と、マイク音、ゲーム音およびゲーム画像を配信する配信処理部と、ユーザによる操作を受け付ける受付部とを備える。マイク音、ゲーム音およびゲーム画像の配信中に、受付部が所定の操作を受け付けた後、配信処理部は、第1待機画像を配信しつつ、マイク音も配信する第1モード、または第2待機画像を配信し、マイク音を配信しない第2モードのいずれかで動作する。
本発明の別の態様の画像配信方法は、ゲーム画像を生成するステップと、ゲーム音を生成するステップと、マイクに入力されたマイク音を取得するステップと、マイク音、ゲーム音およびゲーム画像を配信するステップと、マイク音、ゲーム音およびゲーム画像の配信中に、所定の操作を受け付けるステップと、所定の操作を受け付けた後、第1待機画像を配信しつつ、マイク音も配信する第1モード、または第2待機画像を配信し、マイク音を配信しない第2モードのいずれかを実行するステップと、を有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
図1は、本発明の実施例にかかる画像共有システム1を示す。画像共有システム1は、配信主となるユーザAがプレイ中のゲーム画音(ゲーム画像およびゲーム音)をライブ配信し、別の視聴ユーザB、C、Dがゲーム画音を視聴する環境を実現する。画像共有システム1は、配信ユーザAが操作する情報処理装置10と、視聴ユーザB、C、Dが操作する情報処理端末12b、12c、12d(以下、特に区別しない場合には「情報処理端末12」と呼ぶ)と、管理サーバ5と、共有サーバ11とを備え、これらはインターネットなどのネットワーク3を介して接続している。ここで視聴ユーザB、C、Dは例示であり、3名に限定する趣旨ではなく、また視聴ユーザは、配信ユーザAのフレンドに限らず、共有サーバ11にアクセス可能な不特定のユーザであってよい。
実施例において視聴ユーザの情報処理端末12と配信ユーザAの情報処理装置10とは同じ装置であってよい。以下、代表して、配信ユーザAの情報処理装置10周辺の構成を説明する。
アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上の管理サーバ5、共有サーバ11、情報処理端末12と通信可能に接続する。
ユーザが操作する入力装置6は、情報処理装置10と無線または有線で接続し、ユーザによる操作情報を情報処理装置10に出力する。情報処理装置10は入力装置6から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置4から処理結果を出力させる。実施例において情報処理装置10はゲームプログラムを実行するゲーム装置であり、入力装置6はゲームコントローラであってよい。入力装置6は、複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。
補助記憶装置2は、HDD(ハードディスクドライブ)やSSD(ソリッドステートドライブ)などのストレージであり、内蔵型記憶装置であってよく、またはUSB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってもよい。出力装置4は、画像を出力するディスプレイおよび音を出力するスピーカを有するテレビであってよく、またヘッドマウントディスプレイであってもよい。カメラ7はユーザが存在する空間を撮影し、マイク9は周辺の音を入力して、音信号を生成する。実施例でマイク9は、ユーザの発話音声を入力して、マイク音信号(以下、単に「マイク音」とも呼ぶ)を情報処理装置10に供給する。
情報処理装置10は、ユーザAがプレイ中のゲーム画像を共有サーバ11にストリーミング配信することで、共有サーバ11にアクセスする情報処理端末12にゲーム画像をブロードキャストする。このように実施例における画像共有システム1は、ゲーム画像配信システムとして動作する。なお情報処理端末12は、情報処理装置10と同じ据置型のゲームコンソールであってよいが、スマートフォンやタブレットなどの携帯端末装置であってもよい。
管理サーバ5は、情報処理装置10、情報処理端末12にネットワークサービスを提供する。管理サーバ5はユーザを識別するネットワークアカウントを管理しており、ユーザはネットワークアカウントを用いて、ネットワークサービスにサインインする。ユーザはネットワークサービスにサインインすることで、管理サーバ5に、ゲームのセーブデータや、ゲームプレイ中に獲得した仮想的な表彰品(トロフィ)を登録できる。
管理サーバ5は、ネットワークサービスにサインインしているユーザのアクティビティを管理する。ユーザのアクティビティは、ユーザのゲーム内における行動や行動により得られた結果、またゲームやセッションにおけるユーザの状態を含む。管理サーバ5は、ユーザからの要求を受けて、当該ユーザのアクティビティに関する情報を、当該ユーザの情報処理装置10または情報処理端末12に提供する。
実施例では、ユーザAが入力装置6を操作してゲームをプレイしており、出力装置4には、プレイ中のゲーム画像(以下、「プレイ画像」とも呼ぶ)が表示されている。このとき視聴ユーザの情報処理端末12b、12c、12dにも、情報処理装置10から共有サーバ11経由で、プレイ画像が配信され、プレイ画像が出力装置14b、14c、14d(以下、特に区別しない場合には「出力装置14」と呼ぶ)に表示される。なお配信されるプレイ画像の解像度は、出力装置4に表示されるプレイ画像の解像度よりも低く設定されてよい。
図2は、情報処理装置10のハードウェア構成を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUは補助記憶装置2またはROM媒体44に記録されたゲームプログラムを実行する機能をもつ。
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えず、ゲームプログラムを実行する機能をもたない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。サブCPUは、メインCPUがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。有線通信モジュール40は、外部機器と有線通信し、AP8を介して外部のネットワークに接続する。
図3は、ストリーミングデータの配信装置として動作する情報処理装置10の機能ブロックを示す。情報処理装置10は、処理部100、通信部102および受付部104を備え、処理部100は、実行部110、情報取得部116、カメラ画像供給部118、設定部120、システム画像生成部122、音供給部124、画像処理部130、音提供部132、フレームバッファ部140および共有処理部150を備える。
実行部110は、ゲーム画像生成部112およびゲーム音生成部114を有する。フレームバッファ部140は複数のフレームバッファを含み、ゲーム用バッファ142およびシステム用バッファ144を有する。実施例においてゲーム用バッファ142は、複数のフレームバッファから構成され、システム用バッファ144は1つのフレームバッファから構成される。共有処理部150は、画像取得部152、音取得部154、配信処理部156および設定画像生成部158を有する。
図3において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
通信部102は、入力装置6の入力部をユーザが操作した操作情報を受信し、管理サーバ5から、ユーザのアクティビティに関する情報を受信する。また通信部102は、処理部100で生成した画音データを共有サーバ11に送信する。通信部102の機能ブロックは、図2に示す無線通信モジュール38および有線通信モジュール40の機能を併せ持つ構成として表現している。
受付部104は、通信部102と処理部100との間に設けられ、通信部102と処理部100との間でデータないしは情報を伝送する。受付部104は通信部102を介して入力装置6の操作情報を受け付けると、その操作情報を処理部100における所定の機能ブロックに供給する。
実行部110はゲームプログラム(以下、単に「ゲーム」とも呼ぶこともある)を実行する。ここで実行部110として示す機能ブロックは、システムソフトウェア、ゲームソフトウェアなどのソフトウェア、GPUなどのハードウェアなどにより実現される。ゲームプログラムの実行結果を受けて、ゲーム画像生成部112は、ゲームの画像データを生成し、ゲーム音生成部114は、ゲームの音データを生成する。なおゲームはアプリケーションの一例であり、実行部110は、ゲーム以外のアプリケーションを実行してもよい。
ユーザAによるゲームプレイ中、実行部110はゲームプログラムを実行して、ユーザAが入力装置6に入力した操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。ゲーム画像生成部112は、レンダリング処理などを実行するGPU(Graphics Processing Unit)を含み、仮想空間における演算処理結果を受けて、仮想空間内の視点位置(仮想カメラ)からのゲーム画像データを生成する。ゲーム音生成部114は、仮想空間内のゲーム音データを生成する。
図4は、ユーザAの出力装置4に表示されるゲーム画面の一例を示す。このゲーム画面は、ストリーミング配信前のものである。ユーザAのゲームプレイ中、ゲーム画像生成部112はゲーム画像を生成し、生成したゲーム画像をゲーム用バッファ142に記憶する。またゲーム音生成部114はゲーム音を生成し、生成したゲーム音を音提供部132に供給する。
実施例のゲーム用バッファ142は複数のフレームバッファを有して構成されており、ゲーム画像生成部112は、フレームバッファの数を上限として複数のゲーム画像を生成できる。たとえばゲーム用バッファ142が3つのフレームバッファを有する場合、ゲーム画像生成部112は、背景画像およびキャラクタ画像を含むメイン画像を1枚生成し、ゲーム進行に補助的な情報を含むサブ画像を2枚生成して、それぞれフレームバッファに記憶する。たとえばサブ画像は、対戦ゲームにおける敵チームの位置を示すマップ画像であったり、自分が使用できる武器情報のリスト画像であってよい。画像処理部130は、3つのフレームバッファに記憶された3枚のゲーム画像を合成して、表示画像を生成する。なおゲーム画像生成部112は3枚のゲーム画像を生成する必要はなく、1枚のメイン画像のみを生成して1つのフレームバッファを利用し、残り2つのフレームバッファを利用しなくてもよい。
画像処理部130は、表示画像を出力装置4に提供し、また音提供部132は、ゲーム音を出力装置4に提供する。出力装置4は、ゲーム画像およびゲーム音を出力し、ユーザAは、出力装置4から出力されるゲーム画音を視聴しながら、ゲームをプレイする。
以下、実施例の共有処理について説明する。
共有処理部150は、ユーザAがプレイ中のゲームの画音データを、共有サーバ11を介して他のユーザと共有するための処理を実施する。共有サーバ11にアクセスするユーザは、ユーザAのフレンドに限らず、共有サーバ11のサービスを利用する不特定のユーザを含んでよい。ゲーム画音データの共有処理は、ユーザAが入力装置6に設けられた特定の入力ボタン(SHAREボタン)を操作したことを契機として開始され、設定画像生成部158は画音データの共有に関する選択肢を示す入力画像を生成する。
共有処理部150は、ユーザAがプレイ中のゲームの画音データを、共有サーバ11を介して他のユーザと共有するための処理を実施する。共有サーバ11にアクセスするユーザは、ユーザAのフレンドに限らず、共有サーバ11のサービスを利用する不特定のユーザを含んでよい。ゲーム画音データの共有処理は、ユーザAが入力装置6に設けられた特定の入力ボタン(SHAREボタン)を操作したことを契機として開始され、設定画像生成部158は画音データの共有に関する選択肢を示す入力画像を生成する。
図5は、共有処理の選択肢を示す入力画面の一例を示す。設定画像生成部158は、共有処理の選択肢を示す入力画像を生成し、生成した入力画像をシステム用バッファ144に記憶する。画像処理部130は、システム用バッファ144から入力画像を読み出して、出力装置4に表示する。
この入力画面に、画音データの共有に関する3つの選択肢が示される。“ビデオクリップをアップロードする”は、補助記憶装置2に記録された画像を共有サーバ11にアップロードすることを指定するためのGUI要素、“スクリーンショットをアップロードする”は、スクリーンショットの画像を共有サーバ11にアップロードすることを指定するためのGUI要素、“ゲームプレイをブロードキャストする”は、ゲームの画音データを共有サーバ11を介してライブ中継することを指定するためのGUI要素である。ユーザAは入力装置6を操作して選択枠200を動かし、いずれかのGUI要素を選択して決定ボタンを押すことで、選択した共有処理が実行される。
実施例では“ゲームプレイをブロードキャストする”のGUI要素が選択される。このGUI要素が選択された後、設定画像生成部158は、ブロードキャスト配信における設定情報を選択させる設定画面を出力装置4に表示させる。
図6は、“ゲームプレイをブロードキャストする”が選択された場合に表示される設定画面の一例を示す。この設定画面には、ブロードキャストの配信態様を設定するための以下の項目が含まれる。
(a)配信画像に、カメラ画像を含めるか否かを選択するための項目
項目(a)に関し、「カメラの映像をブロードキャストに含める」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザAは、カメラ画像(カメラで撮影した画像)の配信を希望しなければ、チェックボックスの選択を解除する。なお「カメラの映像をブロードキャストに含める」ことを選択した場合に、さらにカメラ画像の表示位置を設定するための選択肢が提供され、ユーザAは、カメラ画像の表示位置を指定できてもよい。
項目(a)に関し、「カメラの映像をブロードキャストに含める」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザAは、カメラ画像(カメラで撮影した画像)の配信を希望しなければ、チェックボックスの選択を解除する。なお「カメラの映像をブロードキャストに含める」ことを選択した場合に、さらにカメラ画像の表示位置を設定するための選択肢が提供され、ユーザAは、カメラ画像の表示位置を指定できてもよい。
(b)マイク音声を配信するか否かを選択するための項目
項目(b)に関し、「マイクの音声をブロードキャストに含める」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザAは、マイク音声の配信を希望しなければ、チェックボックスの選択を解除する。
項目(b)に関し、「マイクの音声をブロードキャストに含める」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザAは、マイク音声の配信を希望しなければ、チェックボックスの選択を解除する。
(c)表示画面に視聴ユーザからのコメントを表示するか否かを選択するための項目
項目(c)に関し、「画面にコメントを表示する」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザAは、コメント表示を希望しなければ、チェックボックスの選択を解除する。
項目(c)に関し、「画面にコメントを表示する」のチェックボックスが、デフォルト選択された状態にあってよい。ユーザAは、コメント表示を希望しなければ、チェックボックスの選択を解除する。
(d)配信画像の画質を選択するための項目
項目(d)に関し、ユーザAは、出力装置4に表示されるゲーム画像の解像度以下の解像度を選択できる。配信画像の解像度として、出力装置4に表示されるゲーム画像の解像度よりも低い解像度がデフォルト設定されていてもよい。
項目(d)に関し、ユーザAは、出力装置4に表示されるゲーム画像の解像度以下の解像度を選択できる。配信画像の解像度として、出力装置4に表示されるゲーム画像の解像度よりも低い解像度がデフォルト設定されていてもよい。
以上のように、設定部120はストリーミング配信に関し、項目(a)、(b)、(c)、(d)についてユーザAが選択した内容を設定する。具体的にはユーザAが枠202を「ブロードキャストをはじめる」に配置して入力装置6の決定ボタンを押すと、設定部120が、ユーザが項目(a)、(b)、(c)、(d)に関して選択した内容を、ストリーミング配信の設定情報として補助記憶装置2に登録するとともに、設定情報をシステム画像生成部122および音供給部124に通知する。
以下、項目(a)に関して、「カメラの映像をブロードキャストに含める」ことが設定され、項目(b)に関して、「マイクの音声をブロードキャストに含める」ことが設定されている場合の配信処理について説明する。
図7は、システム画像生成部122が生成するシステム画像の例を示す。ストリーミング配信中、カメラ画像供給部118は、カメラ7で撮影されたカメラ画像をシステム画像生成部122に供給し、システム画像生成部122は、カメラ画像を含むシステム画像を生成して、システム用バッファ144に記憶する。システム画像生成部122は、システムソフトウェアにより構成され、実施例においてシステム画像は、システムソフトウェアが生成する画像を意味する。
図8は、ストリーミング配信中にユーザAおよび視聴ユーザの出力装置に表示される画面例を示す。画像処理部130は、ゲーム用バッファ142から読み出したゲーム画像と、システム用バッファ144から読み出したシステム画像とを合成して、表示画像を生成する。画像処理部130は、生成した表示画像を、出力装置4および共有処理部150に出力する。音提供部132は、ゲーム音生成部114で生成されたゲーム音を出力装置4および共有処理部150に出力する。音供給部124は、マイク9に入力されたマイク音を取得し、共有処理部150に供給する。
共有処理部150において、画像取得部152は、画像処理部130から提供されるゲーム画像を取得する。音取得部154は、音提供部132から提供されるゲーム音と、音供給部124から供給されるマイク音とを取得する。画像取得部152が取得したゲーム画像および音取得部154が取得したゲーム音およびマイク音は、それぞれ共有サーバ11に配信される配信画像および配信音である。配信処理部156は、取得した配信画像および配信音の品質を必要に応じて調整してエンコードし、共有サーバ11にマイク音、ゲーム音およびゲーム画像をストリーミング配信する。このように画像共有システム1では、ゲームをプレイするユーザAが視聴するゲーム画像およびゲーム音が、品質に変更はあるものの、そのままストリーミング配信される。したがって視聴ユーザは、情報処理端末12から共有サーバ11にアクセスして、ユーザAと同じゲーム画像およびゲーム音を視聴することができる。
以下、情報処理装置10がゲーム画音のストリーミング配信を自動停止するケースについて説明する。一例としてゲーム画音のストリーミング配信中に、ユーザAがメニュー画面を出力装置4に表示させる場合を想定する。
メニュー画面には様々な個人情報が含まれることがあり、個人情報を含むメニュー画面を不特定の視聴ユーザに配信することは好ましくない。そこで情報処理装置10は、メニュー画面を表示する際には、ゲーム画音のストリーミング配信を一時的に自動停止して、個人情報の流出を回避する機能をもつ。
情報処理装置10では、入力装置6の所定のボタン(たとえばホームボタン)が操作されると、受付部104が、システム画像の表示操作として受け付けて、システム画像生成部122が、メニュー画像であるシステム画像を生成する。生成されたシステム画像は、システム用バッファ144に記憶され、画像処理部130により表示画像に組み込まれて、出力装置4に表示される。
図9は、メニュー画面の一例を示す。システム画像生成部122は、画面の下段に複数のメニューアイコンを並べ、また画面中段に、カード形状のGUI要素300a~300eを配置したメニュー画像(システム画像)を生成する。各GUI要素300には、ユーザAのアクティビティに関する情報が表示される。
ゲーム画音のストリーミング配信中に受付部104が所定のボタン(ホームボタン)操作を受け付けると、情報取得部116が管理サーバ5に対して、ユーザAのアクティビティに関する情報の提供を要求する。このとき情報取得部116は、情報提供要求に、ユーザAのステータス情報を含める。ステータス情報は、ユーザAの現在の状況を示す情報であり、ここではユーザAがゲーム画音のストリーミング配信中であることを示す情報である。
管理サーバ5は、ユーザAについて様々なアクティビティに関する情報を、ステータスに関連付けて管理している。管理サーバ5は、ユーザAがストリーミング配信中であることを認識すると、情報処理装置10に対して、ストリーミング配信ステータスに紐付けられているアクティビティ情報を送信する。このアクティビティ情報は、少なくとも配信に関する情報、たとえば配信しているゲームタイトルや、現在までの配信時間などを含んでいる。情報取得部116はアクティビティ情報を取得すると、システム画像生成部122に提供し、システム画像生成部122は、複数のGUI要素300に、アクティビティ情報の内容を含ませる。
実施例では画像処理部130が、システム画像をゲーム画像に重畳した表示画像を生成する。別の例では、画像処理部130が、システム画像をゲーム画像に重畳することなく、システム画像のみから構成される表示画像を生成してもよい。
図9に示すようにメニュー画面には、少なくとも配信に関する情報を含むGUI要素300aが表示される。この例でGUI要素300aには、配信からの経過時間(25分16秒)と、現在の配信モードを示すモード情報304aと、ゲームタイトル306とが含まれる。マイクアイコン302は、マイク音の配信オン状態または配信オフ状態を表現するためのものであり、図9に示すマイクアイコン302は、マイク音の配信オン状態を表現している。
マイク音、ゲーム音およびゲーム画像の配信中に、受付部104がシステム画像の表示操作を受け付けた後、配信処理部156は、以下の第1モードまたは第2モードのいずれかで動作する。
<第1モード>
第1モードでは、配信処理部156が、ゲーム画像の代わりに第1待機画像を配信しつつ、マイク音も配信する。
<第2モード>
第1モードでは、配信処理部156が、ゲーム画像の代わりに第2待機画像を配信し、マイク音を配信しない。
<第1モード>
第1モードでは、配信処理部156が、ゲーム画像の代わりに第1待機画像を配信しつつ、マイク音も配信する。
<第2モード>
第1モードでは、配信処理部156が、ゲーム画像の代わりに第2待機画像を配信し、マイク音を配信しない。
第1モード、第2モードともにゲーム画像、ゲーム音を配信しない。またゲーム画像に含まれていたカメラ画像も配信されない。第1待機画像と第2待機画像とは同じであってもよいが、2つのモードの違いを表現するために、第1待機画像と第2待機画像は異なることが好ましい。ユーザAは、ゲーム画音のストリーミング配信停止中に、第1モードまたは第2モードを入力装置6のボタン操作により選択できる。
ストリーミング配信中に、受付部104がシステム画像の表示操作を受け付けると、システム画像生成部122がメニュー画像を生成し、画像処理部130が、図9に示すメニュー画面を表示する。なおメニュー画面の表示前に表示されていたカメラ画像は、GUI要素300に吸い込まれるように演出表示され、これによりユーザAが、ゲーム画面からシステム画面(メニュー画面)への切替を認識する。
このとき配信処理部156は、第1モード、つまりゲーム画像の代わりに第1待機画像を配信しつつ、マイク音も配信し、ゲーム音を配信しないモードで動作する。図9に示すマイクアイコン302は、マイク音が配信中であることを示し、モード情報304aは、待機画像とマイク音を配信中であることを表現している。
図10は、第1モードにおいて視聴ユーザの出力装置に表示される画面例を示す。出力装置14には、ゲーム画音の配信が一時停止されていることを示す第1待機画像が表示される。第1モードは、ユーザAがメニュー画面で所望の操作を行った後、速やかにゲーム画音のストリーミング配信を再開するときに利用される動作モードである。個人情報保護の観点からメニュー画像は配信できないものの、すぐにストリーミング配信を再開することを視聴ユーザに伝えられるように、マイク音が配信できるようになっている。
一方、ユーザAが、配信チャンネルを維持したまま、しばらく席を外したい場合もある。このような場合に第2モードが利用される。
図9のGUI要素300aの下方に、□ボタンに、マイク音の配信オフが割り当てられていることが示されている。図9に示すメニュー画像を表示しているときに、受付部104が□ボタンの押下操作、つまり第2モードへの遷移操作を受け付けると、配信処理部156は、第2モードで動作する。つまり配信処理部156は、第2待機画像を配信し、マイク音およびゲーム音を配信しないモードで動作する。
図9のGUI要素300aの下方に、□ボタンに、マイク音の配信オフが割り当てられていることが示されている。図9に示すメニュー画像を表示しているときに、受付部104が□ボタンの押下操作、つまり第2モードへの遷移操作を受け付けると、配信処理部156は、第2モードで動作する。つまり配信処理部156は、第2待機画像を配信し、マイク音およびゲーム音を配信しないモードで動作する。
図11は、第2モードにおいて視聴ユーザの出力装置に表示される画面例を示す。出力装置14には、ゲーム画音の配信が停止されるとともに、配信主のマイクがオフになっていることを説明する第2待機画像が表示される。視聴ユーザは、配信ユーザAからの音声が途切れているため、配信ユーザAが休憩等していることを認識する。なお視聴ユーザAは、第2待機画像を自由にカスタマイズできてよい。
図12は、第2モードにおける配信ユーザの出力装置に表示される画面例を示す。GUI要素300aにおいて、図12に示すマイクアイコン302は、マイク音が配信されていないことを示し、モード情報304bは、待機画像のみを配信中であることを表現している。
図12のGUI要素300aの下方に、□ボタンに、マイク音の配信オンが割り当てられていることが示されている。図12に示すメニュー画像を表示しているときに、受付部104が□ボタンの押下操作、つまり第1モードへの遷移操作を受け付けると、配信処理部156は第1モード、つまり第1待機画像およびマイク音を配信するモードで動作する。
なお図12に示すメニュー画面においてユーザAが、入力装置6の所定のボタン(ホームボタン)を操作すると、受付部104が、システム画像の表示オフ操作として受け付けて、システム画像生成部122が、システム画像の生成を終了する。これにより画像処理部130は、システム画像とゲーム画像の合成処理を終了して、ゲーム画像およびカメラ画像を含む表示画像(図8参照)を生成する。ストリーミング配信を再開するために、第1モードにおけるメニュー画面の表示中にホームボタンを操作することが条件となっている場合、第2モードにおけるメニュー画面の表示中にホームボタンを操作しても、ストリーミング配信を再開できない。そこで画像処理部130は、表示画像に、まだストリーミング配信できていないことを示すメッセージを重畳表示してもよい。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
本発明は、画像を配信する技術分野に利用できる。
1・・・画像共有システム、10・・・情報処理装置、11・・・共有サーバ、100・・・処理部、102・・・通信部、104・・・受付部、110・・・実行部、112・・・ゲーム画像生成部、114・・・ゲーム音生成部、116・・・情報取得部、118・・・カメラ画像供給部、120・・・設定部、122・・・システム画像生成部、124・・・音供給部、130・・・画像処理部、132・・・音提供部、140・・・フレームバッファ部、142・・・ゲーム用バッファ、144・・・システム用バッファ、150・・・共有処理部、152・・・画像取得部、154・・・音取得部、156・・・配信処理部、158・・・設定画像生成部。
Claims (6)
- 情報処理装置であって、
ゲーム画像を生成するゲーム画像生成部と、
ゲーム音を生成するゲーム音生成部と、
マイクに入力されたマイク音を取得する音取得部と、
マイク音、ゲーム音およびゲーム画像を配信する配信処理部と、
ユーザによる操作を受け付ける受付部と、を備え、
マイク音、ゲーム音およびゲーム画像の配信中に、前記受付部が所定の操作を受け付けた後、前記配信処理部は、第1待機画像を配信しつつ、マイク音も配信する第1モード、または第2待機画像を配信し、マイク音を配信しない第2モードのいずれかで動作する、
ことを特徴とする情報処理装置。 - 第1待機画像と第2待機画像とは異なる、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記受付部がゲーム画像とは異なるシステム画像の表示操作を受け付けると、少なくとも配信に関する情報を含む表示画像を生成する画像処理部をさらに備え、
マイク音、ゲーム音およびゲーム画像の配信中に、前記受付部がシステム画像の表示操作を受け付けると、前記配信処理部は、第1モードで動作して、第1待機画像およびマイク音を配信する、
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記画像処理部が、少なくとも配信に関する情報を含む表示画像を出力装置に表示しているときに、前記受付部が第2モードへの遷移操作を受け付けると、前記配信処理部は、第2モードで動作して、第2待機画像を配信する、
ことを特徴とする請求項3に記載の情報処理装置。 - ゲーム画像を生成するステップと、
ゲーム音を生成するステップと、
マイクに入力されたマイク音を取得するステップと、
マイク音、ゲーム音およびゲーム画像を配信するステップと、
マイク音、ゲーム音およびゲーム画像の配信中に、所定の操作を受け付けるステップと、
所定の操作を受け付けた後、第1待機画像を配信しつつ、マイク音も配信する第1モード、または第2待機画像を配信し、マイク音を配信しない第2モードのいずれかを実行するステップと、
を有することを特徴とする画像配信方法。 - コンピュータに、
ゲーム画像を生成する機能と、
ゲーム音を生成する機能と、
マイクに入力されたマイク音を取得する機能と、
マイク音、ゲーム音およびゲーム画像を配信する機能と、
マイク音、ゲーム音およびゲーム画像の配信中に、所定の操作を受け付ける機能と、
所定の操作を受け付けた後、第1待機画像を配信しつつ、マイク音も配信する第1モード、または第2待機画像を配信し、マイク音を配信しない第2モードのいずれかを実行する機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/909,461 US20230110447A1 (en) | 2020-03-26 | 2021-03-19 | Information processing device and image distribution method |
EP21776334.1A EP4129425A4 (en) | 2020-03-26 | 2021-03-19 | INFORMATION PROCESSING DEVICE AND IMAGE DISTRIBUTION METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056771A JP7365952B2 (ja) | 2020-03-26 | 2020-03-26 | 情報処理装置および画像配信方法 |
JP2020-056771 | 2020-03-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021193400A1 true WO2021193400A1 (ja) | 2021-09-30 |
Family
ID=77891706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/011301 WO2021193400A1 (ja) | 2020-03-26 | 2021-03-19 | 情報処理装置および画像配信方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230110447A1 (ja) |
EP (1) | EP4129425A4 (ja) |
JP (1) | JP7365952B2 (ja) |
WO (1) | WO2021193400A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014068806A1 (ja) * | 2012-11-05 | 2014-05-08 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
US20170109122A1 (en) * | 2015-10-14 | 2017-04-20 | Google Inc. | User Interface for Screencast Applications |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9795871B2 (en) * | 2014-04-15 | 2017-10-24 | Microsoft Technology Licensing, Llc | Positioning a camera video overlay on gameplay video |
-
2020
- 2020-03-26 JP JP2020056771A patent/JP7365952B2/ja active Active
-
2021
- 2021-03-19 US US17/909,461 patent/US20230110447A1/en active Pending
- 2021-03-19 EP EP21776334.1A patent/EP4129425A4/en active Pending
- 2021-03-19 WO PCT/JP2021/011301 patent/WO2021193400A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014068806A1 (ja) * | 2012-11-05 | 2014-05-08 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
US20170109122A1 (en) * | 2015-10-14 | 2017-04-20 | Google Inc. | User Interface for Screencast Applications |
Non-Patent Citations (3)
Title |
---|
"The game commentary to start from now on! Top-class image quality and sound quality with an emphasis on cost performance!", OBS STUDIO SLOPPY GAMES, 23 May 2018 (2018-05-23), pages 1 - 10, XP055861233, Retrieved from the Internet <URL:http://sloppy-games.com/obs-studio> [retrieved on 20210518] * |
ANONYMOUS: "Basic OBS studio setup, open broadcaster software streaming knowledge base ", OBS LIVE, 2 August 2018 (2018-08-02), pages 1 - 11, XP055861237, Retrieved from the Internet <URL:https://www.obs.live/articles/2018/7/23/basic-obs-studio-setup> [retrieved on 20211115] * |
See also references of EP4129425A4 * |
Also Published As
Publication number | Publication date |
---|---|
JP7365952B2 (ja) | 2023-10-20 |
EP4129425A1 (en) | 2023-02-08 |
JP2021153813A (ja) | 2021-10-07 |
US20230110447A1 (en) | 2023-04-13 |
EP4129425A4 (en) | 2024-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6532490B2 (ja) | 情報処理装置および情報処理システム | |
US11534687B2 (en) | Information processing apparatus and application image distribution method | |
JP6839068B2 (ja) | 情報処理装置およびゲーム画像配信方法 | |
JP2014092991A (ja) | 情報処理装置および入力装置 | |
JP2017035298A (ja) | 情報処理装置および視聴リクエスト送信方法 | |
WO2020129748A1 (ja) | 情報処理装置および画像生成方法 | |
JP2016162070A (ja) | 情報処理装置および画面生成方法 | |
WO2019107275A1 (ja) | 情報処理装置およびゲーム画像配信方法 | |
WO2021193400A1 (ja) | 情報処理装置および画像配信方法 | |
WO2021224972A1 (ja) | 中継サーバおよび配信画像生成方法 | |
WO2021193399A1 (ja) | 情報処理装置およびゲーム画像配信方法 | |
JP7139473B2 (ja) | 情報処理装置およびゲーム画像表示方法 | |
JP7018484B2 (ja) | 情報処理装置およびゲーム画像表示方法 | |
JP2016162069A (ja) | 情報処理装置および画面生成方法 | |
JP2021069949A (ja) | 情報処理装置 | |
JP2018029974A (ja) | 入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21776334 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021776334 Country of ref document: EP Effective date: 20221026 |