JP6782173B2 - 情報処理装置および音声データ通信管理方法 - Google Patents

情報処理装置および音声データ通信管理方法 Download PDF

Info

Publication number
JP6782173B2
JP6782173B2 JP2017002912A JP2017002912A JP6782173B2 JP 6782173 B2 JP6782173 B2 JP 6782173B2 JP 2017002912 A JP2017002912 A JP 2017002912A JP 2017002912 A JP2017002912 A JP 2017002912A JP 6782173 B2 JP6782173 B2 JP 6782173B2
Authority
JP
Japan
Prior art keywords
microphone
terminal device
voice
game
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017002912A
Other languages
English (en)
Other versions
JP2018110699A (ja
JP2018110699A5 (ja
Inventor
雅則 野村
雅則 野村
工藤 繁孝
繁孝 工藤
類 山田
類 山田
藤田 貴志
貴志 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2017002912A priority Critical patent/JP6782173B2/ja
Priority to PCT/JP2018/000032 priority patent/WO2018131528A1/ja
Priority to US16/473,857 priority patent/US10918936B2/en
Publication of JP2018110699A publication Critical patent/JP2018110699A/ja
Publication of JP2018110699A5 publication Critical patent/JP2018110699A5/ja
Application granted granted Critical
Publication of JP6782173B2 publication Critical patent/JP6782173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/572Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、離れたところにある情報処理装置を利用してゲームを実施する技術に関する。
近年、ユーザがプレイ中のゲーム画像やキャプチャしたゲーム画像を、共有サイトを介して共有するサービスが普及している。またユーザの端末同士がピアトーピア(P2P)で接続して、一緒にゲームをプレイすることも可能となっている。特許文献1はゲームのプレイ態様として、同一のゲームを有する複数のユーザがオンラインでゲームをプレイする「マルチプレイ」と、離れたところにある情報処理装置にゲームの操作情報を送信し、また情報処理装置から、操作情報がゲーム進行に反映されたゲーム画像を受信する「リモートプレイ」について開示している。
国際公開第2013/111247号
複数のユーザが一緒にゲームをプレイする際、ボイスチャットなどの音声アプリケーションを利用して互いに会話できるようにすることで、ゲームプレイの幅を広げられると考えられる。そこでゲームプレイ中のユーザの発声を相手に伝えるための仕組みを構築することが好ましい。
本発明は、端末装置のマイクに入力された音声信号を情報処理装置に送信可能とする技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の端末装置は、ユーザによる操作情報を情報処理装置に送信する送信処理部と、情報処理装置から操作情報を反映したゲームの画像データおよび音声データを取得する取得部と、取得したゲーム画像データおよびゲーム音声データを再生する再生処理部と、マイクの音声信号を情報処理装置に送信するか否かを制御するマイク音声制御部とを備える。
本発明の別の態様は、情報処理装置である。情報処理装置は、端末装置から送信されるユーザによる操作情報を反映したゲームの画像データおよび音声データを生成する実行部と、ゲーム画像データおよびゲーム音声データを端末装置に送信する送信処理部と、マイク音声取得部と、端末装置のマイクに対して、マイク音声取得部を割り当てるマイクリソース割当部と備える。
本発明の別の態様は、マイク音声送信方法である。この方法は、ユーザによる操作情報を、ゲームを実行する情報処理装置に送信するステップと、情報処理装置から、操作情報を反映したゲームの画像データおよび音声データを取得するステップと、取得したゲーム画像データおよびゲーム音声データを再生するステップと、マイクの音声信号を、情報処理装置に送信するか否かを制御するステップとを備える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、端末装置のマイクに入力された音声信号を情報処理装置に送信可能とする技術を提供する。
実施例の情報処理装置の基本的な使用態様を示す図である。 情報処理装置の機能ブロックを示す図である。 実施例の情報処理システムの一態様を示す図である。 実施例の情報処理システムの別の態様を示す図である。 実施例の情報処理システムのさらに別の態様を示す図である。 情報処理装置および端末装置の構成を示す図である。 メニュー画面の一例を示す図である。 メニュー画面に重畳表示されるツールバーを示す図である。 マイクアイコンの表示例を示す図である。
図1は、実施例の情報処理装置10の基本的な使用態様を示す。情報処理装置10は、ユーザAが操作する入力装置6と無線または有線で接続し、入力装置6はユーザAの操作入力を示す操作情報を情報処理装置10に提供する。情報処理装置10は入力装置6から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置4から処理結果を出力させる。実施例において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6はゲームコントローラなど、情報処理装置10に対してユーザAの操作情報を供給する機器であってよい。
補助記憶装置2はHDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置4は画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。出力装置4は、情報処理装置10に有線ケーブルで接続されてよく、無線接続されてもよい。
アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、外部ネットワークに接続する。カメラ7はステレオカメラであって、出力装置4周辺の空間を撮像する。
図2は、情報処理装置10の機能ブロック図を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUは補助記憶装置2またはROM媒体44に記録されたゲームプログラムを実行する機能をもつ。
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えず、ゲームプログラムを実行する機能をもたない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。サブCPUは、メインCPUがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。有線通信モジュール40は、外部機器と有線通信し、AP8を介して外部ネットワークに接続する。情報処理装置10を操作するユーザAは、別の情報処理装置を操作するユーザとオンラインゲームを楽しむことができる。
図3は、実施例の情報処理システムの一態様を示す。情報処理システム1において管理サーバ5は、ゲームのネットワークサービスをユーザに提供する。管理サーバ5はユーザを識別するネットワークアカウントを管理しており、ユーザは、ネットワークアカウントを用いて、管理サーバ5が提供するネットワークサービスにサインインする。
図3には、ユーザAが操作する情報処理装置10と、ユーザBが操作する情報処理装置10aとがネットワーク3経由で接続した様子を示している。情報処理装置10および情報処理装置10aは同じゲームを実行し、それぞれのユーザによる入力装置6の操作情報を相手に送信する。情報処理装置10および情報処理装置10aは、ユーザAおよびユーザBによる操作情報をそれぞれゲーム進行に反映させることで、両者のゲーム進行は同期し、ユーザA、ユーザBは、一緒にゲームを楽しむことができる。
このとき情報処理装置10、10aは、それぞれのマイク(図示せず)に入力されたユーザ音声を、ユーザの操作情報とともに相手に送信する。これによりユーザA、Bはゲームをプレイしながら会話でき、ゲーム攻略のための作戦を相談するなどして、連携したプレイを行えるようになる。
図4は、実施例の情報処理システムの別の態様を示す。図4には、ユーザAが操作する端末装置14が、ネットワーク3経由で情報処理装置10に接続して、ユーザAがゲームをプレイする様子を示している。ユーザAが遠隔地から情報処理装置10を操作してゲームプレイする態様を「リモートプレイ」と呼ぶ。リモートプレイにおいても、情報処理装置10と端末装置14とが通信するためには、ユーザAが管理サーバ5にサインインする必要がある。
リモートプレイを実施するために、ユーザAは端末装置14を操作して、情報処理装置10に接続要求を送信する。このとき情報処理装置10のメイン電源がオフ状態にあれば、接続要求に基づいてメインシステム60が起動される。メインシステム60は、ゲームアイコンを配列したメニュー画像データを生成して端末装置14に送信し、端末装置14はメニュー画面を表示装置に表示する。ユーザAがメニュー画面上で所望のゲームアイコンを選択すると、端末装置14が、その操作情報を情報処理装置10に送信する。情報処理装置10は、選択されたゲームを起動し、ゲーム画像データを生成して、端末装置14に送信し、端末装置14は、ゲームの起動画面を表示装置に表示する。
情報処理装置10は、リモートプレイにおいて、ユーザAにより端末装置14において入力された操作情報をゲームに対する入力として受け付け、また出力装置4に出力していた出力データを端末装置14に送信する。これにより端末装置14は、ユーザAの操作が反映されたゲーム画像を表示装置に表示できるようになる。端末装置14は情報処理装置であって、たとえば携帯型のゲーム装置であってよく、またスマートフォンやタブレットであってもよい。また端末装置14はパーソナルコンピュータであってもよい。情報処理装置10と端末装置14とはP2P通信で互いに接続される。
図5は、実施例の情報処理システムのさらに別の態様を示す。図5は、図3に示す態様と図4に示す態様との複合態様を示しており、ユーザAがリモートプレイにより、情報処理装置10から離れた位置にいながら、ユーザBと一緒にゲームをプレイする様子を示している。図5に示すプレイ態様では、ユーザAが端末装置14から情報処理装置10をリモート操作し、情報処理装置10と情報処理装置10aとがネットワーク3経由で接続することで、ユーザAとユーザBが一緒にゲームをプレイする。
図6は、情報処理装置10および端末装置14の構成を示す。情報処理装置10は、情報取得部100、メニュー画像生成部102、実行部112、マイクリソース割当部118、マイク音声取得部120および送信処理部122を備える。端末装置14は、受付部200、マイク音声制御部202、マイク204、送信処理部206、画像取得部208、音声取得部210、再生処理部212および表示処理部214を備える。
図6において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
ユーザAは端末装置14を操作して、情報処理装置10にリモートプレイのための接続要求を送信する。端末装置14と情報処理装置10との間でリモートプレイのための接続が確立すると、メニュー画像生成部102は、ゲームアイコンを配列したメニュー画像データを生成して、送信処理部122がメニュー画像データを端末装置14に送信する。
図7は、端末装置14の表示装置に表示されるメニュー画面の一例を示す。画像取得部208は、情報処理装置10から送信されるメニュー画像データを取得し、再生処理部212は、メニュー画面を表示装置に表示する。端末装置14の表示装置はタッチスクリーンとして構成されており、ユーザAがメニュー画面上で所望のゲームアイコンを選択すると、受付部200が選択情報を受け付け、送信処理部206が、選択情報を情報処理装置10に送信する。情報処理装置10において情報取得部100が、送信された選択情報を受け付けると、実行部112が、選択されたゲームを実行する。このときゲーム画像生成部114がゲーム画像データを生成し、ゲーム音声生成部116がゲーム音声データを生成して、送信処理部122が、ゲーム画像データおよびゲーム音声データを端末装置14に送信する。
端末装置14において、受付部200は、ユーザAによるゲームの操作情報を受け付ける。たとえばユーザAは、端末装置14に入力装置6を接続して、操作情報を入力してもよいが、端末装置14のタッチスクリーンに入力装置6を模したGUIが表示されて、GUIを操作することで操作情報を入力してもよい。送信処理部206は、ユーザAによる操作情報を、情報処理装置10に送信する。情報処理装置10において、実行部112は、操作情報をゲーム進行に反映し、ゲーム画像生成部114およびゲーム音声生成部116は、操作情報を反映したゲーム画像データおよびゲーム音声データをそれぞれ生成して、送信処理部122が、端末装置14に送信する。
端末装置14において、画像取得部208は、操作情報を反映したゲーム画像データを取得し、音声取得部210は、操作情報を反映したゲーム音声データを取得する。再生処理部212は、ゲーム画像データを表示装置から再生し、ゲーム音声データをスピーカから再生する。このようにリモートプレイによると、ユーザAは、情報処理装置10から離れた場所で、端末装置14を用いて情報処理装置10を操作できる。
実施例では、特に図5に示す態様において、リモートプレイ中のユーザAが、端末装置14から自分の声を、ユーザBに伝えたいことがある。そこで端末装置14は、マイク204から出力される音声信号を、情報処理装置10に送信する機能を搭載している。具体的には端末装置14において、マイク音声制御部202が、ユーザAの操作にしたがって、マイク204の音声信号を情報処理装置10に送信するか否かを制御する。なおマイク204は、内蔵型のマイクであってよく、また端末装置14に外付けされるマイクであってもよい。
表示処理部214は、マイク204の状態を示すマイクアイコンを表示する。たとえば図7に示すメニュー画面において、ユーザAが画面上のアイコン以外のスペースをタップすると、表示処理部214が、画面下方にツールバーを表示する。表示処理部214はツールバーに、マイク204の状態を示すマイクアイコンを表示する。マイクアイコンはユーザによりタップ操作可能に表示される。
図8は、メニュー画面に重畳表示されるツールバーを示す。ツールバー300には、マイクアイコン302を含む様々なアイコンが表示され、いずれのアイコンもタップ操作可能とされる。
図9は、マイクアイコンの表示例を示す。
図9(a)は、マイク204の消音解除状態を示すマイクアイコンを示す。マイク204の消音解除状態は、マイク204で変換された音声信号を利用可能な状態である。
図9(b)は、マイク204の消音状態を示すマイクアイコンを示す。マイク204の消音状態は、マイク204の音声変換機能を停止した状態、またはマイク204で変換された音声信号を利用不能な状態である。
図9(c)は、マイク204に一定音量以上の入力があることを示すマイクアイコンおよびアニメーションを示す。図9(c)では、消音解除状態を示すマイクアイコンに、音量に応じてアニメーションを付加された演出表示が示されている。
ユーザは、ツールバー300のマイクアイコン302を見ることで、マイクアイコン302の状態を確認できる。
図8に示すように、リモートプレイ開始直後、マイク204は消音状態にある。マイク音声制御部202は、消音状態を示すマイクアイコンがタップ操作されたときに、マイク204の音声信号を情報処理装置10に送信することを示す通知情報を、送信処理部206から情報処理装置10に送信させる。情報処理装置10において情報取得部100が通知情報を取得すると、マイクリソース割当部118に通知情報を提供する。マイクリソース割当部118は、情報処理装置10が有するマイクリソースに、端末装置14のマイク204を仮想的に割り当てる処理を実施する。
情報処理装置10は、複数のマイク音声取得部120をマイクリソースとして有しており、有線または無線経由で、マイクからの音声信号を受信する機能を有している。マイクリソース割当部118は通知情報を受け取ると、マイク204に対して、1つのマイクリソース(マイク音声取得部120)を割り当てる。マイク音声取得部120は、マイク204に割り当てられることで、端末装置14から送信されるマイク204の音声信号を取得するようになる。なおマイクリソース割当部118がマイク204に対してマイク音声取得部120を割り当てると、この割当はリモートプレイが終了するまで解除されない。そのためマイク音声制御部202は、通知情報を一回、送信処理部206から情報処理装置10に送信させると、その時点以降に、マイク204の消音状態を示すマイクアイコンが再度操作されても、通知情報を情報処理装置10に送信させない。つまりリモートプレイ中、マイク音声制御部202は、通知情報を一回のみ情報処理装置10に送信させる。
表示処理部214は、マイク204の消音状態を示すマイクアイコン(図9(b)参照)がタップ操作されると、マイク204の消音解除状態を示すマイクアイコン(図9(a)参照)を表示する。また表示処理部214は、マイク204の消音解除状態を示すマイクアイコン(図9(a)参照)がタップ操作されると、マイクの消音状態を示すマイクアイコン(図9(b)参照)を表示する。このように表示処理部214は、ユーザのマイクアイコン302の操作に応じて、マイクアイコン302の表示態様を切り替える。
なお表示処理部214によるマイクアイコン302の表示態様の切替は、マイク音声制御部202による音声信号の送信制御に応じて実施される。すなわちマイク音声制御部202は、マイク204の消音状態を示すマイクアイコン(図9(b)参照)がタップ操作されると、マイク204の音声信号を送信処理部206から情報処理装置10に送信させる。またマイク音声制御部202は、マイク204の消音解除状態を示すマイクアイコン(図9(a)参照)がタップ操作されると、マイク204の音声信号の送信を停止させる。このようにマイク音声制御部202は、ユーザのマイクアイコン302の操作に応じて、マイク音声信号の送信可否を制御する。
たとえばユーザAが、図4に示す態様で一人でゲームをプレイするときには、マイク204の音声信号を情報処理装置10に送信する必要性に乏しい。しかしながらユーザAがユーザBと一緒にゲームをプレイするときには、マイク204の音声信号を情報処理装置10に送信して、情報処理装置10から情報処理装置10aに転送させることが好ましい。そこでユーザAは、マイクアイコン302の表示態様によりマイク204の状態を確認し、必要に応じてマイクアイコン302をタップすることで、マイク音声信号の送信有無を決定する。
情報処理装置10において、マイク音声取得部120が、マイク204の音声信号を取得する。ユーザAが、ユーザBとボイスチャットを行っている場合、送信処理部122が、マイク204の音声信号を、ユーザBの情報処理装置10aに送信する。また情報取得部100が、情報処理装置10aからマイク音声信号を取得すると、送信処理部122が、端末装置14にユーザBのマイク音声信号を送信する。これによりユーザAとユーザBは会話しながら一緒にゲームをプレイすることが可能となる。
音声品質管理部124は、情報処理装置10と端末装置14の間で送信される音声データの音声品質を管理する。情報処理システム1において、情報処理装置10と端末装置14の間では、複数種類の音声データが同時に送信されることが可能である。音声品質管理部124は、音声エンコードの形式や、ビットレートなどを設定することで、各音声データの音声品質を管理する。
情報処理装置10と端末装置14の間で送信される音声データの例をあげると、1つはリモートプレイでゲーム音声生成部116により生成され、送信処理部122により端末装置14に送信されるゲーム音声データである。2つめは、情報処理装置10と端末装置14との間でボイスチャットを行う場合に、情報処理装置10と端末装置14との間で送信されるチャット音声データである。3つめは、実施例で説明したように、端末装置14のマイク204に入力されて、送信処理部206により情報処理装置10に送信されるマイク音声データである。
音声品質管理部124は、情報処理装置10と端末装置14との間で同時に複数種類の音声データが送信される場合に、各音声データの音声品質を設定する。音声エンコードの形式や、ビットレートなどの組合せにより音声品質は定められるが、音声品質管理部124は、複数種類の音声データのうち、ゲーム音声データの音声品質を最も高く設定してよい。音声品質管理部124は、ゲーム音声データの音声品質を最も高く設定し、他の音声データ、たとえばチャット音声データやマイク音声データの音声品質を、ゲーム音声データの音声品質よりも低く設定する。音声品質管理部124は、チャット音声データやマイク音声データの音声品質を、通信環境に応じてアダプティブに設定してもよい。
音声品質管理部124は、情報処理装置10と端末装置14との間で送信可能な複数種類の音声データについて、より高い音声品質を設定するための順位を保持していてもよい。たとえばゲーム音声データ、チャット音声データ、マイク音声データの順番で順位が設定されている場合、音声品質管理部124は、ゲーム音声データの音声品質を最も高く、チャット音声データの音声品質を次に高く、マイク音声データの音声品質を一番低く設定してよい。たとえば情報処理装置10と端末装置14との間で、ゲーム音声データとマイク音声データとが送信されているなかで、新たにボイスチャットアプリケーションが実行され、チャット音声データも送信されるようになった場合、音声品質管理部124は、マイク音声データの音声品質を低い音声品質に変更して、マイク音声データの音声品質を所望の音声パラメータで設定できるようにしてもよい。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。図5では、ユーザAがリモートプレイをすることを説明したが、ユーザBがリモートプレイをしてもよい。
たとえばリモートプレイ中に、端末装置14のマイク204が利用できなくなったような場合、ツールバー300には、マイク204が利用できないことを示すマイクアイコン302が表示されてよい。
1・・・情報処理システム、10,10a・・・情報処理装置、14・・・端末装置、100・・・情報取得部、102・・・メニュー画像生成部、112・・・実行部、114・・・ゲーム画像生成部、116・・・ゲーム音声生成部、118・・・マイクリソース割当部、120・・・マイク音声取得部、122・・・送信処理部、200・・・受付部、202・・・マイク音声制御部、204・・・マイク、206・・・送信処理部、208・・・画像取得部、210・・・音声取得部、212・・・再生処理部、214・・・表示処理部、216・・・音声品質管理部。

Claims (3)

  1. ユーザが操作する端末装置と接続する情報処理装置であって、
    前記端末装置から送信されるユーザによる操作情報を反映したゲームの画像データおよび音声データを生成する実行部と、
    ゲーム画像データおよびゲーム音声データを前記端末装置に送信する送信処理部と、
    前記端末装置のマイクから出力されたマイク音声データを取得するマイク音声取得部と、
    前記端末装置のマイクに対して、前記マイク音声取得部を割り当てるマイクリソース割当部と、
    当該情報処理装置と前記端末装置の間で送信される音声データの音声品質を管理する音声品質管理部と、を備え、
    前記マイクリソース割当部は、ユーザのゲームプレイが終了するまで、前記マイク音声取得部の割当を解除せず
    前記音声品質管理部は、ゲーム音声データの音声品質を、マイク音声データの音声品質よりも高く設定する、
    ことを特徴とする情報処理装置。
  2. ユーザが操作する端末装置と、情報処理装置の間の音声データの通信を管理する方法であって、
    前記端末装置から送信されるユーザによる操作情報を反映したゲームの画像データおよび音声データを生成するステップと、
    ゲーム画像データおよびゲーム音声データを前記端末装置に送信するステップと、
    前記端末装置のマイクから出力されたマイク音声データを取得するステップと、
    前記端末装置のマイクに対して、マイクリソースを割り当てるステップと、
    当該情報処理装置と前記端末装置の間で送信される音声データの音声品質を管理するステップと、を備え、
    前記マイクリソースを割り当てるステップは、ユーザのゲームプレイが終了するまで、前記マイクリソースの割当を解除せず、
    前記音声品質を管理するステップは、ゲーム音声データの音声品質を、マイク音声データの音声品質よりも高く設定する、
    ことを特徴とする音声データ通信管理方法。
  3. ユーザが操作する端末装置と接続するコンピュータに、
    前記端末装置から送信されるユーザによる操作情報を反映したゲームの画像データおよび音声データを生成する機能と、
    ゲーム画像データおよびゲーム音声データを前記端末装置に送信する機能と、
    前記端末装置のマイクから出力されたマイク音声データを取得する機能と、
    前記端末装置のマイクに対して、マイクリソースを割り当てる機能と、
    当該コンピュータと前記端末装置の間で送信される音声データの音声品質を管理する機能と、を実現させるためのプログラムであって、
    前記マイクリソースを割り当てる機能は、ユーザのゲームプレイが終了するまで、前記マイクリソースの割当を解除しない機能を含み、
    前記音声品質を管理する機能は、ゲーム音声データの音声品質を、マイク音声データの音声品質よりも高く設定する機能を含む、
    プログラム。
JP2017002912A 2017-01-11 2017-01-11 情報処理装置および音声データ通信管理方法 Active JP6782173B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017002912A JP6782173B2 (ja) 2017-01-11 2017-01-11 情報処理装置および音声データ通信管理方法
PCT/JP2018/000032 WO2018131528A1 (ja) 2017-01-11 2018-01-04 端末装置、情報処理装置およびマイク音声送信方法
US16/473,857 US10918936B2 (en) 2017-01-11 2018-01-04 Terminal apparatus, information processing apparatus, and microphone voice transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017002912A JP6782173B2 (ja) 2017-01-11 2017-01-11 情報処理装置および音声データ通信管理方法

Publications (3)

Publication Number Publication Date
JP2018110699A JP2018110699A (ja) 2018-07-19
JP2018110699A5 JP2018110699A5 (ja) 2019-03-28
JP6782173B2 true JP6782173B2 (ja) 2020-11-11

Family

ID=62840280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017002912A Active JP6782173B2 (ja) 2017-01-11 2017-01-11 情報処理装置および音声データ通信管理方法

Country Status (3)

Country Link
US (1) US10918936B2 (ja)
JP (1) JP6782173B2 (ja)
WO (1) WO2018131528A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611547B2 (en) 2016-11-08 2023-03-21 Dish Network L.L.C. User to user content authentication
US11695722B2 (en) 2019-07-30 2023-07-04 Sling Media L.L.C. Devices, systems and processes for providing geo-located and content-to-comment synchronized user circles
US11838450B2 (en) 2020-02-26 2023-12-05 Dish Network L.L.C. Devices, systems and processes for facilitating watch parties
US11606597B2 (en) 2020-09-03 2023-03-14 Dish Network Technologies India Private Limited Devices, systems, and processes for facilitating live and recorded content watch parties
US20220394328A1 (en) * 2021-06-02 2022-12-08 Dish Network L.L.C. Consolidated Watch Parties
CN113350802B (zh) * 2021-06-16 2024-07-02 网易(杭州)网络有限公司 游戏中的语音交流方法、装置、终端及存储介质
US11758245B2 (en) 2021-07-15 2023-09-12 Dish Network L.L.C. Interactive media events
US11849171B2 (en) 2021-12-07 2023-12-19 Dish Network L.L.C. Deepfake content watch parties
US11974005B2 (en) 2021-12-07 2024-04-30 Dish Network L.L.C. Cell phone content watch parties
US11973999B2 (en) 2022-08-19 2024-04-30 Dish Network L.L.C. User chosen watch parties

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7503006B2 (en) * 2003-09-25 2009-03-10 Microsoft Corporation Visual indication of current voice speaker
JP2005284345A (ja) * 2004-03-26 2005-10-13 Sony Corp 情報処理システム、情報処理装置および情報処理方法、並びにプログラム
KR100695367B1 (ko) * 2005-01-04 2007-03-15 에스케이 텔레콤주식회사 이동통신 단말기용 게임 조작을 위한 지원 장치
US20060205517A1 (en) * 2005-03-08 2006-09-14 Malabuyo Paolo V Systems and methods for providing a system level user interface in a multimedia console
JP4919395B2 (ja) * 2006-06-15 2012-04-18 任天堂株式会社 ゲームプログラムおよびゲーム装置
US20090203439A1 (en) * 2008-02-08 2009-08-13 Aruze Gaming America, Inc. Gaming Device Giving Player Choice Of Character And Playing Method Thereof
US20090209326A1 (en) * 2008-02-14 2009-08-20 Aruze Gaming America, Inc. Multi-Player Gaming System Which Enhances Security When Player Leaves Seat
US8435109B2 (en) * 2008-03-10 2013-05-07 Universal Entertainment Corporation Gaming machine with mechanical reel rotatable through player's operation and confirmation method of symbol
JP4725936B1 (ja) * 2011-02-01 2011-07-13 有限会社Bond 入力支援装置、入力支援方法及びプログラム
CN104066485B (zh) 2012-01-24 2017-03-08 索尼电脑娱乐公司 信息处理设备和信息处理系统
JP6012388B2 (ja) * 2012-10-15 2016-10-25 任天堂株式会社 音声出力システム、音声出力プログラム、音声出力制御方法、および情報処理装置
WO2015057160A1 (en) * 2013-10-17 2015-04-23 Mozat Pte Ltd A novel method of in-game voice chat communication system
JP6612019B2 (ja) * 2014-08-19 2019-11-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御データ送信方法および情報処理システム
JP6534897B2 (ja) * 2015-09-07 2019-06-26 株式会社 ディー・エヌ・エー 音声チャット管理装置及び方法
US10425445B2 (en) * 2016-12-15 2019-09-24 Interwise Ltd Deception using screen capture

Also Published As

Publication number Publication date
US20190321720A1 (en) 2019-10-24
US10918936B2 (en) 2021-02-16
JP2018110699A (ja) 2018-07-19
WO2018131528A1 (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6782173B2 (ja) 情報処理装置および音声データ通信管理方法
US9908044B2 (en) Information processing system and information processing apparatus
JP6612086B2 (ja) 情報処理装置および視聴リクエスト送信方法
WO2018128166A1 (ja) 情報処理装置およびアプリケーション画像配信方法
JP2012142915A (ja) 通信装置およびその動作方法
JP2016163131A (ja) 情報処理装置および画像データ配信方法
JP7500574B2 (ja) スタンドアロンプログラムの実行方法、装置、デバイス及びコンピュータプログラム
JP6240627B2 (ja) 情報処理装置および画面生成方法
WO2021251257A1 (ja) 配信サーバおよび画像配信方法
WO2022030383A1 (ja) 情報処理装置および画像表示方法
WO2021251258A1 (ja) 情報処理装置および画像共有方法
WO2020246377A1 (ja) 情報処理装置および画像表示方法
JP2014167520A (ja) 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム
JP2019097889A (ja) 情報処理装置およびゲーム画像配信方法
WO2020203668A1 (ja) 情報処理装置、情報処理システムおよびアプリケーション画面表示方法
JP7018484B2 (ja) 情報処理装置およびゲーム画像表示方法
WO2021251256A1 (ja) 情報処理装置および画像共有方法
WO2020246379A1 (ja) 情報処理装置および画像表示方法
WO2017104578A1 (ja) 情報処理装置およびコンテンツ画像提供方法
JP2021013689A (ja) 情報処理装置およびログイン許可方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R150 Certificate of patent or registration of utility model

Ref document number: 6782173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150