JP7181173B2 - プログラム、情報処理装置、情報処理システム及び方法 - Google Patents

プログラム、情報処理装置、情報処理システム及び方法 Download PDF

Info

Publication number
JP7181173B2
JP7181173B2 JP2019167497A JP2019167497A JP7181173B2 JP 7181173 B2 JP7181173 B2 JP 7181173B2 JP 2019167497 A JP2019167497 A JP 2019167497A JP 2019167497 A JP2019167497 A JP 2019167497A JP 7181173 B2 JP7181173 B2 JP 7181173B2
Authority
JP
Japan
Prior art keywords
performance
performance data
individual
user terminals
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019167497A
Other languages
English (en)
Other versions
JP2021041081A (ja
Inventor
清敬 赤座
洋介 林
慧 小田切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Priority to JP2019167497A priority Critical patent/JP7181173B2/ja
Priority to CN202010933859.3A priority patent/CN112494930B/zh
Priority to US17/016,215 priority patent/US11478710B2/en
Publication of JP2021041081A publication Critical patent/JP2021041081A/ja
Application granted granted Critical
Publication of JP7181173B2 publication Critical patent/JP7181173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5593—Details of game data or player data management involving scheduling aspects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/638—Methods for processing data by generating or executing the game program for controlling the execution of the game in time according to the timing of operation or a time limit
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本開示は、ネットワークを介して演奏データを送受信するための技術に関する。
従来、複数のユーザが参加するコンピュータゲームにおいて、複数のユーザによる演奏結果を合わせて再生するための技術が種々提案されている（特許文献１から３を参照）。
また、参加者のアクションを双方向に制御するマルチユーザシステムであって、環境内における参加者のアクションを動的に制御するよう第１のユーザが操作可能な第１の装置と、環境を動的に変えるよう第２のユーザが同時に操作可能な第２の装置とを具備するマルチユーザシステムが提案されている（特許文献４を参照）。
特許第６１３００４１号 特許第５４２０８３３号 特許第５０９４０９１号 特許第４７００３５１号
従来、プレイヤがキャラクタを操作して音楽を演奏する機能が提供されているコンピュータゲーム等、ユーザによる演奏のデータがネットワークを介して伝送されるシステムが存在する。しかし、同時に複数のユーザが参加するシステムにおいて、演奏データの送受信が、合奏に支障が生じる程度の遅延が生じるネットワークを介して行われる場合、複数のユーザがタイミングの合った合奏をリアルタイムで行うことは困難であった。
本発明の少なくとも１つの実施形態の目的は、上記課題を解決し、ネットワーク上のデータ伝送を要因とする合奏のズレを低減させることである。
本開示の一側面は、コンピュータを、ネットワークを介して接続された２以上の演奏ユーザ端末から、該演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する個別演奏データ受信手段と、前記演奏ユーザ端末から受信された前記複数の個別演奏データのうち、同一のタイムスロットに係る前記個別演奏データを前記演奏中に合成することで、前記２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する合成演奏データ生成手段と、前記合成演奏データを、前記ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末に対して前記演奏中に送信する合成演奏データ送信手段と、として機能させるプログラムである。
なお、本開示は、情報処理装置、情報処理システム、コンピュータによって実行される方法、又はコンピュータに実行させるプログラムとしても把握することが可能である。また、本開示は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
本願の各実施形態により１または２以上の不足が解決される。
本発明の実施形態の少なくとも１つに対応する情報処理装置の機能構成の概略を示す図である。 本発明の実施形態の少なくとも１つに対応する合奏管理処理の流れを示すフローチャートである。 本発明の実施形態の少なくとも１つに対応する合奏管理処理の流れを示すフローチャートである。 本発明の実施形態の少なくとも１つに対応する情報処理システムの構成の概略を示す図である。 本発明の実施形態の少なくとも１つに対応する情報処理システムの機能構成の概略を示す図である。 本発明の実施形態の少なくとも１つに対応する個別演奏処理の流れを示すフローチャートである。 本発明の実施形態の少なくとも１つに対応する合奏管理処理の流れを示すフローチャートである。 本発明の実施形態の少なくとも１つに対応する演奏データの流れを示す図である。
以下、本開示の実施の形態を、図面に基づいて説明する。なお、以下に説明する実施の形態は、本開示を実施する場合の一例を示すものであって、本開示を以下に説明する具体的構成に限定するものではない。本開示の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
［第一の実施形態］
＜装置の構成＞
図１は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。本実施形態に係る情報処理装置１は、プロセッサが、各種メモリに展開された各種プログラムを解釈及び実行することで、個別演奏データ受信部２１、合成演奏データ生成部２２及び合成演奏データ送信部２３を備える情報処理装置として機能する。本実施形態では、これらの機能がいずれも汎用のプロセッサによって実行される例について説明するが、これらの機能は、その一部又は全部が、１又は複数の専用のプロセッサによって実現されてもよい。また、情報処理装置１が備える各機能部は、例えば、クラウド上に実装されてよい。また、これらの機能部は、単一のソフトウェアモジュールではなく、複数のソフトウェアモジュールによって実現されていてもよい。
個別演奏データ受信部２１は、ネットワークを介して接続された２以上の演奏ユーザ端末３から、演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する。
合成演奏データ生成部２２は、演奏ユーザ端末から受信された複数の個別演奏データのうち、同一のタイムスロットに係る個別演奏データを演奏中に合成することで、２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する。
合成演奏データ送信部２３は、合成演奏データを、ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末に対して演奏中に送信する。
＜処理の流れ＞
次に、本実施形態において実行される処理の流れを説明する。なお、実施形態に係るフローチャートに示された処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。
図２は、第一の実施形態に係る合奏管理処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置１において、複数のユーザ端末による合奏が開始されたことを契機として、複数のユーザ端末が参加するゲームを管理する処理と並行して、繰り返し実行される。
個別演奏データ受信部２１は、ネットワークを介して接続された２以上の演奏ユーザ端末から、演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する（ステップＳ１０１）。この際、合成演奏データ生成部２２は、少なくとも所定のタイムスロットぶん、演奏ユーザ端末からの個別演奏データの受信を待ち受けるためのバッファを有しており、所定タイムスロット分の個別演奏データを蓄積する（ステップＳ１０２）。なお、タイムスロットには、実施の形態に応じて適切な単位が適宜採用されてよい。例えば、タイムスロットの長さを１小節に相当する時間（即ち、設定されたＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ。所謂テンポ）に応じて異なる長さ）としてもよいし、固定された所定時間（例えば、０．１秒）としてもよいし、サーバの負荷やネットワークの状況に応じて動的に変更される時間としてもよい。
合成演奏データ生成部２２は、演奏ユーザ端末から受信された複数の個別演奏データのうち、同一のタイムスロットに係る個別演奏データを演奏中に合成することで、２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する（ステップＳ１０３）。そして、合成演奏データ送信部２３は、合成演奏データを、ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末に対して演奏中に送信する（ステップＳ１０４）。本実施形態に係る合奏管理処理では、上記ステップＳ１０１からステップＳ１０４までの処理が繰り返し実行される。
本実施形態に係る情報処理装置１によれば、複数の演奏ユーザ端末によって生成された個別演奏データが合成されることで生成された合成演奏データが、鑑賞ユーザ端末に送信されることで、演奏データが鑑賞ユーザ端末に到着するタイミングのズレを抑制し、ネットワーク上のデータ伝送を要因とする合奏のズレを低減させることが可能となる。
［第二の実施形態］
次に、第二の実施形態を説明する。第一の実施形態と共通する構成及び処理内容については、第一の実施形態を参照するものとし、説明を省略する。
＜装置の構成＞
本実施形態に係る情報処理装置１が、個別演奏データ受信部２１、合成演奏データ生成部２２及び合成演奏データ送信部２３を備える点については、図１を参照して第一の実施形態で説明した情報処理装置１と同様である。但し、本実施形態では、個別演奏データ受信部２１及び合成演奏データ生成部２２による処理の内容が、第一の実施形態において説明した処理の内容と異なる。
第二の実施形態において、個別演奏データ受信部２１は、演奏ユーザ端末の夫々において動作するメトロノームによってカウントされたタイミングを識別可能なタイミング情報を含む、個別演奏データを受信する。
また、第二の実施形態において、合成演奏データ生成部２２は、タイミング情報に基づいて、同一のタイムスロットに係る個別演奏データを合成し、合成演奏データを生成する。
＜処理の流れ＞
次に、本実施形態において実行される処理の流れを説明する。なお、実施形態に係るフローチャートに示された処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。
図３は、第二の実施形態に係る合奏管理処理の流れを示すフローチャートである。本フローチャートに示された処理は、情報処理装置１において、複数のユーザ端末による合奏が開始されたことを契機として、複数のユーザ端末が参加するゲームを管理する処理と並行して、繰り返し実行される。
個別演奏データ受信部２１は、ネットワークを介して接続された２以上の演奏ユーザ端末から、演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する（ステップＳ２０１）。ここで受信される個別演奏データは、演奏ユーザ端末の夫々において動作するメトロノームによってカウントされたタイミングを識別可能なタイミング情報を含む。また、合成演奏データ生成部２２は、少なくとも所定のタイムスロット（第一の実施形態を参照）ぶん、演奏ユーザ端末からの個別演奏データの受信を待ち受けるためのバッファを有しており、所定タイムスロット分の個別演奏データを蓄積する（ステップＳ２０２）。
合成演奏データ生成部２２は、演奏ユーザ端末から受信された複数の個別演奏データのうち、同一のタイムスロットに係る個別演奏データを、タイミング情報に基づいて演奏中に合成することで、２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する（ステップＳ２０３）。そして、合成演奏データ送信部２３は、合成演奏データを、ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末に対して演奏中に送信する（ステップＳ２０４）。本実施形態に係る合奏管理処理では、上記ステップＳ２０１からステップＳ２０４までの処理が繰り返し実行される。
本実施形態に係る情報処理装置１によれば、演奏ユーザ端末の夫々において動作するメトロノームによってカウントされたタイミング情報に基づいて、合成演奏データが生成される。このため、第一の実施形態によって得られる効果に加えて、個別演奏データが情報処理装置１に到着するタイミングのズレも抑制し、ネットワーク上のデータ伝送を要因とする合奏のズレを更に低減させることが可能となる。
［第三の実施形態］
＜装置の構成＞
図４は、本実施形態に係る情報処理システム９の構成の概略を示す図である。本実施形態における情報処理システム９は、インターネット等のネットワークに接続された情報処理装置１及び複数のユーザ端末３を有している。情報処理装置１は、複数のユーザ端末３が参加するゲームのためのサーバ１である。複数のユーザ端末３がサーバ１に接続して行われるゲームとしては、例えばＭＭＯＲＰＧ（Ｍａｓｓｉｖｅｌｙ Ｍｕｌｔｉｐｌａｙｅｒ Ｏｎｌｉｎｅ Ｒｏｌｅ－Ｐｌａｙｉｎｇ Ｇａｍｅ）等があるが、本開示に係る技術を適用可能なゲームは、ネットワークを介して２以上のユーザ端末３が接続されるゲームであればよく、本実施形態における例示に限定されない。また、ユーザ端末３は、ユーザによって使用されるゲーム装置等である。ゲーム装置としては、様々な種類の装置を用いることが可能であり、例えば、パーソナルコンピュータ、スマートフォン、携帯ゲーム装置、据え置きゲーム装置、ウェアラブルな電子機器（例えば、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ヘッドセットやスマートウォッチ等）等が挙げられるが、その種類は限定されない。ユーザは、ユーザ端末３及び情報処理装置１に、ゲーム処理プログラムに基づくゲーム処理を実行させることでゲームをプレイすることが出来る。
情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、補助記憶装置１４と、ネットワークを介した外部との通信を行うためのネットワークインターフェイス１５と、が有線又は無線接続された情報処理装置である。なお、情報処理装置１の具体的なハードウェア構成に関しては、実施の形態に応じて適宜構成要素の省略や置換、追加が行われてよい。
ＣＰＵ１１は、ＲＯＭ１２及びＲＡＭ１３等に展開された命令及びデータを処理することで、ＲＡＭ１３、補助記憶装置１４等の、情報処理装置１に備えられた各構成を制御する。また、ＲＡＭ１３は、主記憶装置であり、ＣＰＵ１１によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、情報処理装置１の制御部を構成する。
補助記憶装置１４は、不揮発性の記憶装置であり、主に情報処理装置１の電源を落としても保持したい情報、例えば、ＲＡＭ１３にロードされる情報処理装置１のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、後述する処理を実行するための各種プログラムの他、情報処理装置１によって使用される各種データが書き込まれ、読み出される。補助記憶装置１４としては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等を用いることが出来る。
ユーザ端末３は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、補助記憶装置３４と、ネットワークインターフェイス３５と、入力装置３６と、出力装置３７と、が有線又は無線接続された情報処理装置である。なお、ユーザ端末３の具体的なハードウェア構成に関しては、実施の形態に応じて適宜構成要素の省略や置換、追加が行われてよい。
入力装置３６には、ボタン、スティック、キーボード、マウス、トラックボール、タッチセンサ、加速度センサ、角速度センサ、カメラ、深度センサ、マイクロフォン等の様々な装置を採用することが出来る。出力装置３７には、ディスプレイ、スピーカ、振動子、又はＬＥＤ等の様々な装置を採用することが出来る。また、タッチパネル付ディスプレイを採用することで、入力装置３６と画像を表示する出力装置３７とが併せて提供されてもよい。
また、ユーザ端末３の補助記憶装置３４には、情報処理装置１の補助記憶装置１４として例示されたものの他、着脱可能に装着される可搬媒体が用いられてもよい。可搬媒体の例としては、ＲＯＭ等を含むカード／カートリッジ型媒体、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）及びＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）等が挙げられる。可搬媒体による補助記憶装置と、可搬型ではない補助記憶装置とは、組み合わせて用いることも可能である。
図５は、本実施形態に係る情報処理システム９の機能構成の概略を示す図である。本実施形態に係る情報処理装置１は、ＣＰＵ１１が、ＲＯＭ１２及びＲＡＭ１３等に展開された各種プログラムを解釈及び実行することで、個別演奏データ受信部２１、合成演奏データ生成部２２、合成演奏データ送信部２３及び通知部２４を備えるサーバ１として機能する。本実施形態では、これらの機能がいずれも汎用のＣＰＵ１１によって実行される例について説明するが、これらの機能は、その一部又は全部が、１又は複数の専用のプロセッサによって実現されてもよい。また、情報処理装置１が備える各機能部は、例えば、クラウド上に実装されてよい。また、これらの機能部は、単一のソフトウェアモジュールではなく、複数のソフトウェアモジュールによって実現されていてもよい。
また、本実施形態に係るユーザ端末３は、ＣＰＵ３１が、ＲＯＭ３２及びＲＡＭ３３等に展開された各種プログラムを解釈及び実行することで、個別演奏データ生成部４１及び個別演奏データ送信部４２を備えるユーザ端末３として機能する。本実施形態では、これらの機能がいずれも汎用のＣＰＵ３１によって実行される例について説明するが、これらの機能は、その一部又は全部が、１又は複数の専用のプロセッサによって実現されてもよい。また、ユーザ端末３が備える各機能部は、例えば、クラウド上に実装されてよい。また、これらの機能部は、単一のソフトウェアモジュールではなく、複数のソフトウェアモジュールによって実現されていてもよい。
ユーザ端末３の個別演奏データ生成部４１は、ユーザによる演奏操作に従って複数の個別演奏データを生成する。
ユーザ端末３の個別演奏データ送信部４２は、個別演奏データを、サーバ１に対して演奏中に送信する。
サーバ１の通知部２４は、演奏ユーザ端末３の夫々において動作するメトロノームを設定するための合奏環境情報を演奏ユーザ端末３の夫々に通知する。
サーバ１の個別演奏データ受信部２１は、ネットワークを介して接続された２以上の演奏ユーザ端末３から、演奏ユーザ端末３の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する。この際、個別演奏データ受信部２１は、演奏ユーザ端末３の夫々において動作するメトロノームによってカウントされたタイミングを識別可能なタイミング情報と併せて、個別演奏データを受信する。
サーバ１の合成演奏データ生成部２２は、予め作成されたパーティに含まれる２以上の演奏ユーザ端末３から受信された複数の個別演奏データのうち、同一のタイムスロットに係る個別演奏データを演奏中に合成することで、２以上の演奏ユーザ端末３における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する。
サーバ１の合成演奏データ送信部２３は、合成演奏データを、ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末３に対して演奏中に送信する。
＜処理の流れ＞
次に、本実施形態において実行される処理の流れを説明する。なお、実施形態に係るフローチャートに示された処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。
図６は、第三の実施形態に係る個別演奏処理の流れを示すフローチャートである。本フローチャートに示された処理は、ユーザ端末３において、ゲーム内で合奏設定が開始されたことを契機として、ゲーム処理と並行して、繰り返し実行される。
予め作成されたゲーム内パーティに所属する何れかのユーザ端末３において、ゲーム内で楽器の演奏準備がされているプレイヤキャラクタを操作するユーザが、ゲーム画面に表示されている合奏設定用ボタンを操作（クリックやタップ等）したことを契機として、ユーザ端末３は、ゲーム画面に合奏設定用パネルを表示させる。
ここで、ゲーム内パーティとは、ゲーム内で戦闘等を行うために組まれる、プレイヤキャラクタのグループである。パーティの編成方法については、従来と同様の方法が採用されてよいため、説明を省略する。また、ゲーム内で楽器の演奏準備がされているプレイヤキャラクタは、ゲームの仕様によって異なるが、例えば、楽器を演奏可能なスキルを有し、且つ楽器を現在構えているプレイヤキャラクタ等である。本実施形態に係るゲームでは、プレイヤが楽器を演奏可能なスキルを有するキャラクタを操作中に、楽器を構える操作を行うと、プレイヤキャラクタが所定の楽器（楽器の種類は選択可能）を構え、ゲーム画面に演奏用のインターフェイス（鍵盤等の、音程を指定可能なインターフェイス。以下、「演奏パネル」と称する）、及び合奏設定用ボタン（例えば、メトロノームを模したアイコン）が表示される。
ステップＳ３０１及びステップＳ３０２では、合奏を行うための設定が行われる。合奏設定用パネルには、ＢＰＭ及びＢＥＡＴ（１小節あたりの拍数。所謂拍子）を設定可能なインターフェイスと、合成モードの有効／無効を設定可能なインターフェイスとが表示される。ユーザは、当該パネルにおいてＢＰＭ及びＢＥＡＴを数値で入力し、合成モードの有効／無効を指定することが出来る（ステップＳ３０１）。
ここで、合成モードとは、複数のプレイヤキャラクタが同時に演奏を行うにあたって、サーバ１において個別演奏データの合成処理（合成演奏データの生成処理）を行うためのモードである。合成モードを有効化しなくても、複数のプレイヤキャラクタは同時に演奏を行うことが出来るが、合成モードを有効化していない場合、鑑賞ユーザ端末３には、複数の演奏ユーザ端末３においてリアルタイムで生成された個別演奏パケットが個別に到着することとなり、パケット毎に伝送時間は一定でないため、鑑賞ユーザ端末３において再生される合奏のタイミングが合わない可能性がある。合成モードを有効化することで、サーバ１における個別演奏データの合成処理（合成演奏データの生成処理）が行われ、鑑賞ユーザ端末３において、複数のプレイヤキャラクタによる、よりタイミングの合った演奏を鑑賞することが可能となる。
合奏設定用パネルにおいてＢＰＭ及びＢＥＡＴが指定され、合成モードを有効にする旨の設定が行われると、ユーザ端末３は、合奏のためのメトロノームを含む各種環境設定を行うための情報（ＢＰＭ、ＢＥＡＴ及び合成モード有効／無効等。以下、単に「合奏環境情報」と称する）をサーバ１に送信する（ステップＳ３０２）。その後、処理はステップＳ３０３へ進む。
なお、ステップＳ３０１及びステップＳ３０２の処理は、合奏を行う複数の演奏ユーザ端末３のうち、合奏環境情報の設定を行う１の演奏ユーザ端末３（以下、「合奏リーダー」と称する）のみによって実行されればよく、合奏に参加するその他の１以上の演奏ユーザ端末３においては、ステップＳ３０１及びステップＳ３０２の処理はスキップされる。一方、以下に説明するステップＳ３０３以降の処理は、合奏リーダーであるか否かにかかわらず、ステップＳ３０３の通知がサーバ１から送信された時点で楽器の演奏準備がされている全てのパーティ内端末（演奏ユーザ端末３）において実行される。
ステップＳ３０３からステップＳ３０６では、合奏のための環境設定が行われ、合奏が開始される。ユーザ端末３は、サーバ１から送信された合奏環境情報を受信し、その内容をゲーム画面に表示することで、合奏環境情報の内容をユーザに通知する（ステップＳ３０３）。通知を受けたユーザは、合奏環境情報として通知された内容（以下、「合奏レディチェック」と称する）を承認するか否かを決定する操作を行うことで、通知された合奏環境情報を承認するか否かを選択することが出来る。また、通知された合奏環境情報が、合成モードを有効にする旨の設定を含むものである場合、ユーザは、合奏レディチェックの承認／非承認によって、合成モードに参加するか否かを選択することが出来る。
ユーザが、合奏レディチェックを承認しない操作を行った場合（ステップＳ３０４のＮＯ）、本フローチャートに示された処理は終了し、当該ユーザ端末３において操作されているプレイヤキャラクタ及びプレイヤは、通知された合奏に参加しない。但し、当該ユーザ端末３において操作されているプレイヤキャラクタ及びプレイヤは、合奏に参加しなくても、演奏パネルを介して単独で楽器を演奏することは可能である。
一方、ユーザが、合奏レディチェックを承認する操作を行った場合（ステップＳ３０４のＹＥＳ）、当該操作が行われた演奏ユーザ端末３は、合奏環境情報に従って、合奏のためのメトロノームを含む各種環境設定を行い、合奏レディチェックを承認することをサーバ１に通知する（ステップＳ３０５）。その後、演奏ユーザ端末３は、予め設定された内容の合奏へのカウントダウン（例えば、２小節分のカウント）を行い、合奏のためのメトロノーム処理を開始する（ステップＳ３０６）。その後、処理はステップＳ３０７へ進む。
合奏が開始されると、ユーザ端末３は、合奏が終了するまで、設定されたＢＰＭ及びＢＥＡＴに従って動作するメトロノームを用いて、ユーザに対して演奏タイミングのガイドとなる通知を行う。通知される内容は、現在のＢＰＭ、現在のＢＥＡＴ、拍のタイミング、小節の頭、小節数、等であり、何れも、画像及び／又は音声によって通知される。即ち、拍のタイミングは、メトロノームの画像のみによって通知されてもよいし、メトロノームのクリック音によって通知されてもよいし、画像及びクリック音の両方によって通知されてもよい。また、カウントダウン及びメトロノーム処理は、ゲーム内時刻等を用いて複数の演奏ユーザ端末３間で同期されることが好ましい。但し、このような同期は省略されてもよい。
ステップＳ３０７からステップＳ３０９では、個別演奏データの生成及び送信が行われる。ユーザ端末３の個別演奏データ生成部４１は、演奏パネルその他のインターフェイス（例えば、キーボード、ＭＩＤＩ等の演奏用信号を入力可能なデバイス）を介して、ユーザによる演奏操作を受け付け、受け付けられた演奏操作の内容（音程、音の大きさ、音の長さ、タイミング、音色等）を特定可能な個別演奏データをリアルタイム生成する（ステップＳ３０７）。そして、ユーザ端末３の個別演奏データ送信部４２は、生成された個別演奏データを含む個別演奏パケットを、サーバ１宛に送信する（ステップＳ３０８）。
ここで、タイミング情報は、合奏（メトロノーム処理）がスタートしてからの経過時間、即ち合奏において当該音響を発音すべきタイミングを特定可能な情報であり、例えば、小節番号と小節内の拍数との組み合わせで特定される。但し、タイミング情報の表現方法は、本実施形態における例示に限定されない。例えば、タイミングは、小節番号と小節内での経過時間との組み合わせで特定されてもよいし、合奏開始からの経過時間で特定されてもよい。
本実施形態では、個別演奏パケットが、個別演奏データが生成される度（例えば、鍵盤が押下される度）にリアルタイムで送信される例について説明する。但し、個別演奏データは、一定時間（例えば、１小節分）蓄積されてからまとめて送信されてもよい。但し、本実施形態に係る情報処理システム９では、複数のプレイヤキャラクタがゲームフィールドに集合して合奏及び鑑賞を同時に（リアルタイムで）行うことを目的としているため、遅延時間は少ない方が好ましい。本実施形態に係る情報処理システム９では、演奏データは（遅延は存在するものの）基本的にリアルタイムで生成され、サーバ１に送信され、サーバ１から配信されるのであって、例えば、演奏終了後にまとめて演奏データを送信したり配信したりという処理は行われない。
個別演奏データの生成及び送信中に、所定の終了条件（例えば、ユーザからの合奏からの離脱指示入力や、ユーザからの演奏操作の入力がない状態での一定時間経過等）が満たされた場合（ステップＳ３０９のＹＥＳ）、合奏は終了し、本フローチャートに示された処理は終了する。一方、所定の終了条件が満たされていない場合（ステップＳ３０９のＮＯ）、ステップＳ３０７及びステップＳ３０８の処理（演奏操作の受け付け及び個別演奏データ（個別演奏パケット）の送信）は、合奏が終了するまで繰り返し実行される。
なお、ユーザが演奏操作を行った際の演奏操作に対するフィードバックは、演奏操作に対応する音響が発音されるという方法でローカルで行うことが可能だが、フィードバックとしての発音は、無効化されてもよい。また、発音によるフィードバックに代えて、画像でのフィードバックを行なってもよい。例えば、プレイヤキャラクタの頭上に、演奏操作に対応する音響の音量をその大きさで表す円を表示する方法や、演奏操作に対応する音響のイコライザを表示する方法で、画像でのフィードバックを行うことができる。画像でのフィードバックを行うことで、発音でのフィードバックが無効化された場合にも、ユーザは自身が演奏操作を行ったことのフィードバックを得ることが出来る。
図７は、第三の実施形態に係る合奏管理処理の流れを示すフローチャートである。本フローチャートに示された処理は、サーバ１において、ゲーム処理と並行して、繰り返し実行される。
ステップＳ４０１からステップＳ４０３では、合奏を行うための設定が行われる。サーバ１は、個別演奏処理のステップＳ３０２において合奏リーダーの演奏ユーザ端末３から送信された合奏環境情報を受信する（ステップＳ４０１）。そして、サーバ１の通知部２４は、受信した合奏環境情報を、当該合奏環境情報の送信元演奏ユーザ端末３が所属するパーティ内の全ての演奏ユーザ端末３（楽器の演奏準備がされている全てのパーティ内端末）宛に送信する（ステップＳ４０２）。ここでサーバ１から送信された合奏環境情報は、パーティ内の全ての演奏ユーザ端末３によって、個別演奏処理のステップＳ３０３で受信され、合奏レディチェックによって承認／非承認される。サーバ１は、各ユーザ端末３から合奏レディチェックの結果を受け取り、合成モードを承認した演奏ユーザ端末３（合成モードを利用するユーザ端末３）を記録する（ステップＳ４０３）。その後、処理はステップＳ４０４へ進む。
ステップＳ４０４及びステップＳ４０５では、個別演奏データが受信され、合成モードの適用可否が判定される。サーバ１の個別演奏データ受信部２１は、複数の演奏ユーザ端末３の夫々から送信された個別演奏データ（個別演奏パケット）を受信する（ステップＳ４０４）。ここで受信される個別演奏データには、上述の通り、受け付けられたユーザによる演奏操作の内容（音程、音の大きさ、音の長さ、タイミング、音色等）を特定可能なデータが含まれている。
個別演奏データ（個別演奏パケット）が受信されると、サーバ１は、受信された個別演奏データの送信元ユーザ端末３が、合奏レディチェックにおいて合成モードを承認したユーザ端末３であるか否かを判定する。送信元ユーザ端末３が合成モードを承認したユーザ端末３である場合（ステップＳ４０５のＹＥＳ）、処理はステップＳ４０７へ進む。一方、送信元ユーザ端末３が合成モードを非承認したユーザ端末３である場合（ステップＳ４０５のＮＯ）処理はステップＳ４０６へ進む。
ステップＳ４０６では、個別演奏データの転送が行われる。サーバ１は、ステップＳ４０４で受信された個別演奏データ（個別演奏パケット）を、他の個別演奏データと合成することなく、鑑賞ユーザ端末３へ送信する。ここで、鑑賞ユーザ端末３は、ゲームフィールドにおいて、当該個別演奏データに係るプレイヤキャラクタの近辺（所定距離内）にいるプレイヤキャラクタを操作するユーザ端末３である。この場合、サーバ１から鑑賞ユーザ端末３に個別演奏データが到着するタイミングが伝送経路上の都合で前後し、鑑賞ユーザ端末３において合奏の精度が低減する可能性が生じる。なお、鑑賞ユーザ端末３には、演奏ユーザ端末３が含まれてもよい。その後、処理はステップＳ４１０へ進む。
ステップＳ４０７からステップＳ４０９では、合成演奏データの生成及び送信が行われる。サーバ１の合成演奏データ生成部２２は、複数の演奏ユーザ端末３の夫々から受信された個別演奏データを、所定のタイムスロット（例えば、１小節）分待機することで、蓄積する（ステップＳ４０７）。但し、ここで蓄積された個別演奏データは、後述するように演奏中に合成されて鑑賞ユーザ端末３に送信されるため、演奏ユーザ端末３からサーバ１への伝送が予定以上に遅延したために所定のタイムスロットに間に合わなかった個別演奏データ（個別演奏パケット）は、破棄されてもよい。
所定のタイムスロット分の待機が完了すると、合成演奏データ生成部２２は、当該タイムスロットにおいて受信された個別演奏データを、当該個別演奏データに含まれるタイミング情報に基づいて合成する（ステップＳ４０８）。即ち、合成演奏データ生成部２２は、複数の演奏ユーザ端末３から受信された演奏操作の内容（音程、音の大きさ、音の長さ、タイミング、音色等）に従って、当該演奏操作に係る音が、合奏の正しいタイミング（合奏がスタートしてからの正しい経過時間）で発音されるように、複数の個別演奏データを合成し、合成演奏データを生成する。合成演奏データは、当該合成演奏データに係るタイムスロットにおいて当該合成演奏データに含まれる複数の音が正しい位置関係で発音され、且つ鑑賞ユーザ端末３に対するデータの送信負荷を軽減するために、所定の単位時間分の演奏データを含む。例えば、本実施形態における例示では、合成演奏データは、１小節分のデータとして生成され、当該小節内における演奏操作の内容（音程、音の大きさ、音の長さ、タイミング、音色等）を含む。
また、本実施形態において、三次元仮想空間であるゲームフィールド内の音響は、音響の発生点から聴取ポイント（例えば、鑑賞ユーザ端末のプレイヤキャラクタの位置）までの距離及び／又は障害物等に応じて音量及び／又は音質等がシミュレーションされることで、リアルに再生される。このため、本実施形態において、各演奏データには、当該演奏データに係る音響がゲームフィールドにおいて再生される際の音源位置（音の発生点）を示す情報が含まれる。個別演奏データでは、演奏を行なっているプレイヤキャラクタの位置に音源位置が設定されるが、合成演奏データでは、当該データに係るプレイヤキャラクタが複数であるため、予め設定されたルールに基づいて音源位置が決定される。例えば、合成演奏データの音源位置は、演奏リーダーのプレイヤキャラクタの位置、合成モードに係る複数のプレイヤキャラクタの位置の重心、又は合成モードに係る１以上のプレイヤキャラクタの位置、等に設定されてよい。ここで、キャラクタの位置とは、例えば、キャラクタの胸の位置等である。
合成演奏データが生成されると、サーバ１の合成演奏データ送信部２３は、生成された合成演奏データを含む合成演奏パケットを、鑑賞ユーザ端末３へ送信する（ステップＳ４０９）。ここで、鑑賞ユーザ端末３は、ゲームフィールドにおいて、当該合成モードに参加しているパーティの近辺（所定距離内）にいるプレイヤキャラクタを操作するユーザ端末３である。鑑賞ユーザ端末３には、演奏ユーザ端末３が含まれてもよい。但し、自身の演奏が遅れて聴こえることで演奏がしづらくなることを避けるために、演奏ユーザ端末３では、合成演奏データ（合成演奏パケット）をサーバ１から受信しないように設定したり、合成演奏データ（合成演奏パケット）をサーバ１から受信しても再生しないように設定したりすることが可能である。その後、処理はステップＳ４１０へ進む。
ステップＳ４１０では、合奏の継続要否が判定される。所定の終了条件（例えば、ユーザ端末３からの合奏からの離脱指示受信や、ユーザ端末３からの個別演奏データの受信がない状態での一定時間経過等）が満たされた場合（ステップＳ４１０のＹＥＳ）、合奏は終了し、本フローチャートに示された処理は終了する。一方、所定の終了条件が満たされていない場合（ステップＳ４１０のＮＯ）、ステップＳ４０４からステップＳ４０９の処理（個別演奏パケットの受信、合成及び合成演奏パケットの配信）は、合奏が終了するまで繰り返し実行される。
鑑賞ユーザ端末３は、合成演奏パケットを受信すると、当該パケットに含まれる合成演奏データに従って、合奏を再生する。即ち、鑑賞ユーザ端末３では、複数の演奏ユーザ端末３の夫々における演奏内容を、所定のタイムスロット（本実施形態では、１小節）毎に１のパケットとして受け取って再生することで、複数の演奏ユーザ端末３によって生成された個別演奏データを個別に受信する場合に比べて、正確なタイミングで再生することが出来る。
図８は、第三の実施形態に係る、演奏データの流れを示す図である。図８では、ＢＥＡＴに「４」が設定され（即ち、４拍子）、合成演奏データの生成が１小節毎に行われる例について説明する。図中の太い縦破線は小節の頭を、細い縦破線は拍の頭を示しており、また、図中の個別演奏データの枠内に記載された文字は音階を表している。
ゲーム内パーティに第一の演奏ユーザ端末３及び第二の演奏ユーザ端末３が含まれる場合、第一の演奏ユーザ端末３は、第一のユーザによって操作される第一のプレイヤキャラクタの演奏内容としての第一の個別演奏データを、第一のユーザによる演奏操作に伴ってリアルタイムで生成及び送信し、第二の演奏ユーザ端末３は、第二のユーザによって操作される第二のプレイヤキャラクタの演奏内容としての第二の個別演奏データを、第二ユーザによる演奏操作に伴ってリアルタイムで生成及び送信する。ここで、送信された個別演奏データがサーバ１に到着するタイミングは演奏のタイミングとずれる可能性がある。そこで、本実施形態に係る情報処理システム９では、第一の個別演奏データ及び第二の個別演奏データが、サーバ１によってメトロノームのタイミングに従って合成されることで、鑑賞ユーザ端末３において第一のプレイヤキャラクタ及び第二のプレイヤキャラクタによる合奏として再生されるための、合成演奏データが生成される。生成された合成演奏データは、生成直後に鑑賞ユーザ端末３に送信され、鑑賞ユーザ端末３において演奏時のメトロノームのタイミングで再生される。
なお、合成演奏データの生成及び送信、鑑賞ユーザ端末３における再生は、演奏中に行われるため、ユーザが実際に演奏操作を行ってから鑑賞ユーザ端末３において再生されるまでの時間は、「サーバ側で合成演奏データ生成用に待機する所定タイムスロット分の時間＋処理遅延時間」のみである。ここで、処理遅延時間とは、データ生成、伝送及び再生等に伴う遅延時間である。このため、例えば所定タイムスロットとして１小節分の時間が設定されている場合にも、鑑賞ユーザ端末３では、「１小節分の時間＋処理遅延時間」のみで合奏を鑑賞することが出来る。
［その他のバリエーション］
上記説明した実施の形態は、本開示を実施する場合の一例を示すものであって、本開示を上記説明した具体的構成に限定するものではない。本開示の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
上記説明した第三の実施形態では、各演奏ユーザ端末においてメトロノームが動作する例について説明したが、演奏ユーザ端末におけるメトロノームは省略されてもよい。また、サーバにおいて合成演奏データを生成する際に、各演奏ユーザ端末から送信されたタイミング情報を用いる例について説明したが、タイミング情報を用いることなく合成演奏データが生成されてもよい。例えば、サーバの合成演奏データ生成部２２は、所定のタイムスロット内に受信された個別演奏データに基づいて合成演奏データを生成する際に、このタイムスロットを小さくすることで（例えば、０．１秒）、タイミング情報を用いることなく合成演奏データを生成することが出来る。この場合、各演奏ユーザ端末からサーバに個別演奏データが到着するタイミングが伝送経路上の都合で前後する可能性があるが、演奏データにタイミング情報を含める必要がないため、処理負荷がより軽減される。
１ 情報処理装置
３ ユーザ端末
９ 情報処理システム

Claims (9)

  1. コンピュータを、
    ネットワークを介して接続された２以上の演奏ユーザ端末から、該演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する個別演奏データ受信手段と、
    前記演奏ユーザ端末のうち合成対象であると判定された演奏ユーザ端末から受信された前記複数の個別演奏データのうち、同一のタイムスロットに係る前記個別演奏データを前記演奏中に合成することで、前記２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する合成演奏データ生成手段と、
    前記合成演奏データを、前記ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末に対して前記演奏中に送信し、該演奏中に再生させる合成演奏データ送信手段と、
    前記演奏ユーザ端末のうち前記合成対象でないと判定された演奏ユーザ端末から受信された前記複数の個別演奏データを、前記合成演奏データ生成手段による処理の対象とすることなく前記鑑賞ユーザ端末に対して前記演奏中に転送し、該演奏中に再生させる個別演奏データ転送手段と、
    として機能させるプログラム。
  2. 前記個別演奏データ受信手段は、第一の演奏ユーザ端末において動作するコンピュータゲームで第一のユーザによって操作される第一のプレイヤキャラクタの演奏内容としての第一の個別演奏データと、第二の演奏ユーザ端末において動作するコンピュータゲームで第二のユーザによって操作される第二のプレイヤキャラクタの演奏内容としての第二の個別演奏データとを受信し、
    前記合成演奏データ生成手段は、前記第一の個別演奏データと前記第二の個別演奏データとを合成することで、前記合成演奏データを生成し、
    前記合成演奏データ送信手段は、前記鑑賞ユーザ端末において動作するコンピュータゲームで前記第一のプレイヤキャラクタ及び前記第二のプレイヤキャラクタによる合奏として再生されるためのデータとして、前記合成演奏データを送信する、
    請求項１に記載のプログラム。
  3. 前記個別演奏データ受信手段は、前記演奏ユーザ端末の夫々において動作するメトロノームによってカウントされたタイミングを識別可能なタイミング情報を含む、前記個別演奏データを受信し、
    前記合成演奏データ生成手段は、前記タイミング情報に基づいて、前記同一のタイムスロットに係る前記個別演奏データを合成し、前記合成演奏データを生成する、
    請求項１又は２に記載のプログラム。
  4. 前記合成演奏データ生成手段は、同一のタイムスロットにおいて受信された前記個別演奏データを合成することで、前記合成演奏データを生成する、
    請求項１又は２に記載のプログラム。
  5. 前記コンピュータを、
    前記演奏ユーザ端末の夫々において動作する前記メトロノームを設定するための合奏環境情報を前記演奏ユーザ端末の夫々に通知する通知手段として更に機能させる、
    請求項３に記載のプログラム。
  6. 前記合成演奏データ生成手段は、予め作成されたパーティに含まれる２以上の演奏ユーザ端末から受信された複数の個別演奏データを合成する、
    請求項１から５の何れか一項に記載のプログラム。
  7. ネットワークを介して接続された２以上の演奏ユーザ端末から、該演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する個別演奏データ受信手段と、
    前記演奏ユーザ端末のうち合成対象であると判定された演奏ユーザ端末から受信された前記複数の個別演奏データのうち、同一のタイムスロットに係る前記個別演奏データを前記演奏中に合成することで、前記２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する合成演奏データ生成手段と、
    前記合成演奏データを、前記ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末に対して前記演奏中に送信し、該演奏中に再生させる合成演奏データ送信手段と、
    前記演奏ユーザ端末のうち前記合成対象でないと判定された演奏ユーザ端末から受信された前記複数の個別演奏データを、前記合成演奏データ生成手段による処理の対象とすることなく前記鑑賞ユーザ端末に対して前記演奏中に転送し、該演奏中に再生させる個別演奏データ転送手段と、
    を備える情報処理装置。
  8. ネットワークを介して接続されたサーバ及び複数のユーザ端末を備える情報処理システムであって、
    前記複数のユーザ端末の夫々は、
    ユーザによる演奏操作に従って複数の個別演奏データを生成する個別演奏データ生成手段と、
    前記個別演奏データを、前記サーバに対して演奏中に送信する個別演奏データ送信手段と、を備え、
    前記サーバは、
    前記複数のユーザ端末のうち、２以上の演奏ユーザ端末から、該演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する個別演奏データ受信手段と、
    前記演奏ユーザ端末のうち合成対象であると判定された演奏ユーザ端末から受信された前記複数の個別演奏データのうち、同一のタイムスロットに係る前記個別演奏データを前記演奏中に合成することで、前記２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する合成演奏データ生成手段と、
    前記合成演奏データを、前記複数のユーザ端末のうち、少なくとも１の鑑賞ユーザ端末に対して前記演奏中に送信し、該演奏中に再生させる合成演奏データ送信手段と、
    前記演奏ユーザ端末のうち前記合成対象でないと判定された演奏ユーザ端末から受信された前記複数の個別演奏データを、前記合成演奏データ生成手段による処理の対象とすることなく前記鑑賞ユーザ端末に対して前記演奏中に転送し、該演奏中に再生させる個別演奏データ転送手段と、
    を備える、
    情報処理システム。
  9. コンピュータが、
    ネットワークを介して接続された２以上の演奏ユーザ端末から、該演奏ユーザ端末の夫々においてユーザによる演奏操作に従って生成されて演奏中に送信された複数の個別演奏データを受信する個別演奏データ受信ステップと、
    前記演奏ユーザ端末のうち合成対象であると判定された演奏ユーザ端末から受信された前記複数の個別演奏データのうち、同一のタイムスロットに係る前記個別演奏データを前記演奏中に合成することで、前記２以上の演奏ユーザ端末における個別の演奏内容がミックスされた音響を再生可能な合成演奏データを生成する合成演奏データ生成ステップと、
    前記合成演奏データを、前記ネットワークを介して接続された、少なくとも１の鑑賞ユーザ端末に対して前記演奏中に送信し、該演奏中に再生させる合成演奏データ送信ステップと、
    前記演奏ユーザ端末のうち前記合成対象でないと判定された演奏ユーザ端末から受信された前記複数の個別演奏データを、前記合成演奏データ生成ステップにおける処理の対象とすることなく前記鑑賞ユーザ端末に対して前記演奏中に転送し、該演奏中に再生させる個別演奏データ転送ステップと、
    を実行する方法。
JP2019167497A 2019-09-13 2019-09-13 プログラム、情報処理装置、情報処理システム及び方法 Active JP7181173B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019167497A JP7181173B2 (ja) 2019-09-13 2019-09-13 プログラム、情報処理装置、情報処理システム及び方法
CN202010933859.3A CN112494930B (zh) 2019-09-13 2020-09-08 记录介质、信息处理装置及信息处理方法
US17/016,215 US11478710B2 (en) 2019-09-13 2020-09-09 Information processing device, method and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019167497A JP7181173B2 (ja) 2019-09-13 2019-09-13 プログラム、情報処理装置、情報処理システム及び方法

Publications (2)

Publication Number Publication Date
JP2021041081A JP2021041081A (ja) 2021-03-18
JP7181173B2 true JP7181173B2 (ja) 2022-11-30

Family

ID=74861844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019167497A Active JP7181173B2 (ja) 2019-09-13 2019-09-13 プログラム、情報処理装置、情報処理システム及び方法

Country Status (3)

Country Link
US (1) US11478710B2 (ja)
JP (1) JP7181173B2 (ja)
CN (1) CN112494930B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102579203B1 (ko) * 2019-12-31 2023-09-15 한국전자통신연구원 게임 결과 예측 장치 및 방법
US11724194B2 (en) * 2021-07-28 2023-08-15 Blizzard Entertainment, Inc. Initial results of a reinforcement learning model using a heuristic

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099274A (ja) 2000-07-07 2002-04-05 Allan A Miller 音楽と共に演奏するための方法を可能とする動的調整可能なネットワーク
JP2004093975A (ja) 2002-08-30 2004-03-25 Casio Comput Co Ltd 通信端末及びプログラム
JP2005250148A (ja) 2004-03-04 2005-09-15 Yamaha Corp 楽器及び前記楽器を用いた合奏システム並びに楽器間でのコミュニケーションツール。
JP2007041320A (ja) 2005-08-03 2007-02-15 Japan Science & Technology Agency ネットワークを用いた遠隔多地点合奏システム
JP2008113766A (ja) 2006-11-01 2008-05-22 Nintendo Co Ltd ゲームシステム
JP2008304821A (ja) 2007-06-11 2008-12-18 Mega Chips Corp 楽曲合奏公開システム
JP2014150938A (ja) 2013-02-07 2014-08-25 Nintendo Co Ltd 音楽ゲームプログラム、ゲーム装置、ゲーム装置の制御方法およびゲームシステム
JP2014151027A (ja) 2013-02-09 2014-08-25 Seek Japan Corp 運動及び／またはゲーム装置
JP2015070460A (ja) 2013-09-30 2015-04-13 シャープ株式会社 映像音声配信システム、音声映像配信方法及びプログラム
JP2016192987A (ja) 2015-03-31 2016-11-17 株式会社バンダイナムコエンターテインメント ゲームシステム
JP2018078975A (ja) 2016-11-15 2018-05-24 株式会社ｇｌｏｏｐｓ 端末装置、端末装置のゲーム実行方法、ゲーム実行プログラム、及びゲーム実行プログラム記録媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4055180A (en) 1976-04-23 1977-10-25 Colgate-Palmolive Company Absorbent article with retained hydrocolloid material
US5704007A (en) * 1994-03-11 1997-12-30 Apple Computer, Inc. Utilization of multiple voice sources in a speech synthesizer
US5864812A (en) * 1994-12-06 1999-01-26 Matsushita Electric Industrial Co., Ltd. Speech synthesizing method and apparatus for combining natural speech segments and synthesized speech segments
JP2004538496A (ja) * 1999-12-20 2004-12-24 ハンセウルソフト カンパニー リミテッド ネットワーク基盤の音楽演奏／歌の伴奏サービスシステム及びその方法
KR20100067695A (ko) 2003-02-07 2010-06-21 노키아 코포레이션 다중 사용자 환경들의 제어
US7454348B1 (en) * 2004-01-08 2008-11-18 At&T Intellectual Property Ii, L.P. System and method for blending synthetic voices
JP4207902B2 (ja) * 2005-02-02 2009-01-14 ヤマハ株式会社 音声合成装置およびプログラム
US7518051B2 (en) * 2005-08-19 2009-04-14 William Gibbens Redmann Method and apparatus for remote real time collaborative music performance and recording thereof
JP4752425B2 (ja) * 2005-09-28 2011-08-17 ヤマハ株式会社 合奏システム
US10438448B2 (en) * 2008-04-14 2019-10-08 Gregory A. Piccionielli Composition production with audience participation
JP5420833B2 (ja) 2007-11-30 2014-02-19 任天堂株式会社 ゲームシステム
JP2010160585A (ja) 2009-01-06 2010-07-22 Sony Corp サーバ装置、情報処理方法、情報処理システム
JP2010262002A (ja) * 2009-04-30 2010-11-18 Yamaha Corp 音楽コンテンツデータ処理装置及びプログラム
US8682653B2 (en) * 2009-12-15 2014-03-25 Smule, Inc. World stage for pitch-corrected vocal performances
US8983829B2 (en) * 2010-04-12 2015-03-17 Smule, Inc. Coordinating and mixing vocals captured from geographically distributed performers
US9601127B2 (en) * 2010-04-12 2017-03-21 Smule, Inc. Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s)
US10930256B2 (en) * 2010-04-12 2021-02-23 Smule, Inc. Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s)
EP2662853B1 (en) * 2011-01-07 2016-06-22 YAMAHA Corporation Audiovisual synchronisation of network musical performance
JP2013239766A (ja) 2012-05-11 2013-11-28 Konami Digital Entertainment Co Ltd アプリケーション管理装置、アプリケーション管理装置の制御方法、アプリケーション管理装置の制御プログラム
EP3220634A1 (en) * 2016-03-17 2017-09-20 Ricoh Company, Ltd. System, information processing apparatus, information processing method, and computer-readable recording medium
WO2018147687A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Method and apparatus for managing voice-based interaction in internet of things network system
US11250825B2 (en) * 2018-05-21 2022-02-15 Smule, Inc. Audiovisual collaboration system and method with seed/join mechanic

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099274A (ja) 2000-07-07 2002-04-05 Allan A Miller 音楽と共に演奏するための方法を可能とする動的調整可能なネットワーク
JP2004093975A (ja) 2002-08-30 2004-03-25 Casio Comput Co Ltd 通信端末及びプログラム
JP2005250148A (ja) 2004-03-04 2005-09-15 Yamaha Corp 楽器及び前記楽器を用いた合奏システム並びに楽器間でのコミュニケーションツール。
JP2007041320A (ja) 2005-08-03 2007-02-15 Japan Science & Technology Agency ネットワークを用いた遠隔多地点合奏システム
JP2008113766A (ja) 2006-11-01 2008-05-22 Nintendo Co Ltd ゲームシステム
JP2008304821A (ja) 2007-06-11 2008-12-18 Mega Chips Corp 楽曲合奏公開システム
JP2014150938A (ja) 2013-02-07 2014-08-25 Nintendo Co Ltd 音楽ゲームプログラム、ゲーム装置、ゲーム装置の制御方法およびゲームシステム
JP2014151027A (ja) 2013-02-09 2014-08-25 Seek Japan Corp 運動及び／またはゲーム装置
JP2015070460A (ja) 2013-09-30 2015-04-13 シャープ株式会社 映像音声配信システム、音声映像配信方法及びプログラム
JP2016192987A (ja) 2015-03-31 2016-11-17 株式会社バンダイナムコエンターテインメント ゲームシステム
JP2018078975A (ja) 2016-11-15 2018-05-24 株式会社ｇｌｏｏｐｓ 端末装置、端末装置のゲーム実行方法、ゲーム実行プログラム、及びゲーム実行プログラム記録媒体

Also Published As

Publication number Publication date
US11478710B2 (en) 2022-10-25
CN112494930B (zh) 2024-06-11
US20210077906A1 (en) 2021-03-18
CN112494930A (zh) 2021-03-16
JP2021041081A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP7557584B2 (ja) サーバシステム、プレイデータコミュニティシステムおよび制御方法
JP7181173B2 (ja) プログラム、情報処理装置、情報処理システム及び方法
JP2019013349A (ja) 情報処理システム及び動画再生方法
JP2018011850A (ja) 動画記録装置、動画生成方法、及びプログラム
JP4755672B2 (ja) コンテンツ編集装置、方法及びプログラム
CN113318432B (zh) 游戏中的音乐控制方法、非易失性存储介质及电子装置
JP2018011849A (ja) 動画記録装置、動画配信方法及びプログラム
JP2008134295A (ja) 合奏システム
JP7482548B2 (ja) 観戦システム、観戦システム用のコンピュータプログラム、及び観戦システムの制御方法
JP2020008752A (ja) 生バンドカラオケライブ配信システム
JP2020151233A (ja) コンピュータシステム、端末及び配信サーバー
JP2022156117A (ja) コンテンツ配信システム及びプログラム
WO2021131621A1 (ja) 観戦システム、観戦システム用のコンピュータプログラム、及び観戦システムの制御方法
JP2004223084A (ja) ネットワークゲームシステム
JP7051359B2 (ja) プログラム、コンピュータシステム、サーバシステム、およびゲームシステム
JP7237361B2 (ja) 観戦システム、観戦システム用のコンピュータプログラム、及び観戦システムの制御方法
JP5210908B2 (ja) 動画像生成装置、ゲーム装置、動画像生成方法、ならびに、プログラム
JP2016208422A (ja) トレーニング実施状況判定方法、サーバ装置及びトレーニング実施状況判定システム
JP2022156116A (ja) コンテンツ配信システム及びプログラム
JP5109127B2 (ja) 合奏システム
JP2022156119A (ja) コンテンツ配信システム及びプログラム
WO2024202351A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2024161463A1 (ja) メタバース管理装置、メタバース管理方法およびコンピュータプログラム
WO2024161464A1 (ja) メタバース管理装置、メタバース管理方法およびコンピュータプログラム
JP2011227307A (ja) 音出力装置、音出力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221117

R150 Certificate of patent or registration of utility model

Ref document number: 7181173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150