JP5518638B2 - 情報処理装置、音響処理装置、音響処理システム、プログラムおよびゲームプログラム - Google Patents

Description

本発明は、コンピュータを使用してゲームソフトなどのコンテンツを表現する際の音響処理技術に関する。

コンピュータを内蔵したゲーム専用機（以下、ゲーム機という）やパーソナルコンピュータなどで実行されるゲームソフトウェア（以下、ゲームソフトという）には、そのゲームの進行状況に応じて、例えば立体空間を表現したり、動画を再生したりするものがある。また、市販のＤＶＤ（Digital Versatile Disc）ビデオやＢｌｕ−ｒａｙ（登録商標）ディスクビデオなど（以下、ＤＶＤビデオなどという）に記録されたビデオコンテンツをユーザの操作に応じて再生する再生機もある。

ゲームソフトを実行するゲーム機やビデオコンテンツを再生する再生機は、情報処理を行う情報処理装置である。これらの情報処理装置は、一般にスピーカなどの放音機器を備えたアンプに接続されており、コンテンツの映像に音声が同期するようにアンプに音声信号を送信する。これらの情報処理装置のうち多くは、コンテンツ全体を通じて予め定められた標準の音響環境に合わせて音場が形成されるように音声をミキシングしてアンプに送信するものであるが、コンテンツの進行状況に合わせて音場感を変え、より現実感や迫力感を得られるように構成された情報処理装置も開発されている。例えば、特許文献１には、ゲームの進行に応じて再生音のエフェクトを切り替える技術が開示されている。

特開平８−２４３２５４号公報

しかしながら、特許文献１の技術は、ゲームの進行状況に関する条件を満たしたときに音場を変更するが、音声には、操作音、環境音、ＢＧＭ（background music）など様々な種類があり、これら複数種類の音声に対して一律に同じ音場を適用するものである。そのため、特許文献１の技術では、音の種類あるいは放音条件によっては望ましい音響効果が得られないことがあった。

本発明は、原音を示す原音データを出力した先で個別に加工して放音させることを目的とする。

上述した課題を解決するため、本発明に係る情報処理装置は、原音を示す原音データと、当該原音データの加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、前記生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置に対して、当該音響処理装置により放音させられる放音機器の放音条件を要求する要求手段と、前記要求手段の要求に対する前記音響処理装置の応答を示す応答信号から、前記放音条件を取得する放音条件取得手段とを具備し、前記生成手段は、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成することを特徴とする。

また、本発明に係る情報処理装置は、原音を示す原音データと、当該原音データの加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、前記生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置から、当該音響処理装置により放音させられる放音機器の放音条件を、定期的に取得する放音条件取得手段とを具備し、前記生成手段は、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成することを特徴とする。
好ましくは、ユーザの操作に応じてゲームを進行させるゲーム進行手段を具備し、前記生成手段は、前記ゲーム進行手段により進行させられたゲームの進行状況に応じた原音データと、当該原音データの前記パラメータを生成するとよい。

また、本発明に係る音響処理装置は、複数のチャンネルのいずれかから原音を示す原音データを取得する原音データ取得手段と、前記原音データの加工内容を示すパラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を取得する制御信号取得手段と、前記チャンネルから取得した原音データを、前記制御信号取得手段により取得された制御信号により当該チャンネルに対応付けられたパラメータが指示する加工内容で加工する加工手段と、前記加工手段により前記原音データを加工して得た加工音データが示す加工音を前記放音機器に放音させる際の放音条件を定期的に、または要求に応じて出力する条件出力手段とを具備することを特徴とする。

また、本発明に係る音響処理システムは、上述の情報処理装置と、上述の音響処理装置とを具備することを特徴とする。

また、本発明に係るプログラムは、コンピュータを、原音を示す原音データと、当該原音データの加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、前記生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置に対して、当該音響処理装置により放音させられる放音機器の放音条件を要求する要求手段と、前記要求手段の要求に対する前記音響処理装置の応答を示す応答信号から、前記放音条件取得する放音条件取得手段として機能させるとともに、前記生成手段が、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成するように前記コンピュータを機能させるためのプログラムである。

また、本発明に係るゲームプログラムは、コンピュータを、ゲーム機として機能させるゲームプログラムであって、ユーザの操作に応じて仮想空間中でキャラクターを操作することによりゲームを進行させるゲーム進行手段と、前記キャラクターに対応して設定された聴取位置と、前記仮想空間中に配置された発音オブジェクトとの関係により、当該発音オブジェクトに設定された原音を示す原音データを演算して生成する原音データ生成手段と、前記原音データ生成手段により生成された原音データの加工内容を指示するパラメータを前記ゲーム進行手段により進行させられたゲームの進行状況に応じて生成するパラメータ生成手段と、前記原音データ生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置から、当該音響処理装置により放音させられる放音機器の数、位置、方角の少なくともいずれか１つを含む放音条件を取得する放音条件取得手段として機能させるとともに、前記パラメータ生成手段が、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成するように前記コンピュータを機能させるためのゲームプログラムである。

また、本発明に係るプログラムは、コンピュータを、複数のチャンネルのいずれかから原音を示す原音データを取得する原音データ取得手段と、前記原音データの加工内容を示すパラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を取得する制御信号取得手段と、前記チャンネルから取得した原音データを、前記制御信号取得手段により取得された制御信号により当該チャンネルに対応付けられたパラメータが指示する加工内容で加工する加工手段と、前記加工手段により前記原音データを加工して得た加工音データが示す加工音を前記放音機器に放音させる際の放音条件を定期的に、または要求に応じて出力する条件出力手段として機能させるためのプログラムである。

本発明によれば、原音を示す原音データを出力した先で個別に加工して放音させることができる。

本発明の実施形態に係る音響システム９の構成を表す図である。 ゲーム機１の構成を表す図である。 ゲーム機１の機能的構成を示す図である。 出力部１５のチャンネルｃｔから送信される制御信号の例を示す図である。 音響処理装置２の構成を示す図である。 音響処理装置２の機能的構成を示す図である。

１．構成
１−１．システムの全体構成
図１は、本発明の実施形態に係る音響システム９の構成を表す図である。音響システム９は、ゲーム機１と音響処理装置２とを有する。ゲーム機１と音響処理装置２とは、例えば、ＨＤＭＩ（High-Definition Multimedia Interface；登録商標）などの規格に沿ったマルチチャンネルの通信ケーブルによって接続されている。ここでチャンネルとはデータを伝送する伝送経路を意味し、マルチチャンネルの通信ケーブルは、独立した複数のチャンネルを有する通信ケーブルである。ゲーム機１は、ソフトウェアやコンテンツを再生する情報処理装置の一例である。なお、ゲーム機１と音響処理装置２とは互いに情報を遣り取り可能に構成されており、音響処理装置２からゲーム機１への情報の伝達は、同図に破線で示すように可能であるが、以下の実施形態の説明において省略する。

１−２．ゲーム機の構成
図２は、ゲーム機１の構成を表す図である。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部１２に記憶されている各種のプログラムをＲＡＭに読み出して実行することによりゲーム機１の各部を制御する。また、制御部１１は、ＭＰＥＧ２やＭＰＥＧ４などの規格に準じて圧縮された動画・音声データを展開して、非圧縮のＰＣＭ（pulse code modulation）データを生成するデコーダを備えている。なお、このデコーダはＣＰＵと別のハードウェアである専用のプロセッサによって実現されてもよいし、ＣＰＵがプログラムを実行することにより実現されてもよい。制御部１１は、例えば、後述するゲーム進行部１１０や原音データ生成部１１１などとして機能する。

記憶部１２はハードディスクドライブなどの大容量の記憶手段であり、制御部１１に読み込まれる各種のプログラムを記憶する。ゲームプログラム１２１は、上述した各種プログラムのうちの１つである。なお、この記憶部１２は、外付けの不揮発性メモリなどの記録媒体であってもよい。この場合、図示しない接続インターフェイスなどを介して記憶部１２がゲーム機１に接続されている。また、この記憶部１２は、光ディスクなどの記録媒体を読み取る読取装置を含んでいてもよい。この場合、記憶部１２は、この読取装置に装填された記録媒体を読み出し、その記録媒体が書き換え可能なものであれば、その記録媒体に書き込みを行えばよい。

操作部１３は各種の指示をするための操作子１３１を備えており、ユーザによる操作を受け付けてその操作内容に応じた操作信号を制御部１１に供給する。
表示部１４は、例えば、液晶ディスプレイなどの表示体を備えており、制御部１１の制御の下、ゲームの進行に応じた映像を表示する。

出力部１５は、制御部１１の制御の下、ゲームの進行に応じた複数の音を音響処理装置２に放音させるように、音響処理装置２に複数の音声データと、制御信号とを送るインターフェイスである。また、出力部１５は、パケット処理部１５１を備える。パケット処理部１５１は、音声データを、例えば、音声の再生単位であるオーディオ・フレームごとに分割して、再生時刻を示すタイムスタンプなどを含んだヘッダを付加し、パケット化する。

出力部１５は、上述したマルチチャンネルの通信ケーブルによって音響処理装置２に接続されている。通信ケーブルは６つのチャンネルを有しており、そのうちの１つのチャンネルｃｔには制御信号が出力され、残りの５つのチャンネルｃｈ１〜ｃｈ５には、パケット化された音声データがそれぞれ送信される。制御信号の詳細は、後述する。

１−３．ゲーム機の機能的構成
図３は、ゲーム機１の機能的構成を示す図である。制御部１１は、記憶部１２に記憶されたゲームプログラム１２１（図２参照）を読み出して実行することにより、ゲーム進行部１１０、原音データ生成部１１１、および制御信号生成部１１２として機能する。ゲーム進行部１１０は、ゲームプログラム１２１に沿ってユーザの操作に応じたゲームを進行させる。すなわち、ゲーム進行部１１０は、ユーザの操作に応じてゲームを進行させるゲーム進行手段として機能する。具体的には、ゲーム進行部１１０は、記憶部１２に記憶されたゲームの設定情報を読み出し、この設定情報に応じてゲームの進行状況や操作信号の割り当てなどを決定する。また、ゲーム進行部１１０は、操作部１３で受け付けられたユーザによる操作を示す操作信号を解釈してゲームを進行させる。また、ゲーム進行部１１０は、ゲームの進行状況に応じた映像を示す映像データを記憶部１２から読み出して表示部１４に送り、映像データに応じたその映像を表示部１４に表示させる。そして、ゲーム進行部１１０は、ゲームの進行状況に応じて記憶部１２からゲームで用いる音声データを読み出す。

原音データ生成部１１１は、ゲーム進行部１１０が読み出した音声データを基に、原音を示す音声データ（以下、原音データという）を個別に生成する。原音とは、ゲームの進行状況に応じてゲームのユーザに聞かせるべき加工音の基となる音であり、例えば、ＢＧＭ、環境音、ボイス、システム音などである。ＢＧＭとは、ユーザの感情を高めるための音楽などである。環境音とは、ユーザが操作するキャラクターの足音や雨風の音など、ゲーム内の仮想空間を表現する音である。ボイスとは、ゲーム内で登場する人物の音声である。システム音とは、操作部１３が操作を受け付けたことをユーザに認識させるための音であり、例えば、クリック音やチャイム音などである。原音データ生成部１１１は、原音を示す原音データをユーザの操作に応じて生成する生成手段として機能する。また、特にこの場合には、原音データ生成部１１１は、ゲーム進行手段により進行させられたゲームの進行状況に応じた原音データを生成する原音データ生成手段として機能する。

出力部１５は、原音データ生成部１１１が生成した複数の原音データをパケット化して、それぞれ個別のチャンネルにより音響処理装置２に出力する。したがって、出力部１５は、生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段として機能する。

制御信号生成部１１２は、原音データ生成部１１１が生成した各原音データの出力部１５における各通信経路にそれぞれ対応付けてその各原音データの各属性を記述した制御信号を生成する。この属性とは、これら原音データにより示される原音をユーザにどのように聞かせるかについて指定する情報であり、具体的には原音データの加工内容を指示するパラメータである。このパラメータは、ゲームの進行状況に応じて決まる。したがって、制御信号生成部１１２は、原音データの加工内容を指示するパラメータをユーザの操作に応じて生成する生成手段として機能する。また、特にこの場合には、制御信号生成部１１２は、ゲーム進行手段により進行させられたゲームの進行状況に応じた原音データの加工内容を指示するパラメータを生成する生成手段として機能する。

なお、上記のパラメータに応じて、原音データを加工するためには、後述する音響処理装置２の放音部２４が有する各スピーカ（放音機器）の位置や低域再生能力など、音響処理装置２における種々の情報が必要である。そのため、ゲーム機１は原音データの加工を行わず、出力部１５を用いて、原音データ生成部１１１が生成した複数の原音データをパケット化してチャンネルｃｈ１〜ｃｈ５により音響処理装置２にそれぞれ出力させるとともに、制御信号生成部１１２が生成した制御信号を、これら複数の原音データに関連付けてチャンネルｃｔにより音響処理装置２に出力させる。関連付けは、制御信号に含まれるタイムスタンプと各原音データをパケット化する際に用いたタイムスタンプとによってなされる。したがって、出力部１５は、原音データの加工内容を指示するパラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段として機能する。

１−４．制御信号の構成
図４は、出力部１５のチャンネルｃｔから送信される制御信号の例を示す図である。制御信号には、同図に示すように、その制御信号が適用されるべきタイミングを示したタイムスタンプと、チャンネルごとに定められた種類、定位、リバーブ率、およびビットレートの４つの属性をそれぞれ示す各パラメータとが記述されている。

ここで、種類とは、原音データが示す原音の種類であり、具体的には、ＢＧＭ、環境音、ボイス、システム音などである。

定位とは、ユーザにとって音の発生地点があると感じられる方角であり、例えば０度がユーザの正面方向であって、その正面方向から左周り（すなわち、ユーザの頭上からみて反時計回り）の１周を３６０度で表したものである。

リバーブ率とは、音に残響を付与することによりユーザに空間の広がりを感じさせる音響効果であるリバーブの強さを示す値であって、基となる原音の音量を１００％とした場合の、その原音に付与する残響音の音量の割合を百分率で表したものである。この百分率が高いほど、強いリバーブがかけられ、ユーザは空間に広がりを感じる。なお、このリバーブ率は、ユーザがゲームの音を聴取する部屋の音響特性に応じて後述する音響処理装置により補正されてもよい。

ビットレートとは、原音データに含まれる音声１秒あたりの情報量をビット数で表したものあり、原音データの品質を表す。

例えば、図４（ａ）に示す制御信号では、タイムスタンプはｔ＝０．０秒であり、チャンネルｃｈ１から送信される原音データの種類はＢＧＭ（Ｌ）であり、定位は４５度である。また、チャンネルｃｈ５から送信される原音データは、種類がＶＯ（ボイス）であり、定位は０度、リバーブは０％、ビットレートは６４ｋｂｐｓである。

１−５．音響処理装置の構成
図５は、音響処理装置２の構成を示す図である。制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部２２に記憶されている制御プログラムをＲＡＭに読み出して実行することにより音響処理装置２の各部を制御する。また、制御部２１は、取得部２５を介して取得される原音データを、取得した制御信号に基づいて加工するＤＳＰ（Digital Signal Processor）を備える。このＤＳＰは、具体的には、原音データが示す原音を高音質化したり、その原音にリバーブなどの音響効果を付加したり、その原音の定位を決めたりするための演算を行う。なお、ここでは、このＤＳＰはＣＰＵと別のハードウェアで実現されているが、ＣＰＵがプログラムを実行することにより実現されてもよい。制御部２１は、例えば、後述する解釈部２１０などとして機能する。

記憶部２２はハードディスクドライブなどの大容量の記憶手段であり、制御部２１に読み込まれる制御プログラムを記憶する。なお、この記憶部２２は、外付けの不揮発性メモリなどの記録媒体であってもよい。この場合、図示しない接続インターフェイスなどを介して記憶部２２が音響処理装置２に接続されている。

操作部２３は各種の指示をするための操作子２３１を備えており、ユーザによる操作を受け付けてその操作内容に応じた操作信号を制御部２１に供給する。

取得部２５はパケット処理部２５１を有しており、パケット処理部２５１は、チャンネルｃｈ１〜ｃｈ５からそれぞれ個別に送られてくる複数のパケットを取得し、取得した各パケットから分割された原音データをそれぞれ抽出し、これらを組み上げて元の原音データを取得する。すなわち、パケット処理部２５１を有する取得部２５は、複数のチャンネルのいずれかから原音を示す原音データを取得する原音データ取得手段として機能する。

また、取得部２５は、ゲーム機１から送信された原音データの各チャンネルにそれぞれ対応付けて記述された各原音データの属性のパラメータを含む制御信号を取得する。すなわち、取得部２５は、原音データの加工内容を示すパラメータと、そのパラメータが加工すべき原音データのチャンネルとそのパラメータとの対応関係とを包含する制御信号を取得する制御信号取得手段として機能する。取得した原音データには、元となるパケットのヘッダに含められたタイムスタンプが関連付けられる。したがって、制御部２１のＤＳＰは、制御信号に記載されたタイムスタンプと一致するタイムスタンプ、あるいはそのタイムスタンプが示す時刻以降の時刻を示すタイムスタンプに関連付けられた原音データを探し、この原音データをこの制御信号に基づいて加工して加工音を示す加工音データを生成する。すなわち、制御部２１は、チャンネルから取得した原音データを、制御信号取得手段により取得された制御信号により当該チャンネルに対応付けられたパラメータが指示する加工内容で加工する加工手段として機能する。

放音部２４は、Ｄ／Ａコンバータ２４１と増幅部２４２、および６つの出力端子を備えている。Ｄ／Ａコンバータ２４１は、制御部２１により生成された加工音データをアナログ化し、加工音を取得する。そして、増幅部２４２は、取得された加工音を増幅する。６つの出力端子は、それぞれ６つのスピーカ（Ｌ，Ｒ，Ｃ，ＳＬ，ＳＲ，ＳＷ）に１対１で接続されており、増幅部２４２で増幅された加工音は、これらスピーカのいずれかに伝送され放音させられる。なお、この６つのスピーカはドルビーＡＣ−３（登録商標）に準拠したものであり、完全に独立した複数の音源（前方左右および中央のメイン信号Ｌ，Ｒ，Ｃと、左右のサラウンド信号ＳＬ，ＳＲ、およびサブウーファー信号ＳＷの合計６チャンネル信号にそれぞれ対応する音源）として機能する。また、放音部２４は、ユーザの位置を中心として６つのスピーカの置かれた方角を検知する検知部２４３を備えている。検知部２４３により検知された各スピーカの方角の情報は、制御部２１に伝達される。具体的には、検知部２４３は、ユーザの位置を中心として６つのスピーカの置かれた方角を検知するものであり、例えば、テスト音をリスニングポイントに置いた収音手段で収音してその音の遅延時間や音強の減衰率からスピーカの配置を求めたり、スピーカに貼付した反射シールに向けて赤外線などをリスニングポイントから周回させながら放射して距離・角度を測ったりすることで、各スピーカの置かれた方角を検知する。

１−６．音響処理装置の機能的構成
図６は、音響処理装置２の機能的構成を示す図である。制御部２１は、記憶部２２に記憶された制御プログラムを読み出して実行することにより、解釈部２１０、同期部２１１、高音質化処理部２１２、音響効果付与部２１３、および定位処理部２１４として機能する。解釈部２１０は、チャンネルｃｔを通じて取得部２５に取得された制御信号を解釈する。すなわち、解釈部２１０は、制御信号に含まれるタイムスタンプを読み出し同期部２１１に伝える。同期部２１１は、取得部２５のパケット処理部２５１によってパケットから再構成された原音データの中から、解釈部２１０から伝えられたタイムスタンプに一致するタイムスタンプ、またはそのタイムスタンプが示す時刻以降の時刻を示すタイムスタンプに関連付けられた原音データを探す。そして、同期部２１１は、探し出した原音データをタイムスタンプにより示されるタイミングで放音するように後段の演算処理の時間調整をする。

また、解釈部２１０は、制御信号に含まれるチャンネルｃｈ１〜ｃｈ５を通じてそれぞれ伝達される原音データのビットレート値、リバーブ率および定位をそれぞれ読み出し、高音質化処理部２１２、音響効果付与部２１３、および定位処理部２１４へそれぞれ伝える。

高音質化処理部２１２は、チャンネルｃｈ１〜ｃｈ５を通じてそれぞれ伝達される原音データのビットレート値を解釈部２１０から取得し、ＲＡＭに記憶されたビットレート値と高音質化処理の種類との対応表を参照して、各ビットレート値にそれぞれ対応する高音質化処理の種類を特定する。そして、特定した種類の高音質化処理をそれぞれ原音データに施して第１の加工音を示す音声データ（第１加工音声データ）をそれぞれ生成する。

音響効果付与部２１３は、生成された各第１加工音声データのそれぞれのリバーブ率を解釈部２１０から取得し、そのリバーブ率でそれぞれリバーブ処理を行う。すなわち、そのリバーブ率の残響を、高音質化処理部２１２により生成された第１加工音声データに付与して第２の加工音を示す音声データ（第２加工音声データという）を生成する。

定位処理部２１４は、生成された各第２加工音声データのそれぞれの定位を解釈部２１０から取得し、放音部２４から予め取得している６つのスピーカの位置に関する情報を参照して、その定位に音像が位置するように６つのスピーカのそれぞれにおいて放音される音の音量を設定する。これにより、定位処理部２１４は、第２加工音声データから第３の加工音を示す音声データ（第３加工音声データという）を生成する。

第３加工音声データは、放音部２４のＤ／Ａコンバータ２４１と増幅部２４２とにより、増幅されたアナログ音声信号に変換され、６つのスピーカにそれぞれ送られる。各スピーカは送られたアナログ音声信号に応じて放音する。

なお、制御部２１により実現する高音質化処理部２１２、音響効果付与部２１３、および定位処理部２１４は、いずれもチャンネルから取得した原音データを、制御信号取得手段により取得された制御信号により当該チャンネルに対応付けられたパラメータが指示する加工内容で加工する加工手段の一例である。

２．動作
次に、図４に示した制御信号を例に挙げて、音響システム９の動作を説明する。
ゲーム進行部１１０が、ゲームプログラム１２１に沿って、記憶部１２から複数の映像データおよび音声データを読み出してゲームを開始し、制御信号生成部１１２により、図４（ａ）に示した制御信号が生成されると、出力部１５は、生成されたこの制御信号を音響処理装置２に送信する。音響処理装置２は、この制御信号を受け取ると、この制御信号のタイムスタンプ（ｔ＝０．０）に対応するパケットから再構成された各原音データを探し、制御信号に基づいて、各原音データを加工する。例えば、チャンネルｃｈ１を介して伝達される原音は、ユーザから４５度の角度に定位し、１２％のリバーブがかけられ、１２８ｋｂｐｓに対応付けられた高音質化処理を施される。

次に、ゲーム開始から２．５秒が経過したとき、制御信号生成部１１２により、図４（ｂ）に示す制御信号が生成される。この制御信号を受け取った音響処理装置２は、ｔ＝２．５の各原音データを探してこれらをそれぞれ加工する。図４（ｂ）に太枠で示した部分がｔ＝０．０の制御信号から変更された部分であり、具体的には、チャンネルｃｈ３の定位とリバーブ率、およびチャンネルｃｈ５の定位が変更されている。したがって、例えば、ｔ＝２．５秒の時点において、チャンネルｃｈ３を介して伝達される原音は、ユーザから３０度の角度に定位し、１２％のリバーブがかけられ、６４ｋｂｐｓに対応付けられた高音質化処理を施される。

次に、ゲーム開始から１０．０秒が経過したとき、ゲーム機１は一時的に操作部１３からの操作を受け付けない状態になる。例えば、ゲーム内での物語を説明するための時間や次の段階に相当するゲームプログラム１２１をローディングする待ち時間には、ゲーム機１は、強制終了のための操作子１３１を除いて操作を受け付けず、動画や文字画面を表示部１４に表示させるのに伴ってＢＧＭを流す。このとき、ゲーム上のキャラクターは会話することが無く、環境音も発生しないので、今まで環境音である「ＳＥ」に割り当てられていたチャンネルｃｈ３や、操作音である「ＳＹＳ」に割り当てられていたチャンネルｃｈ４が空くこととなる。そこで、ゲーム進行部１１０は、チャンネルｃｈ１〜ｃｈ４の全てのＢＧＭに割り当て、チャンネルｃｈ３の定位を１３５度に、チャンネルｃｈ４の定位を−１３５度にそれぞれ設定する。

例えば、ゲーム機がロールプレイングゲームなどのゲームソフトを実行する場合、自キャラクターに同行させるメンバーの選択やダンジョンの選択、あるいは自キャラクターがどちらに顔を向けているかの選択など、ゲームの進行状況によって、登場するキャラクターもそのキャラクターが語る台詞も、音の反響の仕方も、音の聞こえてくる方向も変動する。これらの音の聞こえ方はその音の種類に応じて様々であり、一律に音響効果をかけると意図しない音としてユーザに聞こえることが有る。
音響システム９は、上述したように未加工の原音データと、これらを加工する加工内容を指示するパラメータとを示した制御信号とが音響処理装置２に送られ、音響処理装置２によって原音データの加工がそれぞれに対応するパラメータに基づいて行われるのであるから、複数種類の音声を、ユーザ個々の音響環境に応じて、その種類ごとに放音させることができる。

３．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
（１）上記の実施形態では、出力部１５は、チャンネルｃｈ１〜ｃｈ５にＰＣＭデータである原音データをそれぞれ送信していたが、圧縮処理を施された原音データを送信してもよい。この場合、制御信号には、各チャンネルで送信される原音データの圧縮フォーマットや圧縮率などを示す情報を含めてもよい。

（２）上記の実施形態では、出力部１５は、原音データをそのままパケット処理部１５１によりパケット化していたが、パケット化の前に暗号化をしてもよい。例えば、出力部１５は、ＨＤＣＰ（High-bandwidth Digital Content Protection）プロトコルに準拠した暗号化処理を行うプロセッサを備えていてもよく、暗号化の機能をＣＰＵによって実現してもよい。この場合、音響処理装置２の取得部２５には、暗号を復号する機構を設ければよい。

（３）上記の実施形態では、放音部２４が備える検知部２４３は、ユーザの位置を中心として６つのスピーカの置かれた方角を検知していたが、この検知部は、各スピーカについての方角以外の情報を検知して、この情報を方角の情報に替えてまたは加えて、制御部２１に伝達するものであってもよい。

例えば、検知部は、スピーカの有無や低域再生能力などを検知して、これらを示す情報を制御部２１に伝達してもよい。この場合、制御部２１は、伝達された情報に基づいて、音像を定位させればよい。具体的には、標準的な構成では或る位置に置かれる筈のスピーカが無い場合には、制御部２１は、その近傍に置かれている複数のスピーカによって、無いスピーカの分の音量を補うように放音部２４を制御してもよい。また、各スピーカの低域再生能力に応じてサブウーファーに振り分ける低域成分の音量の割合を決めてもよい。

（４）上記の実施形態では、制御信号生成部１１２は、タイムスタンプごとに全てのチャンネルについて、そのチャンネルから出力される原音データについて全ての属性のパラメータが記述された制御信号を生成していたが、変更が生じたチャンネルから出力される原音データについてのパラメータのみを記述する制御信号を生成してもよい。すなわち、図４（ｂ）および図４（ｃ）において太枠で示した部分のみが制御信号として、それぞれのタイムスタンプと関連付けられて音響処理装置２へ送信されればよい。この場合、音響処理装置２は送信された制御信号に含まれていないチャンネルおよびパラメータについては、変更しなければよい。

（５）上記の実施形態では、音響処理装置２に原音データを送信する構成はゲーム機１であったが、ゲーム機以外の構成であってもよい。例えば、ＤＶＤビデオなどに記録された動画の再生機であってもよい。この場合、再生機はユーザの操作に応じて表示させる映像を切り替えるとともに、音響処理装置２に送信する各原音データに対応する制御信号をユーザの操作に応じて切り替える。例えば、マルチアングルで撮影された映像データがある場合に、ユーザが選択したアングルに応じて、各原音データの定位を求め、求めた定位を制御信号に含めて音響処理装置２に送信してもよい。これにより、音響処理装置２は、ユーザが選択したアングルにそのユーザの顔が向いていると仮定した場合における各原音が聞こえるはずの方向に、それら各原音を定位させることができる。

（６）ゲーム機１の制御部１１および音響処理装置２の制御部２１においてそれぞれ実行される各プログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、これらのプログラムを、インターネットのようなネットワーク経由でダウンロードさせることも可能である。なお、上記の制御部１１および制御部２１について、ＣＰＵによって例示した制御手段としてはＣＰＵ以外にも種々の装置を適用することができ、例えば、専用のプロセッサなどを用いてもよい。

（７）上記の実施形態では、ゲーム機１はゲームの進行に応じた映像を表示する表示部１４を有していたが、表示部１４を有していなくてもよい。例えば、ゲーム機１は、音を扱い、映像を表示しないゲームソフトを実行してもよいし、外部の表示装置に接続して、映像信号をその表示装置に供給する映像端子を備えていてもよい。

（８）上記の実施形態では、放音部２４は、６つの出力端子を備えており、これらはそれぞれ６つのスピーカに１対１で接続されており、いわゆる５．１ｃｈサラウンドの放音を実現していたが、出力端子はこれより多くてもよいし、少なくてもよい。例えば、７．１ｃｈシステムや２．１ｃｈシステムに対応する出力端子を備えていてもよい。

（９）上記の実施形態では、制御信号生成部１１２は、ゲームの進行状況に応じた原音データの加工内容を指示するパラメータを生成していたが、ゲーム機１が音響処理装置２から取得した情報に基づいて上記のパラメータを生成してもよい。この場合、ゲーム機１の制御部１１は、音響処理装置２へデータを出力するチャンネルのみならず、音響処理装置２からデータを取得するチャンネル（以下、取得チャンネルという）を有しており、この取得チャンネルを介して、制御部１１は、音響処理装置２の放音部２４が有する各スピーカの数、位置や低域再生能力など、音響処理装置２により放音させられる放音機器の放音条件を取得する。すなわち、制御部１１は、原音データ出力手段が原音データを出力する出力先である音響処理装置から、当該音響処理装置により放音させられる放音機器の放音条件を取得する放音条件取得手段として機能する。
そして、制御信号生成部１１２は、取得チャンネルから取得したこれらの放音条件に応じた加工内容を決定し、そのパラメータを生成してもよい。

例えば、左右のサラウンドスピーカに相当するスピーカが音響処理装置２において用意されていないことが取得チャンネルから取得した放音条件に記述されていた場合には、制御信号生成部１１２は、前面の中央および左右に配置されたスピーカであるフロントスピーカのみで必要な音出力が構成されるように、原音データの加工内容を決定すればよい。これにより、必ずしも所望の効果が得られるとは限らない加工処理が回避され、安定した音の再生ができる。
また、上述の場合に、制御信号生成部１１２は、左右のサラウンドスピーカにそれぞれ出力される可能性が高い音が音響処理装置２でバーチャル処理（前方２スピーカのみで、あたかも後方にスピーカがあるように知覚させるような信号処理）されることを念頭において制御を変更することができる。これにより、制御信号生成部１１２は、例えば後方に定位を知覚させるために都合の悪い周波数帯域を除去したり、意図的に左右の位相差をつけることで広がり感を増したりなどバーチャル処理に有利な加工音を示す加工音データを予め提供するため、効果を最適にすることができる。

また、左右のサラウンドスピーカの低域再生能力が閾値より低いことが取得チャンネルから取得した放音条件に記述されていた場合には、制御信号生成部１１２は、放音にあたって左右のサラウンドスピーカが使用される可能性のある加工音をローパスフィルタによって抽出して、サブウーファーに放音させるように、原音データの加工内容を決定してもよい。これにより、音像を移動させた際にスピーカの低域再生能力に依存して、中高域と低域の方向感に違和感が生じることを回避することができる。

要するに、ゲーム機１は、原音データ出力手段が原音データを出力する出力先である音響処理装置から、当該音響処理装置により放音させられる放音機器の放音条件を取得する放音条件取得手段と、この放音条件取得手段により取得された放音条件と、ユーザの操作とに応じて前記パラメータを生成する生成手段とを具備する情報処理装置として機能するものであればよい。
なお、ゲーム機１が音響処理装置２から取得チャンネルを介して、音響処理装置２により放音させられる放音機器の機器放音条件を取得するには様々な構成が適用し得る。この構成としては、例えば、（ア）ゲーム機１が音響処理装置２と接続するときや、パラメータを生成するときに、音響処理装置２に機器放音条件の要求を示す要求信号を送り、音響処理装置２がこの要求信号に対する応答として上記の機器放音条件を示す応答信号を送るという構成、（イ）音響処理装置２が検知した機器放音条件を予めゲーム機１との接続時にゲーム機１へ出力するという構成、（ウ）音響処理装置２が検知した機器放音条件を定期的にゲーム機１へ出力するという構成、などが挙げられる。
すなわち、音響処理装置２は、複数のチャンネルのいずれかを介して情報処理装置から原音を示す原音データを取得する原音データ取得手段と、原音データの加工内容を示すパラメータと、該パラメータが加工すべき原音データのチャンネルとを包含する制御信号を取得する制御信号取得手段と、チャンネルから取得した原音データを、制御信号取得手段により取得された制御信号により当該チャンネルに対応付けられたパラメータが指示する加工内容で加工する加工手段と、加工手段により原音データを加工して得た加工音データが示す加工音を放音機器に放音させる際の放音条件を情報処理装置に出力する条件出力手段とを具備する音響処理装置として機能するものであればよい。

（１０）上記の実施形態では、ゲーム進行部１１０は、ゲームプログラム１２１に沿ってユーザの操作に応じたゲームを進行させていたが、このゲームプログラム１２１の内容は例えば、以下のようなものであってもよい。

ゲームプログラム１２１は、仮想空間と、この仮想空間中に配置されるキャラクターおよび発音オブジェクトを記述している。これらを表現するデータは、ゲームプログラム１２１が制御部１１により読み出されて実行されることにより、制御部１１のＲＡＭ上に記憶される。ゲーム進行部１１０は、ユーザの操作を受け付けると、この操作に応じた演算を行って、ＲＡＭ上のデータを変化させる。これにより、ユーザの操作に応じて仮想空間中のキャラクターが操作され、ゲームが進行する。操作されたキャラクターは仮想空間中において、ユーザの操作に応じた姿勢となり、また、その操作に応じた位置へ移動する。

また、仮想空間中に配置されるキャラクターには、仮想空間中で放音される音を聴取する聴取位置が定義されている。原音データ生成部１１１は、このキャラクターに定義されている聴取位置と、仮想空間中に配置された発音オブジェクトとの関係により、発音オブジェクトに設定された原音を示す原音データを演算して生成する。出力部１５は、原音データ生成部１１１が演算して生成した複数の原音データをパケット化して、それぞれ個別のチャンネルにより音響処理装置２に出力する。制御信号生成部１１２は、各原音データの出力部１５における各チャンネルにそれぞれ対応付けてその各原音データの加工内容を指示するパラメータを包含した制御信号を生成する。このパラメータは、ゲームの進行状況とユーザの操作とに応じて決まり、このパラメータにより、これら原音データが示す原音をユーザにどのように聞かせるかが指定される。出力部１５は、生成された制御信号を音響処理装置２へ出力する。

（１１）上記の実施形態では、出力部１５は、原音データをチャンネルｃｈ１〜ｃｈ５にそれぞれ送信していたが、原音データを送信するチャンネルの数は５つに限られない。このチャンネルの数は４つ以下であってもよいし、６つ以上であってもよい。

１…ゲーム機、１１…制御部、１１０…ゲーム進行部、１１１…原音データ生成部、１１２…制御信号生成部、１２…記憶部、１２１…ゲームプログラム、１３…操作部、１３１…操作子、１４…表示部、１５…出力部、１５１…パケット処理部、２…音響処理装置、２１…制御部、２１０…解釈部、２１１…同期部、２１２…高音質化処理部、２１３…音響効果付与部、２１４…定位処理部、２２…記憶部、２３…操作部、２３１…操作子、２４…放音部、２４１…Ｄ／Ａコンバータ、２４２…増幅部、２４３…検知部、２５…取得部、２５１…パケット処理部、９…音響システム

Claims (8)

1. 原音を示す原音データと、当該原音データの加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、
   前記生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、
   前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、
   前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置に対して、当該音響処理装置により放音させられる放音機器の放音条件を要求する要求手段と、
   前記要求手段の要求に対する前記音響処理装置の応答を示す応答信号から、前記放音条件を取得する放音条件取得手段とを具備し、
   前記生成手段は、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成する
   ことを特徴とする情報処理装置。
2. 原音を示す原音データと、当該原音データの加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、
   前記生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、
   前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、
   前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置から、当該音響処理装置により放音させられる放音機器の放音条件を、定期的に取得する放音条件取得手段とを具備し、
   前記生成手段は、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成する
   ことを特徴とする情報処理装置。
3. ユーザの操作に応じてゲームを進行させるゲーム進行手段
   を具備し、
   前記生成手段は、前記ゲーム進行手段により進行させられたゲームの進行状況に応じた原音データと、当該原音データの前記パラメータを生成する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 複数のチャンネルのいずれかから原音を示す原音データを取得する原音データ取得手段と、
   前記原音データの加工内容を示すパラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を取得する制御信号取得手段と、
   前記チャンネルから取得した原音データを、前記制御信号取得手段により取得された制御信号により当該チャンネルに対応付けられたパラメータが指示する加工内容で加工する加工手段と、
   前記加工手段により前記原音データを加工して得た加工音データが示す加工音を前記放音機器に放音させる際の放音条件を定期的に、または要求に応じて出力する条件出力手段と
   を具備することを特徴とする音響処理装置。
5. 請求項１から３のいずれかに記載の情報処理装置と、
   請求項４に記載の音響処理装置と
   を具備することを特徴とする音響処理システム。
6. コンピュータを、
   原音を示す原音データと、当該原音データの加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、
   前記生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、
   前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、
   前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置に対して、当該音響処理装置により放音させられる放音機器の放音条件を要求する要求手段と、
   前記要求手段の要求に対する前記音響処理装置の応答を示す応答信号から、前記放音条件取得する放音条件取得手段
   として機能させるとともに、
   前記生成手段が、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成するように前記コンピュータを機能させるためのプログラム。
7. コンピュータを、ゲーム機として機能させるゲームプログラムであって、
   ユーザの操作に応じて仮想空間中でキャラクターを操作することによりゲームを進行させるゲーム進行手段と、
   前記キャラクターに対応して設定された聴取位置と、前記仮想空間中に配置された発音オブジェクトとの関係により、当該発音オブジェクトに設定された原音を示す原音データを演算して生成する原音データ生成手段と、
   前記原音データ生成手段により生成された原音データの加工内容を指示するパラメータを前記ゲーム進行手段により進行させられたゲームの進行状況に応じて生成するパラメータ生成手段と、
   前記原音データ生成手段により生成された原音データを複数のチャンネルのいずれかから出力する原音データ出力手段と、
   前記パラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を出力する制御信号出力手段と、
   前記原音データ出力手段が前記原音データを出力する出力先である音響処理装置から、当該音響処理装置により放音させられる放音機器の数、位置、方角の少なくともいずれか１つを含む放音条件を取得する放音条件取得手段
   として機能させるとともに、
   前記パラメータ生成手段が、前記放音条件取得手段により取得された放音条件と、前記ユーザの操作とに応じて前記パラメータを生成するように前記コンピュータを機能させるためのゲームプログラム。
8. コンピュータを、
   複数のチャンネルのいずれかから原音を示す原音データを取得する原音データ取得手段と、
   前記原音データの加工内容を示すパラメータと、該パラメータが加工すべき原音データのチャンネルと該パラメータとの対応関係とを包含する制御信号を取得する制御信号取得手段と、
   前記チャンネルから取得した原音データを、前記制御信号取得手段により取得された制御信号により当該チャンネルに対応付けられたパラメータが指示する加工内容で加工する加工手段と、
   前記加工手段により前記原音データを加工して得た加工音データが示す加工音を前記放音機器に放音させる際の放音条件を定期的に、または要求に応じて出力する条件出力手段
   として機能させるためのプログラム。

Images