JP5729509B2 - 情報処理装置、音響処理装置、音響処理システムおよびプログラム - Google Patents

情報処理装置、音響処理装置、音響処理システムおよびプログラム Download PDF

Info

Publication number
JP5729509B2
JP5729509B2 JP2014079347A JP2014079347A JP5729509B2 JP 5729509 B2 JP5729509 B2 JP 5729509B2 JP 2014079347 A JP2014079347 A JP 2014079347A JP 2014079347 A JP2014079347 A JP 2014079347A JP 5729509 B2 JP5729509 B2 JP 5729509B2
Authority
JP
Japan
Prior art keywords
sound
processing
sound data
processed
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014079347A
Other languages
English (en)
Other versions
JP2014135762A (ja
Inventor
森茂 藤澤
森茂 藤澤
紀幸 大▲はし▼
紀幸 大▲はし▼
宏親 前垣
宏親 前垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2014079347A priority Critical patent/JP5729509B2/ja
Publication of JP2014135762A publication Critical patent/JP2014135762A/ja
Application granted granted Critical
Publication of JP5729509B2 publication Critical patent/JP5729509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)

Description

本発明は、コンピュータを使用してゲームソフトなどのコンテンツを表現する際の音響処理技術に関する。
コンピュータを内蔵したゲーム専用機(以下、ゲーム機という)やパーソナルコンピュータなどで実行されるゲームソフトウェア(以下、ゲームソフトという)には、そのゲームの進行状況に応じて、例えば立体空間を表現したり、動画を再生したりするものがある。また、市販のDVD(Digital Versatile Disc)ビデオやBlu−ray(登録商標)ディスクビデオなど(以下、DVDビデオなどという)に記録されたビデオコンテンツをユーザの操作に応じて再生する再生機もある。
ゲームソフトを実行するゲーム機やビデオコンテンツを再生する再生機は、情報処理を行う情報処理装置である。これらの情報処理装置は、一般にスピーカなどの放音装置を備えたアンプに接続されており、コンテンツの映像に音声が同期するようにアンプに音声信号を送信する。これらの情報処理装置のうち多くは、コンテンツ全体を通じて予め定められた標準の音響環境に合わせて音場が形成されるように音声をミキシングしてアンプに送信するものであるが、コンテンツの進行状況に合わせて音場感を変え、より現実感や迫力感を得られるように構成された情報処理装置も開発されている。例えば、特許文献1には、ゲームの進行に応じて再生音のエフェクトを切り替える技術が開示されている。
特開平8−243254号公報
しかしながら、特許文献1の技術は、ゲームの進行状況に関する条件を満たしたときに音場を変更するが、音声には、操作音、環境音、BGM(background music)など様々な種類があり、これら複数種類の音声に対して、基準となる放音条件に基づいて一律に同じ音場を適用するものである。そのため、特許文献1の技術では、実際の放音条件下で再生したときに音の種類あるいは放音条件によっては望ましい音響効果が得られないことがあった。
本発明は、基準となる放音条件に基づいて加工された加工音データを用いて、実際の放音機器の放音条件下で所定の音を適切なタイミングで放音させることを目的とする。
上述した課題を解決するため、本発明に係る音響処理装置は、供給されるデータに応じた放音を行う放音機器に接続される音響処理装置であって、予め定められた放音条件である基準放音条件下において、決められた第1の音が放音されるように定められた加工内容で原音データが加工された加工音データを、前記放音機器に対応付けて取得する加工音データ取得手段と、前記原音データに対する前記加工内容を指示するパラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を取得する制御信号取得手段と、前記放音機器の放音条件である機器放音条件下で前記放音機器が放音する第2の音を、決められた第3の音に近づけるために、当該機器放音条件の前記基準放音条件に対する差、および前記制御信号取得手段が取得した制御信号を用いて、当該放音機器に対応付けて前記加工音データ取得手段が取得した加工音データに対する修正内容を特定する特定手段と、前記特定手段により特定された修正内容で、前記加工音データを修正する修正手段と、前記修正手段によって修正された加工音データを前記放音機器に供給する供給手段とを具備し、前記制御信号取得手段が取得する制御信号には、当該制御信号が適用されるべきタイミングを示したタイムスタンプが含まれ、前記修正手段は、前記タイムスタンプに対応する前記加工音データを修正することを特徴とする。
好ましくは、前記原音データの識別情報を取得する識別情報取得手段を具備し、前記制御信号取得手段は、外部の機器に対して、前記識別情報取得手段により取得した前記原音データの識別情報を送信し、当該外部の機器から当該識別情報により示される前記原音データに対する前記パラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を取得するとよい。
また、好ましくは、前記加工音データ取得手段に前記加工音データを取得させる情報処理装置に対し、前記機器放音条件を示す信号を送信する送信手段を具備し、前記加工音データ取得手段により取得された加工音データが、前記送信手段により送信された信号により示される機器放音条件下において前記第1の音が放音されるように定められた加工内容で前記原音データが加工されたものである場合に、前記修正手段は、当該加工音データを修正せず、前記供給手段は、修正されていない当該加工音データを前記放音機器に供給するとよい。
また、本発明に係る音響処理システムは、上述の音響処理装置と、情報処理装置とを具備する音響処理システムであって、前記情報処理装置は、原音を示す原音データと、当該原音データに対する加工内容であって、予め定められた放音条件である基準放音条件下において、決められた第1の音が放音されるように定められた加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、前記生成手段により生成された原音データを前記パラメータが指示する加工内容で加工して加工音データを生成する加工音データ生成手段と、前記加工音データ生成手段により生成された加工音データを複数のチャンネルのいずれかから出力する加工音データ出力手段と、前記原音データに対する前記加工内容を指示するパラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を取得する制御信号取得手段とを具備することを特徴とする。
好ましくは、前記制御信号出力手段は、前記原音データを加工することにより変更が生じた構成のみを記述する制御信号を出力してもよい。
また、本発明に係るプログラムは、供給されるデータに応じた放音を行う放音機器に接続されるコンピュータを、予め定められた放音条件である基準放音条件下において、決められた第1の音が放音されるように定められた加工内容で原音データが加工された加工音データを、前記放音機器に対応付けて取得する加工音データ取得手段と、前記原音データに対する前記加工内容を指示するパラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を取得する制御信号取得手段と、前記放音機器の放音条件である機器放音条件下で前記放音機器が放音する第2の音を、決められた第3の音に近づけるために、当該機器放音条件の前記基準放音条件に対する差、および前記制御信号取得手段が取得した制御信号を用いて、当該放音機器に対応付けて前記加工音データ取得手段が取得した加工音データに対する修正内容を特定する特定手段と、前記特定手段により特定された修正内容で、前記加工音データを修正する修正手段、前記修正手段によって修正された加工音データを前記放音機器に供給する供給手段として機能させるとともに、前記制御信号取得手段が取得する制御信号には、当該制御信号が適用されるべきタイミングを示したタイムスタンプが含まれ、前記修正手段が、前記タイムスタンプに対応する前記加工音データを修正するように前記コンピュータを機能させるためのプログラムである。
本発明によれば、基準となる放音条件に基づいて加工された加工音データを用いて、実際の放音機器の放音条件下で所定の音を適切なタイミングで放音させることができる。
本発明の実施形態に係る音響処理システムの構成を表す図である。 ゲーム機の構成を表す図である。 ゲーム機の機能的構成を示す図である。 制御信号生成部が生成した制御信号の例を示す図である。 出力部から送信される加工制御信号の例を示す図である。 加工部の機能的構成を示す図である。 音響処理装置の構成を示す図である。 音響処理装置の主に制御部の機能的構成を示す図である。 記憶部に記憶される修正内容テーブルの一例を示す図である。 修正処理の概要を説明するための図である。 変形例における音響処理システムを示す図である。 変形例におけるゲーム機の機能的構成を示す図である。 変形例における加工部の機能的構成を示す図である。
1.構成
1−1.システムの全体構成
図1は、本発明の実施形態に係る音響処理システム9の構成を表す図である。音響処理システム9は、ゲーム機1と音響処理装置2と放音機器3とを有する。ゲーム機1と音響処理装置2とは、例えば、HDMI(High-Definition Multimedia Interface;登録商標)などの規格に沿ったマルチチャンネルの通信ケーブルによって接続されている。ここでチャンネルとはデータを伝送する伝送経路を意味し、マルチチャンネルの通信ケーブルは、独立した複数のチャンネルを有する通信ケーブルである。ゲーム機1は、ソフトウェアやコンテンツを再生する情報処理装置の一例である。音響処理装置2と放音機器3とは、音響信号を伝達するオーディオケーブルによって接続されている。なお、ゲーム機1と音響処理装置2とは互いに情報を遣り取り可能に構成されており、音響処理装置2からゲーム機1への情報の伝達は、同図に破線で示すように可能であるが、以下の実施形態の説明において省略する。
1−2.ゲーム機の構成
図2は、ゲーム機1の構成を表す図である。制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有し、CPUがROMに記憶されているブートローダや記憶部12に記憶されている各種のプログラムをRAMに読み出して実行することによりゲーム機1の各部を制御する。また、制御部11は、MPEG2やMPEG4などの規格に準じて圧縮された動画・音声データを展開して、非圧縮のPCM(pulse code modulation)データを生成するデコーダを備えている。なお、このデコーダはCPUと別のハードウェアである専用のプロセッサによって実現されてもよいし、CPUがプログラムを実行することにより実現されてもよい。制御部11は、例えば、後述するゲーム進行部110や原音データ生成部111などとして機能する。
記憶部12はハードディスクドライブなどの大容量の記憶手段であり、制御部11に読み込まれる各種のプログラムを記憶する。ゲームプログラム121は、上述した各種プログラムのうちの1つである。なお、この記憶部12は、外付けの不揮発性メモリなどの記録媒体であってもよい。この場合、図示しない接続インターフェイスなどを介して記憶部12がゲーム機1に接続されている。また、この記憶部12は、光ディスクなどの記録媒体を読み取る読取装置を含んでいてもよい。この場合、記憶部12は、この読取装置に装填された記録媒体を読み出し、その記録媒体が書き換え可能なものであれば、その記録媒体に書き込みを行えばよい。
操作部13は各種の指示をするための操作子131を備えており、ユーザによる操作を受け付けてその操作内容に応じた操作信号を制御部11に供給する。
表示部14は、例えば、液晶ディスプレイなどの表示体を備えており、制御部11の制御の下、ゲームの進行に応じた映像を表示する。
出力部15は、制御部11の制御の下、ゲームの進行に応じた複数の音を音響処理装置2に放音させるように、音響処理装置2に複数の音声データと、制御信号とを送るインターフェイスである。また、出力部15は、パケット処理部151および加工部152を備える。加工部152は、後述する原音データ生成部111から得られる原音を示す音声データ(以下、原音データという)を加工してゲームの進行に応じた複数の音声データ(以下、加工音データという)を生成する。加工部152は、例えば、制御部11による制御に応じて原音データのミキシングなどの加工処理を行うプロセッサである。パケット処理部151は、生成された加工音データを、例えば、音声の再生単位であるオーディオ・フレームごとに分割して、再生時刻を示すタイムスタンプなどを含んだヘッダを付加し、パケット化する。
出力部15は、上述したマルチチャンネルの通信ケーブルによって音響処理装置2に接続されている。通信ケーブルは7つのチャンネルを有しており、そのうちの1つのチャンネルctには制御信号が出力され、残りの6つのチャンネルL,R,C,SL,SR,SWには、パケット化された加工音データがそれぞれ送信される。制御信号の詳細は、後述する。
1−3.ゲーム機の機能的構成
図3は、ゲーム機1の機能的構成を示す図である。制御部11は、記憶部12に記憶されたゲームプログラム121(図2参照)を読み出して実行することにより、ゲーム進行部110、原音データ生成部111、および制御信号生成部112として機能する。ゲーム進行部110は、ゲームプログラム121に沿ってユーザの操作に応じたゲームを進行させる。すなわち、ゲーム進行部110は、ユーザの操作に応じてゲームを進行させるゲーム進行手段として機能する。具体的には、ゲーム進行部110は、記憶部12に記憶されたゲームの設定情報を読み出し、この設定情報に応じてゲームの進行状況や操作信号の割り当てなどを決定する。また、ゲーム進行部110は、操作部13で受け付けられたユーザによる操作を示す操作信号を解釈してゲームを進行させる。また、ゲーム進行部110は、ゲームの進行状況に応じた映像を示す映像データを記憶部12から読み出して表示部14に送り、映像データに応じたその映像を表示部14に表示させる。そして、ゲーム進行部110は、ゲームの進行状況に応じて記憶部12からゲームで用いる音声データを読み出す。
原音データ生成部111は、ゲーム進行部110が読み出した音声データを基に、原音を示す原音データを個別に生成する。また、原音データ生成部111は、生成する原音データを識別する識別情報と、その原音データの加工音データに応じて放音が行われるべきタイミングを示したタイムスタンプとを、その原音データに関連付けて生成する。原音とは、ゲームの進行状況に応じてゲームのユーザに聞かせるべき加工音の基となる音であり、例えば、BGM、環境音、ボイス、システム音などである。BGMとは、ユーザの感情を高めるための音楽などである。環境音とは、ユーザが操作するキャラクターの足音や雨風の音など、ゲーム内の仮想空間を表現する音である。ボイスとは、ゲーム内で登場する人物の音声である。システム音とは、操作部13が操作を受け付けたことをユーザに認識させるための音であり、例えば、クリック音やチャイム音などである。原音データ生成部111によって同時に生成される原音データの数は、ゲームの進行状況に応じて変動する。ここでは、原音データ生成部111によって生成される原音データは、同図に示すように最大で5種類である。これらはそれぞれチャンネルch1〜ch5を介して加工部152に供給される。原音データ生成部111は、原音を示す原音データをユーザの操作に応じて生成する生成手段として機能する。また、特にこの場合には、原音データ生成部111は、ゲーム進行手段により進行させられたゲームの進行状況に応じた原音データを生成する原音データ生成手段として機能する。なお、原音データの識別情報やタイムスタンプは、その原音データのヘッダなどに含まれていてもよい。
制御信号生成部112は、原音データ生成部111が生成した各原音データの識別情報にそれぞれ対応付けてその各原音データの各属性を記述した制御信号を生成する。この属性とは、これら原音データにより示される原音をユーザにどのように聞かせるかについて指定する情報である。具体的には音響処理装置2に接続される放音機器3の基準となる放音条件(以下、基準放音条件という)下において放音されるように決められた音(以下、第1の音という)の属性であって、例えば、その音の聞こえる方角や、その音の残響音、あるいはその音の音域などである。この第1の音が基準放音条件下で放音されるように、原音データに対する加工内容がパラメータにより定められている。この加工内容を指示するパラメータは、ゲームの進行状況に応じて決まる。
放音条件とは、放音機器3の配置や性能などによって定まる放音の条件であり、例えば、スピーカなどの放音機器3の数やユーザの視聴位置に対する角度・距離、および、放音が可能な音域、残響の強さなどの条件である。基準放音条件は、例えば、ドルビーAC‐3(登録商標)に準拠した5.1chサラウンドについて予め定められた条件であり、前方左右および中央のメイン信号L,R,Cと、左右のサラウンド信号SL,SR、およびサブウーファー信号SWの合計6チャンネル信号にそれぞれ対応する音源の配置と、各音源を表現するスピーカの放音性能を示すものである。したがって、制御信号生成部112は、原音データの加工内容を指示するパラメータをユーザの操作に応じて生成する生成手段として機能する。また、特にこの場合には、制御信号生成部112は、ゲーム進行手段により進行させられたゲームの進行状況に応じた原音データの加工内容を指示するパラメータを生成する生成手段として機能する。
出力部15の加工部152は、制御信号生成部112から上述したパラメータを取得する。そして、加工部152は、取得したこのパラメータに基づいて、原音データ生成部111が生成した各原音データを加工し、複数の加工音データを生成する。加工部152の詳細については後述する。なお、ここでは、加工音データは、原音データと同じくPCMデータになるものとする。
また、加工部152は、取得したパラメータにより原音データを加工して得た加工音データの構成を示す情報を生成し、これを包含する制御信号(以下、加工制御信号という)を出力する。
パケット処理部151は、加工部152が生成した複数の加工音データをパケット化して、それぞれ個別のチャンネルにより音響処理装置2に出力する。したがって、出力部15は、加工音データ生成手段により生成された加工音データを複数のチャンネルのいずれかから出力する加工音データ出力手段として機能する。
なお、基準放音条件ではなく、実際の放音機器3に固有の放音条件(以下、機器放音条件という)下で原音データを加工するためには、後述する音響処理装置2の接続部24が接続する各放音機器3の位置や再生能力など、放音機器3における種々の情報が必要である。そのため、ゲーム機1は予め定められている基準放音条件の下で原音データの加工を行って加工音データを生成し、生成されたその加工音データを、音響処理装置2によって実際の放音機器3の機器放音条件に応じて修正させる。
出力部15のパケット処理部151は、加工部152が生成した加工制御信号を、複数の加工音データのチャンネルに関連付けてチャンネルctにより音響処理装置2に出力させる。加工音データと制御信号との同期は、制御信号に含まれるタイムスタンプと各加工音データをパケット化する際に用いたタイムスタンプとによってなされる。したがって、出力部15は、生成手段により生成された原音データに対する加工内容を指示するパラメータによりその原音データを加工して得た加工音データの構成を示す情報を包含する制御信号(加工制御信号)を出力する制御信号出力手段として機能する。
1−4.制御信号および加工制御信号の構成
図4は、制御信号生成部112が生成した制御信号の例を示す図である。また、図5は、加工部152が生成し、出力部15のチャンネルctから送信される加工制御信号の例を示す図である。制御信号には、図4に示すように、その制御信号が適用されるべきタイミングを示したタイムスタンプと、チャンネル(ch1〜ch5)ごとに定められた種類、定位、リバーブ率、およびビットレートの4つの属性をそれぞれ示す各パラメータとが記述されている。
ここで、種類とは、原音データが示す原音の種類であり、具体的には、BGM、SE(環境音)、VO(ボイス)、SYS(システム音)などである。原音データは種類によって識別可能であるため、ここでは、種類を示すパラメータを原音データの識別情報として用いる。
定位とは、ユーザにとって音の発生地点があると感じられる方角であり、例えば0度がユーザの正面方向であって、その正面方向から左周り(すなわち、ユーザの頭上からみて反時計回り)の1周を360度で表したものである。
リバーブ率とは、音に残響を付与することによりユーザに空間の広がりを感じさせる音響効果であるリバーブの強さを示す値であって、基となる原音の音量を100%とした場合の、その原音に付与する残響音の音量の割合を百分率で表したものである。この百分率が高いほど、強いリバーブがかけられ、ユーザは空間に広がりを感じる。
ビットレートとは、原音データに含まれる音声1秒あたりの情報量をビット数で表したものあり、原音データの品質を表す。
例えば、図4(a)に示す制御信号では、タイムスタンプはt=0.0秒であり、チャンネルch1から送信される原音データの種類はBGM(L)であり、定位は−45度である。また、チャンネルch5から送信される原音データは、種類がVO(ボイス)であり、定位は0度、リバーブは0%、ビットレートは64kbpsである。
加工制御信号には、図5に示すように、制御信号に対応するタイムスタンプと、チャンネル(L,R,SL,SR,C)ごとに、それぞれそのチャンネルで伝達される加工音データの構成が記述されている。この構成とは、具体的には、各加工音データに割り当てられた原音の種類、音響効果およびビットレートの内容である。
例えば、図5(a)に示す加工制御信号では、タイムスタンプはt=0.0秒であり、チャンネルLから送信される原音データの種類はBGM(L)とSE(環境音)であり、音響効果は0%である。また、チャンネルSLから送信される原音データは、種類がSE(環境音)であり、音響効果は12%、ビットレートは64kbpsである。
1−5.加工部の機能的構成
図6は、加工部152の機能的構成を示す図である。加工部152は、解釈部1520、同期部1521、音響効果付与部1523、および定位処理部1524として機能する。解釈部1520は、制御信号生成部112により生成された制御信号を解釈する。すなわち、解釈部1520は、制御信号に含まれるタイムスタンプを読み出し同期部1521に伝える。同期部1521は、原音データ生成部111により生成された原音データの中から、解釈部1520から伝えられたタイムスタンプに一致するタイムスタンプ、またはそのタイムスタンプが示す時刻以降の時刻を示すタイムスタンプに関連付けられた原音データを探す。この原音データは、音響効果付与部1523、および定位処理部1524へ順次、伝えられる。
また、解釈部1520は、チャンネルch1〜ch5からそれぞれ送信される原音データのリバーブ率および定位のパラメータを制御信号からそれぞれ読み出し、音響効果付与部1523、および定位処理部1524へそれぞれ伝える。
また、解釈部1520は、解釈した制御信号から加工制御信号を生成し、音響処理装置2へ伝える。
音響効果付与部1523は、チャンネルch1〜ch5からそれぞれ送信される原音データのそれぞれのリバーブ率を解釈部1520から取得し、そのリバーブ率でそれぞれリバーブ処理を行う。すなわち、そのリバーブ率の残響を、原音データに付与して第1の加工音を示す音声データ(第1加工音データという)を生成する。
定位処理部1524は、生成された各第1加工音データのそれぞれの定位を解釈部1520から取得し、放音機器3が基準放音条件を有していると仮定した場合にその定位に音像が位置するように放音機器3において放音される音の音圧を設定する。これにより、定位処理部1524は、第1加工音データから第2の加工音を示す音声データ(第2加工音データという)を生成する。
第2加工音データは、パケット処理部151によりパケット化され、基準放音条件に準拠した6つのチャンネルL,R,C,SL,SR,SWを通じて音響処理装置2に送信される。
1−6.音響処理装置の構成
図7は、音響処理装置2の構成を示す図である。制御部21は、CPU、ROM、RAMを有し、CPUがROMに記憶されているブートローダや記憶部22に記憶されている制御プログラムをRAMに読み出して実行することにより音響処理装置2の各部を制御する。また、制御部21は、取得部25を介して取得される加工音データ(第2加工音データ)を修正するDSP(Digital Signal Processor)を備える。
記憶部22はハードディスクドライブなどの大容量の記憶手段であり、制御部21に読み込まれる制御プログラムを記憶する。また、記憶部22は、修正内容テーブル221を記憶する。修正内容テーブル221は、音響処理装置2が接続する放音機器3の機器放音条件の基準放音条件に対する差に応じて、ゲーム機1において基準放音条件に対応した加工内容で加工された加工音データ(第2加工音データ)を修正する修正処理の内容がそれぞれ記述されたテーブルである。
なお、この記憶部22は、外付けの不揮発性メモリなどの記録媒体であってもよい。この場合、図示しない接続インターフェイスなどを介して記憶部22が音響処理装置2に接続されている。
操作部23は各種の指示をするための操作子231を備えており、ユーザによる操作を受け付けてその操作内容に応じた操作信号を制御部21に供給する。
取得部25はパケット処理部251を有しており、パケット処理部251は、6つのチャンネルL,R,C,SL,SR,SWからそれぞれ個別に送られてくる複数のパケットを取得し、取得した各パケットから分割された第2加工音データをそれぞれ抽出し、これらを組み上げて元の第2加工音データを取得する。すなわち、パケット処理部251を有する取得部25は、放音機器の基準放音条件に対応した加工内容で原音データを加工した加工音データを、複数のチャンネルのいずれかから取得する加工音データ取得手段として機能する。取得した第2加工音データには、元となるパケットのヘッダに含められたタイムスタンプが関連付けられる。
また、取得部25は、ゲーム機1の出力部15が出力した加工制御信号を取得する。すなわち、取得部25は、原音データに対する加工内容を指示するパラメータによりその原音データを加工して得た加工音データの構成を示す情報を包含する制御信号(加工制御信号)を取得する制御信号取得手段として機能する。
接続部24は、D/Aコンバータ241と増幅部242を備えている。D/Aコンバータ241は、制御部21により生成された加工音データをアナログ化し、加工音を取得する。そして、増幅部242は、取得された加工音を増幅して6つの放音機器3(3L,3R,3C,3SL,3SR,3SW)に伝送し放音させる。また、接続部24は、ユーザの位置を中心として6つの放音機器3の機器放音条件を検知する検知部243を備えている。具体的には、検知部243は、音響処理装置2に接続される放音機器3の数やユーザの視聴位置に対する角度・距離、および、その放音機器3により放音が可能な音域を検知する。検知部243により検知された各放音機器3の機器放音条件は、制御部21に伝達される。検知部243は、例えば、テスト音をリスニングポイントにおいた収音手段で収音してその音の遅延時間や音圧の減衰率からスピーカの配置を求めたり、スピーカに貼付した反射シールに向けて赤外線などをリスニングポイントから周回させながら放射して距離・角度を測ったりすることで、各スピーカの置かれた方角を検知する。なお、検知部243は、ユーザの操作により予め入力された機器放音条件を放音機器3の機器放音条件として検知してもよい。
制御部21は、第1に、接続部24の検知部243が検知した放音機器3の機器放音条件を取得する。第2に、制御部21は、取得部25により取得された第2加工音データおよびその第2加工音データの構成を示す情報を包含する加工制御信号を取得する。第3に、制御部21は、記憶部22の修正内容テーブル221を参照し、取得した機器放音条件と基準放音条件との差と、取得した加工制御信号とに応じて修正処理の内容を決定する。そして、制御部21は、第4に、取得した加工音データに対して決定した内容の修正処理を施す。
1−7.音響処理装置の機能的構成
図8は、音響処理装置の主に制御部21の機能的構成を示す図である。制御部21は、特定部210、同期部211、音質修正部212、音響効果修正部213として機能する。特定部210は、取得部25が取得した加工制御信号と、接続部24の検知部243が検知した放音機器3の機器放音条件とを取得する。そして、特定部210は、記憶部22の修正内容テーブル221を参照し、取得された機器放音条件下で放音機器3が放音する音(以下、第2の音という)を、第1の音に近づけるために、機器放音条件の基準放音条件に対する差、加工制御信号、および放音機器3に対応付けて取得した第2加工音データに基づいて、その第2加工音データの修正内容を特定する。
ここで、修正内容テーブル221について説明する。図9は、記憶部22に記憶される修正内容テーブル221の一例を示す図である。同図に示すように、修正内容テーブル221には、特定部210が判定する条件を記述した修正条件と、その修正条件を満たしていると特定部210が判定した場合に特定される修正内容とが対応付けられて記述されている。これにより、特定部210は、修正条件に記述された条件を判定し、その結果に応じて、上記の修正内容を特定する。
例えば、同図に示す「欠如」は、基準放音条件下では存在している放音機器3が、機器放音条件下では欠如しているという条件を表している。このとき、修正内容として、加工音データを「近くの放音機器に割り当てる」が、特定部210によって特定される。つまり、この修正内容は、機器放音条件下において欠如している放音機器3に割り当てられた加工音データを、その放音機器3が基準放音条件下において存在するはずの位置から見て近くに配置された別の放音機器3に割り当てる処理となる。
また、同図に示す「音域再生能力の欠如」は、基準放音条件下で存在する放音機器3が、機器放音条件下でも存在しているが、機器放音条件下におけるその放音機器3は、基準放音条件下における放音機器3よりも或る音域において再生能力が欠如しているといった条件を表している。このとき、修正内容として、加工音データを「音域ごとに近くの放音機器に割り当てる」が、特定部210によって特定される。すなわち、この修正内容は、機器放音条件下において再生能力が欠如している音域についてだけ、近くに配置されている別の放音機器3に割り当てる処理となる。
図7に戻る。特定部210は、加工制御信号に含まれるタイムスタンプを読み出し同期部211に伝え、同期部211は、チャンネルL,R,C,SL,SR,SWを介して取得部25から取得した第2加工音データの中から、特定部210から伝えられたタイムスタンプに一致するタイムスタンプ、またはそのタイムスタンプが示す時刻以降の時刻を示すタイムスタンプに関連付けられた第2加工音データを探す。この第2加工音データは、音質修正部212、および音響効果修正部213へ順次、伝えられる。
また、特定部210は、特定した修正内容を音質修正部212、および音響効果修正部213へそれぞれ伝える。
音質修正部212は、加工制御信号から加工音データの構成を読み出し、ビットレートが閾値よりも低い場合に、そのビットレート値に応じた高音質化処理を加工音データに対して行う。これにより、音質修正部212は、第2加工音データに高音質化処理を施して第3の加工音を示す音声データ(第3加工音データという)を生成する。
音響効果修正部213は、検知部243によって検知された放音機器3の機器放音条件における残響の強さが基準放音条件におけるそれと差がある場合に、その差に応じてリバーブの除去や追加を行う。例えば、機器放音条件における残響の強さが基準放音条件におけるそれよりも強い場合には、ゲーム機1で付与されたリバーブは過剰となる。そこで、音響効果修正部213は、このリバーブの過剰分を解消するために、所定のアルゴリズムにしたがって、第3加工音データにかけられているリバーブを除去する。逆に、機器放音条件における残響の強さが基準放音条件におけるそれよりも弱い場合には、ゲーム機1で付与されたリバーブは不足している。この場合には、音響効果修正部213は、このリバーブの不足分を解消するために、第3加工音データに新たにリバーブを追加する。このように音響効果修正部213は、第3加工音データのリバーブの除去や追加を行って第4の加工音を示す音声データ(第4加工音データという)を生成する。
第4加工音データは、接続部24から6つのチャンネルL,R,C,SL,SR,SWを通じて放音機器3(3L,3R,3C,3SL,3SR,3SW)にそれぞれ送信される。
2.動作
次に、図4に示した制御信号を例に挙げて、音響処理システム9の動作を説明する。動作はゲーム機1における原音データの加工に関する動作と、音響処理装置2における加工音データの修正に関する動作とに大別される。
2−1.ゲーム機の動作
ゲーム進行部110が、ゲームプログラム121に沿って、記憶部12から複数の映像データおよび音声データを読み出してゲームを開始し、制御信号生成部112により、図4(a)に示した制御信号が生成されると、出力部15の加工部152は、生成されたこの制御信号に含まれるパラメータに基づいて、原音データ生成部111により生成された原音データを加工し、複数の加工音データを生成する。この加工音データの構成は図5(a)の加工制御信号に示す通りとなる。
例えば、ゲーム開始の時点(すなわち、t=0.0)では、チャンネルch1を介して伝達される原音は、ユーザから45度の角度に定位し、12%のリバーブがかけられる。
次に、ゲーム開始から2.5秒が経過したとき、制御信号生成部112により、図4(b)に示す制御信号が生成される。この制御信号を受け取った音響処理装置2は、t=2.5の各原音データを探してこれらをそれぞれ加工する。図4(b)に太枠で示した部分がt=0.0の制御信号から変更された部分であり、具体的には、チャンネルch3の定位とリバーブ率、およびチャンネルch5の定位が変更されている。したがって、例えば、t=2.5秒の時点において、チャンネルch3を介して伝達される原音は、ユーザから30度の角度に定位し、12%のリバーブがかけられる。この加工音データの構成は図5(b)の加工制御信号に示す通りとなる。
次に、ゲーム開始から10.0秒が経過したとき、制御信号生成部112により、図4(c)に示す制御信号が生成される。ここで、ゲーム機1は一時的に操作部13からキャラクターを動かすための操作を受け付けない状態になる。例えば、ゲーム内での物語を説明するための時間や次の段階に相当するゲームプログラム121をローディングする待ち時間には、ゲーム機1は、例えば、強制終了のための操作などゲームシステムに対する操作を除いていかなる操作も受け付けず、動画や文字画面を表示部14に表示させるのに伴ってBGMを流す。このとき、ゲーム上のキャラクターは会話することが無いので、図5(b)に示すように今までボイスである「VO」に割り当てられていたチャンネルSLが空くこととなる。そこで、ゲーム進行部110は、図5(c)に示すようにチャンネルL,R,SL,SRの全てにBGMを割り当てるとともに、チャンネルL,Rに対し、ゲームシステムに対する操作があったときに発生するシステム音(SYS)を割り当てる。
出力部15は、上述のように生成された複数の加工音データとその加工に用いられた制御信号とを音響処理装置2に送信する。
このゲーム機1は、上述したように、基準放音条件下において第1の音が放音されるように加工した加工音データと、その加工音データの構成を示す情報を包含した加工制御信号とを出力するので、これらを受け取った音響処理装置2は、加工音データがどのような構成を有しているかを特定することができる。そして、音響処理装置2は、実際の機器放音条件の基準放音条件に対する差に基づいて、その機器放音条件を有する放音機器に第1の音が放音されるようにするために、加工音データに必要な修正内容を特定することができる。
また、音響処理装置2が、ゲーム機1から取得したデータから修正内容を特定することができない場合であっても、ゲーム機1は、基準放音条件下において第1の音が放音されるように原音データを加工している。したがって、音響処理装置2に接続されている放音機器3の機器放音条件が基準放音条件に近い場合には、ゲーム機1は、音響処理装置2により修正されていない加工音データを放音機器3に供給させるだけで、第1の音に近い音を放音機器3に放音させることができる。すなわち、複数の放音機器3の中で平均的な放音条件を決定し、これを基準放音条件と定めることで、機器放音条件の差に基づく加工音データのずれは抑制されることとなる。
なお、ゲーム機1は、複数の音響処理装置2と接続されていてもよい。この場合、各音響処理装置2にそれぞれ接続した放音機器3が機器放音条件において相違していても、ゲーム機1から出力された加工音データは、各音響処理装置2において、それぞれの機器放音条件に応じて修正される。したがって、ゲーム機1は、接続される複数の音響処理装置2にそれぞれ異なった加工内容で加工した加工音データを個別に生成して出力する必要がない。
2−2.音響処理装置の動作
音響処理装置2の制御部21は、ゲーム機1から加工制御信号を受け取ると、この加工制御信号のタイムスタンプに対応するパケットから再構成された各加工音データを探し、記憶部22に記憶された修正内容テーブル221と加工制御信号とに基づいて修正処理の内容を決定し、各加工音データを修正する。
図10は、修正処理の概要を説明するための図である。図10(a)に示す黒丸は基準放音条件における放音機器3の配置であり、破線は実際の放音機器3の配置である。例えば、部屋の形状や大きさなどにより、図10(a)に示すように音響処理装置2に接続される放音機器3の機器放音条件は基準放音条件と異なることがある。また、図10(b)に示す実線は、基準放音条件における放音機器3Cの音域に対する再生能力であり、破線は、実際の機器放音条件における放音機器3Cの音域に対する再生能力である。つまり、各放音機器3の性能についても、実際の機器放音条件は、基準放音条件と異なる場合がある。音響処理装置2は、このような実際の機器放音条件の基準放音条件に対する隔たりを埋め合わせるように、取得した加工音データを修正して、修正後の加工音データに基づいて放音機器3に放音させる。
修正処理の具体例を以下に説明する。
(1)放音機器3の有無
基準放音条件には、L,R,C,SL,SR,SWの6種類のチャンネルに相当する放音機器3(3L、3R,3C,3SL,3SR,3SW)が定められているが、実際に用いる放音機器3は6種類全てがそろっていない場合もあり、また、7種類以上である場合もある。記憶部12に記憶された修正内容テーブル221には、例えば、基準放音条件下において前方中央からの音源を表現する放音機器3Cが実際に接続された放音機器3に無い場合において、基準放音条件において放音機器3Cがあるはずの位置に、その加工音データによって示される加工音の音像が定位するように、放音機器3Cに放音させるための加工音データを、放音機器3Lと放音機器3Rとに割り当てるという修正処理の内容が記載されている。
したがって、接続部24の検知部243において、放音機器3Cが無いことが検知されると、制御部21は修正内容テーブル221を参照し、加工部152において放音機器3C(即ち、チャンネルC)に割り当てられた加工音データを、放音機器3Lと放音機器3Rとに割り当て、各加工音データが示す加工音の音圧を設定して放音する。それぞれに設定された音圧は、例えば、本来、放音機器3Cにおいて放音されるはずだった加工音の音圧の50%である。この音圧の割合などは、加工制御信号に基づいて決定される。
また、サラウンドスピーカ(放音機器3SL、放音機器3SR)が無い場合には、同様にして制御部21は、修正処理として、放音機器3SL、放音機器3SRに放音させるはずだった加工音の加工音データを、放音機器3Lおよび放音機器3Rにそれぞれ割り当てる。これらの加工音データが示す加工音の音圧の割合などは、加工制御信号に基づいて決定される。
また、サブウーファー(放音機器3SW)が無い場合には、制御部21は、修正処理として、放音機器3SWに放音させるはずだった加工音の加工音データを、放音機器3Lおよび放音機器3Rにそれぞれ割り当てる。このとき、検知部243は、放音機器3Lおよび放音機器3Rの低域再生能力を検知しており、上記の加工音を放音させるのに影響する程度に低いと判断すると、上記の加工音の放音を省略したり、音圧を低く設定したりする。
(2)放音機器3の性能
検知部243は、各放音機器3の性能を検知して、その内容を制御部21に伝達する。例えば、検知部243は、予め設定された閾値と比較することなどにより、放音機器3Rが十分な低域再生能力を持つことを検知する一方、放音機器3SRの低域再生能力が十分でないことを検知しているとする。ここで、或る種類の原音の音像が、基準放音条件下で放音機器3Rの位置から放音機器3SRの位置へ移動しているとユーザに感じられるように、加工部152により原音データが加工されると、制御部21は、加工制御信号を参照して、音像の移動に伴って、チャンネルSRを介して送信された加工音データをハイパスフィルタやローパスフィルタなどのフィルタを通して帯域毎に分離し、分離された加工音データにより示される加工音のうち、中高域のものを放音機器3SRに放音させるとともに、低域成分に相当するものを放音機器3SWに放音させるように、加工音データを修正する。なお、このような分離処理を行うのではなく、放音機器3SWによる放音を行わないようにしてもよい。
また、制御部21は、基準放音条件における各放音機器3の性能と機器放音条件における各放音機器3の性能との差を特定し、これに応じた高音質化処理や音響効果付与を行う。例えば、検知部243がテスト音を各放音機器3に放音させて収音手段により収音し、各放音機器3の性能の一つである「残響の強さ」を検知している場合、制御部21は、基準放音条件において予め定められた残響の強さと比較し、機器放音条件における残響の強さが基準放音条件におけるそれよりも強い場合には、ゲーム機1における加工により付与された加工音データのリバーブを除去する処理を行う。逆に、機器放音条件における残響の強さが基準放音条件におけるそれよりも弱い場合には、制御部21は、ゲーム機1から取得した加工音データに対しリバーブを追加する処理を行う。これにより、基準として想定されている仮想の部屋よりも実際の部屋における残響が大きいか小さいかによって生じる音響効果のずれは、低減させられる。
(3)放音機器3の配置
例えば、聴取位置にいるユーザにとって正面を0度とし、ユーザの頭上から見て反時計回り増加する角度によって、各放音機器3の配置を表した場合、基準放音条件において、放音機器3Cは0度に配置され、放音機器3Lは45度に配置されているものとする。ここで、制御信号が或る原音を30度に定位させようとするものだとすると、その定位が放音機器3Cと放音機器3Lとの間にあり、且つ、放音機器3Cよりも放音機器3Lに近いため、ゲーム機1は、その原音を放音機器3Cよりも放音機器3Lに、より高い音圧(例えば、2倍)で放音させるようにそれぞれの加工音データを生成する。
一方、ここで、検知部243は、実際の放音機器3Cが0度に配置され、実際の放音機器3Lが60度に配置されていることを検知したとする。すると、上述の制御信号が原音を定位させようとする角度は30度であるから、実際の放音機器3Cと放音機器3Lとの丁度中間である。それにもかかわらず、ゲーム機1で生成されたままの加工音データを用いると、上述した原音は、放音機器3Cよりも放音機器3Lに、より高い音圧で放音させられることとなるので、上記原音は定位させようとした位置よりも大きな角度の位置に定位してしまう。そこで、制御部21は、修正処理として、例えば、放音機器3Cと放音機器3Lとによりそれぞれ放音させられる加工音の音圧が等しくなるように、加工音データを修正する。
例えば、ゲーム機がロールプレイングゲームなどのゲームソフトを実行する場合、自キャラクターに同行させるメンバーの選択やダンジョンの選択、あるいは自キャラクターがどちらに顔を向けているかの選択など、ゲームの進行状況によって、登場するキャラクターもそのキャラクターが語る台詞も、音の反響の仕方も、音の聞こえてくる方向も変動する。これらの音の聞こえ方はその音の種類に応じて様々であり、実際の放音機器の機器放音条件によっても変動する。したがって、どのような機器放音条件下で放音されるかがわからない段階で一律に音響効果をかけると、実際の放音機器において意図しない音としてユーザに聞こえることが有る。しかしながら、ソフトウェアやコンテンツを再生するゲーム機などの情報処理装置は、これらのコンテンツに含まれる音を様々な機器放音条件下で放音させなければならないため、一般に、その音を示すデータを、基準となる放音条件に基づいて一律に加工して音響処理装置に出力している。そのため、音響処理装置に接続された放音機器の機器放音条件が、基準放音条件から離れているような場合には、放音される音にその影響が出ることがあった。
音響処理システム9は、上述したように加工後のデータである加工音データと、この加工音データの構成を示す情報を包含する制御信号とが音響処理装置2に送られ、音響処理装置2によって加工音データの修正がそれぞれに対応するパラメータと、接続された放音機器の機器放音条件の基準放音条件に対する差とに基づいて行われるのであるから、この差による放音への影響を低減させることができる。
3.変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
(1)上記の実施形態では、出力部15は、チャンネルL,R,C,SL,SR,SWにPCMデータである加工音データをそれぞれ送信していたが、圧縮処理を施された加工音データを送信してもよい。この場合、制御信号には、各チャンネルで送信される原音データに対して施す圧縮処理の圧縮フォーマットや圧縮率などを示す情報を含めてもよい。
(2)上記の実施形態では、出力部15は、加工部152により加工された加工音データをそのままパケット処理部151によりパケット化していたが、パケット化の前に暗号化をしてもよい。例えば、出力部15は、HDCP(High-bandwidth Digital Content Protection)プロトコルに準拠した暗号化処理を行うプロセッサを備えていてもよく、暗号化の機能をCPUによって実現してもよい。この場合、音響処理装置2の取得部25には、暗号を復号する機構を設ければよい。
(3)上記の実施形態では、制御信号生成部112は、タイムスタンプごとに全ての加工音データについて全ての構成が記述された加工制御信号を生成していたが、変更が生じた構成のみを記述する加工制御信号を生成してもよい。すなわち、図4(b)および図4(c)において太枠で示した部分のみが加工制御信号として、それぞれのタイムスタンプと関連付けられて音響処理装置2へ送信されればよい。この場合、音響処理装置2は送信された加工制御信号に含まれていないチャンネルおよびパラメータについては、変更しなければよい。
(4)上記の実施形態では、音響処理装置2に原音データを送信する構成はゲーム機1であったが、ゲーム機以外の構成であってもよい。例えば、DVDビデオなどに記録された動画の再生機であってもよい。この場合、再生機はユーザの操作に応じて表示させる映像を切り替えるとともに、音響処理装置2に送信する各加工音データに対応する加工制御信号をユーザの操作に応じて切り替える。例えば、マルチアングルで撮影された映像データがある場合に、ユーザが選択したアングルに応じて放音させるべき音(加工音)の定位を求め、基準放音条件下における上記の定位に応じた加工音データを生成するとともに、生成した加工音データの構成を加工制御信号に含めて音響処理装置2に送信してもよい。音響処理装置2は、この加工音データと、加工制御信号と、検知部243により検知される放音機器3の機器放音条件と、基準放音条件とを参照して、音響処理装置2に接続された放音機器3に適応するように加工音データを修正すればよい。これにより、音響処理装置2は、ユーザが選択したアングルにそのユーザの顔が向いていると仮定した場合において、音が聞こえるはずの方向に、それらの音像を近づけられる可能性を高めることができる。
(5)上記の実施形態では、加工音データと、その加工音データを生成するために用いられた制御信号とが1つのゲーム機1から出力されていたが、ゲーム機1などの情報処理装置は、加工音データを出力し、これに対応する加工制御信号を出力しなくてもよい。この場合、音響処理装置2は上記の加工制御信号を、上記の情報処理装置以外の装置から取得すればよい。
図11は、この変形例における音響処理システム9aを示す図である。音響処理システム9aは、再生機1aと音響処理装置2aと放音機器3とネットワーク4とサーバ装置5とを有する。再生機1aは、DVDビデオなどの動画コンテンツを再生する装置であり、原音を示す原音データと、当該原音データの加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、前記生成手段により生成された原音データを前記パラメータが指示する加工内容で加工して加工音データを生成する加工音データ生成手段と、前記加工音データ生成手段により生成された加工音データを複数のチャンネルのいずれかから出力する加工音データ出力手段とを備えた情報処理装置として機能する。すなわち、再生機1aは、原音データに対する加工内容を指示するパラメータによりその原音データを加工して得た加工音データの構成を示す情報を包含する制御信号を出力する制御信号出力手段に相当する構成が無い点と、動画コンテンツを再生し始めるときに、その動画コンテンツの識別情報を音響処理装置2aに出力する点を除き、上記の実施形態におけるゲーム機1と共通する。放音機器3は、上記の実施形態と共通の構成である。
音響処理装置2aは、ネットワーク4を介して、サーバ装置5に接続する。そして、再生機1aから動画コンテンツの識別情報を受け取ると、音響処理装置2aは、サーバ装置5に対し、受け取った識別情報により識別される動画コンテンツに対して予め定められた加工制御信号を要求する。サーバ装置5は、この要求に応じて音響処理装置2aに対し、要求された加工制御信号を送信する。この加工制御信号は、基準放音条件下に対応する加工内容を指示するパラメータにより原音データを加工して得た加工音データの構成を示す情報が記述されている。音響処理装置2aは、サーバ装置5から加工制御信号を受け取り、加工制御信号に付されたタイムスタンプを参照して、動画コンテンツの進行状況に合った加工制御信号を特定する。そして、音響処理装置2aは、再生機1aが出力した加工音データと、特定された上記の加工制御信号と、検知部により検知される放音機器3の機器放音条件と、基準放音条件とを参照して、加工音データの修正を行う。これにより、上述した実施形態と同様、音響処理装置2aは、基準放音条件下に対応する加工内容を指示するパラメータにより加工された加工音データを、自身に接続された放音機器3の機器放音条件に合わせて加工された場合の加工音データに近づくように修正することができる。
(6)ゲーム機1の制御部11および音響処理装置2の制御部21においてそれぞれ実行される各プログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、これらのプログラムを、インターネットのようなネットワーク経由でダウンロードさせることも可能である。なお、上記の制御部11および制御部21について、CPUによって例示した制御手段としてはCPU以外にも種々の装置を適用することができ、例えば、専用のプロセッサなどを用いてもよい。
(7)上記の実施形態では、出力部15が原音データ生成部111から得られる原音データを加工する加工部152を備えていたが、原音データを加工する機能は、制御部11が上述のプログラムを実行することによって実現してもよい。
(8)上記の実施形態では、ゲーム機1はゲームの進行に応じた映像を表示する表示部14を有していたが、表示部14を有していなくてもよい。例えば、ゲーム機1は、音を扱い、映像を表示しないゲームソフトを実行してもよいし、外部の表示装置に接続して、映像信号をその表示装置に供給する映像端子を備えていてもよい。
(9)上記の実施形態では、音響処理システム9は、6つの放音機器3を備えており、いわゆる5.1chサラウンドの放音を実現していたが、放音機器3はこれより多くてもよいし、少なくてもよい。例えば、7.1chシステムや2.1chシステムに対応する数の放音機器3を備えていてもよい。
(10)上記の実施形態では、制御信号生成部112は、ゲームの進行状況に応じた原音データの加工内容を指示するパラメータを生成していたが、音響処理装置2から取得した情報に基づいて上記のパラメータを生成してもよい。この場合、ゲーム機1の制御部11は、音響処理装置2へデータを出力するチャンネルのみならず、音響処理装置2からデータを取得するチャンネル(以下、取得チャンネルという)を有しており、この取得チャンネルを介して、制御部11は、音響処理装置2が接続する放音機器3の数、位置や低域再生能力などの機器放音条件を取得する。すなわち、制御部11は、加工音データ出力手段が加工音データを出力する出力先である音響処理装置から、当該音響処理装置により放音させられる放音機器の放音条件を取得する放音条件取得手段として機能する。
そして、制御信号生成部112は、取得チャンネルから取得したこれらの放音条件に応じた加工内容を決定し、そのパラメータを生成してもよい。また、加工部152は、制御信号生成部112が生成した上記のパラメータを取得し、取得したこのパラメータに基づいて、原音データ生成部111が生成した各原音データを加工し、複数の加工音データを生成してもよい。
この場合、音響処理装置2は、上述した取得チャンネルを介してゲーム機1に対し、検知部243により検知された放音機器3の機器放音条件を示す信号を送信する。そして、音響処理装置2の取得部25により取得された加工音データが、上述の信号の送信を受けたゲーム機1の加工部152によってその信号により示される機器放音条件下において第1の音が放音されるように定められた加工内容で原音データを加工されて得られたものである場合に、制御部21は、その加工音データに対して修正処理の内容を決定せず、修正処理を施さないようにしてもよい。そして、その結果、制御部21は、接続部24から修正されていない加工音データを各放音機器3に供給させればよい。
なお、取得された加工音データが、機器放音条件下において第1の音が放音されるように定められた加工内容で加工されたものであるか否かの判断は、例えば、取得部25により取得された加工制御信号に基づいて行ってもよい。この場合、ゲーム機1の加工部152が音響処理装置2から送信された信号により示される機器放音条件下において第1の音が放音されるように定められた加工内容で原音データを加工して上記の加工音データを生成したときには、加工部152は、その旨を示すフラグ情報を、上記の加工音データにそれぞれ対応付けられた加工制御信号に含ませればよい。これにより、音響処理装置2の制御部21は、取得部25が取得した加工制御信号に上記のフラグ情報が含まれているときに、その加工制御信号に対応付けられた加工音データが、機器放音条件下において第1の音が放音されるように定められた加工内容で加工されたものと判断し、加工された加工音データに対する修正処理を行わなければよい。
(11)上記の実施形態では、ゲーム進行部110は、ゲームプログラム121に沿ってユーザの操作に応じたゲームを進行させていたが、このゲームプログラム121の内容は例えば、以下のようなものであってもよい。
ゲームプログラム121は、仮想空間と、この仮想空間中に配置されるキャラクターおよび発音オブジェクトを記述している。これらを表現するデータは、ゲームプログラム121が制御部11により読み出されて実行されることにより、制御部11のRAM上に記憶される。ゲーム進行部110は、ユーザの操作を受け付けると、この操作に応じた演算を行って、RAM上のデータを変化させる。これにより、ユーザの操作に応じて仮想空間中のキャラクターが操作され、ゲームが進行する。操作されたキャラクターは仮想空間中において、ユーザの操作に応じた姿勢となり、また、その操作に応じた位置へ移動する。
また、仮想空間中に配置されるキャラクターには、仮想空間中で放音される音を聴取する聴取位置が定義されている。原音データ生成部111は、このキャラクターに定義されている聴取位置と、仮想空間中に配置された発音オブジェクトとの関係により、発音オブジェクトに設定された原音を示す原音データを演算して生成する。出力部15の加工部152は、原音データ生成部111が演算して生成した複数の原音データをそれぞれ加工してゲームの進行に応じた複数の加工音データを生成する。そして、出力部15のパケット処理部151は、生成された加工音データをパケット化して、それぞれ個別のチャンネルにより音響処理装置2に出力する。制御信号生成部112は、各原音データの識別情報にそれぞれ対応付けてその各原音データの加工内容を指示するパラメータを包含した制御信号を生成する。このパラメータは、ゲームの進行状況とユーザの操作とに応じて決まり、このパラメータにより、これら原音データが示す原音をユーザにどのように聞かせるかが指定される。出力部15は、生成された制御信号を音響処理装置2へ出力する。
(12)上記の実施形態では、原音データ生成部111によって同時に生成される原音データの数は、最大で5種類であったが、この数は4種類以下であってもよいし、6種類以上であってもよい。
(13)上記の実施形態では、ゲーム機1の加工部152は、制御信号生成部112から取得したパラメータにより原音データを加工して得た加工音データの構成を示す情報を生成し、これを加工制御信号に含めてパケット処理部151を介して音響処理装置2へ出力していたが、加工制御信号を音響処理装置2へ出力しなくてもよい。この場合、音響処理装置2は、加工制御信号に代えて、制御信号生成部112が生成する制御信号を取得してもよい。
図12は、この変形例におけるゲーム機1の機能的構成を示す図である。また、図13は、この変形例における加工部152の機能的構成を示す図である。このように、制御信号生成部112により生成された制御信号は、加工部152に供給されて原音データの加工に用いられるとともに、加工制御信号に変更されることなく、パケット処理部151を介して音響処理装置2へ出力される。この制御信号には、ゲームの進行状況に応じた原音データの加工内容を指示するパラメータが包含されているので、制御部21は、加工音データの修正内容をより正確に特定することができる。
例えば、制御部21は、検知部243によって検知された放音機器3の機器放音条件における配置が基準放音条件におけるそれと差がある場合(配置のずれがある場合)に、その差に応じて放音機器3における放音の音圧を調整する。例えば、機器放音条件における放音機器3の位置が、基準放音条件における放音機器3の位置よりも、或る音像に設定された定位の近くにある場合には、制御部21は、その放音機器3の音圧を上げる。逆に、遠くにある場合には、制御部21は、その放音機器3の音圧を下げる。これにより、配置のずれによって生じる音像定位のずれが抑制される。
(14)上記の実施形態では、音響処理装置の制御部21により実現する機能である特定部210は、記憶部22の修正内容テーブル221を参照し、取得された機器放音条件下で放音機器3が放音する第2の音を、ゲーム機1側で決められた第1の音に近づけるために、加工音データの修正内容を特定していたが、音響処理装置2側で決めた第3の音に近づけるための修正内容を特定してもよい。この「第3の音」とは、第1の音と同様、原音データにより示される原音をユーザにどのように聞かせるかについて指定された音であって、第1の音との差異が明らかなものである。第3の音を指定する情報は、音響処理装置2の操作部23をユーザが操作することで決められてもよいし、予め記憶部22に記憶されていてもよい。つまり、上述の実施形態は、この第3の音の一例として、ゲーム機1側で決められた第1の音が設定されている(すなわち、第1の音との差異がない)ものである。
取得部25を介して取得される加工音データは、基準放音条件下で第1の音が放音されるようにゲーム機1により加工されたものであり、音響処理装置2は、加工制御信号または制御信号を取得することにより、ゲーム機1における上述の加工内容を特定可能である。したがって、特定部210は、音響処理装置2側で決めた第3の音とゲーム機1側で決められている第1の音との差異を用いることができる。すなわち、特定部210は、機器放音条件の基準放音条件に対する差、加工制御信号(または制御信号)、および放音機器3に対応付けて取得した加工音データに基づいて、その加工音データを第3の音に直接、近づけるように修正する修正内容を特定可能である。
1…ゲーム機、1a…再生機、11…制御部、110…ゲーム進行部、111…原音データ生成部、112…制御信号生成部、12…記憶部、121…ゲームプログラム、13…操作部、131…操作子、14…表示部、15…出力部、151…パケット処理部、152…加工部、1520…解釈部、1521…同期部、1523…音響効果付与部、1524…定位処理部、2,2a…音響処理装置、21…制御部、210…特定部、211…同期部、212…音質修正部、213…音響効果修正部、22…記憶部、221…修正内容テーブル、23…操作部、231…操作子、24…接続部、241…D/Aコンバータ、242…増幅部、243…検知部、25…取得部、251…パケット処理部、3,3C,3L,3R,3SL,3SR,3SW…放音機器、4…ネットワーク、5…サーバ装置、9,9a…音響処理システム。

Claims (6)

  1. 供給されるデータに応じた放音を行う放音機器に接続される音響処理装置であって、
    予め定められた放音条件である基準放音条件下において、決められた第1の音が放音されるように定められた加工内容で原音データが加工された加工音データを、前記放音機器に対応付けて取得する加工音データ取得手段と、
    前記原音データに対する前記加工内容を指示するパラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を取得する制御信号取得手段と、
    前記放音機器の放音条件である機器放音条件下で前記放音機器が放音する第2の音を、決められた第3の音に近づけるために、当該機器放音条件の前記基準放音条件に対する差、および前記制御信号取得手段が取得した制御信号を用いて、当該放音機器に対応付けて前記加工音データ取得手段が取得した加工音データに対する修正内容を特定する特定手段と、
    前記特定手段により特定された修正内容で、前記加工音データを修正する修正手段と、
    前記修正手段によって修正された加工音データを前記放音機器に供給する供給手段と
    を具備し、
    前記制御信号取得手段が取得する制御信号には、当該制御信号が適用されるべきタイミングを示したタイムスタンプが含まれ、
    前記修正手段は、前記タイムスタンプに対応する前記加工音データを修正する
    ことを特徴とする音響処理装置。
  2. 前記原音データの識別情報を取得する識別情報取得手段を具備し、
    前記制御信号取得手段は、外部の機器に対して、前記識別情報取得手段により取得した前記原音データの識別情報を送信し、当該外部の機器から当該識別情報により示される前記原音データの前記パラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を取得する
    ことを特徴とする請求項1に記載の音響処理装置。
  3. 前記加工音データ取得手段に前記加工音データを取得させる情報処理装置に対し、前記機器放音条件を示す信号を送信する送信手段
    を具備し、
    前記加工音データ取得手段により取得された加工音データが、前記送信手段により送信された信号により示される機器放音条件下において前記第1の音が放音されるように定められた加工内容で前記原音データが加工されたものである場合に、前記修正手段は、当該加工音データを修正せず、前記供給手段は、修正されていない当該加工音データを前記放音機器に供給する
    ことを特徴とする請求項1または2に記載の音響処理装置。
  4. 請求項1から3のいずれかに記載の音響処理装置と、
    情報処理装置と
    を具備する音響処理システムであって、
    前記情報処理装置は、
    原音を示す原音データと、当該原音データに対する加工内容であって、予め定められた放音条件である基準放音条件下において、決められた第1の音が放音されるように定められた加工内容を指示するパラメータとをユーザの操作に応じて生成する生成手段と、
    前記生成手段により生成された原音データを前記パラメータが指示する加工内容で加工して加工音データを生成する加工音データ生成手段と、
    前記加工音データ生成手段により生成された加工音データを複数のチャンネルのいずれかから出力する加工音データ出力手段と、
    前記原音データに対する加工内容を指示する前記パラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を出力する制御信号出力手段と
    を具備することを特徴とする音響処理システム。
  5. 前記制御信号出力手段は、前記原音データを加工することにより変更が生じた構成のみを記述する制御信号を出力する
    ことを特徴とする請求項4に記載の音響処理システム。
  6. 供給されるデータに応じた放音を行う放音機器に接続されるコンピュータを、
    予め定められた放音条件である基準放音条件下において、決められた第1の音が放音されるように定められた加工内容で原音データが加工された加工音データを、前記放音機器に対応付けて取得する加工音データ取得手段と、
    前記原音データに対する前記加工内容を指示するパラメータ、または当該パラメータにより前記原音データを加工して得た加工音データの構成を示す情報の少なくとも一方を包含する制御信号を取得する制御信号取得手段と、
    前記放音機器の放音条件である機器放音条件下で前記放音機器が放音する第2の音を、決められた第3の音に近づけるために、当該機器放音条件の前記基準放音条件に対する差、および前記制御信号取得手段が取得した制御信号を用いて、当該放音機器に対応付けて前記加工音データ取得手段が取得した加工音データに対する修正内容を特定する特定手段と、
    前記特定手段により特定された修正内容で、前記加工音データを修正する修正手段、
    前記修正手段によって修正された加工音データを前記放音機器に供給する供給手段
    として機能させるとともに、
    前記制御信号取得手段が取得する制御信号には、当該制御信号が適用されるべきタイミングを示したタイムスタンプが含まれ、
    前記修正手段が、前記タイムスタンプに対応する前記加工音データを修正するように前記コンピュータを機能させるためのプログラム。
JP2014079347A 2014-04-08 2014-04-08 情報処理装置、音響処理装置、音響処理システムおよびプログラム Active JP5729509B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014079347A JP5729509B2 (ja) 2014-04-08 2014-04-08 情報処理装置、音響処理装置、音響処理システムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014079347A JP5729509B2 (ja) 2014-04-08 2014-04-08 情報処理装置、音響処理装置、音響処理システムおよびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010192968A Division JP5521908B2 (ja) 2010-08-30 2010-08-30 情報処理装置、音響処理装置、音響処理システムおよびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015077488A Division JP6004031B2 (ja) 2015-04-06 2015-04-06 音響処理装置および情報処理装置

Publications (2)

Publication Number Publication Date
JP2014135762A JP2014135762A (ja) 2014-07-24
JP5729509B2 true JP5729509B2 (ja) 2015-06-03

Family

ID=51413694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014079347A Active JP5729509B2 (ja) 2014-04-08 2014-04-08 情報処理装置、音響処理装置、音響処理システムおよびプログラム

Country Status (1)

Country Link
JP (1) JP5729509B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095227B2 (ja) * 2000-03-13 2008-06-04 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ビデオゲームにおける背景音出力設定方法及び背景音出力設定プログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2005286903A (ja) * 2004-03-30 2005-10-13 Pioneer Electronic Corp 音響再生装置、音響再生システム、音響再生方法及び制御プログラム並びにこのプログラムを記録した情報記録媒体
GB2443027B (en) * 2006-10-19 2009-04-01 Sony Comp Entertainment Europe Apparatus and method of audio processing
JP2009027601A (ja) * 2007-07-23 2009-02-05 Sharp Corp 表示システム

Also Published As

Publication number Publication date
JP2014135762A (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
JP5521908B2 (ja) 情報処理装置、音響処理装置、音響処理システムおよびプログラム
US10070245B2 (en) Method and apparatus for personalized audio virtualization
JP5518638B2 (ja) 情報処理装置、音響処理装置、音響処理システム、プログラムおよびゲームプログラム
US20100166193A1 (en) Multiple Display Systems with Enhanced Acoustics Experience
TW201926999A (zh) 音視頻播放系統及應用於其上的音訊資料的播放方法
KR20140027954A (ko) 3차원 오디오 사운드트랙의 인코딩 및 재현
JP5531486B2 (ja) オーディオ機器
JP2002051399A (ja) 音声信号処理方法及び音声信号処理装置
CN113348677B (zh) 沉浸式和双耳声音的组合
US10547962B2 (en) Speaker arranged position presenting apparatus
WO2017209196A1 (ja) スピーカシステム、音声信号レンダリング装置およびプログラム
US11361771B2 (en) Method for transmitting/receiving audio data and device therefor
JP6004031B2 (ja) 音響処理装置および情報処理装置
JP5729509B2 (ja) 情報処理装置、音響処理装置、音響処理システムおよびプログラム
JP5729508B2 (ja) 情報処理装置、音響処理装置、音響処理システムおよびプログラム
CN114339297A (zh) 音频处理方法、装置、电子设备和计算机可读存储介质
US11337025B2 (en) Information processing apparatus and sound generation method
JP2008312034A (ja) 音声信号再生装置、および音声信号再生システム
JP2008147840A (ja) 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム
JP2021016117A (ja) 音響処理装置および音響処理方法
JP2012235202A (ja) 音声信号処理装置及び音声信号処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150323

R151 Written notification of patent or utility model registration

Ref document number: 5729509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151