JP3969133B2 - Sound source distribution data interpolation method, sound source distribution data interpolation device, musical tone signal processing device, program, and recording medium - Google Patents

Sound source distribution data interpolation method, sound source distribution data interpolation device, musical tone signal processing device, program, and recording medium Download PDF

Info

Publication number
JP3969133B2
JP3969133B2 JP2002069096A JP2002069096A JP3969133B2 JP 3969133 B2 JP3969133 B2 JP 3969133B2 JP 2002069096 A JP2002069096 A JP 2002069096A JP 2002069096 A JP2002069096 A JP 2002069096A JP 3969133 B2 JP3969133 B2 JP 3969133B2
Authority
JP
Japan
Prior art keywords
sound source
distribution data
source distribution
sound
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002069096A
Other languages
Japanese (ja)
Other versions
JP2003271154A (en
Inventor
健一 田宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002069096A priority Critical patent/JP3969133B2/en
Publication of JP2003271154A publication Critical patent/JP2003271154A/en
Application granted granted Critical
Publication of JP3969133B2 publication Critical patent/JP3969133B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、コンサートホール等の音場を再現するための２種類の音源分布データを用いて新たな音源分布データを生成する音源分布データの補間方法、音源分布データ補間装置、音源分布データに基づいた信号処理を行う楽音信号処理装置、プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来より、近接４点法等によりインパルス応答を測定し、該測定結果に基づいてコンサートホール等の室内空間情報の一種である仮想音源分布データを作成したり、コンサートホール等の設計データなどをもとにした音響シミュレーションにより仮想音源分布データを作成することが行われている。また、上記手法により作成した仮想音源分布データに基づいた信号処理を楽音信号に対して実施し、上記コンサートホール等の音場を再現する残響付与装置が提供されている。
【０００３】
ここで、図１に上記のような音場再現のために用いられる仮想音源分布データ（二次元）の内容を模式的に示す。同図に示すように、仮想音源分布データは、ある空間においてインパルス音を発生させた時の、受音点Ｊを中心とした多数の音源（直接音や反射音）の分布位置と、各音源の音の強さとによって表され、図では円の大きさが各音源の音の強さを表し、円の中心位置が音源位置を表している。実際の仮想音源分布データには、各音源の位置に関する情報（例えば、座標情報、受音点からの方向と距離の情報、受音点からの方向と到来時刻の情報など）とその音源の発する音の強さを示す情報との組とした１つの音源情報が多数含まれている。
【０００４】
ところで、再生される映像などのシーンがある１つの場面から他の場面に切り替わる時に、その切り替えに同期して再生する楽音信号に付与する残響感を切り替えるといった用途に、上記仮想音源分布データが用いられる場合がある。このようなケースにおいては、切り替え前の場面の映像が再生されているときには当該場面に応じた音場を再現するための仮想音源分布データを用いた残響付与処理を行う一方で、映像の切り替え後には切り替え後の場面に応じた音場を再現するための仮想分布データを用いて残響付与処理を行う。そして、切り替え時とその前後の所定時間は、上記切り替え前の音場を再現するための仮想音源分布データと、切り替え後の音場を再現するための仮想音源分布データといった２種類の仮想音源分布データを補間することで中間の特性を有する仮想音源分布データを生成し、生成した仮想音源分布データを用いて残響付与処理を行うといった手法が用いられることがある。
【０００５】
【発明が解決しようとする課題】
しかし、従来の仮想音源分布データの補間方法は、２種類の用意されている仮想音源分布データを単純に加算して平均をとる、つまり各仮想音源分布データに属する各音源情報を加算して、各音源情報に示される音の強さを２で除するといった手法で行われているので、補間後の仮想音源分布データの音像位置などの特性が２つの用意された仮想音源分布データの中間の特性とならない場合がある。また、音源の数が単に加算されて増加するため、各々の用意された仮想音源分布データと音源数が大きく異なることとなり、その結果再生された音場が大きく異なることもある。特に、２つの用意した仮想音源分布データの特性が大きく異なっている場合には、上記のような聴感上の違和感はより顕著なものとなる。
【０００６】
本発明は、上記の事情を考慮してなされたものであり、補間対象となる２つの仮想音源分布データの特性が大きく異なっている場合でも、聴感上の違和感が低減された仮想音源分布データを生成することができる音源分布データの補間方法、音源分布データ補間装置、当該音源分布データ補間装置を有する楽音信号処理装置、プログラムおよび記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る音源分布データの補間方法は、複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを補間して新たな音源分布データを生成する方法であって、前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類ステップと、前記第１の音源分布データの複数の前記方向別エリアのうちの特定の前記方向別エリアと前記第２の音源分布データの複数の前記方向別エリアのうちの特定の前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する調整ステップと、調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データに基づいて、新たな音源分布データを生成する生成ステップとを具備することを特徴としている。
【０００８】
この方法によれば、２種類の仮想音源分布データおよび仮想音源分布データを、補間した新たな仮想音源分布データを生成することができる。この補間仮想音源分布データを生成する際に、２種類の仮想音源分布データのうちの特定の方向別エリア（例えば、聴感上影響の大きい音源を含むエリア等）が、受音点から見て同一方向となるよう各仮想音源分布データの音源情報の分布位置が調整される。したがって、補間対象となる２種類の仮想音源分布データの特性（聴感上大きな影響を与える音源が含まれる方向が異なる場合）にも、複数方向から聴感上大きな影響を与える音などが到来する等といったこと抑制でき、聴感上違和感の少ない仮想音源分布データを生成することができる。
【０００９】
また、本発明の別態様の音源分布データ補間方法は、複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを補間して新たな音源分布データを生成する方法であって、前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類ステップと、前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求める分布数導出ステップと、前記第１の音源分布データおよび前記第２の音源分布データにおける同一方向の前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求める平均導出ステップと、同一方向の前記方向別エリアに属する同一の単位距離区間に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する生成ステップとを具備することを特徴としている。
【００１０】
この方法によれば、２種類の仮想音源分布データおよび仮想音源分布データを、補間した新たな仮想音源分布データを生成することができる。この補間仮想音源分布データを生成する際に、２種類の仮想音源分布データに属する多数の音源情報の全てを用いるのではなく、これらの多数の音源情報のうち、各音の到来方向の単位距離区域毎に２種類の仮想音源分布データに属する音源情報の数の平均値と同数の音源情報のみを抽出して用いるようにしている。したがって、従来の補間方法のように音源数が単に加算されて増加するといったことがなく、音源数の単純増加に起因する聴感上の違和感を抑制することができる補間仮想音源分布データを生成することができる。
【００１１】
また、本発明に係る音源分布データ補間装置は、複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを記憶する記憶手段と、補間指示があった場合に、前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段と、前記第１の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアと前記第２の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する調整手段と、調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データに基づいて、新たな音源分布データを生成する生成手段とを具備することを特徴としている。
【００１２】
また、本発明の別態様の音源分布データ補間装置は、複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データとを記憶する記憶手段と、補間指示があった場合、前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段と、前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求める分布数導出手段と、前記第１の音源分布データおよび前記第２の音源分布データにおける同一方向の前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求める平均導出手段と、同一方向の前記方向別エリアに属する同一の単位距離区間に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する生成手段とを具備することを特徴としている。
【００１３】
また、本発明に係る楽音信号処理装置は、上記いずれかの音源分布データ補間装置と、前記音源分布データ補間装置によって生成された新たな音源分布データに基づいた信号処理を楽音信号に対して施す信号処理手段とを具備することを特徴としている。
【００１４】
また、本発明に係るプログラムは、コンピュータを、複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを記憶する記憶手段から、前記第１の音源分布データおよび前記第２の音源分布データを読み出し、読み出した各々音源分布データに含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段、前記第１の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアと前記第２の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する調整手段、調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データに基づいて、新たな音源分布データを生成する生成手段として機能させる。
また、上記プログラムをコンピュータで読取可能な記録媒体に記録するようにしてもよい。
【００１５】
また、本発明の別態様のプログラムは、コンピュータを、複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データとを記憶する記憶手段から前記第１の音源分布データおよび前記第２の音源分布データを読み出し、読み出した各々の音源分布データに含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段、前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求める分布数導出手段、前記第１の音源分布データおよび前記第２の音源分布データにおける同一方向の前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求める平均導出手段、同一方向の前記方向別エリアに属する同一の単位距離区間に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する生成手段として機能させる。
また、上記プログラムをコンピュータで読取可能な記録媒体に記録するようにしてもよい。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．実施形態の構成
まず、図２は本発明の一実施形態に係る仮想音源分布データの補間方法を実施する音源分布データ補間装置の構成を示すブロック図である。同図に示すように、この音源分布データ補間装置１００は、互いにバス１１４を介して接続されるＣＰＵ（Central Processing Unit）１１０と、ＲＯＭ（Read Only Memory）１１１と、ＲＡＭ（Random Access Memory）１１２と、外部記憶装置１１３と、操作部１１５と備えており、例えばパーソナルコンピュータ等で構成することができる。
【００１７】
ＣＰＵ１１０は、ＲＯＭ１１１に格納されている補間処理プログラムを読み出して実行することにより、後述する仮想音源分布データ補間処理を実行する。ＲＡＭ１１２は、上記補間処理の際にワーキングエリアとして用いられる。操作部１１５は、キーボードやマウス等の入力手段を有しており、ユーザの操作に応じた指示をＣＰＵ１１０に供給する。ユーザは操作部１１５を介して、仮想音源分布データ補間処理開始指示、補間対象となる２つの仮想音源分布データの選択指示、２つの仮想音源分布データの補間比率（例えば４対６の比率）等の指示を入力することができるようになっている。
【００１８】
外部記憶装置１１３は例えばハードディスクドライブ装置であり、外部記憶装置１１３には少なくとも２種類以上の仮想音源分布データが記憶されている。ここで、外部記憶装置１１３に記憶されている仮想音源分布データは、前掲図１に示すように、ある空間においてインパルス音を発生させた時の、受音点Ｊを中心とした多数の音源（直接音や反射音）の分布位置と、各音源の音の強さとである。以上のような情報を表せるデータであればどのような種類の仮想音源分布データであってもよいが、本実施形態で使用する２次元仮想音源分布データには、各音源の位置に関する座標情報（ｘ、ｙ）と、その音源の発する音の強さを示す情報（ｐ）との組を１つの音源情報が多数含まれているものとする。外部記憶装置１１３には、特性の異なる仮想音源分布データが少なくとも２種類以上記憶されている。なお、仮想音源分布データの取得方法については、近接４点法で測定したインパルス応答を用いて取得するといった公知の方法を用いることができ、取得方法の説明については省略する。
【００１９】
Ｂ．仮想音源分布データ補間処理
以上のような構成の下、ユーザからの２つの補間対象となる仮想音源分布データの選択指示および補間比率の指示を含む補間開始指示が操作部１１５を介して入力された場合、ＣＰＵ１１０はＲＯＭ１１１に格納された補間処理プログラムにしたがって図３に示す手順で補間処理を実行する。
【００２０】
同図に示すように、補間開始指示を受けると、ＣＰＵ１１０は、外部記憶装置１１３からユーザによって選択された２種類の仮想音源分布データを読み出す（ステップＳ１）。以下においては、二次元（音源の座標情報が（ｘ、ｙ）といった二次元情報）の仮想音源分布データＡと仮想音源分布データＢといった２種類の異なる仮想音源分布データが選択されて補間処理に用いられるものとする。
【００２１】
仮想音源分布データＡおよび仮想音源分布データＢを読み出すと、ＣＰＵ１１０は、受音点Ｊから見た所定数に区分けされた方向別エリアのどのエリアに属するか否かによって、各々の仮想音源分布データに含まれる音源情報（座標情報と音の強さ情報の組）を各方向別エリアに分類する（ステップＳ２）。この分類処理内容について図４を参照しながら説明する。
【００２２】
本実施形態では、ＣＰＵ１１０は、各仮想音源分布データに含まれる音源の座標が、受音点Ｊから見て１６個に等分割した各方向別エリアＡＲ０〜１５のいずれに属するか否かによって各音源情報を方向別エリアに分類する。なお、方向別エリアの分割方法は、等分割に限るものではなく、例えば聴感上の角度分別能力が高い聴者の正面、背面方向の分割を細かくするなどの不等分割であってもよいし、分割数も１６個に限らず、それより多くてもよいし、少なくてもよいが、本実施形態では、各方向別エリアとして１６個に等分割したもの、すなわち３６０°／１６＝２２．５°の範囲を１つの方向別エリアとしている。なお、以下の説明においては、受音点Ｊから見た方向を、図示のように「前」、「前前右」、「前右」、「右右前」、「右」といったように称することとし、図示の場合、受音点Ｊから見た方向「前」が方向別エリアＡＲ０に相当し、受音点Ｊから見た方向「左」が方向別エリアＡＲ４に相当する。
【００２３】
本実施形態では、各仮想音源分布データに属する多数の音源情報を、以上のような各方向別エリアＡＲ０〜ＡＲ１５に分類することとされており、具体的にはＣＰＵ１１０は、各方向別エリアＡＲ０〜ＡＲ１５に対応付けられた座標範囲情報と各音源情報の座標情報とから、各音源情報がどの方向別エリアに属するかを判別して分類する。ここで、座標範囲情報とは、各方向別エリア毎に座標（ｘ、ｙ）が取り得る範囲を示す情報である。例えば、ある方向別エリアについてｘ座標がｘａのときはｙ座標はｙａ〜ｙｃの間、ｘ座標がｘｂのときはｙ座標はｙｄ〜ｙｅの間等といった座標が取り得る範囲である場合に、音源情報の座標情報が（ｘａ，ｙｂ（ただし、ｙａ＜ｙｂ＜ｙｃ））である時には、当該音源情報はこの方向別エリアに分類される。
【００２４】
以上のようにして仮想音源分布データＡおよび仮想音源分布データＢの各々について、仮想音源分布データに属する多数の音源情報を各方向別エリアＡＲ０〜ＡＲ１５のいずれかに分類する。分類が終了すると、ＣＰＵ１１０は、各々の仮想音源分布データの各々の分類結果に基づき、方向別エリアＡＲ０〜ＡＲ１５毎の総パワーを求める（ステップＳ３）。すなわち、各方向別エリアＡＲ０〜ＡＲ１５毎に、そのエリアに属すると分類された全ての音源情報の音の強さ情報に示される音の強さ（パワー）を加算する。このような音の強さの加算を各仮想音源分布データの各方向別エリア毎に行う。
【００２５】
以上のように各仮想音源分布データについて各方向別エリア毎の総パワー値を導出すると、ＣＰＵ１１０はその結果から、各々の仮想音源分布データに属する音源分布位置を、ｘｙ平面上において受音点Ｊを中心として回転（方向をシフト）させる（ステップＳ４）。本実施形態では、ＣＰＵ１１０はユーザから指示された補間比率と、上記ステップＳ３で求めた各方向別エリア毎の総パワー値とに基づいて、仮想音源分布データＡおよび仮想音源分布データＢの各々に属する音源位置をどの程度回転させるかを決定する。この回転量の決定方法について、ステップＳ３の処理により各仮想音源分布データの方向別エリア毎の総パワー値として図５に示すような結果が得られた場合を例に挙げて説明する。なお、同図において、斜線で示す棒が仮想音源分布データＡについての各方向別エリア毎の総パワー値を表しており、白抜き棒が仮想音源分布データＢについての各方向別エリア毎の総パワー値を表している。
【００２６】
同図から明らかなように、各方向別エリア毎の総パワー値（単位省略）は、仮想音源分布データＡについてはエリアＡＲ２が最大となっており、仮想音源分布データＢについてはエリアＡＲ４が最大となっている。ＣＰＵ１１０は、このような各仮想音源分布データにおいて総パワー値が最大となる最大方向別エリア（仮想音源分布データＡについて方向別エリアＡＲ２、仮想音源分布データＢについて方向別エリアＡＲ４）が、受音点Ｊから見て同一方向となるように仮想音源分布データＡの音源分布位置と、仮想音源分布データＢの音源分布位置とを受音点Ｊを中心として各音源分布を各々所定量だけ回転させる。ここで、仮想音源分布データＡおよび仮想音源分布データＢに属する音源分布の各々の回転量は、ユーザから指示された補間比率によって決定される。
【００２７】
より具体的に説明すると、仮想音源分布データＡをα％、仮想音源分布データＢを（１００−α）％といった補間比率が指定されると、ＣＰＵ１１０は、以下の手順で各々の仮想音源分布データに属する音源分布の回転量を決定する。まず、ＣＰＵ１１０は、各々の最大方向別エリアの角度差を求める。上記例では、仮想音源分布データＡについては方向別エリアＡＲ２、仮想音源分布データＢについては方向別エリアＡＲ４が最大方向別エリアであるため、両者間の角度は２２．５×２＝４５°である。すなわち、２つの最大方向別エリアの方向を一致させるためには４５°の回転が必要となる。以上のように必要となる角度変更量を求めると、ＣＰＵ１１０は、仮想音源分布データＡの音源分布については、４５°×（１００−α）／１００で求まる角度だけ、仮想音源分布データＢの方向別エリアＡＲ４への方向（図６の反時計回り方向）に回転させる。一方、仮想音源分布データＢの音源分布については、４５°×（１００ー（１００−α））／１００で求まる角度だけ、方向別エリアＡＲ２の方向（図７の時計方向）に回転させる。
【００２８】
ここで、指示された補間比率が仮想音源分布データＡについて５０％、仮想音源分布データＢについて５０％であった場合には、仮想音源分布データＡについては、図６に示すように、音源分布が反時計方向に２２．５°だけ回転させられる。したがって、最大方向別エリアである方向別エリアＡＲ２は、受音点Ｊから見て「左左前」側に位置することになる。一方、仮想音源分布データＢについては、図７に示すように、音源分布が時計方向に２２．５°だけ回転させられる。この結果、仮想音源分布データＢについての最大方向別エリアである方向別エリアＡＲ４も、受音点Ｊから見て「左左前」側に位置することになり、両者の最大方向別エリアが受音点Ｊから見て一致した方向となる。ＣＰＵ１１０は、以上のように各仮想音源分布データの音源分布位置が回転するように各仮想音源分布データに属する多数の音源情報の座標情報（ｘ、ｙ）を調整する。
【００２９】
各仮想音源分布データの音源分布位置を受音点Ｊを中心として回転させると、ＣＰＵ１１０は、仮想音源分布データＡおよび仮想音源分布データＢの各々について、方向別エリアＡＲ０〜ＡＲ１５毎にインパルス応答を求める（ステップＳ５）。方向別エリア毎のインパルス応答は、当該エリアに属する各音源情報の座標情報から受音点Ｊまでの距離を求めることで、各音源の発する音の受音点Ｊへの到来時刻を求める。この到来時刻とその音源情報の音の強さとから、図８に例示するように方向別エリア毎にインパルス応答を導出することができる。
【００３０】
このような仮想音源分布データＡおよび仮想音源分布データＢについて全ての方向別エリアのインパルス応答を導出すると、ＣＰＵ１１０は、回転後の仮想音源分布データＡおよび仮想音源分布データＢの受音点Ｊから見て同一方向となる方向別エリアの平均インパルス応答を導出する（ステップＳ６）。
【００３１】
上述した音源分布の回転後の受音点Ｊから見て同一方向となる方向別エリアとは、図６および図７に示すような音源分布の回転が行われた場合について、いくつか例示すると次のようになる。すなわち、受音点Ｊから見た「前」側にあるのは、仮想音源分布データＡについては方向別エリアＡＲ１５であり（図６下段参照）、仮想音源分布データＢについては方向別エリアＡＲ１であり（図７下段参照）、これらが同一方向となる方向別エリアである。同様に、受音点Ｊから見て「前前右」側にあるのは仮想音源分布データＡの方向別エリアＡＲ１４と仮想音源分布データＢの方向別エリアＡＲ０であり、これらが同一方向のエリアとなる。また、受音点Ｊから見て「前右」側にあるのは仮想音源分布データＡの方向別エリアＡＲ１３と仮想音源分布データＢの方向別エリアＡＲ１５であり、これらが同一方向のエリアである。
【００３２】
そして、ＣＰＵ１１０は、「前」、「前前右」……「前前左」といった受音点Ｊから見て１６個の方向の各々に相当する仮想音源分布データＡおよび仮想音源分布データＢの方向別エリアのインパルス応答の平均を求める。上記例では、「前」については仮想音源分布データＡについての方向別エリアＡＲ１５のインパルス応答と、仮想音源分布データＢについての方向別エリアＡＲ１のインパルス応答との平均を求めるといった具合である。なお、ここでいう「平均」とは、ユーザによって指示された補間比率に応じて各音源の発する音の受音点Ｊへの到来時間毎にその音の強さを平均したものであり、指示された補間比率が５０％、５０％である場合には単純に平均することにより求める。
【００３３】
次に、ＣＰＵ１１０は、受音点Ｊから見た１６個の方向毎に求めた平均インパルス応答から、１６個の方向毎の平均総パワー値を求める（ステップＳ７）。上述した音源分布位置の回転によって（ステップＳ４）、仮想音源分布データＡの最大方向別エリアと、仮想音源分布データＢの最大方向別エリアが「左左前」の方向となっているので、図９に示すように平均総パワー値が最大となる方向は「左左前」となっている。
【００３４】
以上のように仮想音源分布データＡおよび仮想音源分布データＢの各方向別エリアＡＲ０〜ＡＲ１５毎のインパルス応答を求め（ステップＳ５）、この導出結果に基づいて方向別の平均インパルス応答（ステップＳ６）および方向別の平均総パワー値を求めるとともに、ＣＰＵ１１０は以下の処理を行う。すなわち、ＣＰＵ１１０は、ステップＳ５で求めた方向別エリアＡＲ０〜ＡＲ１５毎のインパルス応答に基づいて、受音点Ｊから見た１６個の方向（「前」、「前前右」……）の各々について、各方向に一致する仮想音源分布データの方向別エリアに属する音源から受音点Ｊに到来する単位時間あたりのパルス到来密度を求める（ステップＳ８）。なお、単位時間あたりのパルス到来密度とは、単位時間あたりにそのエリアに属する音源が発する音が受音点Ｊに到来する数である。各音源が発する音の受音点Ｊへの到来時刻は、各音源情報の座標情報（ｘ、ｙ）から受音点Ｊと音源との距離を求め、該距離を所定の音速（例えば、３４０m/s）で除することにより導出することができる。要するに、単位時間あたりのパルス到来密度とは、受音点Ｊからの単位距離区域毎、例えば単位時間を１０msecとした場合には１０msec（０．０１sec）×音速（３４０m/s）＝３．４ｍ毎、つまり受音点Ｊからの距離が０〜３．４ｍの範囲に位置する音源の数、３．４〜６．８ｍの範囲に位置する音源の数、６．８〜１０．２ｍの範囲に属する音源の数……といった具合に受音点Ｊからの距離が３．４ｍ毎の範囲に位置する音源の個数を表している。
【００３５】
上記のようにして求めた受音点Ｊから見たある方向について得られる、単位時間あたりのパルス到来密度の一例を図１０に示す。この図は、縦軸が受音点Ｊから見て「左左前」の方向に相当するパルス到来密度を示し、横軸は経過時刻（０〜１４００msec）を示しており、仮想音源分布データＡについては「左左前」に相当する方向別エリアＡＲ２に属する各音源情報（の座標情報）から求めたパルス到来密度が、仮想音源分布データＢについては「左左前」に相当する方向別エリアＡＲ４に属する各音源情報（の座標情報）から求めたパルス到来密度が示されている。
【００３６】
ＣＰＵ１１０は、「前」、「前前左」といった１６個の方向毎に、各方向に相当する仮想音源分布データＡおよび仮想音源分布データＢの方向別エリアの音源情報からパルス到来密度を求めると、１６個の方向毎に平均パルス到来密度を導出する（ステップＳ９）。すなわち、「前」、「前前左」といった１６個の方向について、各方向に相当する仮想音源分布データＡおよび仮想音源分布データＢの方向別エリアの音源情報から求めた２つのパルス到来密度の平均を求めるのである。したがって、「左左前」についてのパルス到来密度の平均は、仮想音源分布データＡの方向別エリアＡＲ２に属する音源情報から求めたパルス到来密度と、仮想音源分布データＢの方向別エリアＡＲ４に属する音源情報から求めたパルス到来密度とを平均することにより求める。なお、ここでいう「平均」とは、ユーザによって指示された補間比率に応じたものであり、指示された補間比率が５０％、５０％である場合には単純に平均する、つまり各経過時刻毎のパルス到来密度を加算して２で除することにより求めることができ、図１０に示すパルス到来密度が求められている場合には、図１１に示すような平均パルス到来密度が求められることになる。
【００３７】
次に、ＣＰＵ１１０は、上記ステップＳ９で求めた各方向毎の平均パルス到来密度と、ステップＳ６で求めた各方向毎の平均インパルス応答導出の際に取得した受音点Ｊへの到来時刻毎の音源情報とから、「前」、「前前左」……といった１６個の方向毎に新たなインパルス応答を導出する（ステップＳ１０）。ここでの新たなインパルス応答の導出は次のような手順で行われる。
【００３８】
まず、導出対象となる方向（「左左前」とする）に相当する仮想音源分布データＡの方向別エリアＡＲ２に属する多数の音源情報と、仮想音源分布データＢの方向別エリアＡＲ４に属する多数の音源情報とのうち、当該方向について求めた平均パルス到来密度に応じた数（つまり、各単位距離区域内に位置する音源の数）の音源情報を抽出する。より具体的に例を挙げて説明すると、受音点Ｊにおける到来時刻がＴ〜Ｔ＋ｔａ（ｔａは単位時間とする）の平均パルス到来密度が「５」である場合において、方向別エリアＡＲ２における時刻がＴ〜Ｔ＋ｔａまでの間に音が受音点Ｊに到来する音源情報が５個あり、方向別エリアＡＲ４における到来時刻がＴ〜Ｔ＋ｔａまでの間に音が受音点Ｊに到来する音源情報が４個ある時には、これらを合わせた９個の音源情報の中から、平均パルス到来密度に応じた数である５個の音源情報が抽出される。このように抽出された５個の音源情報が、当該方向の新たなインパルス応答における時刻Ｔ〜Ｔ＋ｔａの区間における音源情報として用いられるのである。以上のような音源情報の抽出処理が、時刻０〜ｔａ、ｔａ〜２ｔａ、２ｔａ〜３ｔａ、……Ｔ〜Ｔ＋ｔａ、Ｔ＋ｔａ〜Ｔ＋２ｔａ……といったように単位時間毎（単位距離区域毎）に行われ、新たなインパルス応答の導出の際に各々の経過時刻において用いられる音源情報が抽出される。
【００３９】
ここで、上述したように平均パルス到来密度に応じた数よりも方向別エリアＡＲ２と方向別エリアＡＲ４に属する音源情報の数が大きくなることがあり、本実施形態では、これらの抽出対象となる音源情報のうち、音の強さが大きい順に平均パルス到来密度に応じた数に達するまで音源情報を抽出する。したがって、上記の場合において、例えば方向別エリアＡＲ２に属する抽出対象である５つの音源情報の各々の音の強さが方向別エリアＡＲ４に属する抽出対象である４つのいずれの音源情報の音の強さよりも大きい場合には、方向別エリアＡＲ２に属する５つの音源情報のみが抽出され、方向別エリアＡＲ４に属する音源情報は１つも抽出されないことになる。
【００４０】
このように単位時間毎に用いる音源情報が抽出されると、抽出された音源情報を用いて、当該方向について新たなインパルス応答を導出する。ここでのインパルス応答は、抽出された各音源情報の座標情報から受音点Ｊまでの距離を求めることで、各音源の発する音の受音点Ｊへの到来時刻を求め、この到来時刻とその音源情報の音の強さとに基づいて導出することができる。
【００４１】
ＣＰＵ１１０は、以上のような新たなインパルス応答の導出処理を、他の１５個の方向についても実行することにより、仮想音源分布データＡおよび仮想音源分布データＢから、新たな方向別インパルス応答を導出することができる。
【００４２】
ところで、上述したように求めた新たな方向別のインパルス応答は、上記のように音の強さが大きい音源情報を優先的に抽出して作成したものであるため、新たに作成した各方向別のインパルス応答の総パワー値は、上記ステップＳ７で求めた各方向別のインパルス応答の平均総パワー値よりも大きくなる。したがって、ＣＰＵ１１０は、新たに作成した各方向別のインパルス応答の総パワー値が、ステップＳ７で求めた各方向別のインパルス応答の平均総パワー値と一致するように、新たに作成した各方向別のインパルス応答のパワー調整を行う（ステップＳ１１）。例えば、「左左前」方向の新たなインパルス応答の総パワー値がＰ１である場合に、ステップＳ７で求めた「左左前」方向のインパルス応答の平均総パワー値がＰ２である時には、新たに作成したインパルス応答のパワー値に、Ｐ２／Ｐ１を乗算することによりパワー調整を行うようにすればよい。
【００４３】
パワー調整が終了すると、ＣＰＵ１１０はパワー調整後の新たな各方向別のインパルス応答から、図１に示したような仮想音源分布データを生成する（ステップＳ１１）。以上のようにして仮想音源分布データＡおよび仮想音源分布データＢをユーザの指示した補間比率で補間した新たな仮想音源分布データを生成することができる。
【００４４】
以上説明したように本実施形態では、２種類の仮想音源分布データＡおよび仮想音源分布データＢを、ユーザの指示に応じた補間比率で補間した新たな仮想音源分布データを生成することができる。この補間仮想音源分布データを生成する際に、２種類の仮想音源分布データのうち、受音点Ｊにおいて最も大きな音エネルギーが到来する方向（通常は直接音の音源が存在する方向）が一致するよう各仮想音源分布データの音源情報の分布位置が調整される。したがって、この補間仮想音源分布データを用いた残響付与等を行った場合には、聴感上大きな影響を与える最も大きな音エネルギーが到来する方向が１方向に統一されることになる。一方、従来の単純に２種類の仮想音源分布データの平均をとることによる補間方法では、補間対象となる２つの仮想音源分布データの最も大きな音エネルギーが到来する方向が異なっている場合に、従来の補間方法で生成した仮想音源分布データを用いた残響付与を行うと、複数方向から聴感上大きな影響を与える音が到来することになり、違和感のある音場が再現されてしまう。これに対し、本実施形態による補間方法によれば、上記のように最も影響のある音が到来する方向が統一されるので、聴感上違和感の少ない仮想音源分布データを生成することができるのである。
【００４５】
また、本実施形態では、上述したように新たな方向毎のインパルス応答を生成する際に、２種類の仮想音源分布データに属する多数の音源情報の全てを用いるのではなく、これらの多数の音源情報のうち、各音の到来方向毎の平均パルス到来密度、つまり単位距離区域毎に２種類の仮想音源分布データに属する音源情報の数の平均値と同数の音源情報のみを抽出して用いるようにしている。一方、従来の補間方法は、２種類の仮想音源分布データに属する全ての音源情報を用い、各音源情報の音の強さを２で除するといった手法を採用しているので、音源の数が単に加算されて増加することとなり、補間対象となる２種類の仮想音源分布データの両者と全く異なる特性の補間データが生成されてしまうおそれがある。これに対し、本実施形態では、音源数が単に加算されて増加するといったことがないので、このような問題が生じない。また、本実施形態では、音源情報の抽出の際に、音の強さの大きいものを優先的に抽出するようにしている。すなわち、聴感上より大きな影響を与える音源情報を優先的に抽出しているので、補間対象となる２種類の仮想音源分布データの特徴をうまく取り入れた補間仮想音源分布データを生成することができる。
また、本実施形態では、仮想音源分布データの音源情報の分布位置の調整と、各仮想音源の到来方向毎の平均パルス到来密度の調整とを共に行うようにしていたが、各仮想音源分布データの音源情報の分布位置の調整、もしくは各仮想音源の到来方向毎の平均パルスの到来密度の調整のいずれか一方のみを行うようにしてもよい。
【００４６】
以上のような聴感上大きな影響を与える音の到来方向が複数となること起因する聴感上の違和感、および音源数が単に増加することに起因する聴感上の違和感は、補間対象となる２種類の仮想音源分布データの特性が大きく異なっている場合にはより顕著なものとなる。これに対し、本実施形態によれば２種類の仮想音源分布データの特性が大きく異なっていても、補間した仮想音源分布データに基づいて音場再現を行った場合にも、上述した理由により聴感上の違和感がほとんどない中間特性を有する音場を再現することができる。
【００４７】
Ｃ．変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００４８】
（変形例１）
上述した実施形態では、補間対象となる仮想音源分布データＡおよび仮想音源分布データＢが直接音を含む仮想音源分布データである場合について説明したが、仮想音源分布データの中には、直接音のデータを省き、反射音のみの音源情報を含むものもある。このような直接音の音源情報を含まない２種類の仮想音源分布データが補間対象となっている場合には、２種類の仮想音源分布データの各々について、どの位置（または方向）に直接音の音源があるかユーザに指示させた上で、上記実施形態における図３のステップＳ３およびステップＳ４の処理に代えて次のように各仮想音源分布データに示される音源分布位置を回転させるようにすればよい。
【００４９】
すなわち、２種類の仮想音源分布データの各々における、ユーザによって指示された直接音の音源位置が属する方向別エリア（もしくはユーザが直接指示した方向別エリア）が、受音点Ｊから見て同一方向となるよう音源分布位置を回転させるようにすればよい。したがって、一方の仮想音源分布データについては方向別エリアＡＲ２に指示された直接音の音源位置が属し、他方の仮想音源分布データについては方向別エリアＡＲ４に指示された直接音の音源位置が属する場合には、図６および図７に示すように、一方の仮想音源分布データの方向別エリアＡＲ２と、他方の仮想音源分布データの方向別エリアＡＲ４とが受音点Ｊから見て同一方向となるよう音源分布位置を回転させて補間仮想音源分布データを生成するようにすればよい。このように音源分布位置を回転させることで、上記実施形態と同様、音場再現を行った場合にも、聴感上大きな影響を与える音の到来方向が複数となること起因する聴感上の違和感がほとんど生じない仮想音源分布データを生成することができる。
【００５０】
（変形例２）
また、上述した実施形態では、音源分布データ補間装置１００は、外部記憶装置１１３に格納されている２種類の仮想音源分布データを読み出し、これら２種類の仮想音源分布データを補間して新たな仮想音源分布データを生成する機能を有していたが、この補間機能に加え、補間した仮想音源分布データに基づいて、楽音信号に対して残響付与等を施す機能を持たせ、図１２に示すような楽音信号処理装置３００を構成するようにしてもよい。
【００５１】
同図に示すように、この楽音信号処理装置３００は、上記実施形態における音源分布データ補間装置１００と同様、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、外部記憶装置１１３および操作部１１５に加え、バス１１４に接続されるＤＳＰ１５１および電子音源１５０と、ＤＳＰ（Digital Signal Processor）１５１に接続される多数のスピーカ群１５２とを備えている。
【００５２】
操作部１１５を介して所定の楽曲等の再生指示があった場合には、ＣＰＵ１１０はその楽曲データを外部記憶装置１１３から読み出し、電子音源１５０に供給する。これにより電子音源１５０は当該楽曲データに応じた楽音信号を生成し、この楽音信号をＤＳＰ１５１に出力する。また、上記実施形態と同様、ユーザは操作部１１５を介して補間対象となる２種類の仮想音源分布データを指定した補間指示を行うことができるとともに、当該楽音信号処理装置３００では、上記のように電子音源１５０によって生成される楽音信号に対し、補間された新たな仮想音源分布データに基づいた信号処理をＤＳＰ１５１が行うことができるよう構成されている。
【００５３】
スピーカ群１５２は、例えば、ある室空間内にいる聴取者から見て４方向（例えば、前、後、右、左）の各々に設置されるエフェクトスピーカを有している。ＤＳＰ１５１は、電子音源１５０から供給される楽音信号に対して上記のように補間された仮想音源分布データに基づいた信号処理を施すことによりエフェクトスピーカー用の４チャンネルの音場信号を出力する。この４チャンネルの信号がスピーカ群１５２の４つのエフェクトスピーカに供給され、補間された仮想音源分布データに基づいた音場が再現される。
なお、本構成において、電子音源１５０に代えて楽音入力部（マイクロホンや信号入力端等）を設けるようにし、当該楽音入力部から入力される楽音に対して補間された仮想音源分布データに基づいた信号処理を施すことができる音場再生装置としてもよい。
【００５４】
（変形例３）
なお、上述した実施形態では、２種類の仮想音源分布データを補間して新たな仮想音源分布データを生成するための補間処理をＣＰＵ１１０がＲＯＭ１１１に格納されたプログラムを実行することにより行うようにしていたが、専用のハードウェア回路を構成し、当該ハードウェア回路によって上記補間処理を実行するようにしてもよい。また、ソフトウェアで上記補間処理を行う場合には、上記処理をコンピュータに実現させるためのプログラムを記録したＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やフロッピーディスク等の様々な記録媒体をユーザに提供するようにしてもよいし、インターネット等の通信回線を介してユーザに提供するようにしてもよい。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、補間対象となる２つの仮想音源分布データの特性が大きく異なっている場合でも、聴感上の違和感が低減された仮想音源分布データを生成することができる。
【図面の簡単な説明】
【図１】 音場再現に用いられる仮想音源分布データの内容を模式的に示す図である。
【図２】 本発明の一実施形態に係る音源分布データ補間処理を実行する音源分布データ補間装置の構成を示すブロック図である。
【図３】 前記音源分布データ補間装置によって実行される仮想音源分布データ補間処理の手順を示すフローチャートである。
【図４】 前記仮想音源分布データ補間処理の内容を説明するための図であり、仮想音源分布データの各音源情報を方向別エリア毎に分類する処理を説明するための図である。
【図５】 前記仮想音源分布データ補間処理の内容を説明するための図であり、前記方向別エリア毎の音源情報の音の強さの加算値を示すグラフである。
【図６】 前記仮想音源分布データ補間処理の内容を説明するための図であり、仮想音源分布データの音源分布位置を回転させる処理を説明するための図である。
【図７】 前記仮想音源分布データ補間処理の内容を説明するための図であり、仮想音源分布データの音源分布位置を回転させる処理を説明するための図である。
【図８】 前記仮想音源分布データ補間処理の内容を説明するための図であり、ある前記方向別エリアのインパルス応答を示す図である。
【図９】 前記仮想音源分布データ補間処理の内容を説明するための図であり、前記音源分布位置回転後の受音点から見た方向毎の、２種類の前記方向別エリアのパワーの平均値を示すグラフである。
【図１０】 前記仮想音源分布データ補間処理の内容を説明するための図であり、ある方向別エリアの前記仮想音源分布データの経過時刻とパルス到来密度との関係を示すグラフである。
【図１１】 前記仮想音源分布データ補間処理の内容を説明するための図であり、前記音源分布位置の回転後の方向別エリアの、２種類の前記仮想音源分布データの経過時刻と平均パルス到来密度との関係を示すグラフである。
【図１２】 前記音源分布データ補間処理を実行する楽音信号処理装置の構成を示すブロック図である。
【符号の説明】
１００……音源分布データ補間装置、１１０……ＣＰＵ、１１１……ＲＯＭ、１１２……ＲＡＭ、１１３……外部記憶装置、１１４……バス、１１５……操作部、１５０……電子音源、１５１……ＤＳＰ、１５２……スピーカ群[0001]
BACKGROUND OF THE INVENTION
The present invention is based on a sound source distribution data interpolation method, sound source distribution data interpolation device, and sound source distribution data that generate new sound source distribution data using two types of sound source distribution data for reproducing a sound field such as a concert hall. The present invention relates to a musical tone signal processing apparatus, a program, and a recording medium for performing signal processing.
[0002]
[Prior art]
Conventionally, impulse response is measured by the proximity four-point method, etc., and virtual sound source distribution data, which is a kind of indoor space information such as a concert hall, is created based on the measurement result, and design data such as a concert hall is also prepared. Virtual sound source distribution data is created by acoustic simulation. There is also provided a reverberation imparting device that performs signal processing based on virtual sound source distribution data created by the above method on a musical sound signal and reproduces a sound field such as the concert hall.
[0003]
Here, FIG. 1 schematically shows the contents of virtual sound source distribution data (two-dimensional) used for sound field reproduction as described above. As shown in the figure, the virtual sound source distribution data includes the distribution positions of a large number of sound sources (direct sound and reflected sound) around the sound receiving point J when each impulse sound is generated in a certain space, and each sound source. In the figure, the size of the circle represents the sound intensity of each sound source, and the center position of the circle represents the sound source position. In the actual virtual sound source distribution data, information on the position of each sound source (for example, coordinate information, direction and distance information from the sound receiving point, direction and arrival time information from the sound receiving point, etc.) and the sound source emits. Many pieces of sound source information are included as a pair with information indicating the strength of sound.
[0004]
By the way, the virtual sound source distribution data is used for the purpose of switching the reverberation to be applied to the musical sound signal to be reproduced in synchronization with the switching when the scene such as the video to be reproduced is switched from one scene to the other scene. May be. In such a case, when the video of the scene before switching is being played back, the reverberation applying process using the virtual sound source distribution data for reproducing the sound field corresponding to the scene is performed, while after the video switching Performs reverberation adding processing using virtual distribution data for reproducing the sound field according to the scene after switching. At the time of switching and the predetermined time before and after the switching, two types of virtual sound source distributions, namely virtual sound source distribution data for reproducing the sound field before switching and virtual sound source distribution data for reproducing the sound field after switching, are used. A technique may be used in which virtual sound source distribution data having intermediate characteristics is generated by interpolating data, and reverberation applying processing is performed using the generated virtual sound source distribution data.
[0005]
[Problems to be solved by the invention]
However, the conventional virtual sound source distribution data interpolation method simply adds two types of virtual sound source distribution data and takes an average, that is, adds each sound source information belonging to each virtual sound source distribution data, Since the sound intensity indicated by each sound source information is divided by 2, the characteristics such as the sound image position of the virtual sound source distribution data after the interpolation are intermediate between the two prepared virtual sound source distribution data. It may not be a characteristic. Further, since the number of sound sources is simply added and increased, the virtual sound source distribution data prepared differs greatly from the number of sound sources, and as a result, the reproduced sound field may differ greatly. In particular, when the characteristics of the two prepared virtual sound source distribution data are greatly different, the above-mentioned sense of incongruity becomes more prominent.
[0006]
The present invention has been made in consideration of the above circumstances, and even if the characteristics of two virtual sound source distribution data to be interpolated are greatly different, virtual sound source distribution data with a reduced sense of discomfort in hearing is reduced. An object of the present invention is to provide a sound source distribution data interpolation method, a sound source distribution data interpolation device, a musical tone signal processing device having the sound source distribution data interpolation device, a program, and a recording medium.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problem, an interpolation method of sound source distribution data according to the present invention includes first sound source distribution data including sound source position information relating to positions of a plurality of sound sources, and sound intensity information of each sound source, A method of generating new sound source distribution data by interpolating second sound source distribution data different from the first sound source distribution data, wherein each of the first sound source distribution data and the second sound source distribution data A step of classifying each sound source into one of a plurality of direction areas viewed from a predetermined sound receiving point from each sound source position information included in the sound source, and a plurality of the direction areas of the first sound source distribution data Of the specific direction area of the second sound source distribution data and the specific direction area of the plurality of direction areas of the second sound source distribution data so that the directions viewed from the predetermined sound receiving point coincide with each other. , For the first sound source An adjustment step of adjusting each sound source position information included in the data and each sound source position information included in the second sound source distribution data, the first sound source distribution data including the adjusted sound source position information, and the second And generating a new sound source distribution data based on the sound source distribution data.
[0008]
According to this method, new virtual sound source distribution data obtained by interpolating two types of virtual sound source distribution data and virtual sound source distribution data can be generated. When generating the interpolated virtual sound source distribution data, the specific direction-specific area (for example, an area including a sound source that has a great influence on the sense of hearing) of the two types of virtual sound source distribution data is the same as viewed from the sound receiving point. The distribution position of the sound source information of each virtual sound source distribution data is adjusted so as to be in the direction. Therefore, the sound that has a great influence on the auditory sensation from a plurality of directions also arrives at the characteristics of the two types of virtual sound source distribution data to be interpolated (when the direction including the sound source that has a great influence on the audibility is different). Virtual sound source distribution data can be generated with little sense of discomfort in the sense of hearing.
[0009]
In addition, the sound source distribution data interpolation method according to another aspect of the present invention includes first sound source distribution data including sound source position information regarding the positions of a plurality of sound sources, and sound intensity information of each sound source, and the first sound source. A method of generating new sound source distribution data by interpolating second sound source distribution data different from the distribution data, each of which is included in each of the first sound source distribution data and the second sound source distribution data A classification step of classifying each sound source into one of a plurality of direction areas viewed from a predetermined sound receiving point from the sound source position information, and the directions of the first sound source distribution data and the second sound source distribution data A distribution number deriving step for obtaining the number of sound source distributions for each unit distance area from the predetermined sound receiving point for each different area; and the direction in the same direction in the first sound source distribution data and the second sound source distribution data Another An average derivation step for obtaining an average of the number of sound source distributions obtained for each unit distance section, the first sound source distribution data belonging to the same unit distance section belonging to the direction area in the same direction, and the second The sound source position information and sound intensity information of the same number of sound sources as the average number of sound source distributions are extracted from the sound sources of the sound source distribution data of the sound source, and the sound source position information and sound intensity information of the extracted sound sources are extracted. And a generation step of generating new sound source distribution data using the.
[0010]
According to this method, new virtual sound source distribution data obtained by interpolating two types of virtual sound source distribution data and virtual sound source distribution data can be generated. When generating this interpolated virtual sound source distribution data, instead of using all of a large number of sound source information belonging to the two types of virtual sound source distribution data, the unit distance in the direction of arrival of each sound out of these many sound source information Only the same number of sound source information as the average value of the number of sound source information belonging to two types of virtual sound source distribution data is extracted and used for each section. Therefore, it is possible to generate interpolated virtual sound source distribution data that can suppress a sense of incongruity due to a simple increase in the number of sound sources without the number of sound sources being simply added and increasing as in the conventional interpolation method. Can do.
[0011]
In addition, the sound source distribution data interpolation apparatus according to the present invention includes first sound source distribution data including sound source position information relating to positions of a plurality of sound sources, and sound intensity information of each sound source, and the first sound source distribution data. Each of the first sound source distribution data and the second sound source distribution data stored in the storage means when there is an interpolation instruction. Classifying means for classifying each sound source into one of a plurality of direction areas as viewed from a predetermined sound receiving point from each sound source position information included in the sound source, and a plurality of the direction areas of the first sound source distribution data Of the predetermined direction area of the second sound source distribution data and the predetermined area of the second direction among the plurality of direction areas of the second sound source distribution data so that the directions viewed from the predetermined sound receiving point coincide with each other. , The first sound source distribution data Adjusting means for adjusting each sound source position information included in the data source and each sound source position information included in the second sound source distribution data, the first sound source distribution data including the adjusted sound source position information, and the second And generating means for generating new sound source distribution data based on the sound source distribution data.
[0012]
According to another aspect of the present invention, there is provided a sound source distribution data interpolating device that stores sound source position information relating to positions of a plurality of sound sources and first sound source distribution data including sound intensity information of each sound source; When there is an interpolation instruction, each sound source receives a predetermined sound reception from each sound source position information included in each of the first sound source distribution data and the second sound source distribution data stored in the storage means. Classifying means for classifying into any of a plurality of direction areas viewed from a point, and for each area by direction of the first sound source distribution data and the second sound source distribution data stored in the storage means, Distribution number deriving means for obtaining the number of sound source distributions for each unit distance area from the predetermined sound receiving point, and the direction-specific area in the same direction in the first sound source distribution data and the second sound source distribution data. Average derivation means for obtaining an average of the number of sound source distributions for each unit distance section; and the first sound source distribution data and the second sound source distribution data belonging to the same unit distance section belonging to the direction-specific area in the same direction. The sound source position information and sound intensity information of the same number of sound sources as the average of the number of sound source distributions are extracted from each sound source, and new sound source position information and sound intensity information are extracted using the extracted sound source position information and sound intensity information. And generating means for generating sound source distribution data.
[0013]
A musical tone signal processing device according to the present invention performs signal processing on a musical tone signal based on any one of the above-described sound source distribution data interpolation devices and new sound source distribution data generated by the sound source distribution data interpolation device. And a signal processing means.
[0014]
In addition, a program according to the present invention causes a computer to execute first sound source distribution data including sound source position information regarding the positions of a plurality of sound sources, and sound intensity information of each sound source, and the first sound source distribution data. Read out the first sound source distribution data and the second sound source distribution data from storage means for storing different second sound source distribution data, and from each sound source position information included in each read sound source distribution data, Classifying means for classifying the sound source into any one of a plurality of direction areas as viewed from a predetermined sound receiving point; the predetermined direction area among the plurality of direction areas of the first sound source distribution data; and Included in the first sound source distribution data so that the direction seen from the predetermined sound receiving point matches the predetermined direction-specific area among the plurality of direction-specific areas of the second sound source distribution data. Adjustment means for adjusting each sound source position information included in the sound source position information and the second sound source distribution data, based on the first sound source distribution data and the second sound source distribution data including the adjusted sound source position information. And function as a generation means for generating new sound source distribution data.
Further, the program may be recorded on a computer-readable recording medium.
[0015]
According to another aspect of the present invention, there is provided a program from a storage unit that stores sound source position information relating to positions of a plurality of sound sources and first sound source distribution data including sound intensity information of each sound source. The first sound source distribution data and the second sound source distribution data are read, and each sound source is viewed from a predetermined sound receiving point from each sound source position information included in each read sound source distribution data. A unit distance from the predetermined sound receiving point for each area according to direction of the first sound source distribution data and the second sound source distribution data stored in the storage unit. Distribution number deriving means for obtaining the number of sound source distributions for each zone, the number of sound source distributions obtained for the direction-specific areas in the same direction in the first sound source distribution data and the second sound source distribution data. Mean deriving means for obtaining an average for each unit distance area, from among the respective sound sources of the first sound source distribution data and the second sound source distribution data belonging to the same unit distance section belonging to the direction area in the same direction The sound source position information and sound intensity information of the same number of sound sources as the average number of sound source distributions are extracted, and new sound source distribution data is generated using the extracted sound source position information and sound intensity information of the sound sources Function as a generating means.
Further, the program may be recorded on a computer-readable recording medium.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
A. Configuration of the embodiment
First, FIG. 2 is a block diagram showing a configuration of a sound source distribution data interpolating apparatus that implements a virtual sound source distribution data interpolation method according to an embodiment of the present invention. As shown in the figure, the sound source distribution data interpolation apparatus 100 includes a CPU (Central Processing Unit) 110, a ROM (Read Only Memory) 111, and a RAM (Random Access Memory) 112 which are connected to each other via a bus 114. And an external storage device 113 and an operation unit 115, which can be constituted by a personal computer, for example.
[0017]
The CPU 110 reads and executes an interpolation processing program stored in the ROM 111, thereby executing virtual sound source distribution data interpolation processing to be described later. The RAM 112 is used as a working area during the interpolation process. The operation unit 115 includes input means such as a keyboard and a mouse, and supplies instructions to the CPU 110 in accordance with user operations. The user gives an instruction to start virtual sound source distribution data interpolation processing, an instruction to select two virtual sound source distribution data to be interpolated, an interpolation ratio of two virtual sound source distribution data (for example, a ratio of 4 to 6), etc. via the operation unit 115. You can enter instructions.
[0018]
The external storage device 113 is, for example, a hard disk drive device, and at least two types of virtual sound source distribution data are stored in the external storage device 113. Here, the virtual sound source distribution data stored in the external storage device 113 includes a large number of sound sources (centered on the sound receiving point J when an impulse sound is generated in a certain space, as shown in FIG. (Direct sound and reflected sound) and the sound intensity of each sound source. Any kind of virtual sound source distribution data may be used as long as it can represent the information as described above, but the two-dimensional virtual sound source distribution data used in the present embodiment includes coordinate information on the position of each sound source ( It is assumed that a lot of one sound source information includes a set of x, y) and information (p) indicating the intensity of sound generated by the sound source. The external storage device 113 stores at least two types of virtual sound source distribution data having different characteristics. As a method for acquiring the virtual sound source distribution data, a known method such as acquisition using an impulse response measured by the proximity four-point method can be used, and description of the acquisition method is omitted.
[0019]
B. Virtual sound source distribution data interpolation processing
Under the configuration described above, when an interpolation start instruction including an instruction to select two virtual sound source distribution data to be interpolated and an interpolation ratio instruction is input from the user via the operation unit 115, the CPU 110 stores in the ROM 111. Interpolation processing is executed according to the procedure shown in FIG. 3 in accordance with the stored interpolation processing program.
[0020]
As shown in the figure, when receiving an interpolation start instruction, the CPU 110 reads out two types of virtual sound source distribution data selected by the user from the external storage device 113 (step S1). In the following, two different types of virtual sound source distribution data such as virtual sound source distribution data A and virtual sound source distribution data B in two dimensions (two-dimensional information where the coordinate information of the sound source is (x, y)) are selected and subjected to interpolation processing. Shall be used.
[0021]
When the virtual sound source distribution data A and the virtual sound source distribution data B are read, the CPU 110 determines each virtual sound source distribution data depending on which area of the direction area divided into a predetermined number viewed from the sound receiving point J. Sound source information (a set of coordinate information and sound intensity information) is classified into areas for each direction (step S2). The contents of this classification process will be described with reference to FIG.
[0022]
In the present embodiment, the CPU 110 determines whether the coordinates of the sound source included in each virtual sound source distribution data belong to any of the direction areas AR0 to AR15 that are equally divided into 16 when viewed from the sound receiving point J. Classify sound source information into area by direction. In addition, the division method of the area according to direction is not limited to equal division, and may be unequal division such as fine division of the front and back directions of the listener with high auditory angle separation ability, The number of divisions is not limited to 16, but may be more or less, but in the present embodiment, each area is divided into 16 equal areas, that is, 360 ° / 16 = 22.5. The range of ° is defined as one direction area. In the following description, the direction viewed from the sound receiving point J is referred to as “front”, “front right”, “front right”, “right front right”, “right” as shown in the figure. In the illustrated case, the direction “front” viewed from the sound receiving point J corresponds to the direction area AR0, and the direction “left” viewed from the sound receiving point J corresponds to the direction area AR4.
[0023]
In the present embodiment, a large number of sound source information belonging to each virtual sound source distribution data is classified into the respective direction areas AR0 to AR15 as described above. Specifically, the CPU 110 is configured to each area area AR0. Based on the coordinate range information associated with .about.AR15 and the coordinate information of each sound source information, it is determined and classified to which direction area each sound source information belongs. Here, the coordinate range information is information indicating a range that the coordinates (x, y) can take for each direction area. For example, when the x coordinate is xa for a certain direction area, the y coordinate is between ya and yc, the x coordinate is xb and the y coordinate is between yd and ye, etc. When the coordinate information of the sound source information is (xa, yb (where ya <yb <yc)), the sound source information is classified into this direction area.
[0024]
As described above, for each of the virtual sound source distribution data A and the virtual sound source distribution data B, a large number of sound source information belonging to the virtual sound source distribution data is classified into any one of the direction-specific areas AR0 to AR15. When the classification is completed, the CPU 110 obtains the total power for each direction area AR0 to AR15 based on each classification result of each virtual sound source distribution data (step S3). That is, for each direction area AR0 to AR15, the sound intensity (power) indicated in the sound intensity information of all sound source information classified as belonging to the area is added. Such sound intensity addition is performed for each direction area of each virtual sound source distribution data.
[0025]
When the total power value for each area for each direction is derived for each virtual sound source distribution data as described above, the CPU 110 determines the sound source distribution position belonging to each virtual sound source distribution data on the xy plane based on the result. Is rotated (the direction is shifted) around the center (step S4). In the present embodiment, the CPU 110 adds the virtual sound source distribution data A and the virtual sound source distribution data B to each of the virtual sound source distribution data A and the virtual sound source distribution data B based on the interpolation ratio instructed by the user and the total power value for each direction area obtained in step S3. Determine how much the sound source position to which it belongs will be rotated. This rotation amount determination method will be described by taking as an example the case where the result shown in FIG. 5 is obtained as the total power value for each direction area of each virtual sound source distribution data by the process of step S3. In the figure, the bars shown by diagonal lines represent the total power value for each area for each direction for the virtual sound source distribution data A, and the white bars represent the total for each area for each direction for the virtual sound source distribution data B. Represents the power value.
[0026]
As is clear from the figure, the total power value (unit omitted) for each area for each direction is the maximum for area AR2 for virtual sound source distribution data A, and the maximum for area AR4 for virtual sound source distribution data B. It has become. The CPU 110 determines that the maximum direction-specific area (the direction-specific area AR2 for the virtual sound source distribution data A and the direction-specific area AR4 for the virtual sound source distribution data B) where the total power value is maximum in each virtual sound source distribution data is received. The sound source distribution position of the virtual sound source distribution data A and the sound source distribution position of the virtual sound source distribution data B are rotated by a predetermined amount around the sound receiving point J so as to be in the same direction as viewed from the point J. . Here, the rotation amount of each of the sound source distributions belonging to the virtual sound source distribution data A and the virtual sound source distribution data B is determined by the interpolation ratio instructed by the user.
[0027]
More specifically, when an interpolation ratio such as α% for the virtual sound source distribution data A and (100−α)% for the virtual sound source distribution data B is designated, the CPU 110 performs each virtual sound source distribution data in the following procedure. The rotation amount of the sound source distribution belonging to is determined. First, CPU110 calculates | requires the angle difference of each area according to the maximum direction. In the above example, the direction area AR2 for the virtual sound source distribution data A and the direction area AR4 for the virtual sound source distribution data B are the maximum direction areas, so the angle between them is 22.5 × 2 = 45 °. is there. That is, 45 ° rotation is required to match the directions of the two areas according to the maximum direction. When the required angle change amount is obtained as described above, the CPU 110 determines the direction of the virtual sound source distribution data B by the angle determined by 45 ° × (100−α) / 100 for the sound source distribution of the virtual sound source distribution data A. Rotate in a direction toward another area AR4 (counterclockwise direction in FIG. 6). On the other hand, the sound source distribution of the virtual sound source distribution data B is rotated in the direction of the direction area AR2 (clockwise in FIG. 7) by an angle obtained by 45 ° × (100− (100−α)) / 100.
[0028]
Here, when the instructed interpolation ratio is 50% for the virtual sound source distribution data A and 50% for the virtual sound source distribution data B, the sound source distribution for the virtual sound source distribution data A is as shown in FIG. Is rotated counterclockwise by 22.5 °. Accordingly, the direction-specific area AR2 that is the maximum direction-specific area is located on the “left front left” side as viewed from the sound receiving point J. On the other hand, for the virtual sound source distribution data B, as shown in FIG. 7, the sound source distribution is rotated clockwise by 22.5 °. As a result, the direction-specific area AR4, which is the maximum direction-specific area for the virtual sound source distribution data B, is also located on the “left front left” side when viewed from the sound receiving point J, and the maximum direction-specific area of both is received. From the point J, the directions coincide. As described above, the CPU 110 adjusts the coordinate information (x, y) of a large number of sound source information belonging to each virtual sound source distribution data so that the sound source distribution position of each virtual sound source distribution data is rotated.
[0029]
When the sound source distribution position of each virtual sound source distribution data is rotated around the sound receiving point J, the CPU 110 generates an impulse response for each of the direction-specific areas AR0 to AR15 for each of the virtual sound source distribution data A and the virtual sound source distribution data B. Obtained (step S5). The impulse response for each direction area determines the arrival time of the sound emitted by each sound source at the sound receiving point J by obtaining the distance from the coordinate information of each sound source information belonging to the area to the sound receiving point J. From this arrival time and the sound intensity of the sound source information, an impulse response can be derived for each direction area as illustrated in FIG.
[0030]
When the impulse responses of all the directional areas are derived for the virtual sound source distribution data A and the virtual sound source distribution data B, the CPU 110 determines from the sound receiving points J of the virtual sound source distribution data A and the virtual sound source distribution data B after the rotation. The average impulse response of the area according to the direction which is the same direction as seen is derived (step S6).
[0031]
The direction-specific areas that are in the same direction as seen from the sound receiving point J after the rotation of the sound source distribution described above are as follows when the sound source distribution is rotated as shown in FIGS. 6 and 7. become that way. That is, what is on the “front” side as viewed from the sound receiving point J is the direction area AR15 for the virtual sound source distribution data A (see the lower part of FIG. 6), and the virtual sound source distribution data B is the direction area AR1. Yes (see the lower part of FIG. 7), these are direction-specific areas in the same direction. Similarly, the direction-specific area AR14 of the virtual sound source distribution data A and the direction-specific area AR0 of the virtual sound source distribution data B are on the “front right front” side as viewed from the sound receiving point J, and these are areas in the same direction. It becomes. Further, the direction-specific area AR13 of the virtual sound source distribution data A and the direction-specific area AR15 of the virtual sound source distribution data B are on the “front right” side as viewed from the sound receiving point J, and these are areas in the same direction. .
[0032]
Then, the CPU 110 stores the virtual sound source distribution data A and the virtual sound source distribution data B corresponding to each of the 16 directions as viewed from the sound receiving point J such as “front”, “front front right”. Obtain the average impulse response in the direction area. In the above example, for “previous”, the average of the impulse response of the direction-specific area AR15 for the virtual sound source distribution data A and the impulse response of the direction-specific area AR1 for the virtual sound source distribution data B is obtained. The “average” here is the average of the sound intensity for each arrival time of the sound emitted by each sound source at the receiving point J according to the interpolation ratio specified by the user. When the interpolation ratio is 50% or 50%, it is obtained by simply averaging.
[0033]
Next, the CPU 110 obtains an average total power value for each of the 16 directions from the average impulse response obtained for each of the 16 directions viewed from the sound receiving point J (step S7). By the rotation of the sound source distribution position described above (step S4), the area according to the maximum direction of the virtual sound source distribution data A and the area according to the maximum direction of the virtual sound source distribution data B are in the “front left” direction. As shown in FIG. 4, the direction in which the average total power value is maximum is “left front left”.
[0034]
As described above, the impulse response for each direction area AR0 to AR15 of the virtual sound source distribution data A and the virtual sound source distribution data B is obtained (step S5), and the average impulse response for each direction (step S6) based on the derived result. The CPU 110 obtains the average total power value for each direction and the CPU 110 performs the following processing. That is, the CPU 110 determines each of the 16 directions (“front”, “front front right”...) Viewed from the sound receiving point J based on the impulse response for each direction area AR0 to AR15 obtained in step S5. , The pulse arrival density per unit time arriving at the sound receiving point J from the sound source belonging to the direction-specific area of the virtual sound source distribution data corresponding to each direction is obtained (step S8). The pulse arrival density per unit time is the number of sounds generated by sound sources belonging to the area per unit time that arrive at the sound receiving point J. The arrival time of the sound emitted by each sound source at the sound receiving point J is obtained from the coordinate information (x, y) of each sound source information to determine the distance between the sound receiving point J and the sound source, and the distance is determined to a predetermined sound speed (for example, 340 m). / s). In short, the pulse arrival density per unit time is 10 msec (0.01 sec) × sound speed (340 m / s) = 3.4 m for each unit distance area from the sound receiving point J, for example, when the unit time is 10 msec. The number of sound sources located in the range of 0 to 3.4 m from each sound receiving point J, the number of sound sources located in the range of 3.4 to 6.8 m, the range of 6.8 to 10.2 m The number of sound sources that are located within a range of every 3.4 m from the sound receiving point J, such as the number of sound sources belonging to.
[0035]
FIG. 10 shows an example of the pulse arrival density per unit time obtained in a certain direction viewed from the sound receiving point J obtained as described above. In this figure, the vertical axis indicates the pulse arrival density corresponding to the “left front left” direction when viewed from the sound receiving point J, the horizontal axis indicates the elapsed time (0 to 1400 msec), and the virtual sound source distribution data A The pulse arrival density obtained from each sound source information (coordinate information thereof) belonging to the direction area AR2 corresponding to “left front left” belongs to the direction area AR4 corresponding to “left front left” for the virtual sound source distribution data B. The pulse arrival density obtained from each sound source information (coordinate information thereof) is shown.
[0036]
When the CPU 110 obtains the pulse arrival density from the sound source information of the direction-specific areas of the virtual sound source distribution data A and the virtual sound source distribution data B for each of the 16 directions such as “front” and “front left”, The average pulse arrival density is derived for each of the 16 directions (step S9). That is, for the 16 directions such as “front” and “front left”, the two pulse arrival densities obtained from the sound source information in the direction-specific areas of the virtual sound source distribution data A and the virtual sound source distribution data B corresponding to each direction. Find the average. Therefore, the average of the pulse arrival densities for “front left and right” is the pulse arrival density obtained from the sound source information belonging to the direction area AR2 of the virtual sound source distribution data A and the sound source belonging to the direction area AR4 of the virtual sound source distribution data B. It is obtained by averaging the pulse arrival density obtained from the information. The “average” here is in accordance with the interpolation ratio specified by the user, and when the specified interpolation ratio is 50% or 50%, the average is simply calculated, that is, each elapsed time. Each pulse arrival density can be obtained by adding and dividing by 2. When the pulse arrival density shown in FIG. 10 is obtained, an average pulse arrival density as shown in FIG. 11 is obtained. become.
[0037]
Next, the CPU 110 calculates the average pulse arrival density for each direction obtained in step S9 and the arrival time at the sound receiving point J obtained when deriving the average impulse response for each direction obtained in step S6. From the sound source information, a new impulse response is derived for every 16 directions such as “front”, “front left”, etc. (step S10). The new impulse response is derived in the following procedure.
[0038]
First, a large number of sound source information belonging to the direction area AR2 of the virtual sound source distribution data A corresponding to the direction to be derived (“left front left”) and a large number of sound sources information belonging to the direction area AR4 of the virtual sound source distribution data B Of the sound source information, the number of sound source information corresponding to the average pulse arrival density obtained in the direction (that is, the number of sound sources located in each unit distance area) is extracted. More specifically, when the arrival time at the sound receiving point J is T to T + ta (ta is a unit time) and the average pulse arrival density is “5”, the time in the direction area AR2 There are five pieces of sound source information where the sound arrives at the sound receiving point J between T and T + ta, and the sound source information where the sound arrives at the sound receiving point J when the arrival time in the direction area AR4 is between T and T + ta. When there are four, five pieces of sound source information, which is a number corresponding to the average pulse arrival density, are extracted from the nine pieces of sound source information combined. The five pieces of sound source information extracted in this way are used as sound source information in a section from time T to T + ta in the new impulse response in the direction. The sound source information extraction process as described above is performed every unit time (each unit distance area) such as time 0 to ta, ta to 2ta, 2ta to 3ta,... T to T + ta, T + ta to T + 2ta, and so on. The sound source information used at each elapsed time when the new impulse response is derived is extracted.
[0039]
Here, as described above, the number of sound source information belonging to the direction-specific area AR2 and the direction-specific area AR4 may be larger than the number corresponding to the average pulse arrival density. In the present embodiment, these are the extraction targets. In the sound source information, sound source information is extracted until the number corresponding to the average pulse arrival density is reached in descending order of sound intensity. Therefore, in the above case, for example, the sound intensity of each of the five sound source information that is the extraction target belonging to the direction area AR2 is the sound intensity of any of the four sound source information that is the extraction target belonging to the direction area AR4. If it is larger than this, only five sound source information belonging to the direction area AR2 is extracted, and no sound source information belonging to the direction area AR4 is extracted.
[0040]
When the sound source information used for each unit time is extracted in this way, a new impulse response is derived for the direction using the extracted sound source information. The impulse response here determines the arrival time of the sound emitted by each sound source at the sound receiving point J by obtaining the distance from the coordinate information of each extracted sound source information to the sound receiving point J. The sound source information can be derived based on the sound intensity.
[0041]
The CPU 110 derives a new impulse response for each direction from the virtual sound source distribution data A and the virtual sound source distribution data B by executing the above-described new impulse response deriving process for the other 15 directions. can do.
[0042]
By the way, since the impulse response for each new direction obtained as described above is created by preferentially extracting the sound source information having a high sound intensity as described above, the newly created impulse response for each direction is created. The total power value of the impulse response is larger than the average total power value of the impulse response for each direction obtained in step S7. Therefore, the CPU 110 newly creates the direction-specific impulse response for each direction so that the total power value of the impulse response for each direction matches the average total power value of the impulse response for each direction obtained in step S7. The impulse response power is adjusted (step S11). For example, when the total power value of the new impulse response in the “left front left” direction is P1, and the average total power value of the impulse response in the “left front left” direction obtained in step S7 is P2, it is newly created. The power value may be adjusted by multiplying the power value of the impulse response by P2 / P1.
[0043]
When the power adjustment is completed, the CPU 110 generates virtual sound source distribution data as shown in FIG. 1 from the new impulse response for each direction after the power adjustment (step S11). As described above, new virtual sound source distribution data obtained by interpolating the virtual sound source distribution data A and the virtual sound source distribution data B with the interpolation ratio designated by the user can be generated.
[0044]
As described above, in this embodiment, new virtual sound source distribution data can be generated by interpolating two types of virtual sound source distribution data A and virtual sound source distribution data B with an interpolation ratio according to a user instruction. When generating the interpolated virtual sound source distribution data, the direction in which the largest sound energy arrives at the sound receiving point J among the two types of virtual sound source distribution data (usually the direction in which the direct sound source exists) matches. The distribution position of the sound source information of each virtual sound source distribution data is adjusted. Therefore, when reverberation is applied using this interpolated virtual sound source distribution data, the direction in which the largest sound energy that has the greatest influence on the sense of hearing arrives is unified in one direction. On the other hand, in the conventional interpolation method by simply averaging the two types of virtual sound source distribution data, when the direction in which the largest sound energy of the two virtual sound source distribution data to be interpolated is different, When reverberation is applied using the virtual sound source distribution data generated by the interpolation method, a sound that has a great influence on the sense of hearing comes from a plurality of directions, and an uncomfortable sound field is reproduced. On the other hand, according to the interpolation method according to the present embodiment, the direction in which the most influential sound arrives is unified as described above, so that virtual sound source distribution data with less sense of discomfort can be generated. .
[0045]
Further, in the present embodiment, when generating an impulse response for each new direction as described above, not all of a large number of sound source information belonging to two types of virtual sound source distribution data is used, but a large number of these sound sources. Out of the information, only the average number of arrivals of each sound in the direction of arrival of each sound, that is, only the same number of sound source information as the average value of the number of sound source information belonging to two types of virtual sound source distribution data for each unit distance area is extracted and used. I have to. On the other hand, the conventional interpolation method employs a method of using all sound source information belonging to two types of virtual sound source distribution data and dividing the sound intensity of each sound source information by 2, so that the number of sound sources is There is a possibility that interpolation data having characteristics completely different from both of the two types of virtual sound source distribution data to be interpolated may be generated. On the other hand, in the present embodiment, the number of sound sources is not simply increased and does not increase, so that such a problem does not occur. Further, in the present embodiment, when sound source information is extracted, a sound having a high sound intensity is preferentially extracted. That is, since sound source information that has a greater influence on hearing is preferentially extracted, interpolated virtual sound source distribution data that successfully incorporates the characteristics of two types of virtual sound source distribution data to be interpolated can be generated.
In this embodiment, the adjustment of the distribution position of the sound source information of the virtual sound source distribution data and the adjustment of the average pulse arrival density for each arrival direction of each virtual sound source are performed together. Only one of the adjustment of the distribution position of the sound source information and the adjustment of the arrival density of the average pulse for each arrival direction of each virtual sound source may be performed.
[0046]
As described above, there are two types of interpolation that are the subject of interpolation: the sense of incongruity due to the fact that there are multiple directions of arrival of sounds that have a significant impact on the sense of perception, and the sense of discomfort in perception due to simply increasing the number of sound sources. This becomes more prominent when the characteristics of the virtual sound source distribution data are greatly different. On the other hand, according to the present embodiment, even if the characteristics of the two types of virtual sound source distribution data are greatly different, even when sound field reproduction is performed based on the interpolated virtual sound source distribution data, the auditory sensation is caused for the reason described above. It is possible to reproduce a sound field having intermediate characteristics with almost no sense of incongruity.
[0047]
C. Modified example
In addition, this invention is not limited to embodiment mentioned above, Various deformation | transformation which is illustrated below is possible.
[0048]
(Modification 1)
In the above-described embodiment, the case where the virtual sound source distribution data A and the virtual sound source distribution data B to be interpolated is virtual sound source distribution data including a direct sound has been described. Some omit data and include sound source information of only reflected sound. When two types of virtual sound source distribution data that do not include sound source information of such direct sound are to be interpolated, the position of the direct sound at which position (or direction) for each of the two types of virtual sound source distribution data. After instructing the user whether there is a sound source, the sound source distribution position indicated in each virtual sound source distribution data is rotated as follows instead of the processing of step S3 and step S4 in FIG. That's fine.
[0049]
That is, in each of the two types of virtual sound source distribution data, the direction-specific area to which the sound source position of the direct sound instructed by the user (or the direction-specific area directly instructed by the user) is the same direction as viewed from the sound receiving point J. The sound source distribution position may be rotated so that Therefore, the direct sound source position specified in the direction area AR2 belongs to one virtual sound source distribution data, and the direct sound source position specified in the direction area AR4 belongs to the other virtual sound source distribution data. 6 and FIG. 7, the direction area AR2 of one virtual sound source distribution data and the direction area AR4 of the other virtual sound source distribution data are in the same direction when viewed from the sound receiving point J. Thus, the interpolated virtual sound source distribution data may be generated by rotating the sound source distribution position. By rotating the sound source distribution position in this way, as in the case of the above embodiment, even when the sound field is reproduced, there is a sense of discomfort in the sense of hearing due to multiple arrival directions of sounds that have a large impact on the sense of hearing. Virtual sound source distribution data that hardly occurs can be generated.
[0050]
(Modification 2)
In the above-described embodiment, the sound source distribution data interpolation device 100 reads two types of virtual sound source distribution data stored in the external storage device 113, and interpolates these two types of virtual sound source distribution data to create a new virtual source. Although it had a function of generating sound source distribution data, in addition to this interpolation function, it has a function of applying reverberation to a musical sound signal based on the interpolated virtual sound source distribution data, as shown in FIG. A simple tone signal processing apparatus 300 may be configured.
[0051]
As shown in the figure, the musical tone signal processing device 300 is connected to the bus 114 in addition to the CPU 110, the ROM 111, the RAM 112, the external storage device 113, and the operation unit 115, similarly to the sound source distribution data interpolation device 100 in the above embodiment. DSP 151 and electronic sound source 150, and a large number of speaker groups 152 connected to a DSP (Digital Signal Processor) 151.
[0052]
When a reproduction instruction for a predetermined music or the like is given via the operation unit 115, the CPU 110 reads the music data from the external storage device 113 and supplies it to the electronic sound source 150. Thereby, the electronic sound source 150 generates a musical sound signal corresponding to the music data and outputs the musical sound signal to the DSP 151. Similarly to the above-described embodiment, the user can issue an interpolation instruction specifying two types of virtual sound source distribution data to be interpolated via the operation unit 115, and the musical sound signal processing apparatus 300 can perform the instruction as described above. In addition, the DSP 151 can perform signal processing based on the interpolated new virtual sound source distribution data for the musical sound signal generated by the electronic sound source 150.
[0053]
The speaker group 152 includes, for example, effect speakers installed in each of four directions (for example, front, back, right, and left) when viewed from a listener in a certain room space. The DSP 151 outputs a 4-channel sound field signal for effect speakers by performing signal processing based on the virtual sound source distribution data interpolated as described above on the musical sound signal supplied from the electronic sound source 150. The four-channel signals are supplied to the four effect speakers of the speaker group 152, and a sound field based on the interpolated virtual sound source distribution data is reproduced.
In this configuration, a musical sound input unit (such as a microphone or a signal input terminal) is provided in place of the electronic sound source 150, and based on virtual sound source distribution data interpolated for the musical sound input from the musical sound input unit. It is good also as a sound field reproducing | regenerating apparatus which can perform a signal processing.
[0054]
(Modification 3)
In the above-described embodiment, the CPU 110 executes an interpolation process for generating new virtual sound source distribution data by interpolating two types of virtual sound source distribution data by executing a program stored in the ROM 111. However, a dedicated hardware circuit may be configured, and the interpolation processing may be executed by the hardware circuit. Further, when performing the interpolation processing by software, various recording media such as a CD-ROM (Compact Disc Read Only Memory) and a floppy disk in which a program for causing the computer to realize the above processing is recorded are provided to the user. Alternatively, it may be provided to the user via a communication line such as the Internet.
[0055]
【The invention's effect】
As described above, according to the present invention, even when the characteristics of two virtual sound source distribution data to be interpolated are greatly different, it is possible to generate virtual sound source distribution data with a reduced sense of discomfort in hearing. .
[Brief description of the drawings]
FIG. 1 is a diagram schematically showing the contents of virtual sound source distribution data used for sound field reproduction.
FIG. 2 is a block diagram illustrating a configuration of a sound source distribution data interpolation apparatus that performs sound source distribution data interpolation processing according to an embodiment of the present invention.
FIG. 3 is a flowchart showing a procedure of virtual sound source distribution data interpolation processing executed by the sound source distribution data interpolation device.
FIG. 4 is a diagram for explaining the contents of the virtual sound source distribution data interpolation processing, and is a diagram for explaining processing for classifying each sound source information of the virtual sound source distribution data for each area according to direction.
FIG. 5 is a diagram for explaining the contents of the virtual sound source distribution data interpolation process, and is a graph showing an added value of sound intensity of sound source information for each area according to direction.
FIG. 6 is a diagram for explaining the contents of the virtual sound source distribution data interpolation process, and a diagram for explaining a process of rotating the sound source distribution position of the virtual sound source distribution data.
FIG. 7 is a diagram for explaining the contents of the virtual sound source distribution data interpolation process, and a diagram for explaining a process of rotating the sound source distribution position of the virtual sound source distribution data.
FIG. 8 is a diagram for explaining the contents of the virtual sound source distribution data interpolation process, and is a diagram showing an impulse response in a certain direction area.
FIG. 9 is a diagram for explaining the contents of the virtual sound source distribution data interpolation process, and the average of the powers of the two types of direction-specific areas for each direction as viewed from the sound receiving point after the sound source distribution position rotation; It is a graph which shows a value.
FIG. 10 is a diagram for explaining the contents of the virtual sound source distribution data interpolation process, and is a graph showing the relationship between the elapsed time of the virtual sound source distribution data and the pulse arrival density in an area according to a direction.
FIG. 11 is a diagram for explaining the contents of the virtual sound source distribution data interpolation process, and the elapsed time and average pulse arrival of the two types of virtual sound source distribution data in the direction-specific area after rotation of the sound source distribution position; It is a graph which shows the relationship with a density.
FIG. 12 is a block diagram showing a configuration of a musical tone signal processing apparatus that executes the sound source distribution data interpolation processing.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Sound source distribution data interpolation apparatus, 110 ... CPU, 111 ... ROM, 112 ... RAM, 113 ... External storage device, 114 ... Bus, 115 ... Operation part, 150 ... Electronic sound source, 151 ... ... DSP, 152 ... Speaker group

Claims (15)

複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを補間して新たな音源分布データを生成する方法であって、
前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類ステップと、
前記第１の音源分布データの複数の前記方向別エリアのうちの特定の前記方向別エリアと前記第２の音源分布データの複数の前記方向別エリアのうちの特定の前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する調整ステップと、
調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データに基づいて、新たな音源分布データを生成する生成ステップと
を具備することを特徴とする音源分布データの補間方法。Interpolating first sound source distribution data including sound source position information relating to the positions of a plurality of sound sources, and sound intensity information of each sound source, and second sound source distribution data different from the first sound source distribution data. A method for generating new sound source distribution data,
Classification for classifying each sound source into one of a plurality of areas according to direction viewed from a predetermined sound receiving point, based on sound source position information included in each of the first sound source distribution data and the second sound source distribution data. Steps,
The specific direction-specific area of the plurality of direction-specific areas of the first sound source distribution data and the specific direction-specific area of the plurality of direction-specific areas of the second sound source distribution data. An adjustment step of adjusting each sound source position information included in the first sound source distribution data and each sound source position information included in the second sound source distribution data so that directions seen from a predetermined sound receiving point coincide with each other; ,
A sound source distribution data comprising a generation step of generating new sound source distribution data based on the first sound source distribution data and the second sound source distribution data including the adjusted sound source position information. Interpolation method. 前記第１の音源分布データに含まれる前記方向別エリア毎にそのエリアに属する全ての音源に対応する前記音の強さ情報に示される音の強さの加算値を求めるとともに、前記第２の音源分布データに含まれる前記方向別エリア毎にそのエリアに属する全ての音源に対応する前記音の強さ情報に示される音の強さの加算値を求める加算ステップをさらに具備し、
前記調整ステップでは、前記第１の音源分布データについて求められた前記方向別エリア毎の音の強さの加算値が最も大きい第１の最大方向別エリアと、前記第２の音源分布データについて求められた前記方向別エリア毎の音の強さの加算値が最も大きい第２の最大方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する
ことを特徴とする請求項１に記載の音源分布データの補間方法。For each area by direction included in the first sound source distribution data, an addition value of sound intensity indicated in the sound intensity information corresponding to all sound sources belonging to the area is obtained, and the second An addition step for obtaining an addition value of sound intensity indicated in the sound intensity information corresponding to all sound sources belonging to the area for each area included in the sound source distribution data;
In the adjustment step, the first maximum direction area and the second sound source distribution data having the largest added value of the sound intensity for each direction area determined for the first sound source distribution data and the second sound source distribution data are obtained. The first sound source distribution data so that the direction viewed from the predetermined sound receiving point coincides with the second maximum direction area with the largest added value of the sound intensity for each direction area. The sound source distribution data interpolation method according to claim 1, wherein the sound source position information included in the second sound source distribution data and the sound source position information included in the second sound source distribution data are adjusted. 前記調整ステップでは、前記第１の音源分布データの複数の前記方向別エリアのうちのユーザに指示された前記方向別エリアと、前記第２の音源分布データの複数の前記方向別エリアのうちのユーザに指示された前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する
ことを特徴とする請求項１に記載の音源分布データの補間方法。In the adjustment step, the direction-specific area instructed by the user among the plurality of direction-specific areas of the first sound source distribution data and the direction-specific area of the second sound source distribution data The sound source position information and the second sound source distribution data included in the first sound source distribution data are set so that the direction viewed from the predetermined sound receiving point matches the direction-specific area designated by the user. 2. The method of interpolating sound source distribution data according to claim 1, wherein each sound source position information included is adjusted. 前記調整ステップでは、設定された補間比率に基づいて、前記第１の音源分布データに含まれる各音源位置情報の調整量および前記第２の音源分布データに含まれる各音源位置情報の調整量を決定する
ことを特徴とする請求項１ないし３のいずれかに記載の音源分布データの補間方法。In the adjustment step, an adjustment amount of each sound source position information included in the first sound source distribution data and an adjustment amount of each sound source position information included in the second sound source distribution data are determined based on the set interpolation ratio. 4. The method of interpolating sound source distribution data according to claim 1, wherein the method is determined. 前記調整ステップでは、
調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求め、
調整後に同一方向となる前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求め、
同一方向となる前記方向別エリアに属する同一の単位距離区域に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する
ことを特徴とする請求項１ないし４のいずれかに記載の音源分布データの補間方法。In the adjustment step,
The number of sound source distributions for each unit distance area from the predetermined sound receiving point is obtained for each area according to direction of the first sound source distribution data and the second sound source distribution data including the adjusted sound source position information. ,
Obtaining an average of the number of sound source distributions determined for the direction-specific areas of the first sound source distribution data and the second sound source distribution data in the same direction after adjustment for each unit distance section;
Of the sound sources of the first sound source distribution data and the second sound source distribution data belonging to the same unit distance section belonging to the direction area that is the same direction, the number of sound sources equal to the average of the number of sound source distributions. 5. The sound source position information and sound intensity information are extracted, and new sound source distribution data is generated using the extracted sound source position information and sound intensity information of the sound source. The sound source distribution data interpolation method according to any one of the above. 同一方向となる前記方向別エリアに属する同一の単位距離区域に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出する際に、前記第１の音源分布データおよび前記第２の音源分布データの各音源の音の強さの大きい順に抽出する
ことを特徴とする請求項５に記載の音源分布データの補間方法。Among the sound sources of the first sound source distribution data and the second sound source distribution data belonging to the same unit distance area belonging to the direction area that is the same direction, the number of sound sources equal to the average of the number of sound source distributions. The sound source position information and sound intensity information are extracted in descending order of sound intensity of each sound source of the first sound source distribution data and the second sound source distribution data. Item 6. The sound source distribution data interpolation method according to Item 5. 複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを補間して新たな音源分布データを生成する方法であって、
前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類ステップと、
前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求める分布数導出ステップと、
前記第１の音源分布データおよび前記第２の音源分布データにおける同一方向の前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求める平均導出ステップと、
同一方向の前記方向別エリアに属する同一の単位距離区間に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する生成ステップと
を具備することを特徴とする音源分布データの補間方法。Interpolating first sound source distribution data including sound source position information relating to the positions of a plurality of sound sources, and sound intensity information of each sound source, and second sound source distribution data different from the first sound source distribution data. A method for generating new sound source distribution data,
Classification for classifying each sound source into one of a plurality of areas according to direction viewed from a predetermined sound receiving point, based on sound source position information included in each of the first sound source distribution data and the second sound source distribution data. Steps,
A distribution number deriving step for obtaining a sound source distribution number for each unit distance area from the predetermined sound receiving point for each area according to direction of the first sound source distribution data and the second sound source distribution data;
An average derivation step for obtaining an average of the number of sound source distributions obtained for the direction-specific areas in the same direction in the first sound source distribution data and the second sound source distribution data;
Among the sound sources of the first sound source distribution data and the second sound source distribution data belonging to the same unit distance section belonging to the direction area in the same direction, the same number of sound sources as the average of the number of sound source distributions. A sound source comprising: a sound source position information and sound intensity information extracted, and generating new sound source distribution data using the sound source position information and sound intensity information of the extracted sound source Interpolation method for distribution data. 複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを記憶する記憶手段と、
補間指示があった場合に、前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段と、
前記第１の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアと前記第２の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する調整手段と、
調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データに基づいて、新たな音源分布データを生成する生成手段と
を具備することを特徴とする音源分布データ補間装置。First sound source distribution data including sound source position information relating to positions of a plurality of sound sources, sound intensity information of each sound source, and second sound source distribution data different from the first sound source distribution data are stored. Storage means;
When there is an interpolation instruction, each sound source receives a predetermined sound reception from each sound source position information included in each of the first sound source distribution data and the second sound source distribution data stored in the storage means. A classifying means for classifying into one of a plurality of directional areas viewed from a point;
The predetermined direction area of the plurality of direction areas of the first sound source distribution data and the predetermined direction area of the plurality of direction areas of the second sound source distribution data. Adjusting means for adjusting each sound source position information included in the first sound source distribution data and each sound source position information included in the second sound source distribution data so that directions seen from a predetermined sound receiving point coincide with each other; ,
Sound source distribution data, comprising: generating means for generating new sound source distribution data based on the first sound source distribution data and the second sound source distribution data including the adjusted sound source position information. Interpolator. 複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データとを記憶する記憶手段と、
補間指示があった場合、前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの各々に含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段と、
前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求める分布数導出手段と、
前記第１の音源分布データおよび前記第２の音源分布データにおける同一方向の前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求める平均導出手段と、
同一方向の前記方向別エリアに属する同一の単位距離区間に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する生成手段と
を具備することを特徴とする音源分布データ補間装置。Storage means for storing sound source position information relating to positions of a plurality of sound sources and first sound source distribution data including sound intensity information of each sound source;
When there is an interpolation instruction, each sound source is assigned a predetermined sound receiving point from each sound source position information included in each of the first sound source distribution data and the second sound source distribution data stored in the storage means. A classification means for classifying the area into one of a plurality of areas according to directions viewed from
Distribution for obtaining the number of sound source distributions per unit distance area from the predetermined sound receiving point for each area according to direction of the first sound source distribution data and the second sound source distribution data stored in the storage means Number derivation means;
Average derivation means for obtaining an average of the number of sound source distributions obtained for the direction-specific areas in the same direction in the first sound source distribution data and the second sound source distribution data;
Among the sound sources of the first sound source distribution data and the second sound source distribution data belonging to the same unit distance section belonging to the direction area in the same direction, the same number of sound sources as the average of the number of sound source distributions. A sound source comprising: sound source position information and sound intensity information, and generating means for generating new sound source distribution data using the sound source position information and sound intensity information of the extracted sound source Distribution data interpolation device. 請求項８に記載の音源分布データ補間装置と、
前記音源分布データ補間装置によって生成された新たな音源分布データに基づいた信号処理を楽音信号に対して施す信号処理手段と
を具備することを特徴とする楽音信号処理装置。The sound source distribution data interpolating device according to claim 8,
A music signal processing apparatus comprising: signal processing means for performing signal processing on a music signal based on new sound source distribution data generated by the sound source distribution data interpolation apparatus. 請求項９に記載の音源分布データ補間装置と、
前記音源分布データ補間装置によって生成された新たな音源分布データに基づいた信号処理を楽音信号に対して施す信号処理手段と
を具備することを特徴とする楽音信号処理装置。The sound source distribution data interpolating device according to claim 9,
A music signal processing apparatus comprising: signal processing means for performing signal processing on a music signal based on new sound source distribution data generated by the sound source distribution data interpolation apparatus. コンピュータを、
複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを記憶する記憶手段から、前記第１の音源分布データおよび前記第２の音源分布データを読み出し、読み出した各々音源分布データに含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段、
前記第１の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアと前記第２の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する調整手段、
調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データに基づいて、新たな音源分布データを生成する生成手段
として機能させるためのプログラム。Computer
First sound source distribution data including sound source position information relating to positions of a plurality of sound sources, sound intensity information of each sound source, and second sound source distribution data different from the first sound source distribution data are stored. The first sound source distribution data and the second sound source distribution data are read from the storage means, and each sound source is viewed from a predetermined sound receiving point from each sound source position information included in each read sound source distribution data. Classification means for classifying into any of the direction-specific areas,
The predetermined direction area of the plurality of direction areas of the first sound source distribution data and the predetermined direction area of the plurality of direction areas of the second sound source distribution data. Adjusting means for adjusting each sound source position information included in the first sound source distribution data and each sound source position information included in the second sound source distribution data so that directions seen from a predetermined sound receiving point coincide with each other;
A program for functioning as generation means for generating new sound source distribution data based on the first sound source distribution data and the second sound source distribution data including the adjusted sound source position information. コンピュータを、
複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データとを記憶する記憶手段から前記第１の音源分布データおよび前記第２の音源分布データを読み出し、読み出した各々の音源分布データに含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段、
前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求める分布数導出手段、
前記第１の音源分布データおよび前記第２の音源分布データにおける同一方向の前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求める平均導出手段、
同一方向の前記方向別エリアに属する同一の単位距離区間に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する生成手段
として機能させるためのプログラム。Computer
The first sound source distribution data and the second sound source distribution data from storage means for storing sound source position information regarding the positions of a plurality of sound sources and first sound source distribution data including sound intensity information of each sound source. Classifying means for classifying each sound source into one of a plurality of areas according to direction viewed from a predetermined sound receiving point from each sound source position information included in each read sound source distribution data,
Distribution for obtaining the number of sound source distributions per unit distance area from the predetermined sound receiving point for each area according to direction of the first sound source distribution data and the second sound source distribution data stored in the storage means Number derivation means,
An average derivation unit for obtaining an average of the number of sound source distributions obtained for the direction-specific areas in the same direction in the first sound source distribution data and the second sound source distribution data;
Among the sound sources of the first sound source distribution data and the second sound source distribution data belonging to the same unit distance section belonging to the direction area in the same direction, the same number of sound sources as the average of the number of sound source distributions. A program for extracting sound source position information and sound intensity information, and functioning as a generation unit that generates new sound source distribution data using the extracted sound source position information and sound intensity information of the extracted sound source. コンピュータを、
複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データと、当該第１の音源分布データとは異なる第２の音源分布データとを記憶する記憶手段から、前記第１の音源分布データおよび前記第２の音源分布データを読み出し、読み出した各々音源分布データに含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段、
前記第１の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアと前記第２の音源分布データの複数の前記方向別エリアのうちの所定の前記方向別エリアとの前記所定の受音点から見た方向が一致するように、前記第１の音源分布データに含まれる各音源位置情報および前記第２の音源分布データに含まれる各音源位置情報を調整する調整手段、
調整された前記音源位置情報を含む前記第１の音源分布データおよび前記第２の音源分布データに基づいて、新たな音源分布データを生成する生成手段
として機能させるためのプログラムを記録した記録媒体。Computer
First sound source distribution data including sound source position information relating to positions of a plurality of sound sources, sound intensity information of each sound source, and second sound source distribution data different from the first sound source distribution data are stored. The first sound source distribution data and the second sound source distribution data are read from the storage means, and each sound source is viewed from a predetermined sound receiving point from each sound source position information included in each read sound source distribution data. Classification means for classifying into any of the direction-specific areas,
The predetermined direction area of the plurality of direction areas of the first sound source distribution data and the predetermined direction area of the plurality of direction areas of the second sound source distribution data. Adjusting means for adjusting each sound source position information included in the first sound source distribution data and each sound source position information included in the second sound source distribution data so that directions seen from a predetermined sound receiving point coincide with each other;
A recording medium on which a program for functioning as generation means for generating new sound source distribution data is recorded based on the first sound source distribution data and the second sound source distribution data including the adjusted sound source position information. コンピュータを、
複数の音源の位置に関する音源位置情報と、各音源の音の強さ情報とを含む第１の音源分布データとを記憶する記憶手段から前記第１の音源分布データおよび前記第２の音源分布データを読み出し、読み出した各々の音源分布データに含まれる各音源位置情報から、各々の音源を所定の受音点から見た複数の方向別エリアのいずれかに分類する分類手段、
前記記憶手段に記憶されている前記第１の音源分布データおよび前記第２の音源分布データの前記方向別エリア毎に、前記所定の受音点からの単位距離区域毎の音源分布数を求める分布数導出手段、
前記第１の音源分布データおよび前記第２の音源分布データにおける同一方向の前記方向別エリアについて求められた音源分布数の前記単位距離区域毎の平均を求める平均導出手段、
同一方向の前記方向別エリアに属する同一の単位距離区間に属する前記第１の音源分布データおよび前記第２の音源分布データの各音源の中から、前記音源分布数の平均と同数の音源の前記音源位置情報および音の強さ情報を抽出し、抽出した音源の前記音源位置情報および音の強さ情報を用いて新たな音源分布データを生成する生成手段
として機能させるためのプログラムを記録した記録媒体。Computer
The first sound source distribution data and the second sound source distribution data from storage means for storing sound source position information regarding the positions of a plurality of sound sources and first sound source distribution data including sound intensity information of each sound source. Classifying means for classifying each sound source into one of a plurality of areas according to direction viewed from a predetermined sound receiving point from each sound source position information included in each read sound source distribution data,
Distribution for obtaining the number of sound source distributions per unit distance area from the predetermined sound receiving point for each area according to direction of the first sound source distribution data and the second sound source distribution data stored in the storage means Number derivation means,
An average derivation unit for obtaining an average of the number of sound source distributions obtained for the direction-specific areas in the same direction in the first sound source distribution data and the second sound source distribution data;
Among the sound sources of the first sound source distribution data and the second sound source distribution data belonging to the same unit distance section belonging to the direction area in the same direction, the same number of sound sources as the average of the number of sound source distributions. A recording that records a program for extracting sound source position information and sound intensity information and functioning as a generating means for generating new sound source distribution data using the extracted sound source position information and sound intensity information of the extracted sound source Medium.
JP2002069096A 2002-03-13 2002-03-13 Sound source distribution data interpolation method, sound source distribution data interpolation device, musical tone signal processing device, program, and recording medium Expired - Fee Related JP3969133B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002069096A JP3969133B2 (en) 2002-03-13 2002-03-13 Sound source distribution data interpolation method, sound source distribution data interpolation device, musical tone signal processing device, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002069096A JP3969133B2 (en) 2002-03-13 2002-03-13 Sound source distribution data interpolation method, sound source distribution data interpolation device, musical tone signal processing device, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2003271154A JP2003271154A (en) 2003-09-25
JP3969133B2 true JP3969133B2 (en) 2007-09-05

Family

ID=29200041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002069096A Expired - Fee Related JP3969133B2 (en) 2002-03-13 2002-03-13 Sound source distribution data interpolation method, sound source distribution data interpolation device, musical tone signal processing device, program, and recording medium

Country Status (1)

Country Link
JP (1) JP3969133B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540600B2 (en) * 2016-05-25 2019-07-10 ヤマハ株式会社 Sound effect generating device, sound effect generating method and program
WO2024084999A1 (en) * 2022-10-19 2024-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Audio processing device and audio processing method

Also Published As

Publication number Publication date
JP2003271154A (en) 2003-09-25

Similar Documents

Publication Publication Date Title
CN112205006B (en) Adaptive remixing of audio content
KR101820224B1 (en) Mixing desk, sound signal generator, method and computer program for providing a sound signal
CN102055425B (en) Audio system phase equalizion
US10021507B2 (en) Arrangement and method for reproducing audio data of an acoustic scene
US9154895B2 (en) Apparatus of generating multi-channel sound signal
US6628787B1 (en) Wavelet conversion of 3-D audio signals
JP2020092409A (en) Systems and methods for modifying room characteristics for spatial audio rendering over headphones
KR20080060640A (en) Method and apparatus for reproducing a virtual sound of two channels based on individual auditory characteristic
US7369667B2 (en) Acoustic image localization signal processing device
JP2007512740A (en) Apparatus and method for generating a low frequency channel
CA2744429C (en) Converter and method for converting an audio signal
JP4553963B2 (en) Method and apparatus for generating speaker signal for randomly generated sound source
JP6361000B2 (en) Method for processing audio signals for improved restoration
JP5237463B2 (en) Apparatus for generating a multi-channel audio signal
JP3969133B2 (en) Sound source distribution data interpolation method, sound source distribution data interpolation device, musical tone signal processing device, program, and recording medium
JP4196509B2 (en) Sound field creation device
JP2731751B2 (en) Headphone equipment
JP2002095098A (en) Acoustic reproducer
JP5671686B2 (en) Sound playback device
JP3174965U (en) Bone conduction 3D headphones
JP5552764B2 (en) Signal processing apparatus and program
JP4691662B2 (en) Out-of-head sound localization device
JP2016140039A (en) Sound signal processing apparatus, sound signal processing method, and program
JP2001016698A (en) Sound field reproduction system
JP5593481B2 (en) Sound equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070528

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140615

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees