JP4409177B2 - データ処理装置、データ処理方法およびプログラム - Google Patents
データ処理装置、データ処理方法およびプログラム Download PDFInfo
- Publication number
- JP4409177B2 JP4409177B2 JP2003001328A JP2003001328A JP4409177B2 JP 4409177 B2 JP4409177 B2 JP 4409177B2 JP 2003001328 A JP2003001328 A JP 2003001328A JP 2003001328 A JP2003001328 A JP 2003001328A JP 4409177 B2 JP4409177 B2 JP 4409177B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound data
- output
- transmission path
- systems
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 123
- 238000000034 method Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 46
- 230000003111 delayed effect Effects 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
- G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音を発する発音源とこの発音源から発せられた音を聴取する受音点とが配置された音響空間をシミュレートする技術に関する。
【０００２】
【従来の技術】
入力された音に対する残響音の付加などによって特定の音響空間の音響特性をシミュレートする技術が従来から提案されている。この種のシミュレートに際しては、発音源から発せられた音が受音点に至るまでの経路（以下「伝達経路」という）を特定する必要がある。この伝達経路を特定する方法として鏡像法と呼ばれる方法が広く採用されている。鏡像法は、音響空間に設置された発音源について当該空間を構成する壁面に関する鏡像を想定し、この鏡像の位置に基づいて壁面における音の反射点、さらには発音源から受音点に至るまでの音の伝達経路を求める方法である（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平８−２８６６９０号公報（段落０００４から段落０００７、ならびに第５図および第６図参照）
【０００４】
【発明が解決しようとする課題】
しかしながら、この鏡像法において想定される鏡像のなかには、実際の音響空間においては存在し得ない伝達経路に対応するものも存在する。このため、音響空間に想定される各鏡像が実際の伝達経路を成立させ得るものであるか否かを判定する必要があり、シミュレートに要する演算量を増大させる原因となっていた。特に、音響空間における発音源と受音点との位置関係が経時的に変化する場合には、その変化のたびにすべての鏡像について伝達経路の成否を判定し直す必要があるから、演算量の増大はいっそう顕著な問題となる。
【０００５】
本発明は、以上説明した事情に鑑みてなされたものであり、音響空間の音響特性をシミュレートするときの演算量を軽減することができるデータ処理装置、データ処理方法およびプログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートする装置において、前記発音源から発せられるべき音を表す音データを記憶する記憶手段と、前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する特定手段と、前記記憶手段に記憶されている音データを入力し、前記特定手段が特定した各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力するディレイラインと、前記ディレイラインが出力した音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する二次反射特性用マトリクスミキサと、前記二次反射特性用マトリクスミキサが出力した複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する二次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する一次反射特性用マトリクスミキサと、前記一次反射特性用マトリクスミキサが出力した複数の系統の音データ及び前記二次反射特性用フィルタが出力した複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する一次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する直接音用マトリクスミキサと、前記直接音用マトリクスミキサが出力した音データと前記一次反射特性用フィルタが出力した音データとを前記系統毎に加算して出力する出力手段とを具備することを特徴とするデータ処理装置を提供する。
【０００７】
請求項２に記載の発明は、請求項１に記載のデータ処理装置において、前記特定手段は、直方体空間たる前記音響空間における前記一次反射音および二次反射音の伝達経路としてそれぞれ６経路、１８経路を鏡像法により特定することを特徴とする。
【０００８】
請求項３に記載の発明は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートする方法において、前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する第１の過程と、前記発音源から発せられるべき音を表す音データを入力し、前記第１の過程で特定された各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力する第２の過程と、前記第２の過程で出力された音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する第３の過程と、前記第３の過程で出力された複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する第４の過程と、前記第２の過程で出力された音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する第５の過程と、前記第５の過程で出力された複数の系統の音データ及び前記第４の過程で出力された複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する第６の過程と、前記第２の過程で出力された音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する第７の過程と、前記第７の過程で出力された音データと前記第６の過程で出力された音データとを前記系統毎に加算して第８の過程とを具備することを特徴とするデータ処理方法を提供する。
【０００９】
請求項４に記載の発明は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートするためのプログラムであって、コンピュータを、前記発音源から発せられるべき音を表す音データを記憶する記憶手段と、前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する特定手段と、前記記憶手段に記憶されている音データを入力し、前記特定手段が特定した各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力するディレイラインと、前記ディレイラインが出力した音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する二次反射特性用マトリクスミキサと、前記二次反射特性用マトリクスミキサが出力した複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する二次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する一次反射特性用マトリクスミキサと、前記一次反射特性用マトリクスミキサが出力した複数の系統の音データ及び前記二次反射特性用フィルタが出力した複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する一次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する直接音用マトリクスミキサと、前記直接音用マトリクスミキサが出力した音データと前記一次反射特性用フィルタが出力した音データとを前記系統毎に加算して出力する出力手段として機能させるためのプログラムを提供する。
【００１４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１５】
＜Ａ：第１実施形態＞
本実施形態に係るデータ処理装置は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間をシミュレートする装置である。図１に示すように、この装置１００は、制御装置１０、記憶装置２０、音データ処理部３０および入力装置４０を有する。記憶装置２０、音データ処理部３０および入力装置４０は、それぞれバス１１を介して制御装置１０に接続されている。
【００１６】
制御装置１０はデータ処理装置１００の全体を制御するための装置である。具体的には、制御装置１０は、プログラムを実行することによって各部の制御や各種の演算処理を行なうＣＰＵ（Central Processing Unit）と、このＣＰＵによって実行されるプログラムが格納されたＲＯＭ（Read Only Memory）と、ＣＰＵによって作業領域として使用されるＲＡＭ（Random Access Memory）とを備えている。
【００１７】
記憶装置２０は、制御装置１０によって実行されるプログラムやその実行時に使用されるデータを記憶するための手段である。例えばハードディスク装置や光ディスク装置といった各種の装置が記憶装置２０として採用され得る。この記憶装置２０には、音響空間のシミュレートに関わる各種のパラメータを音データ処理部３０に対して指示するためのプログラム（以下「シミュレーションプログラム」という）が格納されている。さらに、この記憶装置２０には、利用者によって聴取されるべき音を表すデータ（以下「音データ」という）が記憶されている。音データは、例えば楽器の演奏音や自然音といった各種の音の波形を所定の周期にてサンプリングして得られたデジタルデータである。この音データは、制御装置１０によって読み出されたうえで音データ処理部３０に対して順次に出力される。なお、音データが記憶装置２０に記憶される構成に代えて、またはこの構成とともに、データ処理装置に接続された入力手段を介して外部から音データが入力される構成としてもよい。例えば、インターネットなどのネットワークに収容されたサーバ装置から音データが送信される一方、この音データが入力手段たる通信装置によって受信されたうえでデータ処理装置１００による処理に供されるといった具合である。
【００１８】
音データ処理部３０は、フィルタ処理をはじめとする各種の加工を音データに施すことによって音響空間をシミュレートする手段であり、ＤＳＰ（Digital Signal Processor）によって構成される。音データに対する加工の内容は、制御装置１０から指示されるパラメータによって特定される。図１に示すように、音データ処理部３０には複数のスピーカ５０（本実施形態においては４つのスピーカ５０）が接続されている。各スピーカ５０は音データ処理部３０による加工後の音データに基づいて音を出力するための装置である。なお、ここでは音を出力するための装置としてスピーカ５０を例示したが、これに代えて、利用者の耳に装着されるイヤホンやヘッドホンを設けてもよい。
【００１９】
本実施形態においては、音データ処理部３０によるシミュレートの対象となる音響空間として直方体の内側の空間（以下「直方体空間」という）を想定する。すなわち、音響空間は、対向する壁面同士が平行をなす長方形状の６つの壁面によって囲まれた空間である。さらに本実施形態においては、発音源から発せられて受音点にて聴取される音のうち直接音と一次反射音と二次反射音とがシミュレートされる一方、これ以外の反射音（三次以上の反射音）のシミュレートは省略される。なお、直接音とは発音源から受音点まで直接に到達する音、すなわち音響空間の壁面における反射を経ることなく受音点に到達する音である。一方、一次反射音とは音響空間の壁面において一回だけ反射した後に受音点に到達する音であり、二次反射音とは音響空間の壁面において２回にわたって反射した後に受音点に到達する音である。
【００２０】
そして、本実施形態においては、音が発音源から受音点に至るまでに経過した距離（以下「経路長」という）や受音点に対する音の到達方向（以下「音到達方向」という）といった各種の特徴量が制御装置１０によって算出され、この特徴量に応じたパラメータが音データ処理部３０に指示される。これらの特徴量を求めるために、制御装置１０は、音響空間において発音源から発せられた音が受音点に到達するまでの伝達経路を随時に特定するようになっている。本実施形態においては、これらの伝達経路が鏡像法に基づいて特定される。詳述すると以下の通りである。
【００２１】
まず、一次反射音の伝達経路は、音響空間の各壁面に関する発音源の一次鏡像を想定することによって特定される。すなわち、図２に示すように、音響空間８０の壁面８１Ａに関する発音源７０の一次鏡像７１１を想定すると、この一次鏡像７１１から受音点７４に至る直線と壁面８１Ａとの交点８１Ａｒが音の反射位置となるから、発音源７０から反射点８１Ａｒを経て受音点７４に至る折線が一次反射音の伝達経路７６１として特定される。ここで、直方体空間たる音響空間においては、このような伝達経路７６１が６つの壁面の各々について必ず存在するから、一次反射音については合計６本の伝達経路７６１が必ず（すなわち発音源７０と受音点７４との位置関係によらず）存在することとなる。また、図２から明らかなように、直接音の伝達経路７６０は発音源７０と受音点７４とを直線で結んだ１本の経路として必ず存在する。
【００２２】
一方、図３に示すように、二次反射音の伝達経路７６２は、各壁面に関する発音源７０の一次鏡像と二次鏡像とを想定することによって特定される。すなわち、同図に示すように、壁面８１Ｂに関する発音源７０の一次鏡像７１２と、壁面８１Ａに関する一次鏡像７１２の鏡像（すなわち二次鏡像）７２とを想定する。このとき、二次鏡像７２から受音点７４に至る直線と壁面８１Ａとの交点８１Ａｒ、およびこの交点８１Ａｒから一次鏡像７１２に至る直線と壁面８１Ｂとの交点８１Ｂｒが反射位置として特定される。したがって、発音源７０と反射点８１Ｂｒと反射点８１Ａｒと受音点７４とを結ぶ折線が二次反射音の伝達経路７６２として特定されるのである。
【００２３】
ところで、図３において壁面８１Ａに関する発音源７０の一次鏡像７１１から二次鏡像を考えると、この二次鏡像は一次鏡像７１２について想定した二次鏡像７２と完全に一致することとなる。したがって、二次反射音の伝達経路７６２を特定するための二次鏡像としては、いずれか一方の一次鏡像から想定される二次鏡像のみを考慮すれば足りる。ここで、音響空間８０におけるすべての壁の一次鏡像から想定し得る二次鏡像は合計３０個である。そして、このうち対向する壁面に関する６個については他の二次鏡像と重複することなく単独で想定される一方、残りの２４個については他のひとつの二次鏡像と重複することとなる。したがって、直方体空間たる音響空間８０においては、二次反射音について合計１８本（＝「重複する二次鏡像の一方に基づく１２本」＋「重複しない二次鏡像に基づく６本」）の伝達経路が必ず存在すると捉えることができる。
【００２４】
次に、図４を参照して、音データ処理部３０の具体的な構成を説明する。同図に示すように、音データ処理部３０は、共通フィルタ３１、ディレイライン３２、複数のフィルタ３３、複数の乗算器３４、およびマトリクスミキサ３５を有する。これらの各部は、制御装置１０から指示されたパラメータに応じた加工を音データに施すための手段である。
【００２５】
共通フィルタ３１は、ひとつの入力端３１０を介して制御装置１０から順次に入力される音データにフィルタ処理を施す手段である。このフィルタ処理によって、直接音、一次反射音および二次反射音のすべての伝達経路にわたって共通する距離に応じた減衰特性がシミュレートされる。なお、共通フィルタ３１によるフィルタ処理を、後述するフィルタ３３によって行なわせる構成としてもよい。この構成のもとでは共通フィルタ３１を省略することができる。
【００２６】
ディレイライン３２は、いわゆるマルチタップディレイであり、共通フィルタ３１から出力された音データをそれぞれ異なる時間長だけ遅延させたうえで複数のタップＴ（Ｔa1、Ｔb1からＴb6、およびＴc1からＴc18）の各々から出力する手段である。すなわち、各タップＴから出力される音データは、共通フィルタ３１から入力された音データをそれぞれ制御装置１０から指示された時間長だけ遅延させたものとなる。
【００２７】
ここで、直方体空間たる音響空間８０に必ず存在する伝達経路が合計２５本（「直接音１本」＋「一次反射音６本」＋「二次反射音１８本」）であることは上述した通りである。本実施形態においては、ディレイライン３２が合計２５個のタップＴを備えており、その各々が２５本の伝達経路のいずれかに対応付けられている。具体的には、図４に示すタップＴａ１は直接音の伝達経路７６０に対応付けられており、タップＴｂ１からＴｂ６は一次反射音の伝達経路７６１にそれぞれ対応付けられており、タップＴｃ１からＴｃ１８は二次反射音の伝達経路７６２にそれぞれ対応付けられている。
【００２８】
これらのタップＴの後段には、それぞれフィルタ３３および乗算器３４が設けられている。このうちフィルタ３３は、制御装置１０から指示されたパラメータに基づいて、前段のタップＴから出力された音データにフィルタ処理を施す手段である。すなわち、各フィルタ３３は、発音源７０から発せられた音の周波数特性が当該フィルタ３３に対応する伝達経路を経由するときに空気による吸収に伴なって変化する様子をシミュレートするように、音データに対してフィルタ処理を施す。なお、ここでは空気による吸収を想定したが、音響空間８０を満たすべきその他の流体（例えば水など）による吸収を想定してもよい。さらに、一次反射音の伝達経路７６１と二次反射音の伝達経路７６２とに対応するフィルタ３３（すなわち、タップＴb1からＴb6、およびタップＴc1からＴc18の後段に配置されたフィルタ３３）は、一次反射音および二次反射音の周波数特性が壁面８１における反射に伴なって変化する様子をシミュレートするように、音データに対してフィルタ処理を施す。一方、各乗算器３４は、発音源７０から発せられた音の音圧レベルが当該乗算器３４に対応する伝達経路をたどって受音点７４に到達するまでにその経路長に応じて減衰する様子をシミュレートするように、音データに対して特定の係数を乗算する。例えば、伝達経路の経路長が長ければ比較的小さい数値を乗算する一方、経路長が短くなるほど大きい数値を乗算するといった具合である。
【００２９】
次に、マトリクスミキサ３５は、乗算器３４から出力された音データを４チャネル分の出力ライン３６に振り分ける手段である。詳述すると、マトリクスミキサ３５は、各乗算器３４からの出力ラインと４チャネルの出力ライン３６との各交差に配置された乗算器３５１を有し、各乗算器３５１から出力された音データを、加算器３５２を介して出力ライン３６に供給するようになっている。各乗算器３５１は、制御装置１０によって指示された係数を音データに乗算して出力する手段である。ひとつの伝達経路に対応する４つの乗算器３５１は、各チャネルから出力される音の音圧レベルがその伝達経路における受音点７４への音到達方向に応じたバランスとなるように、音データに対して特定の係数を乗算する。なお、ここでは距離減衰をシミュレートする乗算器３４と音到達方向をシミュレートする乗算器３５１とを別個に設ける構成としたが、双方のシミュレートを単一の乗算器によって実現してもよい。この場合には、マトリクスミキサ３５のひとつの乗算器３５１が、距離減衰およびと音到達方向の双方を加味した係数を音データに対して乗算することとなる。
【００３０】
以上説明したように、本実施形態においては、音響空間８０に存在する伝達経路ごとに音データの加工が実行されるようになっている。以下では、ひとつの伝達経路をシミュレートするために音データを加工する要素の集合を「特性制御系３００」と表記する。以上の説明からも明らかなように、本実施形態における特性制御系３００は、遅延量を調整するディレイライン３２と、空気による吸収特性および壁面における反射特性をシミュレートするフィルタ３３と、距離減衰をシミュレートする乗算器３４と、音到達方向をシミュレートする乗算器３５１とからなる。
【００３１】
図１に示した入力装置４０は、マウスなどのポインティングデバイスや、文字または記号を入力するためのキーボードを備え、利用者による操作に応じた信号を制御装置１０に出力する。利用者は、この入力装置４０を適宜に操作することによって、例えばシミュレートの対象とすべき音響空間の態様や、この空間における発音源と受音点との位置関係を指定することができる。
【００３２】
次に、本実施形態の動作を説明する。まず、利用者によって入力装置４０に所定の操作が与えられてシミュレーション開始の指示が与えられると、制御装置１０は、シミュレーションプログラムをＲＡＭに読み込んだうえでこれを順次に実行する。図５は、このプログラムに基づく処理の流れを示すフローチャートである。
【００３３】
図５に示すように、制御装置１０はまず、シミュレーションの対象とすべき音響空間８０の態様、すなわち音響空間８０の大きさと各壁面８１ごとの反射特性とを利用者からの指示に応じて特定する（ステップＳ１０）。本実施形態においては音響空間８０として直方体空間を想定しているため、音響空間８０の縦および横の長さと高さとが音響空間８０の大きさとして特定される。一方、記憶装置２０にはそれぞれ異なる複数の反射特性の内容が登録されており、このうちのいずれかが音響空間８０の各壁面８１の特性として利用者によって選択される。制御装置１０は、こうして選択された反射特性を各壁面８１の特性として特定する。
【００３４】
次に、制御装置１０は、一次反射音および二次反射音の伝達経路を特定するための各鏡像と、その伝達経路に関わるシミュレートを担う特性制御系３００との対応関係を決定する（ステップＳ１１）。換言すると、制御装置１０は、各鏡像から特定される伝達経路のシミュレートをいずれの特性制御系３００が担うべきかを決定する。上述したように、一次反射音の伝達経路７６１に対応する一次鏡像は壁面８１の数に相当する６個であり、二次反射音の伝達経路７６２に対応する二次鏡像は重複を考慮すると１８個である。したがって、制御装置１０は、一次反射音の伝達経路７６１を特定するための６つの一次鏡像と音データ処理部３０における６つの特性制御系３００との対応関係を決定し、二次反射音の伝達経路を特定するための１８個の鏡像と音データ処理部３０における１８個の特性制御系３００との対応関係を決定する。なお、この対応関係を予め決定したうえで記憶装置２０に記憶させておくようにしてもよい。この場合には、図５のステップＳ１１を省略することができる。
【００３５】
この後、制御装置１０は、シミュレート開始の指示が利用者によって与えられることを契機として、記憶装置２０に記憶された音データを音データ処理部３０に対して順次に供給し始める。一方、利用者は、入力装置４０を適宜に操作することにより、音響空間８０における発音源７０の座標と受音点７４の座標とを入力する。制御装置１０は、この入力を検知することによって発音源７０と受音点７４との位置関係を特定する（ステップＳ１２）。続いて制御装置１０は、発音源７０と受音点７４との位置関係（特に両者間の距離）に応じたパラメータを共通フィルタ３１に指示する（ステップＳ１３）。
【００３６】
次に、制御装置１０は、ステップＳ１２において特定された発音源７０の座標に基づいて、一次反射音および二次反射音に関して、二次反射音の重複を考慮したうえで想定し得るすべての鏡像の位置を特定する（ステップＳ１４）。そして、制御装置１０は、このうちひとつの鏡像の位置と発音源７０および受音点７４の位置とに基づいて、直接音、一次反射音および二次反射音の伝達経路のうちいずれかひとつの伝達経路の態様を特定する（ステップＳ１５）。ステップＳ１４における鏡像位置の特定方法、およびステップＳ１５における伝達経路の特定方法は、前掲図２および図３を参照して説明した通りである。
【００３７】
続いて制御装置１０は、ステップＳ１５において特定した伝達経路（以下「対象伝達経路」という）の態様に基づいて、当該対象伝達経路のシミュレートを担う特性制御系３００に対して指示すべきパラメータを計算し、得られたパラメータをその特性制御系３００に属する各部に対して指示する（ステップＳ１６）。例えば、対象伝達経路に対応付けられた特性制御系３００のうち、ディレイライン３２のタップＴには対象伝達経路の経路長に応じた遅延量を指示し、フィルタ３３には対象伝達経路が経由する壁面８１の特性に応じてフィルタ係数を指示し、乗算器３４には対象伝達経路の経路長に応じた係数を指示し、４つの乗算器３５１には受音点７４に対する音到達方向に応じた係数をそれぞれ指示するといった具合である。この結果、対象伝達経路に対応する特性制御系３００の各要素は、当該対象伝達経路をシミュレートするための加工を音データに対して施すこととなる。
【００３８】
この後、制御装置１０は、直接音と一次反射音と二次反射音に対応するすべての伝達経路（合計２５本）についてステップＳ１５およびＳ１６の処理を行なったか否かを判定する（ステップＳ１７）。この判定において未だ処理を行なっていない伝達経路が存在すると判定した場合、制御装置１０は、未だ処理を行なっていない伝達経路を対象としてステップＳ１５およびＳ１６の処理を実行する。これに対し、すべての伝達経路について既に処理が完了している場合、制御装置１０はステップＳ１８に処理を移行させる。このステップＳ１８において、制御装置１０は、シミュレーションを終えるべきか否かを判定する。すなわち、利用者によってシミュレーション終了の指示が与えられた場合、およびすべての音データについて処理が完了した場合には、制御装置１０はシミュレーションのための処理を終了すると判定して図５に示す処理を終了する。これに対し、未だ処理を継続すべきと判定した場合、制御装置１０はステップＳ１２に処理を移行させたうえでステップＳ１２からＳ１８までの処理を繰り返す。この結果、利用者によって発音源７０と受音点７４との位置関係が変更させられた場合（ステップＳ１２）にはこの変更を反映したシミュレーションが行なわれることとなる。
【００４０】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態に係るデータ処理装置について説明する。上記第１実施形態においては、壁面８１における反射特性をシミュレートするためのフィルタ３３が伝達経路ごとに設けられた構成を例示した。しかしながら、音響空間８０におけるすべての壁面８１の反射特性が均一であるとすれば、この反射特性を反映させるためのフィルタをすべての伝達経路について共通化することができる。本実施形態はこの点に着目してフィルタの共通化を図ったものである。なお、本実施形態に係るデータ処理装置のうち前掲図１または図２に示した各部と共通する要素については同一の符合を付してその詳細な説明を省略する。
【００４１】
図６は、本実施形態に係るデータ処理装置１００のうち音データ処理部３０ａの構成を示すブロック図である。同図に示すように、本実施形態においては、ディレイライン３２のタップＴのうち反射回数が同一である伝達経路に対応するタップのグループごとにマトリクスミキサが設けられている。すなわち、直接音（反射回数０回）に対応する１個のタップＴの後段にはマトリクスミキサ３５ａが設けられ、一次反射音に対応する６個のタップＴの後段にはマトリクスミキサ３５ｂが設けられ、二次反射音に対応する１８個のタップＴの後段にはマトリクスミキサ３５ｃが設けられている。このマトリクスミキサ３５ａ、３５ｂおよび３５ｃは、上記第１実施形態に示したマトリクスミキサ３５と同様に、１または複数のタップＴから供給された音データを４つの出力ラインに振り分けるための手段である。例えば、マトリクスミキサ３５ｂは一次反射音に対応するタップＴから出力された音データをそれぞれ４つの系統に分岐させたうえで所定の係数を乗算し、これによって得られた各系統の音データを４つの出力ライン３６１にそれぞれ供給する。ただし、本実施形態におけるマトリクスミキサ３５ａ、３５ｂおよび３５ｃの乗算器（図示略）は、出力レベルのバランスを調整する機能に加えて、上記第１実施形態における乗算器３４のように距離減衰を反映させる機能をも兼ね備えている。したがって、本実施形態においてひとつの伝達経路に対応する特性制御系は、遅延量を調整するディレイライン３２と、距離減衰および音到達方向を反映させる乗算器とからなる。
【００４２】
二次反射音に対応するマトリクスミキサ３５ｃから延びる４本の出力ライン３６２の各々にはフィルタ３７２が設けられている。各フィルタ３７２は、制御装置１０による制御のもと、音響空間８０の壁面８１における一回の反射に応じた反射特性をシミュレートするためのフィルタ処理を行なう。一方、一次反射音に対応するマトリクスミキサ３５ｂから延びる４本の出力ライン３６１の各々にも、フィルタ３７２と同様の作用を営むフィルタ３７１が設けられている。そして、二次反射音に対応する４つのフィルタ３７２の出力端は一次反射音に対応する４本の出力ライン３６１にそれぞれ加算器３８１を介して接続されている。同様に、一次反射音に対応する４つのフィルタ３７１の出力端は直接音に対応するマトリクスミキサ３５ａから延びる４本の出力ライン３６０にそれぞれ加算器３８０を介して接続されている。
【００４３】
この構成により、出力ライン３６０の各出力端３６Ｔには、マトリクスミキサ３５ｃから出力されてフィルタ３７２およびフィルタ３７１による２回のフィルタ処理が施された音データと、マトリクスミキサ３５ｂから出力されてフィルタ３７１による１回のフィルタ処理が施された音データと、マトリクスミキサ３５ａから出力された音データとが各チャネルごとに加算されたうえで出力されることとなる。すなわち、二次反射音に対応するタップＴから出力された音データには壁面８１における２回の反射の影響が反映され、一次反射音に対応するタップＴから出力された音データには壁面８１における１回の反射の影響が反映されるのである。
【００４４】
本実施形態の動作は図５を参照して説明した第１実施形態の動作と同様である。ただし、図５のステップＳ１６において、制御装置１０は、ディレイライン３２と、各マトリクスミキサ３５ａ乃至３５ｃの乗算器と、フィルタ３７１およびフィルタ３７２とに対してパラメータを指示することとなる。
【００４５】
本実施形態においては、反射特性を反映させるためのフィルタを一次反射音および二次反射音の各々について共通化しているため、上記第１実施形態と比較して、音データ処理部３０の構成やパラメータ指示処理の簡素化を図ることができる。加えて、本実施形態においては、二次反射音における２回の反射のうち１回の反射をシミュレートするフィルタと、一次反射音における１回の反射をシミュレートするためのフィルタとが共用されるようになっている。したがって、二次反射音について反射回数に応じた２組のフィルタを設ける場合と比較して、音データ処理部３０の構成を簡素化することができる。
【００４６】
＜Ｃ：変形例＞
以上説明した実施の形態はあくまでも例示であり、これらの形態に対しては本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。このような変形の例としては、例えば以下のようなものが考えられる。なお、以下の各図に示す構成要素のうち上記第１実施形態または第２実施形態に示した要素と同様の作用を営むものについては共通の符号を付してその説明を省略する。
【００４７】
＜Ｃ−１：変形例１＞
上記各実施形態においては、直接音、一次反射音および二次反射音について共通のディレイライン３２を用いる構成としたが、各伝達経路ごとに個別のディレイラインを用いてもよい。図７は、上記第１実施形態に係る音データ処理部３０に複数のディレイラインを用いたときの構成を示すブロック図である。
【００４８】
同図に示すように、本変形例に係る音データ処理部３０ｂは、上記第１実施形態におけるディレイライン３２に代えて、各々が異なる伝達経路に対応した合計２５個のディレイライン３２１を備えている。さらに、各ディレイライン３２１の前段にはフィルタ３１１と乗算器３１２とが配置されている。このフィルタ３１１および乗算器３１２は、制御装置１０による制御のもと、当該フィルタ３１１および乗算器３１２に対応する伝達経路を経由する音に対して発音源７０の指向性をシミュレートするための手段である。詳述すると、フィルタ３１１は、発音源７０から受音点７４に至る音の周波数特性が発音源７０の指向性に応じて変化する様子をシミュレートする。一方、乗算器３１２は、発音源７０から受音点７４に至る音の音圧レベルを発音源７０の指向性に応じて調整する。また、各ディレイライン３２１は、遅延量を変化させ得るひとつのタップＴを備え、このタップＴはフィルタ３３に接続されている。したがって、図７に示す構成においてひとつの伝達経路に対応する特性制御系は、フィルタ３１１および乗算器３１２と、ディレイライン３２１と、フィルタ３３および乗算器３４とからなる。
【００４９】
本変形例の動作は、図５を参照して説明した第１実施形態の動作と同様である。ただし、図５のステップＳ１６において、制御装置１０は、各フィルタ３１１および各乗算器３１２に対してもパラメータを指示することとなる。この構成によれば、上記第１実施形態に示した効果に加え、音響空間に存在する伝達経路の各々に対して発音源７０の指向性を反映させてさらに忠実なシミュレートを実現することができるという効果が得られる。特に、放音時点（発音源から音が発せられた時点）における当該発音源７０の指向性が音データに反映されたうえでディレイラインに供給されるから、放音時点における発音源７０の指向特性を忠実にシミュレートすることができる。例えば、各ディレイライン３２１にはある時刻Ｔ1における発音源７０の指向特性が反映された音データが保持されるから、たとえその後の時刻Ｔ2において発音源７０の向きが変わっていたとしても、スピーカ５０から出力される音は放音時点における発音源７０の指向特性が反映されたものとなる。
【００５０】
また、上記実施形態においては、ディレイライン３２１に音データが入力された時点からの遅延量のみを制御する構成としたが、伝達経路ごとにディレイラインを設けた構成のもとでは、図８に示すように、各々に対する音データの入力位置を調整する構成としてもよい。すなわち、図８に示す音データ処理部３０ｃにおいては、ディレイライン３２１’からの出力位置（タップ位置）がすべての伝達経路に関して一定とされる一方、乗算器３１２から出力された音データがディレイライン３２１’のうち制御装置１０によって指示された位置に入力される構成となっている。こうすれば、放音時点における発音源７０の位置に応じて音データを予め遅延させたうえでディレイライン３２１’に供給することができるから、発音源７０の移動を忠実にシミュレートすることができる。
【００５１】
さらに、図７に示した構成と図８に示した構成とを組合わせて図９に示す構成としてもよい。すなわち、この音データ処理部３０ｄにおいては、ディレイライン３２１’’への音データの入力位置およびディレイライン３２１’’からの音データの出力位置の双方が制御装置１０によって制御されるようになっている。具体的には、ディレイライン３２１’’への音データの入力位置が発音源７０の位置に応じて制御されるとともに、ディレイライン３２１’’からの音データの出力位置が受音点７４の位置に応じて制御される。この構成によれば、発音源７０の移動と受音点７４の移動の双方を忠実にシミュレートすることができる。
【００５２】
なお、図７から図９においては第１実施形態の構成を変形した場合を例示したが、この変形を上記第２実施形態に示した構成に適用してもよい。また、図７から図９に示した構成においてはフィルタ３１１および乗算器３１２によって発音源７０の指向特性をシミュレートする構成としたが、これらの要素を省略してもよい。
【００５３】
＜Ｃ−２：変形例２＞
上記各実施形態においては出力ライン３６を４本としたが、この本数を１本乃至３本、あるいは５本以上としてもよいことはもちろんである。また、上記各実施形態においては直接音、一次反射音および二次反射音をシミュレートする構成としたが、三次以上の反射音を同様の構成によってシミュレートしてもよいし、あるいは直接音、一次反射音および二次反射音のいずれかをシミュレート対象から除外してもよい。さらに、上記実施形態においては発音源７０と受音点７４とがそれぞれひとつである場合を例示したが、各々が２つ以上であってもよいことはもちろんである。この場合、発音源７０ごとに当該発音源７０から各受音点７４に至る伝達経路が特定され、特定された伝達経路の各々が特性制御系３００に対応付けられることとなる。
【００５４】
＜Ｃ−３：変形例３＞
上記実施形態においては、音データ処理部３０がＤＳＰ（Digital Signal Processor）によって構成される場合を例示したが、ＣＰＵなどのハードウェアと当該ＣＰＵが実行するプログラムとの協働によって音データ処理部３０が実現される構成としてもよい。
【００５５】
また、上記実施形態においては、音響空間８０の態様や発音源７０と受音点７４との位置関係が利用者によって指示される構成としたが、記憶装置２０に記憶されたデータに基づいて決定される構成としてもよい。例えば、音響空間８０の態様や発音源７０と受音点７４との位置関係を表すデータ（以下「音響空間データ」という）を音データに含ませておく。そして、前掲図５のステップＳ１０における音響空間の態様の特定とステップＳ１２における位置関係の特定とが音響空間データに基づいて実行される構成としてもよい。また、音の出力に伴なって表示装置に画像を表示させる構成（例えば映画を再生する構成）のもとでは、音響空間データを表示画像に応じた内容としてもよい。こうすれば、映画を視聴する利用者に臨場感を与えることができる。
【００５６】
【発明の効果】
以上説明したように、本発明によれば、音響空間の音響特性をシミュレートするときの演算量を軽減することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係るデータ処理装置の構成を示すブロック図である。
【図２】 直接音および一次反射音の伝達経路を特定する方法を説明するための図である。
【図３】 二次反射音の伝達経路を特定する方法を説明するための図である。
【図４】 同データ処理装置における音データ処理部３０の構成を示すブロック図である。
【図５】 同データ処理装置における制御装置１０の動作を説明するためのフローチャートである。
【図６】 本発明の第２実施形態に係るデータ処理装置のうち音データ処理部３０の構成を示すブロック図である。
【図７】 第１実施形態の変形例に係るデータ処理部の構成を示すブロック図である。
【図８】 第１実施形態の変形例に係るデータ処理部の構成を示すブロック図である。
【図９】 第１実施形態の変形例に係るデータ処理部の構成を示すブロック図である。
【符号の説明】
１００……データ処理装置、１０……制御装置（指示手段）、２０……記憶装置（記憶手段）、３０……音データ処理部、３１……共通フィルタ、３２……ディレイライン、３３……フィルタ、３４……乗算器、３５，３５ａ，３５ｂ，３５ｃ……マトリクスミキサ（出力制御手段）、３５１……乗算器、３００……特性制御系（特性制御手段）、３６……出力ライン、３７１，３７２……フィルタ（反射特性制御手段）、４０……入力装置、５０……スピーカ、７０……発音源、７１１，７１２，７２……鏡像、７６０，７６１，７６２……伝達経路、８０……音響空間、８１……壁面。
【発明の属する技術分野】
本発明は、音を発する発音源とこの発音源から発せられた音を聴取する受音点とが配置された音響空間をシミュレートする技術に関する。
【０００２】
【従来の技術】
入力された音に対する残響音の付加などによって特定の音響空間の音響特性をシミュレートする技術が従来から提案されている。この種のシミュレートに際しては、発音源から発せられた音が受音点に至るまでの経路（以下「伝達経路」という）を特定する必要がある。この伝達経路を特定する方法として鏡像法と呼ばれる方法が広く採用されている。鏡像法は、音響空間に設置された発音源について当該空間を構成する壁面に関する鏡像を想定し、この鏡像の位置に基づいて壁面における音の反射点、さらには発音源から受音点に至るまでの音の伝達経路を求める方法である（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平８−２８６６９０号公報（段落０００４から段落０００７、ならびに第５図および第６図参照）
【０００４】
【発明が解決しようとする課題】
しかしながら、この鏡像法において想定される鏡像のなかには、実際の音響空間においては存在し得ない伝達経路に対応するものも存在する。このため、音響空間に想定される各鏡像が実際の伝達経路を成立させ得るものであるか否かを判定する必要があり、シミュレートに要する演算量を増大させる原因となっていた。特に、音響空間における発音源と受音点との位置関係が経時的に変化する場合には、その変化のたびにすべての鏡像について伝達経路の成否を判定し直す必要があるから、演算量の増大はいっそう顕著な問題となる。
【０００５】
本発明は、以上説明した事情に鑑みてなされたものであり、音響空間の音響特性をシミュレートするときの演算量を軽減することができるデータ処理装置、データ処理方法およびプログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートする装置において、前記発音源から発せられるべき音を表す音データを記憶する記憶手段と、前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する特定手段と、前記記憶手段に記憶されている音データを入力し、前記特定手段が特定した各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力するディレイラインと、前記ディレイラインが出力した音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する二次反射特性用マトリクスミキサと、前記二次反射特性用マトリクスミキサが出力した複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する二次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する一次反射特性用マトリクスミキサと、前記一次反射特性用マトリクスミキサが出力した複数の系統の音データ及び前記二次反射特性用フィルタが出力した複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する一次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する直接音用マトリクスミキサと、前記直接音用マトリクスミキサが出力した音データと前記一次反射特性用フィルタが出力した音データとを前記系統毎に加算して出力する出力手段とを具備することを特徴とするデータ処理装置を提供する。
【０００７】
請求項２に記載の発明は、請求項１に記載のデータ処理装置において、前記特定手段は、直方体空間たる前記音響空間における前記一次反射音および二次反射音の伝達経路としてそれぞれ６経路、１８経路を鏡像法により特定することを特徴とする。
【０００８】
請求項３に記載の発明は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートする方法において、前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する第１の過程と、前記発音源から発せられるべき音を表す音データを入力し、前記第１の過程で特定された各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力する第２の過程と、前記第２の過程で出力された音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する第３の過程と、前記第３の過程で出力された複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する第４の過程と、前記第２の過程で出力された音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する第５の過程と、前記第５の過程で出力された複数の系統の音データ及び前記第４の過程で出力された複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する第６の過程と、前記第２の過程で出力された音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する第７の過程と、前記第７の過程で出力された音データと前記第６の過程で出力された音データとを前記系統毎に加算して第８の過程とを具備することを特徴とするデータ処理方法を提供する。
【０００９】
請求項４に記載の発明は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートするためのプログラムであって、コンピュータを、前記発音源から発せられるべき音を表す音データを記憶する記憶手段と、前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する特定手段と、前記記憶手段に記憶されている音データを入力し、前記特定手段が特定した各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力するディレイラインと、前記ディレイラインが出力した音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する二次反射特性用マトリクスミキサと、前記二次反射特性用マトリクスミキサが出力した複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する二次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する一次反射特性用マトリクスミキサと、前記一次反射特性用マトリクスミキサが出力した複数の系統の音データ及び前記二次反射特性用フィルタが出力した複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する一次反射特性用フィルタと、前記ディレイラインが出力した音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する直接音用マトリクスミキサと、前記直接音用マトリクスミキサが出力した音データと前記一次反射特性用フィルタが出力した音データとを前記系統毎に加算して出力する出力手段として機能させるためのプログラムを提供する。
【００１４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１５】
＜Ａ：第１実施形態＞
本実施形態に係るデータ処理装置は、音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間をシミュレートする装置である。図１に示すように、この装置１００は、制御装置１０、記憶装置２０、音データ処理部３０および入力装置４０を有する。記憶装置２０、音データ処理部３０および入力装置４０は、それぞれバス１１を介して制御装置１０に接続されている。
【００１６】
制御装置１０はデータ処理装置１００の全体を制御するための装置である。具体的には、制御装置１０は、プログラムを実行することによって各部の制御や各種の演算処理を行なうＣＰＵ（Central Processing Unit）と、このＣＰＵによって実行されるプログラムが格納されたＲＯＭ（Read Only Memory）と、ＣＰＵによって作業領域として使用されるＲＡＭ（Random Access Memory）とを備えている。
【００１７】
記憶装置２０は、制御装置１０によって実行されるプログラムやその実行時に使用されるデータを記憶するための手段である。例えばハードディスク装置や光ディスク装置といった各種の装置が記憶装置２０として採用され得る。この記憶装置２０には、音響空間のシミュレートに関わる各種のパラメータを音データ処理部３０に対して指示するためのプログラム（以下「シミュレーションプログラム」という）が格納されている。さらに、この記憶装置２０には、利用者によって聴取されるべき音を表すデータ（以下「音データ」という）が記憶されている。音データは、例えば楽器の演奏音や自然音といった各種の音の波形を所定の周期にてサンプリングして得られたデジタルデータである。この音データは、制御装置１０によって読み出されたうえで音データ処理部３０に対して順次に出力される。なお、音データが記憶装置２０に記憶される構成に代えて、またはこの構成とともに、データ処理装置に接続された入力手段を介して外部から音データが入力される構成としてもよい。例えば、インターネットなどのネットワークに収容されたサーバ装置から音データが送信される一方、この音データが入力手段たる通信装置によって受信されたうえでデータ処理装置１００による処理に供されるといった具合である。
【００１８】
音データ処理部３０は、フィルタ処理をはじめとする各種の加工を音データに施すことによって音響空間をシミュレートする手段であり、ＤＳＰ（Digital Signal Processor）によって構成される。音データに対する加工の内容は、制御装置１０から指示されるパラメータによって特定される。図１に示すように、音データ処理部３０には複数のスピーカ５０（本実施形態においては４つのスピーカ５０）が接続されている。各スピーカ５０は音データ処理部３０による加工後の音データに基づいて音を出力するための装置である。なお、ここでは音を出力するための装置としてスピーカ５０を例示したが、これに代えて、利用者の耳に装着されるイヤホンやヘッドホンを設けてもよい。
【００１９】
本実施形態においては、音データ処理部３０によるシミュレートの対象となる音響空間として直方体の内側の空間（以下「直方体空間」という）を想定する。すなわち、音響空間は、対向する壁面同士が平行をなす長方形状の６つの壁面によって囲まれた空間である。さらに本実施形態においては、発音源から発せられて受音点にて聴取される音のうち直接音と一次反射音と二次反射音とがシミュレートされる一方、これ以外の反射音（三次以上の反射音）のシミュレートは省略される。なお、直接音とは発音源から受音点まで直接に到達する音、すなわち音響空間の壁面における反射を経ることなく受音点に到達する音である。一方、一次反射音とは音響空間の壁面において一回だけ反射した後に受音点に到達する音であり、二次反射音とは音響空間の壁面において２回にわたって反射した後に受音点に到達する音である。
【００２０】
そして、本実施形態においては、音が発音源から受音点に至るまでに経過した距離（以下「経路長」という）や受音点に対する音の到達方向（以下「音到達方向」という）といった各種の特徴量が制御装置１０によって算出され、この特徴量に応じたパラメータが音データ処理部３０に指示される。これらの特徴量を求めるために、制御装置１０は、音響空間において発音源から発せられた音が受音点に到達するまでの伝達経路を随時に特定するようになっている。本実施形態においては、これらの伝達経路が鏡像法に基づいて特定される。詳述すると以下の通りである。
【００２１】
まず、一次反射音の伝達経路は、音響空間の各壁面に関する発音源の一次鏡像を想定することによって特定される。すなわち、図２に示すように、音響空間８０の壁面８１Ａに関する発音源７０の一次鏡像７１１を想定すると、この一次鏡像７１１から受音点７４に至る直線と壁面８１Ａとの交点８１Ａｒが音の反射位置となるから、発音源７０から反射点８１Ａｒを経て受音点７４に至る折線が一次反射音の伝達経路７６１として特定される。ここで、直方体空間たる音響空間においては、このような伝達経路７６１が６つの壁面の各々について必ず存在するから、一次反射音については合計６本の伝達経路７６１が必ず（すなわち発音源７０と受音点７４との位置関係によらず）存在することとなる。また、図２から明らかなように、直接音の伝達経路７６０は発音源７０と受音点７４とを直線で結んだ１本の経路として必ず存在する。
【００２２】
一方、図３に示すように、二次反射音の伝達経路７６２は、各壁面に関する発音源７０の一次鏡像と二次鏡像とを想定することによって特定される。すなわち、同図に示すように、壁面８１Ｂに関する発音源７０の一次鏡像７１２と、壁面８１Ａに関する一次鏡像７１２の鏡像（すなわち二次鏡像）７２とを想定する。このとき、二次鏡像７２から受音点７４に至る直線と壁面８１Ａとの交点８１Ａｒ、およびこの交点８１Ａｒから一次鏡像７１２に至る直線と壁面８１Ｂとの交点８１Ｂｒが反射位置として特定される。したがって、発音源７０と反射点８１Ｂｒと反射点８１Ａｒと受音点７４とを結ぶ折線が二次反射音の伝達経路７６２として特定されるのである。
【００２３】
ところで、図３において壁面８１Ａに関する発音源７０の一次鏡像７１１から二次鏡像を考えると、この二次鏡像は一次鏡像７１２について想定した二次鏡像７２と完全に一致することとなる。したがって、二次反射音の伝達経路７６２を特定するための二次鏡像としては、いずれか一方の一次鏡像から想定される二次鏡像のみを考慮すれば足りる。ここで、音響空間８０におけるすべての壁の一次鏡像から想定し得る二次鏡像は合計３０個である。そして、このうち対向する壁面に関する６個については他の二次鏡像と重複することなく単独で想定される一方、残りの２４個については他のひとつの二次鏡像と重複することとなる。したがって、直方体空間たる音響空間８０においては、二次反射音について合計１８本（＝「重複する二次鏡像の一方に基づく１２本」＋「重複しない二次鏡像に基づく６本」）の伝達経路が必ず存在すると捉えることができる。
【００２４】
次に、図４を参照して、音データ処理部３０の具体的な構成を説明する。同図に示すように、音データ処理部３０は、共通フィルタ３１、ディレイライン３２、複数のフィルタ３３、複数の乗算器３４、およびマトリクスミキサ３５を有する。これらの各部は、制御装置１０から指示されたパラメータに応じた加工を音データに施すための手段である。
【００２５】
共通フィルタ３１は、ひとつの入力端３１０を介して制御装置１０から順次に入力される音データにフィルタ処理を施す手段である。このフィルタ処理によって、直接音、一次反射音および二次反射音のすべての伝達経路にわたって共通する距離に応じた減衰特性がシミュレートされる。なお、共通フィルタ３１によるフィルタ処理を、後述するフィルタ３３によって行なわせる構成としてもよい。この構成のもとでは共通フィルタ３１を省略することができる。
【００２６】
ディレイライン３２は、いわゆるマルチタップディレイであり、共通フィルタ３１から出力された音データをそれぞれ異なる時間長だけ遅延させたうえで複数のタップＴ（Ｔa1、Ｔb1からＴb6、およびＴc1からＴc18）の各々から出力する手段である。すなわち、各タップＴから出力される音データは、共通フィルタ３１から入力された音データをそれぞれ制御装置１０から指示された時間長だけ遅延させたものとなる。
【００２７】
ここで、直方体空間たる音響空間８０に必ず存在する伝達経路が合計２５本（「直接音１本」＋「一次反射音６本」＋「二次反射音１８本」）であることは上述した通りである。本実施形態においては、ディレイライン３２が合計２５個のタップＴを備えており、その各々が２５本の伝達経路のいずれかに対応付けられている。具体的には、図４に示すタップＴａ１は直接音の伝達経路７６０に対応付けられており、タップＴｂ１からＴｂ６は一次反射音の伝達経路７６１にそれぞれ対応付けられており、タップＴｃ１からＴｃ１８は二次反射音の伝達経路７６２にそれぞれ対応付けられている。
【００２８】
これらのタップＴの後段には、それぞれフィルタ３３および乗算器３４が設けられている。このうちフィルタ３３は、制御装置１０から指示されたパラメータに基づいて、前段のタップＴから出力された音データにフィルタ処理を施す手段である。すなわち、各フィルタ３３は、発音源７０から発せられた音の周波数特性が当該フィルタ３３に対応する伝達経路を経由するときに空気による吸収に伴なって変化する様子をシミュレートするように、音データに対してフィルタ処理を施す。なお、ここでは空気による吸収を想定したが、音響空間８０を満たすべきその他の流体（例えば水など）による吸収を想定してもよい。さらに、一次反射音の伝達経路７６１と二次反射音の伝達経路７６２とに対応するフィルタ３３（すなわち、タップＴb1からＴb6、およびタップＴc1からＴc18の後段に配置されたフィルタ３３）は、一次反射音および二次反射音の周波数特性が壁面８１における反射に伴なって変化する様子をシミュレートするように、音データに対してフィルタ処理を施す。一方、各乗算器３４は、発音源７０から発せられた音の音圧レベルが当該乗算器３４に対応する伝達経路をたどって受音点７４に到達するまでにその経路長に応じて減衰する様子をシミュレートするように、音データに対して特定の係数を乗算する。例えば、伝達経路の経路長が長ければ比較的小さい数値を乗算する一方、経路長が短くなるほど大きい数値を乗算するといった具合である。
【００２９】
次に、マトリクスミキサ３５は、乗算器３４から出力された音データを４チャネル分の出力ライン３６に振り分ける手段である。詳述すると、マトリクスミキサ３５は、各乗算器３４からの出力ラインと４チャネルの出力ライン３６との各交差に配置された乗算器３５１を有し、各乗算器３５１から出力された音データを、加算器３５２を介して出力ライン３６に供給するようになっている。各乗算器３５１は、制御装置１０によって指示された係数を音データに乗算して出力する手段である。ひとつの伝達経路に対応する４つの乗算器３５１は、各チャネルから出力される音の音圧レベルがその伝達経路における受音点７４への音到達方向に応じたバランスとなるように、音データに対して特定の係数を乗算する。なお、ここでは距離減衰をシミュレートする乗算器３４と音到達方向をシミュレートする乗算器３５１とを別個に設ける構成としたが、双方のシミュレートを単一の乗算器によって実現してもよい。この場合には、マトリクスミキサ３５のひとつの乗算器３５１が、距離減衰およびと音到達方向の双方を加味した係数を音データに対して乗算することとなる。
【００３０】
以上説明したように、本実施形態においては、音響空間８０に存在する伝達経路ごとに音データの加工が実行されるようになっている。以下では、ひとつの伝達経路をシミュレートするために音データを加工する要素の集合を「特性制御系３００」と表記する。以上の説明からも明らかなように、本実施形態における特性制御系３００は、遅延量を調整するディレイライン３２と、空気による吸収特性および壁面における反射特性をシミュレートするフィルタ３３と、距離減衰をシミュレートする乗算器３４と、音到達方向をシミュレートする乗算器３５１とからなる。
【００３１】
図１に示した入力装置４０は、マウスなどのポインティングデバイスや、文字または記号を入力するためのキーボードを備え、利用者による操作に応じた信号を制御装置１０に出力する。利用者は、この入力装置４０を適宜に操作することによって、例えばシミュレートの対象とすべき音響空間の態様や、この空間における発音源と受音点との位置関係を指定することができる。
【００３２】
次に、本実施形態の動作を説明する。まず、利用者によって入力装置４０に所定の操作が与えられてシミュレーション開始の指示が与えられると、制御装置１０は、シミュレーションプログラムをＲＡＭに読み込んだうえでこれを順次に実行する。図５は、このプログラムに基づく処理の流れを示すフローチャートである。
【００３３】
図５に示すように、制御装置１０はまず、シミュレーションの対象とすべき音響空間８０の態様、すなわち音響空間８０の大きさと各壁面８１ごとの反射特性とを利用者からの指示に応じて特定する（ステップＳ１０）。本実施形態においては音響空間８０として直方体空間を想定しているため、音響空間８０の縦および横の長さと高さとが音響空間８０の大きさとして特定される。一方、記憶装置２０にはそれぞれ異なる複数の反射特性の内容が登録されており、このうちのいずれかが音響空間８０の各壁面８１の特性として利用者によって選択される。制御装置１０は、こうして選択された反射特性を各壁面８１の特性として特定する。
【００３４】
次に、制御装置１０は、一次反射音および二次反射音の伝達経路を特定するための各鏡像と、その伝達経路に関わるシミュレートを担う特性制御系３００との対応関係を決定する（ステップＳ１１）。換言すると、制御装置１０は、各鏡像から特定される伝達経路のシミュレートをいずれの特性制御系３００が担うべきかを決定する。上述したように、一次反射音の伝達経路７６１に対応する一次鏡像は壁面８１の数に相当する６個であり、二次反射音の伝達経路７６２に対応する二次鏡像は重複を考慮すると１８個である。したがって、制御装置１０は、一次反射音の伝達経路７６１を特定するための６つの一次鏡像と音データ処理部３０における６つの特性制御系３００との対応関係を決定し、二次反射音の伝達経路を特定するための１８個の鏡像と音データ処理部３０における１８個の特性制御系３００との対応関係を決定する。なお、この対応関係を予め決定したうえで記憶装置２０に記憶させておくようにしてもよい。この場合には、図５のステップＳ１１を省略することができる。
【００３５】
この後、制御装置１０は、シミュレート開始の指示が利用者によって与えられることを契機として、記憶装置２０に記憶された音データを音データ処理部３０に対して順次に供給し始める。一方、利用者は、入力装置４０を適宜に操作することにより、音響空間８０における発音源７０の座標と受音点７４の座標とを入力する。制御装置１０は、この入力を検知することによって発音源７０と受音点７４との位置関係を特定する（ステップＳ１２）。続いて制御装置１０は、発音源７０と受音点７４との位置関係（特に両者間の距離）に応じたパラメータを共通フィルタ３１に指示する（ステップＳ１３）。
【００３６】
次に、制御装置１０は、ステップＳ１２において特定された発音源７０の座標に基づいて、一次反射音および二次反射音に関して、二次反射音の重複を考慮したうえで想定し得るすべての鏡像の位置を特定する（ステップＳ１４）。そして、制御装置１０は、このうちひとつの鏡像の位置と発音源７０および受音点７４の位置とに基づいて、直接音、一次反射音および二次反射音の伝達経路のうちいずれかひとつの伝達経路の態様を特定する（ステップＳ１５）。ステップＳ１４における鏡像位置の特定方法、およびステップＳ１５における伝達経路の特定方法は、前掲図２および図３を参照して説明した通りである。
【００３７】
続いて制御装置１０は、ステップＳ１５において特定した伝達経路（以下「対象伝達経路」という）の態様に基づいて、当該対象伝達経路のシミュレートを担う特性制御系３００に対して指示すべきパラメータを計算し、得られたパラメータをその特性制御系３００に属する各部に対して指示する（ステップＳ１６）。例えば、対象伝達経路に対応付けられた特性制御系３００のうち、ディレイライン３２のタップＴには対象伝達経路の経路長に応じた遅延量を指示し、フィルタ３３には対象伝達経路が経由する壁面８１の特性に応じてフィルタ係数を指示し、乗算器３４には対象伝達経路の経路長に応じた係数を指示し、４つの乗算器３５１には受音点７４に対する音到達方向に応じた係数をそれぞれ指示するといった具合である。この結果、対象伝達経路に対応する特性制御系３００の各要素は、当該対象伝達経路をシミュレートするための加工を音データに対して施すこととなる。
【００３８】
この後、制御装置１０は、直接音と一次反射音と二次反射音に対応するすべての伝達経路（合計２５本）についてステップＳ１５およびＳ１６の処理を行なったか否かを判定する（ステップＳ１７）。この判定において未だ処理を行なっていない伝達経路が存在すると判定した場合、制御装置１０は、未だ処理を行なっていない伝達経路を対象としてステップＳ１５およびＳ１６の処理を実行する。これに対し、すべての伝達経路について既に処理が完了している場合、制御装置１０はステップＳ１８に処理を移行させる。このステップＳ１８において、制御装置１０は、シミュレーションを終えるべきか否かを判定する。すなわち、利用者によってシミュレーション終了の指示が与えられた場合、およびすべての音データについて処理が完了した場合には、制御装置１０はシミュレーションのための処理を終了すると判定して図５に示す処理を終了する。これに対し、未だ処理を継続すべきと判定した場合、制御装置１０はステップＳ１２に処理を移行させたうえでステップＳ１２からＳ１８までの処理を繰り返す。この結果、利用者によって発音源７０と受音点７４との位置関係が変更させられた場合（ステップＳ１２）にはこの変更を反映したシミュレーションが行なわれることとなる。
【００４０】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態に係るデータ処理装置について説明する。上記第１実施形態においては、壁面８１における反射特性をシミュレートするためのフィルタ３３が伝達経路ごとに設けられた構成を例示した。しかしながら、音響空間８０におけるすべての壁面８１の反射特性が均一であるとすれば、この反射特性を反映させるためのフィルタをすべての伝達経路について共通化することができる。本実施形態はこの点に着目してフィルタの共通化を図ったものである。なお、本実施形態に係るデータ処理装置のうち前掲図１または図２に示した各部と共通する要素については同一の符合を付してその詳細な説明を省略する。
【００４１】
図６は、本実施形態に係るデータ処理装置１００のうち音データ処理部３０ａの構成を示すブロック図である。同図に示すように、本実施形態においては、ディレイライン３２のタップＴのうち反射回数が同一である伝達経路に対応するタップのグループごとにマトリクスミキサが設けられている。すなわち、直接音（反射回数０回）に対応する１個のタップＴの後段にはマトリクスミキサ３５ａが設けられ、一次反射音に対応する６個のタップＴの後段にはマトリクスミキサ３５ｂが設けられ、二次反射音に対応する１８個のタップＴの後段にはマトリクスミキサ３５ｃが設けられている。このマトリクスミキサ３５ａ、３５ｂおよび３５ｃは、上記第１実施形態に示したマトリクスミキサ３５と同様に、１または複数のタップＴから供給された音データを４つの出力ラインに振り分けるための手段である。例えば、マトリクスミキサ３５ｂは一次反射音に対応するタップＴから出力された音データをそれぞれ４つの系統に分岐させたうえで所定の係数を乗算し、これによって得られた各系統の音データを４つの出力ライン３６１にそれぞれ供給する。ただし、本実施形態におけるマトリクスミキサ３５ａ、３５ｂおよび３５ｃの乗算器（図示略）は、出力レベルのバランスを調整する機能に加えて、上記第１実施形態における乗算器３４のように距離減衰を反映させる機能をも兼ね備えている。したがって、本実施形態においてひとつの伝達経路に対応する特性制御系は、遅延量を調整するディレイライン３２と、距離減衰および音到達方向を反映させる乗算器とからなる。
【００４２】
二次反射音に対応するマトリクスミキサ３５ｃから延びる４本の出力ライン３６２の各々にはフィルタ３７２が設けられている。各フィルタ３７２は、制御装置１０による制御のもと、音響空間８０の壁面８１における一回の反射に応じた反射特性をシミュレートするためのフィルタ処理を行なう。一方、一次反射音に対応するマトリクスミキサ３５ｂから延びる４本の出力ライン３６１の各々にも、フィルタ３７２と同様の作用を営むフィルタ３７１が設けられている。そして、二次反射音に対応する４つのフィルタ３７２の出力端は一次反射音に対応する４本の出力ライン３６１にそれぞれ加算器３８１を介して接続されている。同様に、一次反射音に対応する４つのフィルタ３７１の出力端は直接音に対応するマトリクスミキサ３５ａから延びる４本の出力ライン３６０にそれぞれ加算器３８０を介して接続されている。
【００４３】
この構成により、出力ライン３６０の各出力端３６Ｔには、マトリクスミキサ３５ｃから出力されてフィルタ３７２およびフィルタ３７１による２回のフィルタ処理が施された音データと、マトリクスミキサ３５ｂから出力されてフィルタ３７１による１回のフィルタ処理が施された音データと、マトリクスミキサ３５ａから出力された音データとが各チャネルごとに加算されたうえで出力されることとなる。すなわち、二次反射音に対応するタップＴから出力された音データには壁面８１における２回の反射の影響が反映され、一次反射音に対応するタップＴから出力された音データには壁面８１における１回の反射の影響が反映されるのである。
【００４４】
本実施形態の動作は図５を参照して説明した第１実施形態の動作と同様である。ただし、図５のステップＳ１６において、制御装置１０は、ディレイライン３２と、各マトリクスミキサ３５ａ乃至３５ｃの乗算器と、フィルタ３７１およびフィルタ３７２とに対してパラメータを指示することとなる。
【００４５】
本実施形態においては、反射特性を反映させるためのフィルタを一次反射音および二次反射音の各々について共通化しているため、上記第１実施形態と比較して、音データ処理部３０の構成やパラメータ指示処理の簡素化を図ることができる。加えて、本実施形態においては、二次反射音における２回の反射のうち１回の反射をシミュレートするフィルタと、一次反射音における１回の反射をシミュレートするためのフィルタとが共用されるようになっている。したがって、二次反射音について反射回数に応じた２組のフィルタを設ける場合と比較して、音データ処理部３０の構成を簡素化することができる。
【００４６】
＜Ｃ：変形例＞
以上説明した実施の形態はあくまでも例示であり、これらの形態に対しては本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。このような変形の例としては、例えば以下のようなものが考えられる。なお、以下の各図に示す構成要素のうち上記第１実施形態または第２実施形態に示した要素と同様の作用を営むものについては共通の符号を付してその説明を省略する。
【００４７】
＜Ｃ−１：変形例１＞
上記各実施形態においては、直接音、一次反射音および二次反射音について共通のディレイライン３２を用いる構成としたが、各伝達経路ごとに個別のディレイラインを用いてもよい。図７は、上記第１実施形態に係る音データ処理部３０に複数のディレイラインを用いたときの構成を示すブロック図である。
【００４８】
同図に示すように、本変形例に係る音データ処理部３０ｂは、上記第１実施形態におけるディレイライン３２に代えて、各々が異なる伝達経路に対応した合計２５個のディレイライン３２１を備えている。さらに、各ディレイライン３２１の前段にはフィルタ３１１と乗算器３１２とが配置されている。このフィルタ３１１および乗算器３１２は、制御装置１０による制御のもと、当該フィルタ３１１および乗算器３１２に対応する伝達経路を経由する音に対して発音源７０の指向性をシミュレートするための手段である。詳述すると、フィルタ３１１は、発音源７０から受音点７４に至る音の周波数特性が発音源７０の指向性に応じて変化する様子をシミュレートする。一方、乗算器３１２は、発音源７０から受音点７４に至る音の音圧レベルを発音源７０の指向性に応じて調整する。また、各ディレイライン３２１は、遅延量を変化させ得るひとつのタップＴを備え、このタップＴはフィルタ３３に接続されている。したがって、図７に示す構成においてひとつの伝達経路に対応する特性制御系は、フィルタ３１１および乗算器３１２と、ディレイライン３２１と、フィルタ３３および乗算器３４とからなる。
【００４９】
本変形例の動作は、図５を参照して説明した第１実施形態の動作と同様である。ただし、図５のステップＳ１６において、制御装置１０は、各フィルタ３１１および各乗算器３１２に対してもパラメータを指示することとなる。この構成によれば、上記第１実施形態に示した効果に加え、音響空間に存在する伝達経路の各々に対して発音源７０の指向性を反映させてさらに忠実なシミュレートを実現することができるという効果が得られる。特に、放音時点（発音源から音が発せられた時点）における当該発音源７０の指向性が音データに反映されたうえでディレイラインに供給されるから、放音時点における発音源７０の指向特性を忠実にシミュレートすることができる。例えば、各ディレイライン３２１にはある時刻Ｔ1における発音源７０の指向特性が反映された音データが保持されるから、たとえその後の時刻Ｔ2において発音源７０の向きが変わっていたとしても、スピーカ５０から出力される音は放音時点における発音源７０の指向特性が反映されたものとなる。
【００５０】
また、上記実施形態においては、ディレイライン３２１に音データが入力された時点からの遅延量のみを制御する構成としたが、伝達経路ごとにディレイラインを設けた構成のもとでは、図８に示すように、各々に対する音データの入力位置を調整する構成としてもよい。すなわち、図８に示す音データ処理部３０ｃにおいては、ディレイライン３２１’からの出力位置（タップ位置）がすべての伝達経路に関して一定とされる一方、乗算器３１２から出力された音データがディレイライン３２１’のうち制御装置１０によって指示された位置に入力される構成となっている。こうすれば、放音時点における発音源７０の位置に応じて音データを予め遅延させたうえでディレイライン３２１’に供給することができるから、発音源７０の移動を忠実にシミュレートすることができる。
【００５１】
さらに、図７に示した構成と図８に示した構成とを組合わせて図９に示す構成としてもよい。すなわち、この音データ処理部３０ｄにおいては、ディレイライン３２１’’への音データの入力位置およびディレイライン３２１’’からの音データの出力位置の双方が制御装置１０によって制御されるようになっている。具体的には、ディレイライン３２１’’への音データの入力位置が発音源７０の位置に応じて制御されるとともに、ディレイライン３２１’’からの音データの出力位置が受音点７４の位置に応じて制御される。この構成によれば、発音源７０の移動と受音点７４の移動の双方を忠実にシミュレートすることができる。
【００５２】
なお、図７から図９においては第１実施形態の構成を変形した場合を例示したが、この変形を上記第２実施形態に示した構成に適用してもよい。また、図７から図９に示した構成においてはフィルタ３１１および乗算器３１２によって発音源７０の指向特性をシミュレートする構成としたが、これらの要素を省略してもよい。
【００５３】
＜Ｃ−２：変形例２＞
上記各実施形態においては出力ライン３６を４本としたが、この本数を１本乃至３本、あるいは５本以上としてもよいことはもちろんである。また、上記各実施形態においては直接音、一次反射音および二次反射音をシミュレートする構成としたが、三次以上の反射音を同様の構成によってシミュレートしてもよいし、あるいは直接音、一次反射音および二次反射音のいずれかをシミュレート対象から除外してもよい。さらに、上記実施形態においては発音源７０と受音点７４とがそれぞれひとつである場合を例示したが、各々が２つ以上であってもよいことはもちろんである。この場合、発音源７０ごとに当該発音源７０から各受音点７４に至る伝達経路が特定され、特定された伝達経路の各々が特性制御系３００に対応付けられることとなる。
【００５４】
＜Ｃ−３：変形例３＞
上記実施形態においては、音データ処理部３０がＤＳＰ（Digital Signal Processor）によって構成される場合を例示したが、ＣＰＵなどのハードウェアと当該ＣＰＵが実行するプログラムとの協働によって音データ処理部３０が実現される構成としてもよい。
【００５５】
また、上記実施形態においては、音響空間８０の態様や発音源７０と受音点７４との位置関係が利用者によって指示される構成としたが、記憶装置２０に記憶されたデータに基づいて決定される構成としてもよい。例えば、音響空間８０の態様や発音源７０と受音点７４との位置関係を表すデータ（以下「音響空間データ」という）を音データに含ませておく。そして、前掲図５のステップＳ１０における音響空間の態様の特定とステップＳ１２における位置関係の特定とが音響空間データに基づいて実行される構成としてもよい。また、音の出力に伴なって表示装置に画像を表示させる構成（例えば映画を再生する構成）のもとでは、音響空間データを表示画像に応じた内容としてもよい。こうすれば、映画を視聴する利用者に臨場感を与えることができる。
【００５６】
【発明の効果】
以上説明したように、本発明によれば、音響空間の音響特性をシミュレートするときの演算量を軽減することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係るデータ処理装置の構成を示すブロック図である。
【図２】 直接音および一次反射音の伝達経路を特定する方法を説明するための図である。
【図３】 二次反射音の伝達経路を特定する方法を説明するための図である。
【図４】 同データ処理装置における音データ処理部３０の構成を示すブロック図である。
【図５】 同データ処理装置における制御装置１０の動作を説明するためのフローチャートである。
【図６】 本発明の第２実施形態に係るデータ処理装置のうち音データ処理部３０の構成を示すブロック図である。
【図７】 第１実施形態の変形例に係るデータ処理部の構成を示すブロック図である。
【図８】 第１実施形態の変形例に係るデータ処理部の構成を示すブロック図である。
【図９】 第１実施形態の変形例に係るデータ処理部の構成を示すブロック図である。
【符号の説明】
１００……データ処理装置、１０……制御装置（指示手段）、２０……記憶装置（記憶手段）、３０……音データ処理部、３１……共通フィルタ、３２……ディレイライン、３３……フィルタ、３４……乗算器、３５，３５ａ，３５ｂ，３５ｃ……マトリクスミキサ（出力制御手段）、３５１……乗算器、３００……特性制御系（特性制御手段）、３６……出力ライン、３７１，３７２……フィルタ（反射特性制御手段）、４０……入力装置、５０……スピーカ、７０……発音源、７１１，７１２，７２……鏡像、７６０，７６１，７６２……伝達経路、８０……音響空間、８１……壁面。
Claims (4)
- 音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートする装置において、
前記発音源から発せられるべき音を表す音データを記憶する記憶手段と、
前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する特定手段と、
前記記憶手段に記憶されている音データを入力し、前記特定手段が特定した各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力するディレイラインと、
前記ディレイラインが出力した音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する二次反射特性用マトリクスミキサと、
前記二次反射特性用マトリクスミキサが出力した複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する二次反射特性用フィルタと、
前記ディレイラインが出力した音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する一次反射特性用マトリクスミキサと、
前記一次反射特性用マトリクスミキサが出力した複数の系統の音データ及び前記二次反射特性用フィルタが出力した複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する一次反射特性用フィルタと、
前記ディレイラインが出力した音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する直接音用マトリクスミキサと、
前記直接音用マトリクスミキサが出力した音データと前記一次反射特性用フィルタが出力した音データとを前記系統毎に加算して出力する出力手段と
を具備することを特徴とするデータ処理装置。 - 前記特定手段は、直方体空間たる前記音響空間における前記一次反射音および二次反射音の伝達経路としてそれぞれ６経路、１８経路を鏡像法により特定することを特徴とする請求項１に記載のデータ処理装置。
- 音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートする方法において、
前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する第１の過程と、
前記発音源から発せられるべき音を表す音データを入力し、前記第１の過程で特定された各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力する第２の過程と、
前記第２の過程で出力された音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する第３の過程と、
前記第３の過程で出力された複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する第４の過程と、
前記第２の過程で出力された音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する第５の過程と、
前記第５の過程で出力された複数の系統の音データ及び前記第４の過程で出力された複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する第６の過程と、
前記第２の過程で出力された音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する第７の過程と、
前記第７の過程で出力された音データと前記第６の過程で出力された音データとを前記系統毎に加算して第８の過程と
を具備することを特徴とするデータ処理方法。 - 音を発する発音源と当該発音源から発せられた音を受ける受音点とが配置された音響空間の音響特性をシミュレートするためのプログラムであって、
コンピュータを、
前記発音源から発せられるべき音を表す音データを記憶する記憶手段と、
前記発音源の位置と前記受音点の位置とに基づいて、前記発音源が発する音の前記音響空間における直接音、一次反射音および二次反射音の伝達経路を鏡像法により特定する特定手段と、
前記記憶手段に記憶されている音データを入力し、前記特定手段が特定した各伝達経路の経路長に応じた遅延量だけ遅延させて該伝達経路毎に該音データを出力するディレイラインと、
前記ディレイラインが出力した音データのうち、前記二次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算し、該係数の乗算された音データを各々が複数のスピーカのいずれかに対応する複数の系統に振り分けて出力する二次反射特性用マトリクスミキサと、
前記二次反射特性用マトリクスミキサが出力した複数の系統の音データを入力し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する二次反射特性用フィルタと、
前記ディレイラインが出力した音データのうち、前記一次反射音の各伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する一次反射特性用マトリクスミキサと、
前記一次反射特性用マトリクスミキサが出力した複数の系統の音データ及び前記二次反射特性用フィルタが出力した複数の系統の音データを前記系統毎に加算し、前記音響空間の壁面における一回の反射に応じた反射特性をシミュレートするように前記各系統で共通のフィルタ処理を前記系統毎の音データにそれぞれ施して出力する一次反射特性用フィルタと、
前記ディレイラインが出力した音データのうち、直接音の伝達経路の経路長に応じた遅延量だけ遅延させて出力された音データを入力し、当該伝達経路の経路長に応じた減衰をシミュレートするように該音データに係数を乗算して前記複数の系統に振り分けて出力する直接音用マトリクスミキサと、
前記直接音用マトリクスミキサが出力した音データと前記一次反射特性用フィルタが出力した音データとを前記系統毎に加算して出力する出力手段
として機能させるためのプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003001328A JP4409177B2 (ja) | 2003-01-07 | 2003-01-07 | データ処理装置、データ処理方法およびプログラム |
| EP04100002.7A EP1437712A3 (en) | 2003-01-07 | 2004-01-05 | Sound data processing apparatus for simulating acoustic space |
| US10/753,120 US7238875B2 (en) | 2003-01-07 | 2004-01-06 | Electronic musical instrument |
| US10/753,156 US7463740B2 (en) | 2003-01-07 | 2004-01-06 | Sound data processing apparatus for simulating acoustic space |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003001328A JP4409177B2 (ja) | 2003-01-07 | 2003-01-07 | データ処理装置、データ処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004212797A JP2004212797A (ja) | 2004-07-29 |
| JP4409177B2 true JP4409177B2 (ja) | 2010-02-03 |
Family
ID=32501193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003001328A Expired - Fee Related JP4409177B2 (ja) | 2003-01-07 | 2003-01-07 | データ処理装置、データ処理方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US7238875B2 (ja) |
| EP (1) | EP1437712A3 (ja) |
| JP (1) | JP4409177B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3858899B2 (ja) * | 2003-03-20 | 2006-12-20 | ヤマハ株式会社 | 弦楽器型の電子楽器 |
| US7859533B2 (en) | 2005-04-05 | 2010-12-28 | Yamaha Corporation | Data processing apparatus and parameter generating apparatus applied to surround system |
| US7238870B2 (en) * | 2005-05-31 | 2007-07-03 | Shawn Dale Stewart | Enhanced fret saving device and process |
| US7714220B2 (en) * | 2007-09-12 | 2010-05-11 | Sony Computer Entertainment America Inc. | Method and apparatus for self-instruction |
| US8401202B2 (en) * | 2008-03-07 | 2013-03-19 | Ksc Industries Incorporated | Speakers with a digital signal processor |
| US8608566B2 (en) * | 2008-04-15 | 2013-12-17 | Activision Publishing, Inc. | Music video game with guitar controller having auxiliary palm input |
| US10679407B2 (en) * | 2014-06-27 | 2020-06-09 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for modeling interactive diffuse reflections and higher-order diffraction in virtual environment scenes |
| US9977644B2 (en) | 2014-07-29 | 2018-05-22 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene |
| JP6511775B2 (ja) | 2014-11-04 | 2019-05-15 | ヤマハ株式会社 | 残響音付加装置 |
| WO2018123112A1 (ja) * | 2016-12-27 | 2018-07-05 | 株式会社島津製作所 | 光検出器 |
| US10248744B2 (en) | 2017-02-16 | 2019-04-02 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes |
| US10602298B2 (en) | 2018-05-15 | 2020-03-24 | Microsoft Technology Licensing, Llc | Directional propagation |
| US10932081B1 (en) | 2019-08-22 | 2021-02-23 | Microsoft Technology Licensing, Llc | Bidirectional propagation of sound |
| US11877143B2 (en) | 2021-12-03 | 2024-01-16 | Microsoft Technology Licensing, Llc | Parameterized modeling of coherent and incoherent sound |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3406603A (en) * | 1967-03-01 | 1968-10-22 | Melita Sebastiano | Mute for stringed instruments |
| US3440917A (en) * | 1967-12-29 | 1969-04-29 | Chicago Musical Instr Co | Mute for musical instruments |
| US3994196A (en) * | 1975-08-01 | 1976-11-30 | Hamil David W | Mute for stringed instrument |
| US4919031A (en) * | 1987-03-24 | 1990-04-24 | Casio Computer Co., Ltd. | Electronic stringed instrument of the type for controlling musical tones in response to string vibration |
| JPS63235997A (ja) | 1987-03-24 | 1988-09-30 | カシオ計算機株式会社 | 電子弦楽器 |
| GB9107011D0 (en) * | 1991-04-04 | 1991-05-22 | Gerzon Michael A | Illusory sound distance control method |
| JPH05150777A (ja) | 1992-04-16 | 1993-06-18 | Casio Comput Co Ltd | 電子弦楽器 |
| JP3172391B2 (ja) | 1995-04-13 | 2001-06-04 | シャープ株式会社 | 音環境再現方法 |
| US5467679A (en) * | 1995-04-27 | 1995-11-21 | Schmidt; Bradley R. | Discrete string damper for a guitar |
| JPH0944176A (ja) * | 1995-07-26 | 1997-02-14 | Matsushita Electric Ind Co Ltd | 残響音の生成方法 |
| JP3309687B2 (ja) * | 1995-12-07 | 2002-07-29 | ヤマハ株式会社 | 電子楽器 |
| EP0905933A3 (de) | 1997-09-24 | 2004-03-24 | STUDER Professional Audio AG | Verfahren und Vorrichtung zum Mischen von Tonsignalen |
| US6751322B1 (en) * | 1997-10-03 | 2004-06-15 | Lucent Technologies Inc. | Acoustic modeling system and method using pre-computed data structures for beam tracing and path generation |
| JP3722335B2 (ja) * | 1998-02-17 | 2005-11-30 | ヤマハ株式会社 | 残響付加装置 |
| US6931134B1 (en) * | 1998-07-28 | 2005-08-16 | James K. Waller, Jr. | Multi-dimensional processor and multi-dimensional audio processor system |
| JP2000267675A (ja) | 1999-03-16 | 2000-09-29 | Sega Enterp Ltd | 音響信号処理装置 |
| JP2000312779A (ja) | 1999-04-30 | 2000-11-14 | Namco Ltd | ゲーム装置及びコンピュータ読み取り可能な記録媒体 |
| JP3709986B2 (ja) | 2000-12-27 | 2005-10-26 | ヤマハ株式会社 | 電子弦楽器 |
| US7099482B1 (en) * | 2001-03-09 | 2006-08-29 | Creative Technology Ltd | Method and apparatus for the simulation of complex audio environments |
| JP4052029B2 (ja) * | 2002-06-17 | 2008-02-27 | ヤマハ株式会社 | 楽音発生装置、撥弦楽器、演奏システム、楽音発生制御方法及び楽音発生制御プログラム |
-
2003
- 2003-01-07 JP JP2003001328A patent/JP4409177B2/ja not_active Expired - Fee Related
-
2004
- 2004-01-05 EP EP04100002.7A patent/EP1437712A3/en not_active Withdrawn
- 2004-01-06 US US10/753,120 patent/US7238875B2/en not_active Expired - Fee Related
- 2004-01-06 US US10/753,156 patent/US7463740B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1437712A2 (en) | 2004-07-14 |
| US20040141623A1 (en) | 2004-07-22 |
| US7238875B2 (en) | 2007-07-03 |
| EP1437712A3 (en) | 2016-10-05 |
| US20040139847A1 (en) | 2004-07-22 |
| JP2004212797A (ja) | 2004-07-29 |
| US7463740B2 (en) | 2008-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2023203442B2 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
| JP6607895B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
| JP4409177B2 (ja) | データ処理装置、データ処理方法およびプログラム | |
| CN1981558A (zh) | 扬声器方向性的控制方法以及音频再现设备 | |
| EP3026666B1 (en) | Reverberant sound adding apparatus, reverberant sound adding method, and reverberant sound adding program | |
| NL2026361B1 (en) | Method for generating a reverberation audio signal | |
| CN101278597B (zh) | 生成空间声音的方法和装置 | |
| EP1465152A2 (en) | Reverberation apparatus controllable by positional information of sound source | |
| JP2003122378A (ja) | オーディオ再生装置 | |
| JP4361628B2 (ja) | オーディオ信号生成装置 | |
| CN113348681A (zh) | 通过时变递归滤波器结构的虚拟声学渲染的方法与系统 | |
| JP2000284788A (ja) | インパルスレスポンス生成方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070501 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080630 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080707 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080815 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |