JP5217875B2 - Sound field support device, sound field support method and program - Google Patents

Sound field support device, sound field support method and program Download PDF

Info

Publication number
JP5217875B2
JP5217875B2 JP2008262059A JP2008262059A JP5217875B2 JP 5217875 B2 JP5217875 B2 JP 5217875B2 JP 2008262059 A JP2008262059 A JP 2008262059A JP 2008262059 A JP2008262059 A JP 2008262059A JP 5217875 B2 JP5217875 B2 JP 5217875B2
Authority
JP
Japan
Prior art keywords
attenuation curve
data
filter coefficient
index
fir
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008262059A
Other languages
Japanese (ja)
Other versions
JP2010091821A (en
Inventor
隆行 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2008262059A priority Critical patent/JP5217875B2/en
Publication of JP2010091821A publication Critical patent/JP2010091821A/en
Application granted granted Critical
Publication of JP5217875B2 publication Critical patent/JP5217875B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、音響空間の音響特性を制御する技術に関する。   The present invention relates to a technique for controlling acoustic characteristics of an acoustic space.

音響空間における既存の音響環境をベースとし、その音響空間における残響効果や初期反射音を含む反射音特性を増強、補正して音響特性を制御する音場支援システムがある。この音場支援システムは、音響空間の天井や側壁に固定されたマイクロホンおよびスピーカとそれらに接続された音場支援装置とにより構成される。
この種の音場支援システムの音場支援装置は、マイクロホンから収音信号が入力されると、FIR(Finite Impulse Response)フィルタによってその収音信号へ所望の音響空間の残響効果を付与するためのフィルタ係数列を畳み込み、この結果得られた信号をスピーカから放音するとともに放音した音の一部をマイクロホンへ帰還する、という処理を繰り返すことにより、音響空間における残響効果などを増強する。FIRフィルタに用いるフィルタ係数列の設定の如何によっては、狭小な音響空間でありながらあたかもコンサートホールなどの大きな音響空間で演奏しているかのような残響効果を創出することができる。
ところで、この種の音場支援システムにおいては、図9に示すように、音響空間→マイクロホン→音場支援装置→スピーカ→音響空間という閉ループを音が循環する。そして、この閉ループの伝達関数(周波数応答)の振幅特性に鋭いピークが表れると、カラーレーションなどの聴感上の問題を引き起こすことがある。このような音響空間を含む閉ループの伝達特性(周波数応答)の振幅特性に鋭いピークが発生するのを抑え込むための仕組みを開示した文献として、たとえば、特許文献1が挙げられる。同文献に開示された音場支援装置は、当該音場支援装置を経由して音を帰還させる前の状態において、音響空間そのものの伝達関数である開ループ伝達関数を計測し、計測した開ループ伝達関数の逆特性を求める。そして、この逆特性のインパルス応答をサンプリングし、FIRフィルタに用いるフィルタ係数列を得る。
特開平07−240993号公報
There is a sound field support system based on an existing acoustic environment in an acoustic space, and enhancing and correcting reflected sound characteristics including reverberation effects and initial reflected sound in the acoustic space to control the acoustic characteristics. This sound field support system includes a microphone and a speaker fixed to a ceiling or a side wall of an acoustic space, and a sound field support device connected thereto.
When a collected sound signal is input from a microphone, the sound field supporting device of this type of sound field supporting system is for applying a reverberation effect of a desired acoustic space to the collected signal by an FIR (Finite Impulse Response) filter. The reverberation effect in the acoustic space is enhanced by repeating the process of convolving the filter coefficient sequence and emitting the signal obtained as a result from the speaker and returning a part of the emitted sound to the microphone. Depending on the setting of the filter coefficient sequence used for the FIR filter, it is possible to create a reverberation effect as if it is playing in a large acoustic space such as a concert hall, although it is a narrow acoustic space.
By the way, in this kind of sound field support system, as shown in FIG. 9, sound circulates in a closed loop of acoustic space → microphone → sound field support device → speaker → acoustic space. If a sharp peak appears in the amplitude characteristic of the closed-loop transfer function (frequency response), problems such as coloration may occur. Patent Document 1 is an example of a document that discloses a mechanism for suppressing the occurrence of a sharp peak in the amplitude characteristic of a closed-loop transfer characteristic (frequency response) including such an acoustic space. The sound field support device disclosed in the same document measures an open loop transfer function that is a transfer function of the acoustic space itself in a state before the sound is fed back via the sound field support device. Find the inverse characteristics of the transfer function. Then, the impulse response having the reverse characteristic is sampled to obtain a filter coefficient sequence used for the FIR filter.
Japanese Patent Application Laid-Open No. 07-240993

しかし、真に適切なフィルタ係数列が設定されているか否かについては、音場支援装置の利用者(例えば、音響技術者等)が聴感上の問題がないかを、スピーカの再生音を実際に聴き取って確かめる必要がある、といった問題があった。何故ならば、パルス状の音が入力された場合に、ファイルタ係数列の設定内容によっては、スピーカから再生される音においてFIRタップが分離した特性により、パラパラと分離した不自然な音が聞こえる場合がある。また、タップの振幅の大きさやタップの密集度合いによっては、スピーカから再生される音がジャリジャリとした耳障りなひずんだ音に聞こえる場合がある、といった不具合が生じ得るからである。
本発明は上記課題に鑑みて為されたものであり、音場支援システムにおいて、ハウリングや音のカラーレーションなどの不具合の発生の回避のみならず、音響技術者等が再生音を実際に聞き取って確かめることなくスピーカの再生音の音質を向上させることを可能にする技術を提供することを目的とする。
However, as to whether or not a truly appropriate filter coefficient sequence is set, whether or not the user of the sound field support device (for example, an acoustic engineer) has a hearing problem, There was a problem that it was necessary to listen to and confirm. This is because, when a pulse-like sound is input, depending on the setting contents of the filter coefficient sequence, an unnatural sound separated from the flip is heard due to the characteristic that the FIR tap is separated in the sound reproduced from the speaker. There is a case. Moreover, depending on the magnitude of the tap amplitude and the density of taps, there may be a problem that the sound reproduced from the speaker may be heard as a harsh and distorted sound.
The present invention has been made in view of the above problems, and in the sound field support system, not only the occurrence of problems such as howling and sound coloration, but also acoustic engineers and the like actually listen to the reproduced sound. It is an object of the present invention to provide a technique that makes it possible to improve the sound quality of reproduced sound from a speaker without confirmation.

上記課題を解決するために、本発明は、音響空間のインパルス応答の減衰曲線を表わす第1のデータを取得する一方、前記音響空間内に配置されるスピーカと前記スピーカから出力される音を収音するマイクロホンとに接続されて閉ループを形成するFIRフィルタに各々設定される複数種のフィルタ係数列が格納されたFIRライブラリから前記複数種のフィルタ係数列の各々を選択し、そのフィルタ係数列についての減衰曲線を表す第2のデータを取得する減衰曲線データ取得手段と、前記第2のデータの各々について、当該第2のデータの表す減衰曲線と前記第1のデータの表す減衰曲線とをピーク位置を重ね合わせて描いた場合に、後者の減衰曲線から突出している前者の減衰曲線の部分の各々におけるその突出の程度にその部分が占める時間軸上での位置に応じた重みを乗算して得られる第1の指標と、前記第1のデータの表す減衰曲線との類似度を示す第2の指標と、を前記第1および第2のデータから算出する指標算出手段と、前記複数種のフィルタ係数列のうち、前記第1の指標が予め定められた第1の閾値の近傍の値であり、かつ、前記第2の指標の示す類似度が予め定められた第2の閾値以上であるものを選択して前記FIRフィルタに設定するフィルタ係数列設定手段とを有することを特徴とする音場支援装置、上記各手段により実行される処理を順次実行することを特徴とする音場支援方法、およびコンピュータ装置を上記各手段として機能させるプログラムを提供する。   In order to solve the above problems, the present invention acquires first data representing an attenuation curve of an impulse response in an acoustic space, and collects a speaker disposed in the acoustic space and a sound output from the speaker. Each of the plurality of types of filter coefficient sequences is selected from an FIR library in which a plurality of types of filter coefficient sequences set in an FIR filter connected to a sounding microphone to form a closed loop is stored. Attenuation curve data acquisition means for acquiring second data representing an attenuation curve of the first and a peak of an attenuation curve represented by the second data and an attenuation curve represented by the first data for each of the second data When the positions are drawn in an overlapping manner, the portion of each of the portions of the former attenuation curve protruding from the latter attenuation curve has its portion A first index obtained by multiplying a weight corresponding to a position on the time axis, and a second index indicating the similarity between the attenuation curve represented by the first data and the first index. Index calculation means for calculating from second data, and among the plurality of types of filter coefficient sequences, the first index is a value in the vicinity of a predetermined first threshold, and the second index And a filter coefficient sequence setting unit that selects and sets the FIR filter that has a similarity equal to or greater than a predetermined second threshold, and is executed by each of the units And a program for causing a computer device to function as each of the above-described means.

このような音場支援装置、音場支援方法およびプログラムによれば、音響空間内に配置されるマイクロホンおよびスピーカとともに閉ループを形成するFIRフィルタに、FIRライブラリに格納されている複数種のフィルタ係数列のうち、以下の条件(A)および(B)の両方を満たすものが設定される。
条件(A)フィルタ係数列のインパルス応答の減衰曲線と上記音響空間のインパルス応答の減衰曲線とをピーク位置を重ね合わせて描いた場合に、後者の減衰曲線から突出している前者の減衰曲線の部分の各々におけるその突出の程度にその部分が占める時間軸上での位置に応じた重みを乗算して得られる第1の指標が予め定められた第1の閾値の近傍の値であること。
条件(B)両減衰曲線の類似度が予め定められた第2の閾値以上となること。
ここで、上記第1および第2の指標については種々のものを用いることが考えられ、また、それら指標の種類に応じて上記第1および第2の閾値としてどのような値が好適であるかが定まる。
According to such a sound field support device, a sound field support method, and a program, a plurality of types of filter coefficient sequences stored in the FIR library are included in the FIR filter that forms a closed loop together with the microphone and the speaker arranged in the acoustic space. Are set to satisfy both of the following conditions (A) and (B).
Condition (A) A portion of the former attenuation curve protruding from the latter attenuation curve when the attenuation curve of the impulse response of the filter coefficient sequence and the attenuation curve of the impulse response of the acoustic space are drawn to overlap each other. The first index obtained by multiplying the degree of the protrusion in each of them by the weight according to the position on the time axis occupied by the portion is a value in the vicinity of a predetermined first threshold value.
Condition (B) The similarity between both attenuation curves is equal to or greater than a predetermined second threshold.
Here, it is conceivable to use various types of the first and second indicators, and what values are suitable as the first and second threshold values depending on the types of the indicators. Is determined.

例えば、各々のピーク位置を重ね合わせて描かれた音響空間についてのインパルス応答の減衰曲線をe(t)IRとし、同フィルタ係数列の減衰曲線をe(t)FIRとして以下の数1にしたがって算出される値Xを第1の指標として用いる場合、上記第1の閾値としては450またはその近傍の値を用いるようにすれば良い。

Figure 0005217875

ただし、数1のΣ演算は、以下の数2を満たす時刻tに関してのみ実行し、数1にてtmaxは、減衰曲線e(t)FIRについて、そのピーク位置の時刻とその振幅が略ゼロになる時刻との時間差である。
Figure 0005217875
For example, the attenuation curve of the impulse response for the acoustic space drawn by superimposing the respective peak positions is defined as e o (t) IR, and the attenuation curve of the filter coefficient sequence is defined as e o (t) FIR. When the value X calculated according to the above is used as the first index, 450 or a value in the vicinity thereof may be used as the first threshold.
Figure 0005217875

However, the Σ operation of Equation 1 is executed only for the time t satisfying the following Equation 2, and in Equation 1, the time at the peak position and the amplitude of the attenuation curve e o (t) FIR are substantially zero. It is the time difference from the time of becoming.
Figure 0005217875

ここで、数1にしたがって算出される第1の指標(以下、第1の指標X)と比較する第1の閾値として450またはその近傍の値を用いる理由は以下の通りである。本出願人の行った実験によれば、数1および数2にしたがって算出される第1の指標Xが450を超えて大きくなるほど、スピーカの再生音におけるジャリジャリとした耳障りなひずみ(以下、「ジャリジャリ感」と呼ぶ)が強くなり、逆に、第1の指標Xが450を大きく下回るとFIRフィルタによるフィルタ処理で付与した反射音や残響音が音響空間のインパルス応答に埋もれてしまい、FIRフィルタ処理の効果を体感できなくなることが判明した。よって、第1の指標Xを数1および数2したがって算出する態様においては、その第1の指標Xと比較する値として450またはその近傍の値を用いることが望ましいのである。   Here, the reason why 450 or a value in the vicinity thereof is used as the first threshold value to be compared with the first index (hereinafter referred to as the first index X) calculated according to Equation 1 is as follows. According to an experiment conducted by the present applicant, as the first index X calculated according to Equations 1 and 2 exceeds 450, the harsh distortion in the reproduced sound of the speaker (hereinafter referred to as “gearly”). On the other hand, when the first index X is significantly lower than 450, the reflected sound and reverberation sound applied by the filter processing by the FIR filter are buried in the impulse response of the acoustic space, and the FIR filter processing is performed. It became clear that you could not experience the effect of. Therefore, in the aspect in which the first index X is calculated according to Equation 1 and Equation 2, it is desirable to use 450 or a value in the vicinity thereof as a value to be compared with the first indicator X.

一方、2つの曲線の類似度を表す指標の一例としては相関係数が挙げられる。例えば、各々のピーク位置を重ね合わせて描かれたフィルタ係数例の減衰曲線と音響空間1のインパルス応答の減衰曲線とについて算出される相関係数ρxyを前記第2の指標として用いる態様においては、前記フィルタ係数列設定手段にて当該第2の指標と比較する第2の閾値として0.75以上の値を用いるようにすれば良い。ここで、相関係数ρxyは、音響空間のインパルス応答の減衰曲線e(t)IRおよびフィルタ係数列の減衰曲線e(t)FIRに関して以下の数3および数4にしたがって算出される値であり、本出願人の行った実験によれば、その相関係数ρxyの値が0.75以上である場合に、スピーカの再生音においてFIRタップが分離した特性により、パラパラと分離した不自然な感じ(以下、「パラパラ感」と呼ぶ)の抑制が顕著であることが判明した。

Figure 0005217875

Figure 0005217875
On the other hand, a correlation coefficient is an example of an index representing the similarity between two curves. For example, in the aspect in which the correlation coefficient ρ xy calculated for the attenuation curve of the filter coefficient example drawn by superimposing the respective peak positions and the attenuation curve of the impulse response of the acoustic space 1 is used as the second index. A value of 0.75 or more may be used as the second threshold value to be compared with the second index by the filter coefficient string setting means. Here, the correlation coefficient ρ xy is calculated according to the following equations 3 and 4 with respect to the attenuation curve e o (t) IR of the impulse response in the acoustic space and the attenuation curve e o (t) FIR of the filter coefficient sequence. According to the experiment conducted by the present applicant, when the value of the correlation coefficient ρ xy is 0.75 or more, the FIR tap is separated from the sound due to the characteristic that the FIR tap is separated in the reproduced sound of the speaker. It turned out that suppression of an unnatural feeling (henceforth "para-palm feeling") is remarkable.
Figure 0005217875

Figure 0005217875

以下、本発明を実施する際の最良の形態について図面を参照しつつ説明する。
(A:第1実施形態)
図1は、この発明の一実施形態である音場支援装置40を含む音場支援システムの全体構成を示す図である。この音場支援システムは、音響空間1内における音響特性を制御する。本実施形態における音響特性の制御とは、初期反射音のレベル、時間構造、到来方向などの特性を含む反射音特性や、残響特性を制御することを意味する。この音場支援システムは、マイクロホン10−k(k=1〜8)、スピーカ20−m(m=1,2…M)、マイクアンプ部31、パワーアンプ部32、および音場支援装置40を有する。マイクロホン10−k(k=1〜8)とスピーカ20−m(m=1,2…M)は、音響空間1の側壁や天井に間隔を空けて固定される。
The best mode for carrying out the present invention will be described below with reference to the drawings.
(A: 1st Embodiment)
FIG. 1 is a diagram showing an overall configuration of a sound field support system including a sound field support device 40 according to an embodiment of the present invention. This sound field support system controls the acoustic characteristics in the acoustic space 1. Control of acoustic characteristics in the present embodiment means controlling reflected sound characteristics including characteristics such as the level of initial reflected sound, time structure, and arrival direction, and reverberation characteristics. This sound field support system includes a microphone 10-k (k = 1 to 8), a speaker 20-m (m = 1, 2,... M), a microphone amplifier unit 31, a power amplifier unit 32, and a sound field support device 40. Have. The microphone 10-k (k = 1 to 8) and the speaker 20-m (m = 1, 2,... M) are fixed to the side wall and ceiling of the acoustic space 1 with a space therebetween.

音場支援装置40は、音響空間1内で楽器などにより発生した音が、マイクロホン10−k(k=1〜8)、当該音場支援装置40、およびスピーカ20−m(m=1,2…M)を経由して音響空間1へ帰還する状態(「音響帰還状態」という)を作り出し、音が当該音場支援装置40を経由する際に、音響空間1の残響や初期反射音に関する音響特性を目標とする別の音響空間(「目標音響空間」という)の音響特性に近づけるような信号処理を施す。   In the sound field support device 40, sound generated by a musical instrument or the like in the acoustic space 1 is converted into a microphone 10-k (k = 1 to 8), the sound field support device 40, and a speaker 20-m (m = 1, 2). ... a state of returning to the acoustic space 1 via M) (referred to as an “acoustic feedback state”), and when the sound passes through the sound field support device 40, the sound related to the reverberation of the acoustic space 1 and the early reflection sound Signal processing is performed so as to approximate the acoustic characteristics of another acoustic space whose characteristics are targeted (referred to as “target acoustic space”).

図2は、音場支援装置40の構成を示す図である。この音場支援装置40において、音を収音したマイクロホン10−k(k=1〜8)からマイクアンプ部31を介して入力される8チャネルのアナログ信号は、A/D変換器(不図示)にてディジタル形式に変換され、ミキサ51およびEMR(Electronic Microphone Rotator)52を経由した後、4系統の収音信号としてFIR(Finite impulse response)フィルタ53−i(i=1〜4)へ入力される。ここで、EMR52は、当該EMR52に入力される4系統の信号と当該EMR52から出力される4系統の信号との接続関係を電気的に時々刻々切り換えることにより、システムの周波数特性を平坦化する役割を果たす。   FIG. 2 is a diagram illustrating a configuration of the sound field support device 40. In this sound field support device 40, an 8-channel analog signal input from the microphone 10-k (k = 1 to 8) that picks up the sound through the microphone amplifier unit 31 is converted into an A / D converter (not shown). ), And after passing through a mixer 51 and an EMR (Electronic Microphone Rotator) 52, input to a FIR (Finite impulse response) filter 53-i (i = 1 to 4) as four collected sound signals. Is done. Here, the EMR 52 functions to flatten the frequency characteristics of the system by electrically switching the connection relation between the four systems of signals input to the EMR 52 and the four systems of signals output from the EMR 52 from time to time. Fulfill.

FIRフィルタ53−i(i=1〜4)は、EMR52から入力された収音信号を遅延時間t(j=1,2…g)だけ遅延させた信号(「遅延オーディオ信号s(j=1,2…g)」という)を発生し、これらの遅延時間t(j=1,2…g)の各々に対応したフィルタ係数値h(j=1,2…g)を遅延オーディオ信号s(j=1,2…g)に乗算し、その乗算結果の各々を加算する積和演算を行い、その積和演算結果を残響効果等の付与された信号(「残響音信号」という)として出力する。 The FIR filter 53-i (i = 1 to 4) is a signal obtained by delaying the sound pickup signal input from the EMR 52 by a delay time t j (j = 1, 2,... G) (“delayed audio signal s j (j = 1, 2,... G) ”, and delays filter coefficient values h j (j = 1, 2,... G) corresponding to each of these delay times t j (j = 1, 2,... G). Multiplying the audio signals s j (j = 1, 2,... G) and adding each of the multiplication results is performed, and the product-sum operation result is used as a signal (“reverberation signal”). ").

FIRフィルタ53−i(i=1〜4)の各々には、残響パターンが設定される。残響パターンとは、目標音響空間のインパルス応答(時間応答)に相当するフィルタ係数値h(j=1,2…g)と遅延時間t(j=1,2…g)の各対をフィルタ係数ht(j=1,2…g)とし、これらのフィルタ係数ht(j=1,2…g)を時間軸順に並べたものである。フィルタ係数ht(j=1,2…g)におけるインパルス応答(時間応答)をフーリエ変換すると、目標音響空間の周波数応答が求められる。そして、このフーリエ変換によって求められる周波数応答は、目標音響空間における振幅特性と位相特性とを含む。図3(A)および(B)は、残響パターンのフィルタ係数ht(j=1,2…g)をなすフィルタ係数値h(j=1,2…g)と遅延時間t(j=1,2…g)の一例を示す図である。図3(A)および図3(B)に示すように、FIRフィルタ52−i(i=1〜4)の各々に設定される残響パターンとしては、図3(A)に示すように時間の経過とともに急激に減衰するものや、図3(B)に示すように比較的緩やかに減衰するものなど種々のものが考えられる。 A reverberation pattern is set in each of the FIR filters 53-i (i = 1 to 4). The reverberation pattern is a pair of filter coefficient values h j (j = 1, 2,... G) corresponding to an impulse response (time response) of the target acoustic space and a delay time t j (j = 1, 2,... G). Filter coefficients ht j (j = 1, 2,... G) are set, and these filter coefficients ht j (j = 1, 2,... G) are arranged in time axis order. When the impulse response (time response) in the filter coefficient ht j (j = 1, 2,... G) is Fourier-transformed, the frequency response of the target acoustic space is obtained. The frequency response obtained by the Fourier transform includes an amplitude characteristic and a phase characteristic in the target acoustic space. FIGS. 3A and 3B show filter coefficient values h j (j = 1, 2,... G) forming reverberation pattern filter coefficients ht j (j = 1, 2,... G) and a delay time t j (j = 1, 2,... G) is an example. As shown in FIG. 3 (A) and FIG. 3 (B), the reverberation pattern set in each of the FIR filters 52-i (i = 1 to 4) has a time as shown in FIG. 3 (A). Various things can be considered, such as those that abruptly attenuate with the passage of time, and those that attenuate relatively slowly as shown in FIG.

図2において、FIRフィルタ53−i(i=1〜4)が出力した残響音信号は、PEQ(Parametric Equalizer)54−i(i=1〜4)によるイコライジングとコンプレッサ55−i(i=1〜4)によるダイナミックレンジ圧縮とを経た後、スイッチ56−i(i=1〜4)および加算器57−i(i=1〜4)を経由してレベル・ディレイマトリックス58へ入力される。スイッチ56−i(i=1〜4)は、音響帰還状態のオンとオフとを切り換える役割を果たす。また、加算器57−i(i=1〜4)は、ノイズジェネレータ64から信号が出力されている場合に、その出力信号をレベル・ディレイマトリックス58へ供給する役割を果たす。詳細については後述するが、ノイズジェネレータ64の出力信号は、音響空間1のインパルス応答を計測する際に利用される。   In FIG. 2, the reverberation signal output from the FIR filter 53-i (i = 1 to 4) is equalized by a PEQ (Parametric Equalizer) 54-i (i = 1 to 4) and the compressor 55-i (i = 1). After passing through the dynamic range compression in (4) to (4), the signals are input to the level / delay matrix 58 via the switch 56-i (i = 1 to 4) and the adder 57-i (i = 1 to 4). The switch 56-i (i = 1 to 4) plays a role of switching the acoustic feedback state between on and off. The adder 57-i (i = 1 to 4) plays a role of supplying the output signal to the level / delay matrix 58 when a signal is output from the noise generator 64. As will be described in detail later, the output signal of the noise generator 64 is used when measuring the impulse response of the acoustic space 1.

レベル・ディレイマトリックス58は、加算器57−i(i=1〜4)に繋がる4本の入力信号線(不図示)の各々とパワーアンプ部32へ繋がるMチャネル分の出力信号線(不図示)の各々とを交差させ、交差位置の各々にゲイン調整用可変抵抗(不図示)と遅延素子(不図示)とを配した装置である。このレベル・ディレイマトリックス58に入力される4系統の残響音信号は、各々の入力信号線と1〜Mの各チャネルの出力信号線との交差位置においてゲイン調整や位相調整が施され、Mチャネルに分割される。そして、分割されたMチャネルの残響音信号の各々は、D/A変換器(不図示)にてアナログ信号に変換され、変換されたアナログ信号はパワーアンプ部32による増幅を経てスピーカ20−m(m=1,2…M)へ出力される。   The level delay matrix 58 includes four input signal lines (not shown) connected to the adders 57-i (i = 1 to 4) and output signal lines (not shown) for M channels connected to the power amplifier unit 32. ), And a variable resistor for gain adjustment (not shown) and a delay element (not shown) are arranged at each of the crossing positions. The four systems of reverberation signals input to the level delay matrix 58 are subjected to gain adjustment and phase adjustment at the crossing positions of the respective input signal lines and the output signal lines of the respective channels 1 to M, and M channels. It is divided into. Each of the divided M-channel reverberation signals is converted into an analog signal by a D / A converter (not shown), and the converted analog signal is amplified by the power amplifier unit 32 and then the speaker 20-m. (M = 1, 2,... M).

CPU61は、当該音場支援装置40の制御中枢であり、RAM62をワークエリアとして利用しつつ、ROM63に記憶された制御プログラムを実行する。ROM63には、複数種の残響パターンを格納したFIRライブラリ(図示省略)が格納されており、制御プログラムにしたがって作動しているCPU61は、このFIRライブラリに格納されている残響パターンのうちから音響空間1のインパルス応答の減衰特性に応じたものを選択してFIRフィルタ53−iの各々に設定する処理(以下、フィルタ係数列最適化処理)を実行する。なお、本実施形態では、ROM63にFIRライブラリを予め格納しておいたが、例えばUSBメモリなどの外部メモリにFIRライブラリを格納しておき、USBインターフェイスなどを介してこの外部メモリを音場支援装置40に接続し、その外部メモリに格納されているFIRライブラリから残響パターンを読み出す処理をCPU61に実行させても良い。そして、図2の操作部65は、複数の操作子を備えた入力装置であり、上記プログラムの実行開始指示の入力などの各種入力操作を利用者に行わせるためのものである。
以下、本実施形態の特徴であるフィルタ係数列最適化処理について詳細に説明する。
The CPU 61 is a control center of the sound field support apparatus 40 and executes a control program stored in the ROM 63 while using the RAM 62 as a work area. The ROM 63 stores an FIR library (not shown) in which a plurality of types of reverberation patterns are stored. The CPU 61 operating according to the control program can select an acoustic space from the reverberation patterns stored in the FIR library. A process (hereinafter referred to as a filter coefficient sequence optimization process) of selecting one corresponding to the attenuation characteristic of the impulse response of 1 and setting it in each of the FIR filters 53-i is executed. In this embodiment, the FIR library is stored in the ROM 63 in advance. However, the FIR library is stored in an external memory such as a USB memory, and the external memory is stored in the sound field support device via the USB interface or the like. It is also possible to cause the CPU 61 to execute processing for reading a reverberation pattern from the FIR library stored in the external memory. The operation unit 65 in FIG. 2 is an input device including a plurality of operators, and is used for causing the user to perform various input operations such as inputting an instruction to start execution of the program.
Hereinafter, the filter coefficient sequence optimization process, which is a feature of the present embodiment, will be described in detail.

図4は、フィルタ係数列最適化処理の流れを説明するための図である。このフィルタ係数列最適化処理は、概ね3つのステップに大別される。第1のステップは、音響空間1のインパルス応答の減衰曲線、およびFIRライブラリに格納されている複数種の残響パターンの各々についてそのフィルタ係数列の減衰曲線を表わすデータを取得する処理(図4:第1の減衰曲線データ取得処理S01aおよび第2の減衰曲線データ取得処理S01b)である。これら第1の減衰曲線データ取得処理S01aおよび第2の減衰曲線データ取得処理S01bについてはどちらを先に実行しても良く、また、両者を並列に実行しても良い。第2のステップは、FIRフィルタ53−i(i=1〜4)の各々に設定する残響パターンの選択を行うための指標となるデータを上記各減衰曲線を表わすデータから算出する処理(図4:第1の指標算出処理S02aおよび第2の指標算出処理S02b)である。これら第1の指標算出処理S02aおよび第2の指標算出処理S02bについても、どちらを先に実行しても良く、また、両者を並列に実行しても良い。そして、第3のステップは、FIRフィルタ53−i(i=1〜4)の各々について、上記第2のステップで算出した指標に基づいてフィルタ係数列(残響パターン)を選択し、その残響パターンを設定するフィルタ係数列設定処理S03である。   FIG. 4 is a diagram for explaining the flow of the filter coefficient sequence optimization process. This filter coefficient sequence optimization process is roughly divided into three steps. The first step is a process of acquiring data representing the attenuation curve of the impulse response of the acoustic space 1 and the attenuation curve of the filter coefficient sequence for each of a plurality of types of reverberation patterns stored in the FIR library (FIG. 4: First attenuation curve data acquisition process S01a and second attenuation curve data acquisition process S01b). Either the first attenuation curve data acquisition process S01a or the second attenuation curve data acquisition process S01b may be executed first, or both may be executed in parallel. The second step is a process of calculating data serving as an index for selecting a reverberation pattern set in each of the FIR filters 53-i (i = 1 to 4) from data representing the attenuation curves (FIG. 4). : First index calculation process S02a and second index calculation process S02b). Either of the first index calculation process S02a and the second index calculation process S02b may be executed first, or both may be executed in parallel. The third step selects a filter coefficient sequence (reverberation pattern) for each of the FIR filters 53-i (i = 1 to 4) based on the index calculated in the second step, and the reverberation pattern. Is a filter coefficient string setting process S03.

図4の第1の減衰曲線データ取得処理S01aは、音響空間1のインパルス応答の減衰曲線e(t)IRを表す第1の減衰曲線データを取得する処理である。より詳細に説明すると、CPU61は、まず、音響空間1のインパルス応答の波形を示すデータを以下の要領で取得する。CPU61は、まず、スイッチ56−i(i=1〜4)をオフ状態に切り換えるとともに、FIRフィルタ53−i(i=1〜4)の各々を、入力信号がFIRフィルタ53−iの内部を経由せずに出力される状態(「バイパススルー状態」)に切り換える。次いで、CPU61は、ノイズジェネレータ64にインパルス応答計測用の信号(例えば、ピンクノイズ信号など)を所定時間(例えば、2秒間)だけ発生させる。このようにしてノイズジェネレータ64から出力される信号は、CPU61へ供給されるとともに、加算器57−i(i=1〜4)、レベル・ディレイマトリクス58およびパワーアンプ部32を経由してスピーカ20−m(m=1〜M)から音響空間1へテスト音として放射される。そして、音響空間1におけるテスト音の応答音がマイクロホン10−k(k=1〜8)によって収音され、その収音信号がマイクアンプ部31、ミキサ51、EMR52を介してCPU61へ入力される。CPU61は、上記収音信号を表すサンプリングデータg(s)について以下の数5に示す演算を施すことにより、音響空間1のインパルス応答の減衰曲線e(t)IRを表す第1の減衰曲線データを取得する。なお、本実施形態ではτ=25ミリ秒として数5に示す演算を行ったが、このτについてどのような値を用いるかについては適宜実験を行って定めれば良い。

Figure 0005217875
The first attenuation curve data acquisition process S01a in FIG. 4 is a process for acquiring first attenuation curve data representing the attenuation curve e (t) IR of the impulse response of the acoustic space 1. If it demonstrates in detail, CPU61 will acquire the data which show the waveform of the impulse response of the acoustic space 1 first in the following ways. First, the CPU 61 switches the switch 56-i (i = 1 to 4) to the OFF state, and the FIR filter 53-i (i = 1 to 4) is input to the FIR filter 53-i. Switch to a state that outputs without going through ("bypass through state"). Next, the CPU 61 causes the noise generator 64 to generate an impulse response measurement signal (for example, a pink noise signal) for a predetermined time (for example, 2 seconds). The signal output from the noise generator 64 in this way is supplied to the CPU 61, and also via the adder 57-i (i = 1 to 4), the level / delay matrix 58 and the power amplifier unit 32. -M (m = 1 to M) is radiated to the acoustic space 1 as a test sound. The response sound of the test sound in the acoustic space 1 is collected by the microphone 10-k (k = 1 to 8), and the collected sound signal is input to the CPU 61 via the microphone amplifier unit 31, the mixer 51, and the EMR 52. . The CPU 61 performs the calculation shown in the following equation 5 on the sampling data g (s) representing the sound collection signal, thereby the first attenuation curve data representing the attenuation curve e (t) IR of the impulse response of the acoustic space 1. To get. In this embodiment, the calculation shown in Equation 5 is performed with τ = 25 milliseconds. However, what value should be used for τ may be determined by performing experiments as appropriate.
Figure 0005217875

図4の第2の減衰曲線データ取得処理S01bは、FIRライブラリに格納されている複数種の残響パターンの各々におけるフィルタ係数列の減衰曲線e(t)FIRを表す第2の減衰曲線データを取得する処理である。より詳細に説明すると、CPU61は、FIRライブラリに格納されている複数種の残響パターンの各々におけるフィルタ係数値と遅延時間の組み合わせに対して上記数5に示す演算(より詳細には、数5における積分を遅延時間tについての総和に置き換え、g(s)をフィルタ係数値htに置き換えた演算)を行うことにより、上記インパルス応答の減衰曲線e(t)FIRを表す第2の減衰曲線データを取得する。
上記のようにして取得された第1および第2の減衰曲線データ(図4では、これらデータをe(t)IRおよびe(t)FIRと表記)は、第1の指標算出処理S02aおよび第2の指標算出処理S02bの入力データとなる。
The second attenuation curve data acquisition process S01b in FIG. 4 acquires the second attenuation curve data representing the attenuation curve e (t) FIR of the filter coefficient sequence in each of a plurality of types of reverberation patterns stored in the FIR library. It is processing to do. More specifically, the CPU 61 performs the operation shown in Equation 5 above (more specifically, in Equation 5) with respect to the combination of the filter coefficient value and the delay time in each of a plurality of types of reverberation patterns stored in the FIR library. A second attenuation curve representing the attenuation curve e (t) FIR of the impulse response by performing an operation in which the integration is replaced with the sum for the delay time t j and g (s) is replaced with the filter coefficient value ht j. Get the data.
The first and second attenuation curve data obtained as described above (in FIG. 4, these data are expressed as e (t) IR and e (t) FIR ) are the first index calculation process S02a and This is input data for the second index calculation process S02b.

図4の第1の指標算出処理S02aは、スピーカ再生音のジャリジャリ感に関連する指標を第1および第2の減衰曲線データから算出する処理である。このようなジャリジャリ感を示す指標としては種々のものを用いることが考えられるが、本実施形態では、以下の数6を満たす時刻tを対象に以下の数7に示す演算を行って得られる値Xが上記第1の指標として用いられている。これら数6および数7において、e(t)IRおよびe(t)FIRの各々は、音響空間1のインパルス応答の減衰曲線e(t)IRとフィルタ係数例の減衰曲線e(t)FIRの各々にピーク位置が互いに重なる様に時間軸方向のオフセットを施して得られる減衰曲線である。例えば、音響空間1のインパルス応答の減衰曲線e(t)IRが図5(A)に示す波形であり、フィルタ係数列の減衰曲線e(t)FIRが図5(B)に示す波形である場合、CPU61は、図5(C)に示すように、e(t)IRについてはt´=ti+2(i=0、1、2…)と時間軸方向のオフセットを施すことにより減衰曲線e(t)IRを取得し、e(t)FIRについては、t´=ti+4(i=0、1、2…)と時間軸方向のオフセットを施すことにより減衰曲線e(t)FIRを取得する。また、CPU61は、上記のようにして得られた減衰曲線e(t)FIRについて、そのピーク位置の時刻とその振幅が略ゼロになる時刻の時間差tmax(図5(C)参照)を算出する。このtmaxは数7に示す演算を行う際に利用される。

Figure 0005217875

Figure 0005217875
The first index calculation process S02a in FIG. 4 is a process for calculating an index related to the crispness of the reproduced sound of the speaker from the first and second attenuation curve data. It is conceivable to use various indicators as the index indicating such a crispness. In this embodiment, the value obtained by performing the calculation shown in the following equation 7 for the time t satisfying the following equation 6: X is used as the first index. In Equations 6 and 7, each of e o (t) IR and e o (t) FIR represents an attenuation curve e (t) IR of the impulse response of the acoustic space 1 and an attenuation curve e (t) of the filter coefficient example. It is an attenuation curve obtained by applying an offset in the time axis direction so that peak positions overlap each other in each FIR . For example, the attenuation curve e (t) IR of the impulse response of the acoustic space 1 is the waveform shown in FIG. 5A, and the attenuation curve e (t) FIR of the filter coefficient sequence is the waveform shown in FIG. In this case, as shown in FIG. 5C, the CPU 61 applies an offset in the time axis direction to t i ′ = t i + 2 (i = 0, 1, 2,...) For e (t) IR. e o (t) IR is obtained, and for the e (t) FIR , the attenuation curve e o (t is obtained by applying an offset in the time axis direction as t i ′ = t i + 4 (i = 0, 1, 2,...). ) Get the FIR . Further, the CPU 61 calculates a time difference tmax (see FIG. 5C) between the time at the peak position and the time at which the amplitude becomes substantially zero for the attenuation curve e o (t) FIR obtained as described above. To do. This tmax is used when the calculation shown in Equation 7 is performed.
Figure 0005217875

Figure 0005217875

数7にしたがって演算されるXは、音響空間1のインパルス応答の減衰曲線e(t)IRから突出しているフィルタ係数列の減衰曲線e(t)FIRの部分(図6にてハッチングで示した部分)の面積にそれら各部分の時間軸上での位置(すなわち、時刻t)の応じた重み(数7におけるt/tmax)を乗じて得られる値である。上記数7に示す演算により求まる値Xを上記ジャリジャリ感を評価するための指標として用いる理由は、上記突出している部分の面積が大きいほど、また、かかる部分がtmaxの近くに位置するほど、スピーカ再生音におけるジャリジャリ感が強くなるといった実験結果が得られたことによる。なお、本実施形態では、スピーカ再生音のジャリジャリ感を表す指標として数7にしたがって演算される値Xを用いたが、以下の数8に示す演算により求まる値X´を用いても良い。要は、フィルタ係数列の減衰曲線と音響空間1のインパルス応答の減衰曲線とをピーク位置を重ね合わせて描いた場合に、後者の減衰曲線から突出している前者の減衰曲線の部分の各々におけるその突出の程度にそれらの部分が占める時間軸上での位置に応じた重みを乗算して得られる値であれば良い。

Figure 0005217875

数8においてmおよびnは任意の自然数(ただし、m=1のときはn≠1、n=1のときはm≠1) X is calculated according to Equation 7, the hatched at attenuation curve e o (t) decay curve e o (t) FIR portion of the filter coefficient string protruding from IR (FIG. 6 of the impulse response of the acoustic space 1 It is a value obtained by multiplying the area (shown part) by the weight (t / tmax in Equation 7) corresponding to the position of each part on the time axis (that is, time t). The reason why the value X obtained by the calculation shown in Equation 7 is used as an index for evaluating the crispness is that the larger the area of the protruding portion and the closer the portion is to tmax, the larger the speaker. This is because the experimental result that the crispness in the reproduced sound becomes stronger is obtained. In the present embodiment, the value X calculated according to Equation 7 is used as an index representing the crispness of the reproduced sound of the speaker. However, the value X ′ obtained by the calculation shown in Equation 8 below may be used. The point is that when the attenuation curve of the filter coefficient sequence and the attenuation curve of the impulse response of the acoustic space 1 are drawn with the peak positions overlapped, the respective ones of the former attenuation curves protruding from the latter attenuation curve. Any value obtained by multiplying the degree of protrusion by the weight corresponding to the position on the time axis occupied by those portions may be used.
Figure 0005217875

In Equation 8, m and n are arbitrary natural numbers (however, n ≠ 1 when m = 1, m ≠ 1 when n = 1)

図4の第2の指標算出処理S02bは、スピーカ再生音のパラパラ感に関連する指標を第1および第2の減衰曲線データから算出する処理である。このようなパラパラ感を示す指標としては種々のものを用いることが考えられるが、本実施形態では、以下の数9に示す演算により得られる値ρxyを用いた。この数9においてσはe(t)FIRについての標準偏差であり、σはe(t)IRについての標準偏差である。また、数9のσxyは、以下の数10にしたがって算出される値であり、数10の<e(t)FIR>はe(t)FIRの平均値、<e(t)IR>はe(t)IRの平均値である。つまり、数9にしたがって演算される値ρxyは、減衰曲線e(t)FIRと減衰曲線e(t)IRの相関係数であり、両減衰曲線の類似度を表す。

Figure 0005217875

Figure 0005217875

The second index calculation process S02b in FIG. 4 is a process for calculating an index related to the feeling of parallax of the speaker playback sound from the first and second attenuation curve data. It is conceivable to use various indicators as such a feeling of parallax, but in this embodiment, the value ρ xy obtained by the calculation shown in the following equation 9 is used. In Equation 9, σ x is a standard deviation for e o (t) FIR , and σ y is a standard deviation for e o (t) IR . In addition, σ xy in Equation 9 is a value calculated according to Equation 10 below, and <e o (t) FIR > in Equation 10 is an average value of e o (t) FIR , <e o (t) IR > is the average of e o (t) IR . That is, the value [rho xy is calculated according to Equation 9, the correlation coefficient of the attenuation curve e o and (t) FIR decay curve e o (t) IR, represents the similarity of both decay curves.
Figure 0005217875

Figure 0005217875

ここで、減衰曲線e(t)FIRの波形と減衰曲線e(t)IRの波形の類似度を示す値をフィルタ係数列選択のための指標として用いるのは以下の理由による。図7は、減衰曲線e(t)IRと、あるフィルタ係数列の減衰曲線e(t)FIRとを描いたグラフであり、両者の波形は図7にて点線で囲った部分で大きく異なっている。この波形の相違が前述したパラパラ感として知覚されていることが本出願人の行った実験により判明した。つまり、スピーカ再生音におけるパラパラ感を抑止するためには、音響空間1のインパルス応答の減衰曲線との類似度が高い減衰曲線を有するフィルタ係数列をFIRフィルタ53−i(i=1〜4)の各々に設定すれば良い。これが、減衰曲線e(t)FIRの波形と減衰曲線e(t)IRの波形の類似度を示す値をフィルタ係数列選択のための指標として用いる理由である。なお、本実施形態では、減衰曲線e(t)FIRの波形と減衰曲線e(t)IRの波形の類似度を示す指標として相関係数を用いたが他の指標を用いても勿論良い。このような指標の一例としては、例えば減衰曲線e(t)FIRと減衰曲線e(t)IRを多次元空間内の座標点として表現した場合におけるこれら2点間の距離(例えば、ユークリッド距離:これら2点間の距離が短いほど両減衰曲線は類似する)を用いることが考えられる。 Here, the value indicating the similarity between the waveform of the attenuation curve e o (t) FIR and the waveform of the attenuation curve e o (t) IR is used as an index for selecting a filter coefficient sequence for the following reason. FIG. 7 is a graph depicting an attenuation curve e o (t) IR and an attenuation curve e o (t) FIR of a certain filter coefficient sequence. The waveforms of both are large in a portion surrounded by a dotted line in FIG. Is different. Experiments conducted by the present applicant have revealed that this difference in waveform is perceived as the above-mentioned feeling of parallax. In other words, in order to suppress the parallax in the reproduced sound of the speaker, a filter coefficient sequence having an attenuation curve having a high similarity to the attenuation curve of the impulse response in the acoustic space 1 is used as the FIR filter 53-i (i = 1 to 4). Should be set for each of the above. This is the reason why a value indicating the similarity between the waveform of the attenuation curve e o (t) FIR and the waveform of the attenuation curve e o (t) IR is used as an index for selecting a filter coefficient sequence. In the present embodiment, the correlation coefficient is used as an index indicating the similarity between the waveform of the attenuation curve e o (t) FIR and the waveform of the attenuation curve e o (t) IR. good. As an example of such an index, for example, when the attenuation curve e o (t) FIR and the attenuation curve e o (t) IR are expressed as coordinate points in a multidimensional space (for example, Euclidean It is conceivable to use distance: the shorter the distance between these two points, the more similar the attenuation curves.

図4のフィルタ係数列設定処理S03は、第1の指標算出処理S02aにより算出された第1の指標(本実施形態では、X)と第2の指標算出処理S02bにより算出された第2の指標(本実施形態では、ρxy)とに基づいて、FIRライブラリに格納されている複数種の残響パターンのうちから、FIRフィルタ53−i(i=1〜4)の各々に設定するものを選択し、その設定を行う処理である。より詳細に説明すると、このフィルタ係数列設定処理S03においてCPU61は、FIRライブラリに格納されている複数種の残響パターンのうち、そのフィルタ係数列の減衰曲線について算出される第1の指標が予め定められた第1の閾値の近傍の値であり、かつ、第2の指標の示す類似度が予め定められた第2の閾値以上であるものを選択して設定する。 The filter coefficient string setting process S03 in FIG. 4 includes the first index (X in the present embodiment) calculated by the first index calculation process S02a and the second index calculated by the second index calculation process S02b. Based on (in this embodiment, ρ xy ), one to be set for each of the FIR filters 53-i (i = 1 to 4) is selected from a plurality of types of reverberation patterns stored in the FIR library. In this process, the setting is performed. More specifically, in the filter coefficient sequence setting process S03, the CPU 61 determines in advance a first index calculated for the attenuation curve of the filter coefficient sequence from among a plurality of types of reverberation patterns stored in the FIR library. A value that is a value in the vicinity of the first threshold value and whose similarity indicated by the second index is equal to or greater than a predetermined second threshold value is selected and set.

ここで、第1の指標についての評価を行うための第1の閾値、および第2の指標についての評価を行うための第2の閾値については、上記第1および第2の指標としてどのような種類のものを用いるかに応じて適宜定める必要がある。ただし、上記第1の閾値については、小さくなりすぎないように留意する必要がある。上記第1の閾値を小さくしすぎると、フィルタ係数列設定処理S03において、例えば減衰曲線e(t)FIRの大半が減衰曲線e(t)IRを下回るようなフィルタ係数列(すなわち、FIRフィルタの周波数特性が音響空間の周波数特性に埋もれてしまうようなフィルタ係数列)がFIRフィルタ53−iに設定され、FIRフィルタ53−iが残響音や反射音の生成といった本来の機能を果たさなくなる虞があるからである。例えば、第1の指標として前掲数7にしたがって演算されるXを用いる場合には、上記第1の閾値として450またはその近傍の値を用いることが好ましく、上記第2の指標として前掲数9にしたがって演算されるρxyを用いる場合には、上記第2の閾値として0.75以上の値を用いることが好ましいことが本出願人の行った実験により判明した。 Here, as for the first threshold value for performing the evaluation on the first index and the second threshold value for performing the evaluation on the second index, what are the first and second indices? It is necessary to determine appropriately according to whether the type is used. However, it should be noted that the first threshold value is not too small. When the too small the first threshold value, the filter coefficient sequence setting processing S03, for example, the attenuation curve e o (t) most of the FIR attenuation curve e o (t) filter coefficient sequence as below IR (i.e., FIR A filter coefficient sequence in which the frequency characteristics of the filter are buried in the frequency characteristics of the acoustic space) is set in the FIR filter 53-i, and the FIR filter 53-i does not perform its original function of generating reverberant sound or reflected sound. This is because there is a fear. For example, when X calculated according to the above-mentioned number 7 is used as the first index, it is preferable to use 450 or a value in the vicinity thereof as the first threshold, and to the above-mentioned number 9 as the second index. Therefore, when using the calculated ρ xy , it has been found by experiments conducted by the present applicant that it is preferable to use a value of 0.75 or more as the second threshold value.

さて、FIRフィルタ53−iに設定するフィルタ係数列を上記第1および第2の指標に基づいて決定する態様としては、種々のものが考えられるがその一例を挙げると以下の通りである。第1に、第2の指標の値が予め定められた第2の閾値以上であるフィルタ係数列のうちで、第1の指標の値が予め定められた第1の閾値に最も近いものをFIRフィルタ53−iに設定する態様や、第1の指標の値が予め定められた第1の閾値を中心とする所定範囲に収まっているフィルタ係数列のうちで、第2の指標の表す類似度が最大のものをFIRフィルタ53−iに設定する態様である。これらの態様によれば、利用者に特段の操作を行わせることなく、音響空間1の音響特性に適したフィルタ係数列を自動的にFIRフィルタ53−iに設定することが可能になる。   Various modes are conceivable as modes for determining the filter coefficient sequence to be set in the FIR filter 53-i based on the first and second indices, and examples thereof are as follows. First, among filter coefficient sequences in which the value of the second index is greater than or equal to a predetermined second threshold value, the one having the value of the first index closest to the predetermined first threshold value is FIR. The mode set in the filter 53-i and the similarity represented by the second index among the filter coefficient sequences in which the value of the first index falls within a predetermined range centered on a predetermined first threshold value Is a mode in which the maximum is set in the FIR filter 53-i. According to these aspects, it is possible to automatically set the filter coefficient sequence suitable for the acoustic characteristics of the acoustic space 1 in the FIR filter 53-i without causing the user to perform a special operation.

第2の態様は、第1の指標の値が上記第1の閾値を中心とする所定範囲(例えば、第1の閾値が450である場合には、この値を中心とする±50の範囲など)に属し、かつ、第2の指標の表す類似度が上記第2の閾値以上であるフィルタ係数列に関し、そのフィルタ係数列を一意に識別する識別子(例えば、FIRライブラリに格納されている複数種の残響パターンの各々に付与された一連番号など)と、そのフィルタ係数列に関して算出された第1および第2の指標と、tmaxとを図8に示す要領で表示装置(図示省略)にリスト表示させ、操作部65に対する操作によりFIRフィルタ53−i(i=1〜4)の各々に設定するフィルタ係数列を利用者に選択させる態様である。この態様によれば、例えばtmaxの値が最も大きい(すなわち、残響時間が最も長い)ものを選択する等、FIRフィルタ53−iに設定するフィルタ係数列を柔軟に選択することが可能になる。なお、このようにtmaxの値に基づいてフィルタ係数列の選択を行ったとしても、上記リスト表示されるフィルタ係数列は、何れも第1および第2の指標に関して一定の条件を満たしているものであるから、そのフィルタ係数列をFIRフィルタ53−iに設定した場合におけるスピーカ再生音のジャリジャリ感やパラパラ感が抑止されることは言うまでも無い。   The second aspect is a predetermined range in which the value of the first index is centered on the first threshold (for example, when the first threshold is 450, a range of ± 50 centered on this value, etc.) ) And a filter coefficient string whose similarity represented by the second index is equal to or higher than the second threshold value, an identifier for uniquely identifying the filter coefficient string (for example, a plurality of types stored in the FIR library) A series number assigned to each of the reverberation patterns in FIG. 8, the first and second indices calculated with respect to the filter coefficient sequence, and tmax in the manner shown in FIG. 8 on a display device (not shown). In this mode, the user selects a filter coefficient sequence to be set in each of the FIR filters 53-i (i = 1 to 4) by an operation on the operation unit 65. According to this aspect, it is possible to flexibly select the filter coefficient sequence to be set in the FIR filter 53-i, for example, by selecting the one having the largest value of tmax (that is, the one having the longest reverberation time). Even when the filter coefficient string is selected based on the value of tmax as described above, the filter coefficient string displayed in the list satisfies both of the first and second indices. Therefore, it is needless to say that the crispness and paralysis of the reproduced sound of the speaker when the filter coefficient sequence is set to the FIR filter 53-i is suppressed.

以上説明したように、本実施形態によれば、音場支援システムにおいて、ハウリングや音のカラーレーションなどの不具合の発生を回避することは勿論、音響技術者等がスピーカ20−mの各々の再生音を実際に聞き取って確かめることなく、再生音の音質を向上させることが可能になる、といった効果を奏する。   As described above, according to the present embodiment, in the sound field support system, not only the occurrence of problems such as howling and sound coloration can be avoided, but also an acoustic engineer can reproduce each of the speakers 20-m. There is an effect that it is possible to improve the sound quality of the reproduced sound without actually listening to and confirming the sound.

(B:他の実施形態)
以上、本発明の一実施形態について説明したが、他にも以下の実施形態が考えられる。
(1)上述した実施形態では、音響空間1についてのインパルス応答を計測し、その計測結果からその減衰曲線を表す減衰曲線データを算出して取得した。しかし、音響空間1のインパルス応答の計測結果を示すデータが格納された外部メモリを音場支援装置40に接続し、この外部メモリに格納されているデータから上記減衰曲線を表す減衰曲線データを算出しても良い。また、音響空間1のインパルス応答の減衰曲線を表す減衰曲線データが格納された外部メモリを音場支援装置40に接続し、この外部メモリに格納されている減衰曲線データを読み出しても良い。同様に、各フィルタ係数列の減衰曲線を表すデータを予め算出しておき、フィルタ係数値と遅延時間の対および上記減衰曲線を表すデータを残響パターンとしても勿論良い。
(B: Other embodiments)
Although one embodiment of the present invention has been described above, the following embodiments are also conceivable.
(1) In the above-described embodiment, the impulse response for the acoustic space 1 is measured, and attenuation curve data representing the attenuation curve is calculated and acquired from the measurement result. However, an external memory storing data indicating the measurement result of the impulse response of the acoustic space 1 is connected to the sound field support device 40, and attenuation curve data representing the attenuation curve is calculated from the data stored in the external memory. You may do it. Further, an external memory storing attenuation curve data representing an attenuation response curve of the acoustic space 1 may be connected to the sound field support device 40, and the attenuation curve data stored in the external memory may be read. Similarly, data representing the attenuation curve of each filter coefficient sequence may be calculated in advance, and the filter coefficient value / delay time pair and the data representing the attenuation curve may be used as a reverberation pattern.

(2)上述した実施形態では、本発明に特徴的なフィルタ係数列最適化処理(図4参照)をCPU61に実行させる制御プログラムがROM63に予め格納されていた。しかし、例えばCD−ROM(Compact Disk-Read Only Memory)などのコンピュータ装置読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。これらのようにして配布されるプログラムを一般的なコンピュータ装置(例えば、パーソナルコンピュータなど)に記憶させ、そのコンピュータ装置の制御部(CPU)をそのプログラムにしたがって作動させることによって、これら一般的なコンピュータ装置に上記実施形態に係る音場支援装置40と同一の機能を付与することができるからである。 (2) In the embodiment described above, a control program for causing the CPU 61 to execute the filter coefficient sequence optimization process (see FIG. 4) characteristic of the present invention is stored in the ROM 63 in advance. However, the program may be distributed by being written on a computer-readable recording medium such as a CD-ROM (Compact Disk-Read Only Memory), or the program may be downloaded via a telecommunication line such as the Internet. You may distribute it. The programs distributed as described above are stored in a general computer device (for example, a personal computer), and the control unit (CPU) of the computer device is operated according to the program, thereby the general computer. This is because the same function as the sound field support device 40 according to the above embodiment can be given to the device.

(3)上述した実施形態では、本発明に特徴的なフィルタ係数列最適化処理(図4)をソフトウェアで実現したが、ハードウェアで実現しても勿論良い。具体的には、音場制御の対象となる音響空間(例えば、上記実施形態における音響空間1)のインパルス応答の減衰曲線を表す第1の減衰曲線データ、および各フィルタ係数列の減衰曲線を表す第2の減衰曲線データを取得する減衰曲線データ取得手段、フィルタ係数列の選択を行うための指標となるデータを算出する算出手段、その指標に基づいてフィルタ係数列の選択およびFIRフィルタへの設定を行うフィルタ係数列設定手段の各々を電子回路で構成し、これら各手段を組み合わせて音場支援装置を構成しても良い。 (3) In the above-described embodiment, the filter coefficient sequence optimization process (FIG. 4) characteristic of the present invention is realized by software, but may of course be realized by hardware. Specifically, the first attenuation curve data representing the attenuation curve of the impulse response of the acoustic space (for example, the acoustic space 1 in the above embodiment) to be subjected to sound field control, and the attenuation curve of each filter coefficient sequence are represented. Attenuation curve data acquisition means for acquiring second attenuation curve data, calculation means for calculating data as an index for selecting a filter coefficient string, selection of a filter coefficient string based on the index, and setting to the FIR filter Each of the filter coefficient string setting means for performing the above may be configured by an electronic circuit, and the sound field support apparatus may be configured by combining these means.

本発明の一実施形態に係る音場支援装置40を含む音場支援システムの構成例を示す図である。It is a figure which shows the structural example of the sound field assistance system containing the sound field assistance apparatus 40 which concerns on one Embodiment of this invention. 同音場支援装置40の構成例を示す図である。It is a figure which shows the structural example of the same sound field assistance apparatus. 同音場支援装置40のFIRフィルタ53−i(i=1〜4)に設定される残響パターンの一例を示す図である。It is a figure which shows an example of the reverberation pattern set to FIR filter 53-i (i = 1-4) of the same sound field assistance apparatus 40. FIG. 同音場支援装置40のCPU61が実行するフィルタ係数列最適化処理の流れを示す図である。It is a figure which shows the flow of the filter coefficient sequence optimization process which CPU61 of the same sound field assistance apparatus 40 performs. 同CPU61が第1および第2の指標算出処理で実行するオフセット付与処理を説明するための図である。It is a figure for demonstrating the offset provision process which the CPU61 performs by the 1st and 2nd parameter | index calculation process. 同フィルタ係数列最適化処理に含まれる第1の指標算出処理S02aで算出される第1の指標Xの意味を説明するための図である。It is a figure for demonstrating the meaning of the 1st parameter | index X calculated by 1st parameter | index calculation process S02a included in the filter coefficient sequence optimization process. 同フィルタ係数列最適化処理に含まれる第2の指標算出処理S02bで算出される第2の指標ρxyの意味を説明するための図である。It is a figure for demonstrating the meaning of 2nd parameter | index (rho) xy calculated by 2nd parameter | index calculation process S02b included in the same filter coefficient sequence optimization process. 第1の指標Xおよび第2の指標ρxyに基づいて絞り込まれた設定候補のうちから、FIRフィルタに設定するフィルタ係数列をユーザに選択させるためのUI画面の一例を示す図である。It is a figure which shows an example of UI screen for making a user select the filter factor sequence set to a FIR filter from the setting candidates narrowed down based on the 1st parameter | index X and the 2nd parameter | index (rho) xy . 音場支援システムの動作を説明するための図である。It is a figure for demonstrating operation | movement of a sound field assistance system.

符号の説明Explanation of symbols

1…音響空間、10−k(k=1〜8)…マイクロホン、20−m(m=1〜M)…スピーカ、31…マイクアンプ部、32…パワーアンプ部、40…音場支援装置、51…ミキサ、52…EMR、53−i(i=1〜4)…FIRフィルタ、54−i(i=1〜4)…PEQ、55−i(i=1〜4)…コンプレッサ、56−i(i=1〜4)…スイッチ、57−i(i=1〜4)…加算器、58…レベル・ディレイマトリクス、61…CPU、62…RAM、63…ROM、64…ノイズジェネレータ、65…操作部。   DESCRIPTION OF SYMBOLS 1 ... Acoustic space, 10-k (k = 1-8) ... Microphone, 20-m (m = 1-M) ... Speaker, 31 ... Microphone amplifier part, 32 ... Power amplifier part, 40 ... Sound field assistance apparatus, 51 ... Mixer, 52 ... EMR, 53-i (i = 1-4) ... FIR filter, 54-i (i = 1-4) ... PEQ, 55-i (i = 1-4) ... Compressor, 56- i (i = 1 to 4) ... switch, 57-i (i = 1 to 4) ... adder, 58 ... level delay matrix, 61 ... CPU, 62 ... RAM, 63 ... ROM, 64 ... noise generator, 65 ... operation part.

Claims (5)

音響空間のインパルス応答の減衰曲線を表わす第1のデータを取得する一方、前記音響空間内に配置されるスピーカと前記スピーカから出力される音を収音するマイクロホンとに接続されて閉ループを形成するFIR(Finite Impulse Response)フィルタに各々設定される複数種のフィルタ係数列が格納されたFIRライブラリから前記複数種のフィルタ係数列の各々を選択し、そのフィルタ係数列についての減衰曲線を表す第2のデータを取得する減衰曲線データ取得手段と、
前記第2のデータの各々について、当該第2のデータの表す減衰曲線と前記第1のデータの表す減衰曲線とをピーク位置を重ね合わせて描いた場合に、後者の減衰曲線から突出している前者の減衰曲線の部分の各々におけるその突出の程度にその部分が占める時間軸上での位置に応じた重みを乗算して得られる第1の指標と、前記第1のデータの表す減衰曲線との類似度を示す第2の指標と、を前記第1および第2のデータから算出する指標算出手段と、
前記複数種のフィルタ係数列のうち、前記第1の指標が予め定められた第1の閾値の近傍の値であり、かつ、前記第2の指標の示す類似度が予め定められた第2の閾値以上であるものを選択して前記FIRフィルタに設定するフィルタ係数列設定手段と
を有することを特徴とする音場支援装置。
While acquiring the 1st data showing the decay curve of the impulse response of acoustic space, it connects with the speaker arrange | positioned in the said acoustic space, and the microphone which picks up the sound output from the said speaker, and forms a closed loop. A second filter coefficient sequence is selected from an FIR library storing a plurality of types of filter coefficient sequences respectively set in an FIR (Finite Impulse Response) filter, and a second curve representing an attenuation curve for the filter coefficient sequence is selected. Attenuation curve data acquisition means for acquiring the data of
For each of the second data, the former protruding from the latter attenuation curve when the attenuation curve represented by the second data and the attenuation curve represented by the first data are drawn with the peak positions superimposed. A first index obtained by multiplying the degree of protrusion of each part of the attenuation curve by a weight corresponding to the position on the time axis occupied by the part, and an attenuation curve represented by the first data A second index indicating the degree of similarity; an index calculating means for calculating from the first and second data;
Of the plurality of types of filter coefficient sequences, the first index is a value in the vicinity of a predetermined first threshold value, and the similarity indicated by the second index is a predetermined second value. And a filter coefficient sequence setting unit that selects and sets the FIR filter that is equal to or greater than a threshold value.
前記第1の指標は、各々のピーク位置を重ね合わせて描かれた前記音響空間のインパルス応答の減衰曲線e(t)IRと前記フィルタ係数列の減衰曲線e(t)FIRとについて、以下の数1にしたがって算出される値Xであり、前記第1の閾値は450またはその近傍の値であることを特徴とする請求項1に記載の音場支援装置。
Figure 0005217875

ただし、数1におけるΣ演算は、以下の数2を満たす時刻tに関してのみ実行し、数1におけるtmaxは、減衰曲線e(t)FIRについてそのピーク位置の時刻とその振幅が略ゼロになる時刻との時間差である。
Figure 0005217875
The first index is an attenuation curve e o (t) IR of the impulse response of the acoustic space drawn by superimposing each peak position and an attenuation curve e o (t) FIR of the filter coefficient sequence. The sound field support apparatus according to claim 1, wherein the sound field support apparatus is a value X calculated according to the following formula 1 and the first threshold value is 450 or a value in the vicinity thereof.
Figure 0005217875

However, the Σ operation in Equation 1 is executed only for time t that satisfies Equation 2 below, and tmax in Equation 1 is substantially zero at the time of its peak position and its amplitude for the attenuation curve e o (t) FIR. It is the time difference from the time.
Figure 0005217875
前記第2の指標は、各々のピーク位置を重ね合わせて描かれた前記音響空間のインパルス応答の減衰曲線と前記フィルタ係数列の減衰曲線とについて算出される相関係数であり、前記第2の閾値は0.75以上であることを特徴とする請求項1または2に記載の音場支援装置。   The second index is a correlation coefficient calculated with respect to the attenuation curve of the impulse response of the acoustic space and the attenuation curve of the filter coefficient sequence drawn by superimposing the respective peak positions, The sound field support apparatus according to claim 1 or 2, wherein the threshold value is 0.75 or more. 音響空間のインパルス応答の減衰曲線を表わす第1のデータを取得する一方、前記音響空間内に配置されるスピーカと前記スピーカから出力される音を収音するマイクロホンとに接続されて閉ループを形成するFIR(Finite Impulse Response)フィルタに各々設定される複数種のフィルタ係数列が格納されたFIRライブラリから前記複数種のフィルタ係数列の各々を選択し、そのフィルタ係数列についての減衰曲線を表す第2のデータを取得する第1のステップと、
前記第2のデータの各々について、当該第2のデータの表す減衰曲線と前記第1のデータの表す減衰曲線とをピーク位置を重ね合わせて描いた場合に、後者の減衰曲線から突出している前者の減衰曲線の部分の各々におけるその突出の程度にその部分が占める時間軸上での位置に応じた重みを乗算して得られる第1の指標と、前記第1のデータの表す減衰曲線との類似度を示す第2の指標と、を前記第1および第2のデータから算出する第2のステップと、
前記複数種のフィルタ係数列のうち、前記第1の指標が予め定められた第1の閾値の近傍の値であり、かつ、前記第2の指標の示す類似度が予め定められた第2の閾値以上であるものを選択して前記FIRフィルタに設定する第3のステップと
を含むことを特徴とする音場支援方法。
While acquiring the 1st data showing the decay curve of the impulse response of acoustic space, it connects with the speaker arrange | positioned in the said acoustic space, and the microphone which collects the sound output from the said speaker, and forms a closed loop. A second filter coefficient sequence is selected from an FIR library storing a plurality of types of filter coefficient sequences respectively set in an FIR (Finite Impulse Response) filter, and a second curve representing an attenuation curve for the filter coefficient sequence is selected. A first step of obtaining the data of
For each of the second data, the former protruding from the latter attenuation curve when the attenuation curve represented by the second data and the attenuation curve represented by the first data are drawn with the peak positions superimposed. A first index obtained by multiplying the degree of protrusion of each part of the attenuation curve by a weight corresponding to the position on the time axis occupied by the part, and an attenuation curve represented by the first data A second step of calculating a second index indicating similarity from the first and second data;
Of the plurality of types of filter coefficient sequences, the first index is a value in the vicinity of a predetermined first threshold value, and the similarity indicated by the second index is a predetermined second value. A sound field support method, comprising: a third step of selecting one that is equal to or greater than a threshold and setting the FIR filter.
コンピュータ装置を、
音響空間のインパルス応答の減衰曲線を表わす第1のデータを取得する一方、前記音響空間内に配置されるスピーカと前記スピーカから出力される音を収音するマイクロホンとに接続されて閉ループを形成するFIR(Finite Impulse Response)フィルタに各々設定される複数種のフィルタ係数列が格納されたFIRライブラリから前記複数種のフィルタ係数列の各々を選択し、そのフィルタ係数列についての減衰曲線を表す第2のデータを取得する減衰曲線データ取得手段と、
前記第2のデータの各々について、当該第2のデータの表す減衰曲線と前記第1のデータの表す減衰曲線とをピーク位置を重ね合わせて描いた場合に、後者の減衰曲線から突出している前者の減衰曲線の部分の各々におけるその突出の程度にその部分が占める時間軸上での位置に応じた重みを乗算して得られる第1の指標と、前記第1のデータの表す減衰曲線との類似度を示す第2の指標と、を前記第1および第2のデータから算出する指標算出手段と、
前記複数種のフィルタ係数列のうち、前記第1の指標が予め定められた第1の閾値の近傍の値であり、かつ、前記第2の指標の示す類似度が予め定められた第2の閾値以上であるものを選択して前記FIRフィルタに設定するフィルタ係数列設定手段
として機能させることを特徴とするプログラム。
Computer equipment,
While acquiring the 1st data showing the decay curve of the impulse response of acoustic space, it connects with the speaker arrange | positioned in the said acoustic space, and the microphone which collects the sound output from the said speaker, and forms a closed loop. A second filter coefficient sequence is selected from an FIR library storing a plurality of types of filter coefficient sequences respectively set in an FIR (Finite Impulse Response) filter, and a second curve representing an attenuation curve for the filter coefficient sequence is selected. Attenuation curve data acquisition means for acquiring the data of
For each of the second data, the former protruding from the latter attenuation curve when the attenuation curve represented by the second data and the attenuation curve represented by the first data are drawn with the peak positions superimposed. A first index obtained by multiplying the degree of protrusion of each part of the attenuation curve by a weight corresponding to the position on the time axis occupied by the part, and an attenuation curve represented by the first data A second index indicating the degree of similarity; an index calculating means for calculating from the first and second data;
Of the plurality of types of filter coefficient sequences, the first index is a value in the vicinity of a predetermined first threshold value, and the similarity indicated by the second index is a predetermined second value. A program that functions as a filter coefficient string setting unit that selects a value that is equal to or greater than a threshold value and sets it in the FIR filter.
JP2008262059A 2008-10-08 2008-10-08 Sound field support device, sound field support method and program Expired - Fee Related JP5217875B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008262059A JP5217875B2 (en) 2008-10-08 2008-10-08 Sound field support device, sound field support method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008262059A JP5217875B2 (en) 2008-10-08 2008-10-08 Sound field support device, sound field support method and program

Publications (2)

Publication Number Publication Date
JP2010091821A JP2010091821A (en) 2010-04-22
JP5217875B2 true JP5217875B2 (en) 2013-06-19

Family

ID=42254598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008262059A Expired - Fee Related JP5217875B2 (en) 2008-10-08 2008-10-08 Sound field support device, sound field support method and program

Country Status (1)

Country Link
JP (1) JP5217875B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5444753B2 (en) * 2009-02-23 2014-03-19 ヤマハ株式会社 Filter coefficient calculation method, sound field support device, and program
JP5593988B2 (en) * 2010-09-07 2014-09-24 ヤマハ株式会社 Sound field support device
CN102013252A (en) * 2010-10-27 2011-04-13 华为终端有限公司 Sound effect adjusting method and sound playing device
JP6886890B2 (en) * 2017-08-08 2021-06-16 株式会社竹中工務店 Decay time analysis methods, instruments, and programs

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06186966A (en) * 1992-12-21 1994-07-08 Casio Comput Co Ltd Effector
JP2000172281A (en) * 1998-12-03 2000-06-23 Fuji Heavy Ind Ltd In-compartment sound controller
JP4077279B2 (en) * 2002-08-30 2008-04-16 アルパイン株式会社 Reverberation level control device

Also Published As

Publication number Publication date
JP2010091821A (en) 2010-04-22

Similar Documents

Publication Publication Date Title
JP4262597B2 (en) Sound system
CA2952157C (en) Apparatus and method for enhancing an audio signal, sound enhancing system
JP2008197284A (en) Filter coefficient calculation device, filter coefficient calculation method, control program, computer-readable recording medium, and audio signal processing apparatus
JP3994788B2 (en) Transfer characteristic measuring apparatus, transfer characteristic measuring method, transfer characteristic measuring program, and amplifying apparatus
CN113170260B (en) Audio processing method and device, storage medium and electronic equipment
JP5217875B2 (en) Sound field support device, sound field support method and program
JP6511775B2 (en) Reverberation sound addition device
JP4750153B2 (en) Acoustic device and acoustic adjustment method
US6430294B1 (en) Sound image localization method and apparatus, delay amount control apparatus, and sound image control apparatus with using delay amount control apparatus
JP2010157852A (en) Sound corrector, sound measurement device, sound reproducer, sound correction method, and sound measurement method
US7095860B1 (en) Audio dynamic control effects synthesizer with or without analyzer
JP3979133B2 (en) Sound field reproduction apparatus, program and recording medium
JP5736124B2 (en) Audio signal processing apparatus, method, program, and recording medium
WO2020036077A1 (en) Signal processing device, signal processing method, and program
JP2013239973A (en) Overtone additional device of sound signal
JP5397786B2 (en) Fog removal device
JP5879199B2 (en) Reverberation response generation apparatus and program thereof
JP5895529B2 (en) Reverberation analysis apparatus and reverberation analysis method
JP6790659B2 (en) Sound processing equipment and sound processing method
JP5239670B2 (en) Sound field support device, sound field support method and program
JP2005323204A (en) Motional feedback device
JP7179079B2 (en) SOUND EFFECT GENERATING METHOD AND INFORMATION PROCESSING DEVICE
WO2022230450A1 (en) Information processing device, information processing method, information processing system, and program
WO2023218917A1 (en) Information processing device, information processing method, and program
JP2007189530A (en) Noise canceling headphone, and noise canceling method in headphone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees