JP6566692B2 - Signal processing apparatus and method for sound signal - Google Patents
Signal processing apparatus and method for sound signal Download PDFInfo
- Publication number
- JP6566692B2 JP6566692B2 JP2015076185A JP2015076185A JP6566692B2 JP 6566692 B2 JP6566692 B2 JP 6566692B2 JP 2015076185 A JP2015076185 A JP 2015076185A JP 2015076185 A JP2015076185 A JP 2015076185A JP 6566692 B2 JP6566692 B2 JP 6566692B2
- Authority
- JP
- Japan
- Prior art keywords
- sound signal
- sound
- time
- dimensional graph
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
本発明は、音信号の信号処理装置及び方法に関する。 The present invention relates to a signal processing apparatus and method for sound signals.
従来、波形が時間と共に変化する音信号から、周波数スペクトルを求める処理が行われている。 Conventionally, processing for obtaining a frequency spectrum from a sound signal whose waveform changes with time has been performed.
音信号は、通常、様々な周波数の成分を含んでおり、周波数スペクトルの強度分布を調べることにより、音信号の特徴を把握することができる。 The sound signal usually includes components of various frequencies, and the characteristics of the sound signal can be grasped by examining the intensity distribution of the frequency spectrum.
時間領域で表される音信号を、周波数領域で表される音信号に変換することにより、周波数スペクトルが得られる。この音信号の変換方法として、例えば、フーリエ変換が用いられる。 A frequency spectrum is obtained by converting a sound signal represented in the time domain into a sound signal represented in the frequency domain. As this sound signal conversion method, for example, Fourier transform is used.
図1は、周波数スペクトルの2次元グラフの例を示す図である。 FIG. 1 is a diagram illustrating an example of a two-dimensional graph of a frequency spectrum.
図1は、音の波形の時間的に変化する音信号から周波数スペクトルを求め、時間及び周波数を座標軸とし、周波数スペクトル強度の大小を濃淡で表して、周波数スペクトルの2次元グラフを作成したものである。 FIG. 1 shows a two-dimensional graph of a frequency spectrum obtained by obtaining a frequency spectrum from a sound signal that changes over time in a sound waveform, using time and frequency as coordinate axes, and expressing the magnitude of the frequency spectrum intensity in shades. is there.
色の濃い部分は、周波数スペクトル強度の大きい周波数が分布している領域を示し、色の薄い部分は、周波数スペクトル強度の小さい周波数が分布している領域を示す。このような周波数スペクトルの2次元グラフを用いて、音信号に含まれる周波数スペクトルの時間発展を解析することができる。 A dark part indicates a region where a frequency having a high frequency spectrum intensity is distributed, and a light color part indicates a region where a frequency having a low frequency spectrum intensity is distributed. Using such a two-dimensional graph of the frequency spectrum, it is possible to analyze the time evolution of the frequency spectrum included in the sound signal.
しかし、図1に示すように、周波数スペクトル強度の大小を濃淡で表すことは、領域の違いが視覚的に分かりにくいので、音信号の周波数特性を認識することが困難な場合があった。 However, as shown in FIG. 1, when the magnitude of the frequency spectrum intensity is expressed by shading, it is difficult to visually recognize the frequency characteristics of the sound signal because the difference in the region is not visually obvious.
特に、音の波形の時間的な変化が定常状態にない過渡音を含む音信号の周波数スペクトルには、様々な周波数成分が含まれる場合があり、周波数スペクトルの2次元グラフを用いて、音信号の特徴を把握することは困難な場合があった。 In particular, the frequency spectrum of a sound signal including a transient sound whose temporal change in the sound waveform is not in a steady state may include various frequency components, and the sound signal is expressed using a two-dimensional graph of the frequency spectrum. It was sometimes difficult to grasp the characteristics of
また、過渡音を含む2つの異なる音信号の関係を明確に把握することが望まれる場合があった。 Further, there is a case where it is desired to clearly grasp the relationship between two different sound signals including transient sounds.
本明細書では、過渡音を含む音信号の周波数スペクトルを明確に認識できる音信号の信号処理装置及び方法を提供することを課題とする。 This specification makes it a subject to provide the signal processing apparatus and method of a sound signal which can recognize the frequency spectrum of the sound signal containing a transient sound clearly.
また、本明細書では、過渡音を含む2つの異なる音信号の関係を明確にする音信号の信号処理装置及び方法を提供することを課題とする。 It is another object of the present specification to provide a signal processing apparatus and method for sound signals that clarify the relationship between two different sound signals including transient sounds.
本明細書に開示する音信号の信号処理装置によれば、音の波形の時間的な変化が定常状態にない過渡音を含む音信号を入力する入力部と、上記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、3次元グラフを生成する演算部と、上記3次元グラフを表示する表示部と、を備える。 According to the signal processing apparatus for a sound signal disclosed in the present specification, an input unit that inputs a sound signal including a transient sound whose temporal change in sound waveform is not in a steady state, and a plurality of times from the sound signal. A frequency spectrum for the section is obtained, and an arithmetic unit that generates a three-dimensional graph with time, frequency, and magnitude of the frequency spectrum as coordinate axes, and a display unit that displays the three-dimensional graph are provided.
また、本明細書に開示する他の音信号の信号処理装置によれば、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の第1音信号及び時間領域表現の第2音信号を入力する入力部と、時間領域表現の上記第1音信号を周波数領域表現に変換し且つ時間領域表現の上記第2音信号を周波数領域表現に変換し、周波数領域表現の上記第1音信号と、周波数領域表現の上記第2音信号との比である伝達関数を求める演算部と、を備える。 According to another sound signal signal processing device disclosed in the present specification, the time domain representation of the first sound signal and the time domain representation including a transient sound whose temporal change in the sound waveform is not in a steady state. An input unit for inputting a second sound signal; converting the first sound signal in the time domain representation into a frequency domain representation; converting the second sound signal in the time domain representation into a frequency domain representation; A calculation unit that obtains a transfer function that is a ratio between the first sound signal and the second sound signal expressed in the frequency domain.
更に、本明細書に開示する音信号の信号処理方法によれば、音の振幅変化が時間的に定常状態にない過渡音を含む音信号を入力し、上記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、3次元グラフを生成し、上記3次元グラフを表示する。 Furthermore, according to the signal processing method of a sound signal disclosed in the present specification, a sound signal including a transient sound whose sound amplitude change is not in a steady state with respect to time is input, and a plurality of time intervals are obtained from the sound signal. A frequency spectrum is obtained, a three-dimensional graph is generated using time, frequency, and magnitude of the frequency spectrum as coordinate axes, and the three-dimensional graph is displayed.
更にまた、本明細書に開示する他の音信号の信号処理方法によれば、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の第1音信号及び時間領域表現の第2音信号を入力し、時間領域表現の上記第1音信号を周波数領域表現に変換し且つ時間領域表現の上記第2音信号を周波数領域表現に変換し、周波数領域表現の上記第1音信号と、周波数領域表現の上記第2音信号との比である伝達関数を求める。 Furthermore, according to another signal processing method of a sound signal disclosed in the present specification, a first sound signal and a time domain representation in a time domain representation including a transient sound in which a temporal change in the sound waveform is not in a steady state. The second sound signal is input, the first sound signal in the time domain representation is converted into the frequency domain representation, the second sound signal in the time domain representation is converted into the frequency domain representation, and the first sound signal in the frequency domain representation is converted. A transfer function which is a ratio between the sound signal and the second sound signal expressed in the frequency domain is obtained.
本明細書に開示する音信号の処理装置によれば、過渡音を含む音信号の周波数スペクトルを明確に認識できる。 According to the sound signal processing device disclosed in this specification, the frequency spectrum of a sound signal including a transient sound can be clearly recognized.
また、本明細書に開示する他の音信号の処理装置によれば、過渡音を含む2つの異なる音信号の関係を明確にできる。 Further, according to another sound signal processing device disclosed in the present specification, the relationship between two different sound signals including transient sound can be clarified.
更に、本明細書に開示する音信号の処理方法によれば、過渡音を含む音信号の周波数スペクトルを明確に認識できる。 Furthermore, according to the sound signal processing method disclosed in this specification, it is possible to clearly recognize the frequency spectrum of a sound signal including a transient sound.
更にまた、本明細書に開示する他の音信号の処理方法によれば、過渡音を含む2つの異なる音信号の関係を明確にできる。 Furthermore, according to another sound signal processing method disclosed in this specification, the relationship between two different sound signals including a transient sound can be clarified.
以下、本明細書で開示する水中模擬音信号処理システムの好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。 Hereinafter, a preferred embodiment of the underwater simulated sound signal processing system disclosed in this specification will be described with reference to the drawings. However, the technical scope of the present invention is not limited to these embodiments, but extends to the invention described in the claims and equivalents thereof.
図2は、本明細書に開示する水中模擬音信号処理システムの一実施形態を示す図である。 FIG. 2 is a diagram illustrating an embodiment of the underwater simulated sound signal processing system disclosed in this specification.
本実施形態の水中模擬音信号処理システム30は、水中模擬音信号生成装置20と、信号処理装置10を備える。 The underwater simulated sound signal processing system 30 of this embodiment includes an underwater simulated sound signal generation device 20 and a signal processing device 10.
水中模擬音信号生成装置20は、模擬音信号を生成するためのパラメータを入力して、水中を伝搬する模擬音信号を生成し、生成した模擬音信号を出力する。水中模擬音信号生成装置20が生成する模擬音信号は、音の波形の時間的な変化が定常状態にある定常音を生成する。水中を伝搬する模擬音信号としては、例えば、一定の速度で移動する船舶のエンジン音が挙げられる。 The underwater simulated sound signal generation device 20 inputs parameters for generating a simulated sound signal, generates a simulated sound signal that propagates in water, and outputs the generated simulated sound signal. The simulated sound signal generated by the underwater simulated sound signal generation device 20 generates a steady sound in which the temporal change of the sound waveform is in a steady state. Examples of the simulated sound signal that propagates in water include the engine sound of a ship that moves at a constant speed.
本明細書において、定常音は、時間の経過に伴って周波数成分が変化しない音を意味する。 In this specification, the stationary sound means a sound whose frequency component does not change with time.
信号処理装置10は、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の音信号を入力し、時間領域表現の音信号を周波数領域表現に変換し、周波数領域表現の音信号を加工し、加工された音信号を時間領域表現に変換して、水中模擬音信号生成装置20へ出力する。信号処理装置10へ入力される音信号は、水中で収録された信号である。過渡音を含む音信号としては、例えば、船舶のエンジンが始動する時に発生する音信号が挙げられる。 The signal processing apparatus 10 receives a time domain representation sound signal including a transient sound whose temporal change in sound waveform is not in a steady state, converts the time domain representation sound signal into a frequency domain representation, and a frequency domain representation. The processed sound signal is converted into a time domain representation and output to the underwater simulated sound signal generation device 20. The sound signal input to the signal processing device 10 is a signal recorded in water. As a sound signal including a transient sound, for example, a sound signal generated when a marine engine is started can be cited.
本明細書において、過渡音は、時間の経過に伴って周波数成分が変化する音を意味する。 In this specification, a transient sound means a sound whose frequency component changes with time.
水中模擬音信号生成装置20は、信号処理装置10から入力した音信号に基づいて、過渡音を含み水中を伝搬する模擬音信号を生成して出力する。 The underwater simulated sound signal generation device 20 generates and outputs a simulated sound signal that includes transient sound and propagates in water based on the sound signal input from the signal processing device 10.
また、信号処理装置10は、音の波形の時間的な変化が定常状態にない過渡音を含む時間領域表現の第1音信号及び第2音信号を入力し、時間領域表現の第1音信号を周波数領域表現に変換し且つ時間領域表現の第2音信号を周波数領域表現に変換し、周波数領域表現の第1音信号と、周波数領域表現の第2音信号との比である伝達関数を求め、求めた伝達関数を水中模擬音信号生成装置20へ出力する。 Further, the signal processing apparatus 10 inputs the first sound signal and the second sound signal expressed in the time domain including the transient sound whose temporal change in the sound waveform is not in a steady state, and the first sound signal expressed in the time domain. Is converted into a frequency domain representation and a second sound signal in a time domain representation is converted into a frequency domain representation, and a transfer function that is a ratio between the first sound signal in the frequency domain representation and the second sound signal in the frequency domain representation is The obtained transfer function is output to the underwater simulated sound signal generation device 20.
水中模擬音信号生成装置20は、自ら生成した模擬音信号を、入力した伝達関数を用いて変換し、変換した模擬音信号を出力する。 The underwater simulated sound signal generation device 20 converts the simulated sound signal generated by itself using the input transfer function, and outputs the converted simulated sound signal.
図3は、本明細書に開示する音信号の信号処理装置の一実施形態を示す図である。 FIG. 3 is a diagram illustrating an embodiment of a sound signal processing apparatus disclosed in the present specification.
信号処理装置10は、演算部11と、記憶部12と、表示部13と、入力部14と、通信部15を有する。 The signal processing device 10 includes a calculation unit 11, a storage unit 12, a display unit 13, an input unit 14, and a communication unit 15.
演算部11は、記憶部12に予め記憶されている所定のプログラムに従い、信号処理装置10の各処理を行い、処理中に生じるデータを一時的に保存するために記憶部12を利用する。記憶部12は、1次記憶装置及び2次記憶装置を有していても良い。演算部11は、記憶部12、表示部13、入力部14及び通信部15の動作を制御する。 The calculation unit 11 performs each process of the signal processing device 10 according to a predetermined program stored in advance in the storage unit 12, and uses the storage unit 12 to temporarily store data generated during the process. The storage unit 12 may include a primary storage device and a secondary storage device. The calculation unit 11 controls operations of the storage unit 12, the display unit 13, the input unit 14, and the communication unit 15.
入力部14は、信号処理装置10のユーザ等によって操作されて、各種の情報を入力する。入力部14としては、例えば、タッチパネル、キーボード又はマウス等を用いることができる。演算部11は、入力部14から入力された情報を用いて各処理を行う。 The input unit 14 is operated by a user or the like of the signal processing device 10 and inputs various types of information. As the input unit 14, for example, a touch panel, a keyboard, a mouse, or the like can be used. The calculation unit 11 performs each process using information input from the input unit 14.
表示部13は、演算部11に制御されて、各種の情報を表示する。表示部13としては、例えば、液晶パネルを用いることができる。 The display unit 13 is controlled by the calculation unit 11 and displays various types of information. For example, a liquid crystal panel can be used as the display unit 13.
通信部15は、演算部11により制御されて水中模擬音信号生成装置20又はネットワーク(図示せず)と通信可能になされている。演算部11は、通信部15を用いて、水中模擬音信号生成装置20との間で通信を行う。 The communication unit 15 is controlled by the calculation unit 11 and can communicate with the underwater simulated sound signal generation device 20 or a network (not shown). The calculation unit 11 communicates with the underwater simulated sound signal generation device 20 using the communication unit 15.
次に、上述した信号処理装置10の動作の一例を、図面を参照しながら、以下に説明する。図4〜図6は、本明細書に開示する音信号の信号処理装置の動作を示すフローチャートである。図7及び図8は、フローチャートの各ステップにおける信号処理装置の動作を説明する図である。以下に説明する信号処理装置10の動作は、過渡音を含み、時間領域表現の音信号を入力し、音信号を周波数領域表現に変換した後、音信号を加工し、加工された音信号を再び時間領域表現に変換して、加工された時間領域表現の音信号を生成するものである。 Next, an example of the operation of the signal processing apparatus 10 described above will be described below with reference to the drawings. 4 to 6 are flowcharts showing the operation of the signal processing apparatus for sound signals disclosed in this specification. 7 and 8 are diagrams for explaining the operation of the signal processing device in each step of the flowchart. The operation of the signal processing apparatus 10 described below includes a transient sound, inputs a sound signal in a time domain expression, converts the sound signal into a frequency domain expression, processes the sound signal, and converts the processed sound signal to This is converted again into the time domain representation, and the processed sound signal of the time domain representation is generated.
まず、ステップS10において、信号処理装置10は、通信部15を用いて、水中で収録された過渡音を含む時間領域表現の音信号を入力する。図7(A)は、時間と共に波形(振幅)が変化する音信号S(t)を示す。音信号S(t)は、所定の時間の領域に亘って収録される。音信号S(t)は、時間tの関数であり、時間tにおける音信号の振幅を関数の値とする。 First, in step S <b> 10, the signal processing apparatus 10 uses the communication unit 15 to input a time domain representation sound signal including transient sound recorded in water. FIG. 7A shows a sound signal S (t) whose waveform (amplitude) changes with time. The sound signal S (t) is recorded over a predetermined time area. The sound signal S (t) is a function of time t, and the amplitude of the sound signal at time t is a function value.
次に、ステップS12において、信号処理装置10は、図7(B)に示すように、入力した音信号S(t)を所定の時間間隔で分割する。音信号S(t)は、時間T1と時間T2との間の時間区間と、時間T2と時間T3との間の時間区間と、時間T3と時間T4との間の時間区間とに分割される。図7(B)に示す例では、各時間区間は等しいとしたが、等しくなくてもよい。以下、時間T1と時間T2との間の時間区間の音信号S(t)の部分を音信号S1(t)と呼ぶ。 Next, in step S12, the signal processing apparatus 10 divides the input sound signal S (t) at predetermined time intervals as shown in FIG. 7B. The sound signal S (t) is divided into a time interval between time T1 and time T2, a time interval between time T2 and time T3, and a time interval between time T3 and time T4. . In the example shown in FIG. 7B, each time interval is equal, but it may not be equal. Hereinafter, the portion of the sound signal S (t) in the time interval between the time T1 and the time T2 is referred to as a sound signal S1 (t).
次に、ステップS14において、信号処理装置10は、分割された音信号と窓関数との積をとり、時間区間毎に分割音信号を生成する。図7(C)に示すように、時間T1と時間T2との間の時間区間の音信号S1(t)と窓関数W(t)との積をとり、分割音信号SW1(t)が生成される。分割音信号SW1(t)は、時間T1と時間T2との間の時間区間において、音信号S(t)と同じ値を有し、他の時間区間では、値がゼロとなる時間tの関数である。なお、分割音信号SW1(t)は、図7(A)に示す音信号S(t)と窓関数W(t)との積をとって生成してもよい。また、ウェーブレット法を用いて、音信号の周波数領域表現を生成してもよい。 Next, in step S14, the signal processing apparatus 10 calculates a product of the divided sound signal and the window function, and generates a divided sound signal for each time interval. As shown in FIG. 7C, the product of the sound signal S1 (t) and the window function W (t) in the time interval between time T1 and time T2 is taken to generate a divided sound signal SW1 (t). Is done. The divided sound signal SW1 (t) has the same value as the sound signal S (t) in the time interval between the time T1 and the time T2, and is a function of the time t in which the value is zero in the other time intervals. It is. The divided sound signal SW1 (t) may be generated by taking the product of the sound signal S (t) and the window function W (t) shown in FIG. Further, a frequency domain representation of the sound signal may be generated using a wavelet method.
次に、ステップS16において、信号処理装置10は、各分割音信号をフーリエ変換して、時間区間毎にフーリエ変換された分割音信号を生成する。図8(D)は、分割音信号SW1(t)をフーリエ変換して、フーリエ変換された周波数領域表現の分割音信号FS1(f)を生成する処理を示す。フーリエ変換された分割音信号FS1(f)は、周波数fの関数であり、周波数fの周波数成分を関数の値とする。 Next, in step S <b> 16, the signal processing apparatus 10 performs a Fourier transform on each divided sound signal to generate a divided sound signal that has been Fourier-transformed for each time interval. FIG. 8D illustrates a process of performing Fourier transform on the divided sound signal SW1 (t) to generate a Fourier-converted divided sound signal FS1 (f) in the frequency domain representation. The divided sound signal FS1 (f) subjected to the Fourier transform is a function of the frequency f, and the frequency component of the frequency f is a function value.
フーリエ変換された分割音信号FS1(f)の値は、実数であり、図8(D)の式(1)に示すように、実部a(f)と、虚部b(f)とを有する。ここで、jは虚数単位を意味する。 The value of the Fourier-transformed divided sound signal FS1 (f) is a real number. As shown in the equation (1) in FIG. 8D, the real part a (f) and the imaginary part b (f) are Have. Here, j means an imaginary unit.
フーリエ変換された分割音信号FS1(f)の大きさ(以下、振幅ともいう)Aは、図8(D)の式(2)で表される。ここで、Nは、時間T1と時間T2との間の時間区間の時間長である。フーリエ変換された分割音信号FS1(f)の大きさ(振幅)は、時間T1と時間T2との間の時間区間における周波数スペクトル強度を示す。 The magnitude (hereinafter also referred to as amplitude) A of the divided sound signal FS1 (f) subjected to Fourier transform is represented by Expression (2) in FIG. Here, N is the time length of the time interval between time T1 and time T2. The magnitude (amplitude) of the divided sound signal FS1 (f) subjected to Fourier transform indicates the frequency spectrum intensity in the time interval between the time T1 and the time T2.
また、フーリエ変換された分割音信号FS1(f)の位相θは、図8(D)の式(3)で表される。フーリエ変換された分割音信号FS1(f)の位相θは、後で、逆フーリエ変換法を用いて、周波数空間で表される加工された3次元グラフに基づいて、時間領域表現の加工された音信号を生成する時に使用される。 Further, the phase θ of the Fourier-transformed divided sound signal FS1 (f) is expressed by the equation (3) in FIG. 8D. The phase θ of the Fourier-transformed divided sound signal FS1 (f) was later processed into a time-domain representation based on a processed three-dimensional graph represented in frequency space using an inverse Fourier transform method. Used when generating sound signals.
次に、ステップS18において、信号処理装置10は、図8(E)に示すように、フーリエ変換された分割音信号FS(f)の大きさ(振幅)を、時間の順番に配置する。ここで、各周波数スペクトルが配置される時間を、対応する時間区間の開始の時間とした。即ち、フーリエ変換された分割音信号FS1(f)の大きさ(以下、周波数スペクトルの大きさ又はスペクトル強度ともいう)は、時間T1に配置される。 Next, in step S18, as shown in FIG. 8E, the signal processing apparatus 10 arranges the magnitudes (amplitudes) of the divided sound signals FS (f) subjected to the Fourier transform in order of time. Here, the time at which each frequency spectrum is arranged is defined as the start time of the corresponding time interval. That is, the magnitude of the divided sound signal FS1 (f) subjected to Fourier transform (hereinafter also referred to as the frequency spectrum magnitude or spectrum intensity) is arranged at time T1.
次に、ステップS20において、信号処理装置10は、時間と、周波数と、周波数スペクトルの大きさ(スペクトル強度)とを座標軸として、3次元グラフを生成する。信号処理装置10は、生成した3次元グラフを表示部13に表示する。 Next, in step S20, the signal processing apparatus 10 generates a three-dimensional graph with time, frequency, and frequency spectrum size (spectrum intensity) as coordinate axes. The signal processing device 10 displays the generated three-dimensional graph on the display unit 13.
図9は、本明細書に開示する音信号の信号処理装置が生成した周波数スペクトルの3次元グラフの一例を示す図である。 FIG. 9 is a diagram illustrating an example of a three-dimensional graph of a frequency spectrum generated by the signal processing apparatus for sound signals disclosed in this specification.
信号処理装置10は、周波数スペクトルの値に基づいて色を変化させて、3次元グラフを生成する。これにより、3次元グラフは、ユーザが視覚的に、周波数スペクトルの特徴を把握しやすいようになされている。 The signal processing device 10 changes the color based on the value of the frequency spectrum and generates a three-dimensional graph. Thus, the three-dimensional graph is designed so that the user can easily grasp the characteristics of the frequency spectrum visually.
また、信号処理装置10は、周波数スペクトルの2次元グラフ生成して、表示部13に表示する。 Further, the signal processing device 10 generates a two-dimensional graph of the frequency spectrum and displays it on the display unit 13.
図10(A)は、本明細書に開示する音信号の信号処理装置が生成した周波数スペクトルの2次元グラフの一例を示す図であり、図10(B)は、入力した音信号を示す図である。 FIG. 10A is a diagram illustrating an example of a two-dimensional graph of a frequency spectrum generated by the sound signal signal processing device disclosed in the present specification, and FIG. 10B is a diagram illustrating an input sound signal. It is.
信号処理装置10は、時間及び周波数を座標軸として、スペクトル強度の大小を濃淡で表した、周波数スペクトルの2次元グラフも作成する。フーリエ変換する前の時間領域表現の音信号と共に、周波数領域表現の3次元グラフ及び2次元グラフを比較して、音信号の特徴を解析できるようになされている。 The signal processing apparatus 10 also creates a two-dimensional graph of a frequency spectrum in which time and frequency are coordinate axes and the magnitude of the spectrum intensity is expressed by shading. The characteristics of the sound signal can be analyzed by comparing the three-dimensional graph and the two-dimensional graph of the frequency domain expression together with the sound signal of the time domain expression before the Fourier transform.
次に、ステップS22(図5参照)において、信号処理装置10は、入力部14を用いて、3次元グラフを加工する情報を入力する。信号処理装置10は、ユーザから入力した情報に基づいて、3次元グラフを加工する。3次元グラフを加工する内容は、特に制限されないが、例えば、以下の加工が挙げられる。所定の周波数領域及び所定の時間領域のスペクトル強度を増減すること。所定の周波数領域のスペクトル強度をフィルタリングすること、所定の時間領域のスペクトル強度をフィルタリングすること、スペクトル強度の位相を前進又は遅延すること。 Next, in step S <b> 22 (see FIG. 5), the signal processing apparatus 10 inputs information for processing the three-dimensional graph using the input unit 14. The signal processing device 10 processes the three-dimensional graph based on information input from the user. Although the content which processes a three-dimensional graph is not specifically limited, For example, the following processes are mentioned. Increase or decrease the spectral intensity in a predetermined frequency domain and a predetermined time domain. Filtering the spectral intensity in a predetermined frequency domain, filtering the spectral intensity in a predetermined time domain, advancing or delaying the phase of the spectral intensity.
S22のブロック内の式(4)に示すように、加工前のフーリエ変換された分割音信号FS(f)は、加工後にはFS’(f)と表される。また、加工後のフーリエ変換された分割音信号FS’(f)は、加工後の周波数成分の大きさA’及び加工前の位相θを用いて、式(4)で表される。なお、位相を前進又は遅延する加工が行われた場合には、加工後の位相を用いる。 As shown in the equation (4) in the block of S22, the divided sound signal FS (f) subjected to the Fourier transform before the processing is expressed as FS ′ (f) after the processing. Further, the post-processing Fourier-transformed divided sound signal FS ′ (f) is expressed by Expression (4) using the size A ′ of the frequency component after processing and the phase θ before processing. In addition, when the process which advances or delays a phase is performed, the phase after a process is used.
また、信号処理装置10は、ユーザからの指示に従って、時間と周波数とを座標軸とする平面上の任意の線を通る面で、3次元グラフを切断した輪郭を生成する。任意の線は、時間軸の方向と一致する方向に延びる線、又は、周波数軸の方向と一致する方向に延びる線、又は、時間軸及び周波数軸の方向とは一致しない方向に延びる線である。3次元グラフを切断する面は、時間と周波数とを座標軸とする平面に垂直な面である。 Further, the signal processing device 10 generates an outline obtained by cutting the three-dimensional graph on a plane passing through an arbitrary line on a plane having time and frequency as coordinate axes in accordance with an instruction from the user. The arbitrary line is a line extending in a direction that coincides with the direction of the time axis, a line extending in a direction that coincides with the direction of the frequency axis, or a line extending in a direction not coincident with the directions of the time axis and the frequency axis . The plane for cutting the three-dimensional graph is a plane perpendicular to a plane having time and frequency as coordinate axes.
ユーザは、3次元グラフを切断した輪郭に基づいて、音信号の周波数特性を把握することができる。また、ユーザは、3次元グラフを切断した輪郭に基づいて、3次元グラフをどのように加工するかを決定し得る。 The user can grasp the frequency characteristics of the sound signal based on the contour cut from the three-dimensional graph. In addition, the user can determine how to process the three-dimensional graph based on the contour cut from the three-dimensional graph.
時間軸の方向と一致する方向に延びる線を通る面で、3次元グラフを切断した輪郭は、所定の時間における3次元グラフの輪郭を生成する。図11(A)は、所定の時間における3次元グラフの輪郭を示す図を示す。ここで、時間軸の方向と一致する方向に延びる線は、時間軸と一致しているか、又は、時間軸と平行な線である。 An outline obtained by cutting the 3D graph on a plane passing through a line extending in a direction that coincides with the direction of the time axis generates an outline of the 3D graph at a predetermined time. FIG. 11A shows a diagram illustrating the outline of a three-dimensional graph at a predetermined time. Here, the line extending in the direction that coincides with the direction of the time axis coincides with the time axis or is a line parallel to the time axis.
周波数軸の方向と一致する方向に延びる線を通る面で、3次元グラフを切断した輪郭は、所定の周波数における3次元グラフの輪郭を生成する。図11(B)は、所定の周波数における3次元グラフの輪郭を示す図を示す。ここで、周波数軸の方向と一致する方向に延びる線は、周波数軸と一致しているか、又は、周波数軸と平行な線である。 A contour obtained by cutting the three-dimensional graph on a plane passing through a line extending in a direction that coincides with the direction of the frequency axis generates a contour of the three-dimensional graph at a predetermined frequency. FIG. 11B shows a diagram showing the outline of a three-dimensional graph at a predetermined frequency. Here, a line extending in a direction that coincides with the direction of the frequency axis is a line that coincides with the frequency axis or is parallel to the frequency axis.
時間軸及び周波数軸の方向とは一致しない方向に延びる線を通る面で、3次元グラフを切断した輪郭は、周波数-時間平面上の所定の方向における3次元グラフの輪郭を生成する。図11(C)は、周波数-時間平面上の所定の方向における3次元グラフの輪郭を示す図を示す。各スペクトル強度は、時間軸及び周波数軸上に格子状に離散的に配置されている。図11(C)のグラフを生成する時に、格子上に位置しないスペクトル強度は、周囲の近接する格子点のスペクトル強度に基づいて、距離を重みとした加重平均値として求められ得る。 An outline obtained by cutting the three-dimensional graph on a plane passing through a line extending in a direction not coincident with the direction of the time axis and the frequency axis generates an outline of the three-dimensional graph in a predetermined direction on the frequency-time plane. FIG. 11C is a diagram showing the outline of a three-dimensional graph in a predetermined direction on the frequency-time plane. Each spectrum intensity is discretely arranged in a lattice pattern on the time axis and the frequency axis. When the graph of FIG. 11C is generated, the spectrum intensity that is not located on the grid can be obtained as a weighted average value weighted by distance based on the spectrum intensity of neighboring grid points in the vicinity.
信号処理装置10は、マウス等の入力部14を用いたグラフィカルインターフェースを有しており、上述した3次元グラフの加工において、ユーザは、マウス等の入力部14を用いて、加工したい周波数領域又は時間領域等を指定して、グラフの加工処理を行うことができる。 The signal processing apparatus 10 has a graphical interface using an input unit 14 such as a mouse. In the above-described processing of the three-dimensional graph, the user uses the input unit 14 such as a mouse to select a frequency region or A graph can be processed by designating a time domain or the like.
次に、ステップS24において、信号処理装置10は、加工された3次元グラフを表示部13に表示する。ユーザは、加工された3次元グラフを視覚的に確認して、所望の加工がなされていることを確認する。ユーザは、表示部13に表示された3次元グラフ又は輪郭を確認しながら、必要であれば、さらに加工する情報を入力部14から入力して、グラフの加工を行う。加工された3次元グラフの情報等は、記憶部12に記憶される。 Next, in step S <b> 24, the signal processing device 10 displays the processed three-dimensional graph on the display unit 13. The user visually confirms the processed three-dimensional graph and confirms that the desired processing is performed. While confirming the three-dimensional graph or outline displayed on the display unit 13, the user inputs information to be further processed from the input unit 14 and processes the graph if necessary. Information on the processed three-dimensional graph is stored in the storage unit 12.
次に、ステップS26(図6参照)において、信号処理装置10は、加工された3次元グラフを所定の時間間隔で分割する。信号処理装置10は、分割された3次元グラフに基づいて、周波数スペクトルとして、時間の順番に配置する。この処理により、加工された3次元グラフに対して、図8(E)に対応する情報が得られる。 Next, in step S26 (see FIG. 6), the signal processing apparatus 10 divides the processed three-dimensional graph at predetermined time intervals. The signal processing device 10 arranges the frequency spectrum in the order of time based on the divided three-dimensional graph. By this processing, information corresponding to FIG. 8E is obtained for the processed three-dimensional graph.
次に、ステップS28において、信号処理装置10は、時間区間毎に周波数スペクトルを逆フーリエ変換して、加工された分割音信号を生成する。図8(D)を参照して説明すると、周波数領域表現の加工された分割音信号FS’1(f)を逆フーリエ変換して、時間領域表現の加工された分割音信号SW’1(t)が求められる。 Next, in step S28, the signal processing apparatus 10 performs inverse Fourier transform on the frequency spectrum for each time interval, and generates a processed divided sound signal. Referring to FIG. 8D, the divided sound signal FS′1 (f) processed in the frequency domain representation is subjected to inverse Fourier transform, and the divided sound signal SW′1 (t) processed in the time domain representation. ) Is required.
次に、ステップS30において、信号処理装置10は、分割音信号を時間の順番に配置して、加工された音信号を生成する。この処理により、加工された3次元グラフに対して、図7(A)に対応する情報が得られる。 Next, in step S30, the signal processing apparatus 10 arranges the divided sound signals in order of time, and generates a processed sound signal. By this processing, information corresponding to FIG. 7A is obtained for the processed three-dimensional graph.
次に、ステップS34において、信号処理装置10は、通信部15を用いて、加工された時間領域表現の音信号を、水中模擬音信号生成装置20へ出力する。水中模擬音信号生成装置20は、信号処理装置10から入力した音信号に基づいて、過渡音を含む水中を伝搬する模擬音信号を生成して出力する。 Next, in step S <b> 34, the signal processing device 10 outputs the processed sound signal of the time domain expression to the underwater simulated sound signal generation device 20 using the communication unit 15. The underwater simulated sound signal generation device 20 generates and outputs a simulated sound signal that propagates in water including transient sounds based on the sound signal input from the signal processing device 10.
上述した動作例によれば、信号処理装置10を用いて、過渡音を含む音信号の周波数スペクトルを明確に認識できる。そのため、過渡音を含む音信号の加工が容易にできる。また、音信号の特性を視覚的に把握し易いので、処理経験の少ないユーザでも、音信号の特性を把握すること容易になる。 According to the above-described operation example, the signal processor 10 can be used to clearly recognize the frequency spectrum of the sound signal including the transient sound. Therefore, it is possible to easily process a sound signal including a transient sound. In addition, since it is easy to visually grasp the characteristics of the sound signal, it becomes easy for a user with little processing experience to grasp the characteristics of the sound signal.
次に、上述した信号処理装置10の動作に変形例を、図12を参照して、以下に説明する。 Next, a modified example of the operation of the signal processing apparatus 10 described above will be described below with reference to FIG.
図12は、本明細書に開示する音信号の信号処理装置の動作の変形例を示す図である。 FIG. 12 is a diagram illustrating a modification of the operation of the signal processing apparatus for sound signals disclosed in this specification.
本変型例は、周波数スペクトルの周波数分解能を維持したまま、時間分解能を向上する。 This modification improves the time resolution while maintaining the frequency resolution of the frequency spectrum.
まず、図12(A)に示すように、信号処理装置10は、通信部15を用いて、水中で収録された過渡音を含む時間領域表現の音信号を入力する。 First, as illustrated in FIG. 12A, the signal processing apparatus 10 inputs a time domain representation sound signal including transient sound recorded in water using the communication unit 15.
次に、信号処理装置10は、図12(B)に示すように、入力した音信号S(t)を、分割された時間区間の一部が重複するように、所定の時間間隔で分割する。音信号S(t)は、時間T1と時間T2との間の時間区間R1と、時間T1.5と時間T2.5との間の時間区間R2と、時間T2と時間T3との間の時間区間R3と、時間T2.5と時間T3.5との間の時間区間R4と、時間T3と時間T4との間の時間区間R5と、時間T3.5と時間T4.5との間の時間区間R6とに分割される。時間区間R1〜R6は、同じ時間の長さLを有する。 Next, as shown in FIG. 12B, the signal processing apparatus 10 divides the input sound signal S (t) at predetermined time intervals so that a part of the divided time sections overlap. . The sound signal S (t) includes a time interval R1 between time T1 and time T2, a time interval R2 between time T1.5 and time T2.5, and a time between time T2 and time T3. Time interval R3, time interval R4 between time T2.5 and time T3.5, time interval R5 between time T3 and time T4, and time between time T3.5 and time T4.5 It is divided into section R6. The time intervals R1 to R6 have the same time length L.
時間区間R1と、時間区間R2とは、時間区間R1の後半の長さL/2が重複している。時間区間R2と、時間区間R3とは、時間区間R2の後半の長さL/2が重複している。時間区間R3と、時間区間R4とは、時間区間R3の後半の長さL/2が重複している。時間区間R4と、時間区間R5とは、時間区間R4の後半の長さL/2が重複している。時間区間R5と、時間区間R6とは、時間区間R5の後半の長さL/2が重複している。 The time interval R1 and the time interval R2 overlap the length L / 2 of the latter half of the time interval R1. The time interval R2 and the time interval R3 overlap with the length L / 2 of the latter half of the time interval R2. The time interval R3 and the time interval R4 overlap the length L / 2 of the latter half of the time interval R3. In the time interval R4 and the time interval R5, the length L / 2 in the latter half of the time interval R4 overlaps. The time interval R5 and the time interval R6 overlap with the length L / 2 of the latter half of the time interval R5.
本変型例では、周波数スペクトルの時間分解能は、上述した実施形態に対して2倍に向上する。一方、本変型例の周波数スペクトルの周波数分解能は、上述した実施形態と同じである。 In this modified example, the time resolution of the frequency spectrum is improved twice as compared with the above-described embodiment. On the other hand, the frequency resolution of the frequency spectrum of this modified example is the same as that of the above-described embodiment.
なお、仮に、上述した実施形態において、入力した音信号S(t)を分割する時間の長さをL/2とした場合には、周波数スペクトルの周波数分解能は半分となってしまう。 In the embodiment described above, if the length of time for dividing the input sound signal S (t) is L / 2, the frequency resolution of the frequency spectrum is halved.
上述した動作の変型例によれば、周波数スペクトルの時間変化をより精度良く解析することができる。また、上述した動作の変型例では、隣り合う時間区間は、区間の半分の時間が重複していたが、重複している時間は特に制限されないので、分割された時間区間の一部が重複していればよい。 According to the modified example of the operation described above, the time change of the frequency spectrum can be analyzed with higher accuracy. Further, in the above-described modified example of the operation, adjacent time intervals overlap with half of the interval, but the overlapping time is not particularly limited, so a part of the divided time interval overlaps. It only has to be.
次に、上述した信号処理装置10の他の動作の一例を、図面を参照しながら、以下に説明する。図13は、本明細書に開示する音信号の処理装置の動作を示すフローチャートである。図14は、信号処理装置10の他の動作例を説明する図である。以下に説明する信号処理装置10の動作は、過渡音を含み時間領域表現の第1音信号及び第2音信号を入力し、時間領域表現の第1音信号を周波数領域表現に変換し且つ時間領域表現の第2音信号を周波数領域表現に変換し、周波数領域表現の第1音信号と、周波数領域表現の第2音信号との比である伝達関数を求めるものである。 Next, an example of another operation of the signal processing apparatus 10 described above will be described below with reference to the drawings. FIG. 13 is a flowchart showing the operation of the sound signal processing apparatus disclosed in this specification. FIG. 14 is a diagram for explaining another example of the operation of the signal processing apparatus 10. The operation of the signal processing apparatus 10 to be described below is to input a first sound signal and a second sound signal in a time domain representation including a transient sound, convert the first sound signal in the time domain representation into a frequency domain representation, and The second sound signal in the domain representation is converted into the frequency domain representation, and a transfer function that is a ratio between the first sound signal in the frequency domain representation and the second sound signal in the frequency domain representation is obtained.
まず、ステップS40において、信号処理装置10は、通信部15を用いて、水中で収録された過渡音を含む時間領域表現の第1音信号及び第2音信号を入力する。図13(A)は、時間と共に波形が変化する第1音信号SA(t)及び第2音信号SB(t)を示す。第1音信号SA(t)及び第2音信号SB(t)は、時間tの関数であり、時間tにおける音信号の振幅を関数の値とする。 First, in step S <b> 40, the signal processing apparatus 10 uses the communication unit 15 to input a first sound signal and a second sound signal expressed in time domain including transient sounds recorded in water. FIG. 13A shows the first sound signal SA (t) and the second sound signal SB (t) whose waveforms change with time. The first sound signal SA (t) and the second sound signal SB (t) are functions of time t, and the amplitude of the sound signal at time t is a function value.
図13(B)に示すように、第1音信号SA(t)と第2音信号SB(t)とは、音源は同じであるが、水中における音の伝搬経路が異なっている。第1音信号SA(t)は、音源から出力されて、水中を伝搬して、受信器を用いて収録される直接音信号である。一方、第2音信号SB(t)は、音源から出力されて、水中を伝搬し、水底で反射した後、再び水中を伝搬して、受信器を用いて収録される反射音信号である。従って、第2音信号SB(t)の水中の伝搬経路は、第1音信号SA(t)よりも長い。 As shown in FIG. 13 (B), the first sound signal SA (t) and the second sound signal SB (t) have the same sound source but different sound propagation paths in water. The first sound signal SA (t) is a direct sound signal that is output from a sound source, propagates in water, and is recorded using a receiver. On the other hand, the second sound signal SB (t) is a reflected sound signal that is output from the sound source, propagates in water, reflects on the bottom of the water, propagates in water again, and is recorded using the receiver. Therefore, the propagation path of the second sound signal SB (t) in water is longer than that of the first sound signal SA (t).
次に、ステップS42において、信号処理装置10は、第1音信号SA(t)と第2音信号SB(t)との位相の差を検出する。第2音信号SB(t)の位相は、第1音信号SA(t)に対して遅延している。 Next, in step S42, the signal processing device 10 detects a phase difference between the first sound signal SA (t) and the second sound signal SB (t). The phase of the second sound signal SB (t) is delayed with respect to the first sound signal SA (t).
次に、ステップS44において、信号処理装置10は、第2音信号SB(t)に対して、位相を進めるように位相の差を補正して、第1音信号SA(t)の位相と一致させる。 Next, in step S44, the signal processing device 10 corrects the phase difference so as to advance the phase of the second sound signal SB (t), and matches the phase of the first sound signal SA (t). Let
次に、ステップS46において、信号処理装置10は、第1音信号SA(t)を短時間フーリエ変換し且つ第2音信号SB(t)を短時間フーリエ変換して、それぞれを周波数領域表現に変換する。各音信号を短時間フーリエ変換する処理は、上述した動作例と同様である。同様の処理を行った結果、時間区間毎にフーリエ変換された分割第1音信号FSA(f)及び分割第2音信号FSB(f)が生成される。 Next, in step S46, the signal processing apparatus 10 performs a short-time Fourier transform on the first sound signal SA (t) and a short-time Fourier transform on the second sound signal SB (t), and each of them is expressed in the frequency domain representation. Convert. The process of performing a short-time Fourier transform on each sound signal is the same as the above-described operation example. As a result of performing the same processing, a divided first sound signal FSA (f) and a divided second sound signal FSB (f) subjected to Fourier transform for each time interval are generated.
次に、ステップS48において、信号処理装置10は、図14(C)に示すように、時間区間毎に周波数領域表現の分割第1音信号FSA(f)と周波数領域表現の分割第2音信号FSB(f)との比である伝達関数H(f)を求める。 Next, in step S48, the signal processing apparatus 10, as shown in FIG. 14C, the divided first sound signal FSA (f) of the frequency domain expression and the divided second sound signal of the frequency domain expression for each time interval. A transfer function H (f) that is a ratio to FSB (f) is obtained.
次に、ステップS50において、信号処理装置10は、時間区間毎の伝達関数H(f)を水中模擬音信号生成装置20へ出力する。伝搬経路に変化がない場合には、通常、伝達関数H(f)は各時間区間において同様となる。また、信号処理装置10は、時間区間毎の伝達関数H(f)を平均した伝達関数を生成して、水中模擬音信号生成装置20へ出力してもよい。 Next, in step S <b> 50, the signal processing device 10 outputs the transfer function H (f) for each time interval to the underwater simulated sound signal generation device 20. When there is no change in the propagation path, the transfer function H (f) is usually the same in each time interval. Further, the signal processing device 10 may generate a transfer function that averages the transfer function H (f) for each time interval and outputs the generated transfer function to the underwater simulated sound signal generating device 20.
水中模擬音信号生成装置20は、入力した伝達関数を用いて、音信号を変換することができる。例えば、水中模擬音信号生成装置20は、直接音信号である定常音の模擬音信号を、伝達関数を用いて、反射音信号に変換することができる。また、水中模擬音信号生成装置20は、過渡音を含む模擬音信号を、伝達関数を用いて、反射音信号に変換することができる。更に、水中模擬音信号生成装置20は、伝達関数を用いて、反射音信号を直接音信号に変換してもよい。 The underwater simulated sound signal generation device 20 can convert the sound signal using the input transfer function. For example, the underwater simulated sound signal generation device 20 can convert a stationary sound simulated sound signal, which is a direct sound signal, into a reflected sound signal using a transfer function. In addition, the underwater simulated sound signal generation device 20 can convert a simulated sound signal including a transient sound into a reflected sound signal using a transfer function. Further, the underwater simulated sound signal generation device 20 may convert the reflected sound signal into a direct sound signal using a transfer function.
上述した他の動作例によれば、信号処理装置10は、過渡音を含む2つの音信号の伝達関数を求めることができるので、過渡音を含む2つの異なる音信号の関係を明確にできる。水中模擬音信号生成装置20は、この伝達関数を用いて、直接音信号を反射音信号に変換するか、又は、反射音信号を直接音信号に変換することができる。 According to the other operation example described above, the signal processing apparatus 10 can obtain the transfer function of two sound signals including transient sounds, and thus can clarify the relationship between two different sound signals including transient sounds. The underwater simulated sound signal generation device 20 can convert a direct sound signal into a reflected sound signal or convert a reflected sound signal into a direct sound signal using this transfer function.
このように水中模擬音信号生成装置は、伝達関数を用いて、模擬音信号を変換することにより、パラメータで入力されるのとは異なる他の環境の模擬音信号を生成することができる。 As described above, the underwater simulated sound signal generation device can generate a simulated sound signal of another environment different from that input by the parameter by converting the simulated sound signal using the transfer function.
上述した他の動作例では、伝達関数は、直接音信号と反射音信号との関係を有しているが、過渡音を含む時間領域表現の第1音信号及び時間領域表現の第2音信号が収録される環境は、特に制限されるものではない。 In the other operation examples described above, the transfer function has a relationship between the direct sound signal and the reflected sound signal, but the first sound signal in the time domain expression including the transient sound and the second sound signal in the time domain expression. The environment in which is recorded is not particularly limited.
本発明では、上述した実施形態の音信号の処理装置及び方法は、本発明の趣旨を逸脱しない限り適宜変更が可能である。 In the present invention, the sound signal processing apparatus and method of the above-described embodiments can be modified as appropriate without departing from the spirit of the present invention.
10 処理装置
11 演算部
12 記憶部
13 表示部
14 入力部
15 通信部
20 水中模擬音信号生成装置
30 水中模擬音信号処理システム
DESCRIPTION OF SYMBOLS 10 Processing apparatus 11 Computation part 12 Storage part 13 Display part 14 Input part 15 Communication part 20 Underwater simulated sound signal generation apparatus 30 Underwater simulated sound signal processing system
Claims (9)
前記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、3次元グラフを生成する演算部と、
前記3次元グラフを表示する表示部と、
を備え、
前記演算部は、前記入力部がユーザから入力した情報に基づいて、前記3次元グラフを加工し、加工された前記3次元グラフに基づいて、複数の時間区間に対する前記音信号を求め、各時間区間の前記音信号を時間の順番に配置して、加工された前記音信号を生成する、音信号の信号処理装置。 An input unit for inputting a sound signal including a transient sound in which a temporal change in a sound waveform is not in a steady state;
A calculation unit for obtaining a frequency spectrum for a plurality of time intervals from the sound signal, and generating a three-dimensional graph with time, frequency, and magnitude of the frequency spectrum as coordinate axes;
A display unit for displaying the three-dimensional graph;
Bei to give a,
The arithmetic unit processes the three-dimensional graph based on information input from the user by the input unit, obtains the sound signal for a plurality of time intervals based on the processed three-dimensional graph, A signal processing apparatus for sound signals, wherein the sound signals of the sections are arranged in order of time to generate the processed sound signals.
前記音信号から、複数の時間区間に対する周波数スペクトルを求め、時間と、周波数と、周波数スペクトルの大きさとを座標軸として、3次元グラフを生成し、
前記3次元グラフを表示し、
ユーザから入力した情報に基づいて、前記3次元グラフを加工し、
加工された前記3次元グラフに基づいて、複数の時間区間に対する前記音信号を求め、各時間区間の前記音信号を時間の順番に配置して、加工された前記音信号を生成する方法。 Input a sound signal containing a transient sound whose sound amplitude change is not in a steady state over time,
A frequency spectrum for a plurality of time intervals is obtained from the sound signal, and a three-dimensional graph is generated using time, frequency, and the magnitude of the frequency spectrum as coordinate axes,
Displaying the three-dimensional graph;
Based on information input from the user, the three-dimensional graph is processed,
A method of generating the processed sound signal by obtaining the sound signals for a plurality of time intervals based on the processed three-dimensional graph and arranging the sound signals of each time interval in order of time .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015076185A JP6566692B2 (en) | 2015-04-02 | 2015-04-02 | Signal processing apparatus and method for sound signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015076185A JP6566692B2 (en) | 2015-04-02 | 2015-04-02 | Signal processing apparatus and method for sound signal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016197030A JP2016197030A (en) | 2016-11-24 |
JP6566692B2 true JP6566692B2 (en) | 2019-08-28 |
Family
ID=57358678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015076185A Active JP6566692B2 (en) | 2015-04-02 | 2015-04-02 | Signal processing apparatus and method for sound signal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6566692B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489762B (en) * | 2020-05-13 | 2023-06-16 | 广州国音智能科技有限公司 | Three-dimensional spectrogram generation method, device, terminal and storage medium |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60144669A (en) * | 1984-01-01 | 1985-07-31 | Nec Corp | Detector for variation in signal frequency |
JPH08177530A (en) * | 1994-12-27 | 1996-07-09 | Toshiba Corp | Abnormality detecting device for gas turbine |
JP3277440B2 (en) * | 1994-12-29 | 2002-04-22 | ソニー株式会社 | Acoustic characteristics measurement device |
JP3066716B2 (en) * | 1995-06-14 | 2000-07-17 | 財団法人鉄道総合技術研究所 | Time series data analysis system |
JP2900891B2 (en) * | 1996-08-29 | 1999-06-02 | 日本電気株式会社 | Acoustic signal display method and device |
JP3958538B2 (en) * | 2001-07-31 | 2007-08-15 | 財団法人鉄道総合技術研究所 | Concrete hammering inspection method and concrete hammering inspection apparatus |
JP3382240B1 (en) * | 2002-06-12 | 2003-03-04 | 隆義 山本 | Method of diagnosing target equipment, computer program, and apparatus for diagnosing target equipment |
JP3853807B2 (en) * | 2003-08-28 | 2006-12-06 | 本田技研工業株式会社 | Sound vibration analysis apparatus, sound vibration analysis method, computer-readable recording medium recording sound vibration analysis program, and program for sound vibration analysis |
-
2015
- 2015-04-02 JP JP2015076185A patent/JP6566692B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016197030A (en) | 2016-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3704336B2 (en) | Waveform detector and condition monitoring system using it | |
EP1227471B1 (en) | Apparatus and program for sound encoding | |
WO2015136823A1 (en) | Target extraction system, target extraction method, and information processing device and control method and control program for same | |
JP2010249940A (en) | Noise reducing device and noise reduction method | |
JP2007316254A (en) | Audio signal interpolation method and audio signal interpolation device | |
CN108200526B (en) | Sound debugging method and device based on reliability curve | |
Morise | Error evaluation of an F0-adaptive spectral envelope estimator in robustness against the additive noise and F0 error | |
JP6566692B2 (en) | Signal processing apparatus and method for sound signal | |
Ducrozet et al. | On the equivalence of unidirectional rogue waves detected in periodic simulations and reproduced in numerical wave tanks | |
JP5433696B2 (en) | Audio processing device | |
Boashash et al. | Efficient software platform TFSAP 7.1 and Matlab package to compute Time–Frequency Distributions and related Time-Scale methods with extraction of signal characteristics | |
US9514722B1 (en) | Automatic detection of dense ornamentation in music | |
KR101667481B1 (en) | Method and apparatus for interpolation of seismic trace | |
JP6241131B2 (en) | Acoustic filter device, acoustic filtering method, and program | |
JP4649888B2 (en) | Voice effect imparting device and voice effect imparting program | |
Yazid et al. | Identification of slow drift motions of a truss spar platform using parametric Volterra model | |
JP7243531B2 (en) | Distance estimation device, distance estimation method, and distance estimation program | |
JPWO2008010413A1 (en) | Speech synthesizer, method, and program | |
JP5163606B2 (en) | Speech analysis / synthesis apparatus and program | |
JP4513556B2 (en) | Speech analysis / synthesis apparatus and program | |
KR100620484B1 (en) | Sound synthesizing device and storage medium storing program | |
US10586526B2 (en) | Speech analysis and synthesis method based on harmonic model and source-vocal tract decomposition | |
JP4654616B2 (en) | Voice effect imparting device and voice effect imparting program | |
JP4958241B2 (en) | Signal processing apparatus, signal processing method, signal processing program, and recording medium | |
JP5821161B2 (en) | Method, apparatus and program for performing waveform analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6566692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |