JP5715514B2 - Audio signal mixing apparatus and program thereof, and audio signal restoration apparatus and program thereof - Google Patents
Audio signal mixing apparatus and program thereof, and audio signal restoration apparatus and program thereof Download PDFInfo
- Publication number
- JP5715514B2 JP5715514B2 JP2011148245A JP2011148245A JP5715514B2 JP 5715514 B2 JP5715514 B2 JP 5715514B2 JP 2011148245 A JP2011148245 A JP 2011148245A JP 2011148245 A JP2011148245 A JP 2011148245A JP 5715514 B2 JP5715514 B2 JP 5715514B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- mixing
- signal
- digital audio
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Description
本発明は、複数のオーディオ信号をミキシングしたマルチチャンネルの音響信号から、ミキシングされる前のオーディオ信号を復元する技術に関する。 The present invention relates to a technique for restoring an audio signal before mixing from a multi-channel acoustic signal obtained by mixing a plurality of audio signals.
一般に、オーディオコンテンツの作成時には、個別に収録した音源のデジタルデータを素材にしたミキシングが行われている。
また、近年では、アナログ音源の音響信号から、デジタル音源の音響信号に変換するデジタル・リマスタリングが盛んに行われている。このとき、デジタル・リマスタリングは、すでにミキシングされたアナログ音源を編集することで行われている。
In general, when creating audio content, mixing is performed using digital data of individually recorded sound sources as a material.
In recent years, digital remastering for converting an analog sound source acoustic signal into a digital sound source acoustic signal has been actively performed. At this time, digital remastering is performed by editing an analog sound source that has already been mixed.
ここで、ミキシングには、振幅ゲイン、時間遅延、パンニング、リバーブレータ等の効果を与えるフィルタ係数といったパラメータ（ミキシングパラメータ）が用いられる。特に多チャンネルのミキシングにおいて音像の定位感を聴視者に与えるには、各出力チャンネルの音の大きさ、すなわち、各スピーカから出力される相対的な音の大きさを示すパンニング係数が重要となる。
例えば、このパンニング係数を用いて、多チャンネルのオーディオ信号の音像を、所望の位置に定位させるパンニング装置（３次元音響パンニング装置）が存在する（特許文献１参照）。
Here, for the mixing, parameters (mixing parameters) such as filter coefficients that give effects such as amplitude gain, time delay, panning, reverberator and the like are used. In particular, in order to give the viewer a sense of localization of the sound image in multi-channel mixing, a panning coefficient indicating the loudness of each output channel, that is, the relative loudness output from each speaker, is important. Become.
For example, there is a panning device (three-dimensional acoustic panning device) that uses this panning coefficient to localize a sound image of a multi-channel audio signal at a desired position (see Patent Document 1).
このミキシングを行った後の音響信号からミキシングに用いたパラメータを推定することができれば、ミキシング前のデジタルオーディオ信号の復元が可能となり、元のデジタル音源によるリミックスやアップミックス、元の音源の圧縮符号化が可能になる。
しかし、すでにミキシングされた音響信号から、元の音源のオーディオ信号を忠実に復元することは困難である。基本的に、ミキシングされた音響信号は、元の音源情報を失っているからである。
If the parameters used for mixing can be estimated from the acoustic signal after mixing, it is possible to restore the digital audio signal before mixing, remix and upmix with the original digital sound source, and compression code of the original sound source. Can be realized.
However, it is difficult to faithfully restore the audio signal of the original sound source from the already mixed acoustic signal. Basically, the mixed sound signal has lost the original sound source information.
そこで、従来、予めミキシング処理をモデル化した上で、マルチチャンネルのデジタルオーディオ信号をミキシングし、元の音源のオーディオ信号を復元するために、ミキシングされた音響信号から、最小二乗法等を用いて、モデル化した処理との相違を最小限とするように、ミキシング前のデジタルオーディオ信号を復元するリバースエンジニアリングの技術が開示されている（非特許文献１参照）。 Therefore, in order to mix the multi-channel digital audio signal and restore the original sound source audio signal after modeling the mixing process in advance, the least square method is used from the mixed sound signal. A reverse engineering technique for restoring a digital audio signal before mixing so as to minimize the difference from the modeled processing is disclosed (see Non-Patent Document 1).
しかし、従来の手法は、デジタルオーディオ信号を復元する場合、予めミキシング処理をモデル化して、最小二乗法等を用いて、ミキシング前のデジタルオーディオ信号に近似した信号を求めているに過ぎない。すなわち、従来の手法では、デジタルオーディオ信号を復元する場合、その復元された信号は、あくまで、元の信号の近似信号でしかないため、元の信号とは異なるノイズ成分が重畳されてしまうという問題がある。 However, in the case of restoring a digital audio signal, the conventional method merely models a mixing process in advance and uses a least square method or the like to obtain a signal approximate to the digital audio signal before mixing. That is, in the conventional method, when a digital audio signal is restored, the restored signal is only an approximate signal of the original signal, and therefore, a noise component different from the original signal is superimposed. There is.
本発明は、以上のような問題点に鑑みてなされたものであり、元のオーディオ信号を復元可能にミキシングすることが可能なオーディオ信号ミキシング装置およびそのプログラム、ならびに、元のオーディオ信号を復元することが可能なオーディオ信号復元装置およびそのプログラムを提供することを課題とする。 The present invention has been made in view of the above problems, and an audio signal mixing apparatus capable of reversibly mixing an original audio signal, a program therefor, and an original audio signal are restored. It is an object of the present invention to provide an audio signal restoration device and a program for the same.
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載のオーディオ信号ミキシング装置は、複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するオーディオ信号ミキシング装置であって、ミキシング手段と、パイロット信号生成手段と、加算手段と、を備える構成とした。 The present invention has been made to solve the above-mentioned problems. First, an audio signal mixing apparatus according to claim 1 mixes digital audio signals of a plurality of input channels and digital audio before mixing. An audio signal mixing apparatus that adds a signal that can be restored to a signal to a digital audio signal of an output channel after mixing, and includes a mixing unit, a pilot signal generating unit, and an adding unit.
かかる構成において、オーディオ信号ミキシング装置は、ミキシング手段によって、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、入力チャンネルのデジタルオーディオ信号をミキシングする。すなわち、ミキシング手段は、パンニング係数に応じて、入力チャンネルの信号を出力チャンネルに分配することで、アップミックスや、ダウンミックスルといった、入力チャンネルとは異なるチャンネル数のデジタルオーディオ信号に変換する。 In such a configuration, the audio signal mixing device mixes the digital audio signal of the input channel based on the panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels by the mixing unit. To do. In other words, the mixing means distributes the signal of the input channel to the output channel according to the panning coefficient, thereby converting it into a digital audio signal having a number of channels different from the input channel, such as upmix or downmixle.
そして、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を示す信号（パイロット信号）を生成する。このとき、パイロット信号生成手段は、出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成する。これによって、パイロット信号生成手段は、高周波の周波数領域において、入力チャンネルごとに異なる周波数で、かつ、パンニング係数の大きさが振幅として表された正弦波信号としてパンニング信号が生成されることになる。 Then, the audio signal mixing apparatus generates, for each output channel, a signal (pilot signal) indicating a panning coefficient of the input channel assigned to the output channel by the pilot signal generation unit. At this time, the pilot signal generation means assigns the panning coefficient of the input channel assigned to the output channel to a predetermined frequency that is equal to or higher than the predetermined frequency and is different for each input channel, and sets the magnitude of the panning coefficient to the amplitude. A pilot signal is generated. As a result, the pilot signal generating means generates a panning signal as a sine wave signal having a frequency different for each input channel and a magnitude of the panning coefficient expressed as an amplitude in a high frequency range.
そして、オーディオ信号ミキシング装置は、加算手段によって、パイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する。これによって、ミキシング後のデジタルオーディオ信号の高周波成分に、パンニング係数を示す信号が付加されることになる。 Then, the audio signal mixing apparatus adds the pilot signal for each output channel generated by the pilot signal generating unit to the digital audio signal of the output channel mixed by the mixing unit by the adding unit. As a result, a signal indicating a panning coefficient is added to the high-frequency component of the digital audio signal after mixing.
このように、ミキシング後のデジタルオーディオ信号にパンニング係数を示す信号を付加しておくことで、元のデジタルオーディオ信号を復元する場合に、ミキシング後のデジタルオーディオ信号からパンニング係数を検出し、ミキシングの逆の処理（逆ミキシング）を行うことで、元の音源を復元することが可能になる。 In this way, by adding a signal indicating the panning coefficient to the digital audio signal after mixing, when restoring the original digital audio signal, the panning coefficient is detected from the mixed digital audio signal, and mixing is performed. By performing reverse processing (reverse mixing), the original sound source can be restored.
また、請求項２に記載のオーディオ信号ミキシング装置は、請求項１に記載のオーディオ信号ミキシング装置において、前記入力チャンネルのデジタルオーディオ信号は、音源であるアナログオーディオ信号をアンチエイリアシングフィルタの遮断周波数でフィルタリングした後に、予め定めたサンプリング周波数でデジタル信号に変換された信号であって、前記パイロット信号生成手段は、前記遮断周波数以上で、かつ、前記サンプリング周波数の２分の１の周波数未満の周波数帯域に、前記パンニング係数を割り当てることを特徴とする。
The audio signal mixing device according to claim 2 is the audio signal mixing device according to
かかる構成において、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、遮断周波数以上、サンプリング周波数の２分の１（ナイキスト周波数）未満の周波数帯域に、パンニング係数を割り当てることで、実際の音響とは重ならない周波数領域にパンニング係数を付加することができる。また、パンニング係数を割り当てる周波数を遮断周波数以上、ナイキスト周波数未満とすることで、元のデジタルオーディオ信号を復元する際に、パンニング係数を検出するために参照する周波数領域を特定の範囲に限定することができる。 In such a configuration, the audio signal mixing apparatus assigns a panning coefficient to a frequency band equal to or higher than the cutoff frequency and lower than half of the sampling frequency (Nyquist frequency) by the pilot signal generation unit, thereby overlapping the actual sound. A panning coefficient can be added to a frequency region that does not become necessary. In addition, by setting the frequency to which the panning coefficient is assigned to be equal to or higher than the cut-off frequency and lower than the Nyquist frequency, when restoring the original digital audio signal, the frequency region referred to detect the panning coefficient is limited to a specific range. Can do.
また、請求項３に記載のオーディオ信号ミキシング装置は、請求項１または請求項２に記載のオーディオ信号ミキシング装置において、ミキシング手段の前段にパラメータ調整手段を備える構成とした。 According to a third aspect of the present invention, there is provided an audio signal mixing device according to the first or second aspect, wherein the audio signal mixing device includes a parameter adjusting unit in front of the mixing unit.
かかる構成において、オーディオ信号ミキシング装置は、パラメータ調整手段によって、入力チャンネルに対応するデジタルオーディオ信号を個別に調整するパラメータにより、当該デジタルオーディオ信号のレベルを調整する。このパラメータ調整手段は、例えば、デジタルオーディオ信号のゲインを個別に調整するものである。
そして、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、パラメータ調整手段で用いた入力チャンネルごとのパラメータを、当該入力チャンネルに対応したパンニング係数に乗算する。これによって、新たなパンニング係数には、デジタルオーディオ信号を個別に調整するパラメータの情報が付加されることになり、当該パンニング係数は、ミキシング前の信号を復元するための信号として利用することができる。
In such a configuration, the audio signal mixing apparatus adjusts the level of the digital audio signal by the parameter adjusting unit by using the parameter for individually adjusting the digital audio signal corresponding to the input channel. For example, the parameter adjusting means individually adjusts the gain of the digital audio signal.
In the audio signal mixing apparatus, the pilot signal generation unit multiplies the parameter for each input channel used by the parameter adjustment unit by the panning coefficient corresponding to the input channel. As a result, parameter information for individually adjusting the digital audio signal is added to the new panning coefficient, and the panning coefficient can be used as a signal for restoring the signal before mixing. .
さらに、請求項４に記載のオーディオ信号ミキシングプログラムは、複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するために、オーディオ信号ミキシング装置のコンピュータを、ミキシング手段、パイロット信号生成手段、加算手段、として機能させる構成とした。 Furthermore, the audio signal mixing program according to claim 4 mixes the digital audio signals of a plurality of input channels, and converts the digital audio signal of the output channel after mixing into a signal that can be restored to the digital audio signal before mixing. Therefore, the computer of the audio signal mixing apparatus is configured to function as mixing means, pilot signal generation means, and addition means.
かかる構成において、オーディオ信号ミキシングプログラムは、ミキシング手段によって、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、入力チャンネルのデジタルオーディオ信号をミキシングする。 In this configuration, the audio signal mixing program mixes the digital audio signal of the input channel based on the panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels by the mixing unit. To do.
そして、オーディオ信号ミキシングプログラムは、パイロット信号生成手段によって、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を示す信号（パイロット信号）を生成する。このとき、パイロット信号生成手段は、出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成する。 Then, the audio signal mixing program generates, for each output channel, a signal (pilot signal) indicating a panning coefficient of the input channel assigned to the output channel by the pilot signal generation unit. At this time, the pilot signal generation means assigns the panning coefficient of the input channel assigned to the output channel to a predetermined frequency that is equal to or higher than the predetermined frequency and is different for each input channel, and sets the magnitude of the panning coefficient to the amplitude. A pilot signal is generated.
そして、オーディオ信号ミキシングプログラムは、加算手段によって、パイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する。 The audio signal mixing program adds the pilot signal for each output channel generated by the pilot signal generation unit to the digital audio signal of the output channel mixed by the mixing unit by the adding unit.
これによって、ミキシング後のデジタルオーディオ信号の高周波成分に、パンニング係数の大きさを示す信号が付加されることになり、ミキシング前の信号を復元するために利用することが可能になる。 As a result, a signal indicating the magnitude of the panning coefficient is added to the high-frequency component of the digital audio signal after mixing, which can be used to restore the signal before mixing.
また、請求項５に記載のオーディオ信号復元装置は、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するオーディオ信号復元装置であって、ブロック切出手段と、帯域制限手段と、周波数解析手段と、係数検出手段と、逆ミキシング手段と、を備える構成とした。 The audio signal restoration apparatus according to claim 5 mixes the digital audio signal of the input channel based on a panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels. In this case, the panning coefficient is assigned to a predetermined frequency which is equal to or higher than a predetermined frequency and is different for each input channel, and a pilot signal whose amplitude is the magnitude of the panning coefficient is used as the digital audio signal of the output channel. An audio signal restoration device for restoring a signal before mixing from a digital audio signal after mixing generated by adding, a block cutout means, a band limiting means, a frequency analysis means, a coefficient detection means, And reverse mixing means It was constructed.
かかる構成において、オーディオ信号復元装置は、ブロック切出手段によって、ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出す。このブロックにおいて、パンニング係数が同一であるとみなして以降の処理を行う。
すなわち、オーディオ信号復元装置は、帯域制限手段によって、ブロックごとに、パイロット信号が加算された周波数領域の信号を除去する。これによって、実際の音響のみの信号が生成されることになる。
In such a configuration, the audio signal restoration device cuts out a signal from the digital audio signal after mixing by a block cutout unit in blocks of a predetermined time length. In this block, it is assumed that the panning coefficients are the same, and the subsequent processing is performed.
That is, the audio signal restoration device removes the frequency domain signal to which the pilot signal is added for each block by the band limiting unit. As a result, an actual sound-only signal is generated.
また、オーディオ信号復元装置は、周波数解析手段によって、ブロックの周波数解析を行う。例えば、周波数解析手段は、フーリエ変換によって、ブロックごとの時間信号を、周波数領域で表された信号に変換する。そして、オーディオ信号復元装置は、係数検出手段によって、周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられているパンニング係数を検出する。これによって、ミキシングされたときのパンニング係数が抽出されることになる。 Also, the audio signal restoration device performs frequency analysis of the block by frequency analysis means. For example, the frequency analysis means converts a time signal for each block into a signal represented in the frequency domain by Fourier transform. Then, the audio signal restoration device detects a panning coefficient assigned in advance for each frequency from the amplitudes equal to or higher than a predetermined frequency among the frequencies analyzed by the frequency analysis means by the coefficient detection means. As a result, the panning coefficient when mixing is extracted.
そして、オーディオ信号復元装置は、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数に基づいて、帯域制限手段でパイロット信号が除去された信号に対して、ミキシングの逆変換を行うことで、時系列のブロックごとに、順次、ミキシング前のデジタルオーディオ信号を復元する。 Then, the audio signal restoration device performs reverse conversion of mixing on the signal from which the pilot signal has been removed by the band limiting unit based on the panning coefficient detected by the coefficient detection unit by the reverse mixing unit, The digital audio signal before mixing is sequentially restored for each time-series block.
また、請求項６に記載のオーディオ信号復元装置は、請求項５に記載のオーディオ信号復元装置において、前記逆ミキシング手段が、前記係数検出手段で検出されたパンニング係数を要素とする前記入力チャンネルから前記出力チャンネルへの変換行列において、当該変換行列が正方行列であれば当該変換行列の逆行列を用い、当該変換行列が正方行列でなければ当該変換行列の擬似逆行列を用いて、前記ミキシング前のデジタルオーディオ信号を逆変換して復元することを特徴とする。 The audio signal restoration device according to claim 6 is the audio signal restoration device according to claim 5, wherein the inverse mixing means uses the panning coefficient detected by the coefficient detection means as an element from the input channel. In the transformation matrix to the output channel, if the transformation matrix is a square matrix, an inverse matrix of the transformation matrix is used, and if the transformation matrix is not a square matrix, a pseudo inverse matrix of the transformation matrix is used before the mixing. The digital audio signal is inversely converted and restored.
かかる構成において、オーディオ信号復元装置は、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数を要素とする変換行列が正方行列であるか否かにより、逆変換に用いる行列を逆行列または擬似逆行列とする。これによって、逆ミキシング手段は、ミキシングを行った際の行列演算として用いられた変換行列（パンニング係数行列）が正方行列でない場合、すなわち、入力チャンネル数と出力チャンネル数とが異なる場合であっても、元のデジタルオーディオ信号を復元することができる。 In such a configuration, the audio signal restoration device uses the inverse mixing unit to convert the matrix used for the inverse transformation into an inverse matrix or a pseudo signal depending on whether or not the transformation matrix having the panning coefficient detected by the coefficient detection unit is a square matrix. Let it be an inverse matrix. As a result, the inverse mixing means can be used even when the transformation matrix (panning coefficient matrix) used as the matrix operation at the time of mixing is not a square matrix, that is, when the number of input channels is different from the number of output channels. The original digital audio signal can be restored.
さらに、請求項７に記載のオーディオ信号復元プログラムは、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するために、オーディオ信号復元装置のコンピュータを、ブロック切出手段、帯域制限手段、周波数解析手段、係数検出手段、逆ミキシング手段、として機能させる構成とした。 Furthermore, the audio signal restoration program according to claim 7 mixes the digital audio signal of the input channel based on a panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels. In this case, the panning coefficient is assigned to a predetermined frequency which is equal to or higher than a predetermined frequency and is different for each input channel, and a pilot signal whose amplitude is the magnitude of the panning coefficient is used as the digital audio signal of the output channel. In order to restore the pre-mixing signal from the mixed digital audio signal generated by the addition, the computer of the audio signal restoration device includes a block extraction unit, a band limiting unit, a frequency analysis unit, a coefficient detection unit, Reverse mixin And configured to function means as.
かかる構成において、オーディオ信号復元プログラムは、ブロック切出手段によって、ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出す。
そして、オーディオ信号復元プログラムは、帯域制限手段によって、ブロックごとに、パイロット信号が加算された周波数領域の信号を除去する。
In such a configuration, the audio signal restoration program cuts out the signal from the mixed digital audio signal in blocks of a predetermined time length by the block cutout unit.
Then, the audio signal restoration program removes the frequency domain signal to which the pilot signal is added for each block by the band limiting unit.
また、オーディオ信号復元プログラムは、周波数解析手段によって、ブロックの周波数解析を行う。そして、オーディオ信号復元プログラムは、係数検出手段によって、周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられているパンニング係数を検出する。 The audio signal restoration program performs frequency analysis of the block by frequency analysis means. Then, the audio signal restoration program detects a panning coefficient that is assigned in advance for each frequency from amplitudes that are equal to or higher than a predetermined frequency among the frequencies analyzed by the frequency analysis means by the coefficient detection means.
そして、オーディオ信号復元プログラムは、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数に基づいて、帯域制限手段でパイロット信号が除去された信号に対して、ミキシングの逆変換を行うことで、時系列のブロックごとに、順次、ミキシング前のデジタルオーディオ信号を復元する。 Then, the audio signal restoration program performs inverse conversion of mixing on the signal from which the pilot signal has been removed by the band limiting unit based on the panning coefficient detected by the coefficient detection unit by the inverse mixing unit, The digital audio signal before mixing is sequentially restored for each time-series block.
本発明は、以下に示す優れた効果を奏するものである。
請求項１，４に記載の発明によれば、多チャンネルのデジタルオーディオ信号をミキシングする際に、ミキシング後のデジタルオーディオ信号にパンニング係数の大きさを表した信号を付加することができる。これによって、ミキシング前のデジタルオーディオ信号を復元可能なように、デジタルオーディオ信号をミキシングすることができる。
The present invention has the following excellent effects.
According to the first and fourth aspects of the invention, when a multi-channel digital audio signal is mixed, a signal representing the size of the panning coefficient can be added to the mixed digital audio signal. Thereby, the digital audio signal can be mixed so that the digital audio signal before mixing can be restored.
請求項２に記載の発明によれば、実際の音響用の信号として使用しない予め定めた高周波成分の領域に限定してパンニング係数を割り当てるため、実際の音響そのものに影響を与えることがない。また、元のデジタルオーディオ信号を復元する際に、限定した周波数帯域から高速にパンニング係数を検出することができる。 According to the second aspect of the present invention, since the panning coefficient is assigned only to a predetermined high-frequency component area that is not used as an actual acoustic signal, the actual sound itself is not affected. In addition, when restoring the original digital audio signal, the panning coefficient can be detected at a high speed from a limited frequency band.
請求項３に記載の発明によれば、個々の入力チャンネルのパラメータを調整することができる。なお、この場合であっても、個々の入力チャンネルで調整されたパラメータは、パンニング係数に重畳されてミキシングされるため、元のデジタルオーディオ信号を復元することが可能となる。
According to the invention described in
請求項５，７に記載の発明によれば、デジタルオーディオ信号に付加されたパンニング係数を検出し、そのパンニング係数を用いて、ミキシング前のデジタルオーディオ信号を忠実に復元することができる。
また、請求項５，７に記載の発明によれば、複数回異なるミキシングを行われたデジタルオーディオ信号であっても、パンニング係数の情報が、順次、ミキシング後のデジタルオーディオ信号に加算されているため、そのパンニング係数を用いることで、元のデジタルオーディオ信号を復元することができる。
According to the fifth and seventh aspects of the present invention, the panning coefficient added to the digital audio signal can be detected, and the digital audio signal before mixing can be faithfully restored using the panning coefficient.
According to the fifth and seventh aspects of the present invention, panning coefficient information is sequentially added to the mixed digital audio signal even in the case of a digital audio signal that has been mixed multiple times. Therefore, the original digital audio signal can be restored by using the panning coefficient.
請求項６に記載の発明によれば、入力チャンネル数と出力チャンネル数が異なるようにミキシングされたデジタルオーディオ信号であっても、元のデジタルオーディオ信号を復元することができる。これによって、本発明は、多チャンネルのデジタルオーディオ信号がアップミックス、あるいは、ダウンミックスされた場合であっても、元のデジタルオーディオ信号を復元することができる。 According to the sixth aspect of the present invention, the original digital audio signal can be restored even if the digital audio signal is mixed so that the number of input channels is different from the number of output channels. Thus, the present invention can restore the original digital audio signal even when the multi-channel digital audio signal is upmixed or downmixed.
以下、本発明の実施形態について図面を参照して説明する。
［第１実施形態］
〔オーディオ信号ミキシング装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係るオーディオ信号ミキシング装置の構成について説明する。
オーディオ信号ミキシング装置１は、ミキシングパラメータであるパンニング係数（振幅パンニング係数）に基づいて、多チャンネルのデジタルオーディオ信号をミキシングするものである。
このオーディオ信号ミキシング装置１は、パンニング係数に基づいて、予め設定された入力チャンネル数の多チャンネル（ここでは、Ｋチャンネル）のオーディオ信号を、同じく予め設定された出力チャンネル数の多チャンネル（ここでは、Ｎチャンネル）の音響信号にミキシングする。
Embodiments of the present invention will be described below with reference to the drawings.
[First Embodiment]
[Configuration of audio signal mixing device]
First, the configuration of an audio signal mixing apparatus according to the first embodiment of the present invention will be described with reference to FIG.
The audio
The audio
ここで、パンニング係数とは、入力チャンネルごとの各オーディオ信号を、出力チャンネルごとにどれだけの強度（振幅）でミキシングするのかを示す係数である。このパンニング係数は、例えば、図示を省略したミキシングコンソールのパンポッド等によって設定される値であって、予め“０”から“１”の範囲で正規化されているものとする。 Here, the panning coefficient is a coefficient indicating how much intensity (amplitude) each audio signal for each input channel is mixed for each output channel. This panning coefficient is a value set by, for example, a pan pod of a mixing console (not shown) and is normalized in a range of “0” to “1” in advance.
なお、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号は、予め定めた周波数以上には、信号成分が存在しないものとする。これは、後で詳細に説明するが、オーディオ信号ミキシング装置１が、信号成分が存在しない高周波成分の領域に、パンニング係数の大きさを示す信号を付加するためである。
It is assumed that the digital audio signal input to the audio
一般に、デジタルオーディオ信号は、図示を省略したオーディオ信号変換装置によって、アナログ音源のオーディオ信号からＡ／Ｄ変換によって生成される。このとき、折り返し歪み除去（アンチエイリアシング）のため、Ａ／Ｄ変換前にサンプリング周波数に応じたローパスフィルタ（アンチエイリアシングフィルタ）で帯域制限が行われる。例えば、サンプリング周波数を４８ｋＨｚ（ナイキスト周波数２４ｋＨｚ）としたとき、ローパスフィルタの遮断周波数を２０ｋＨｚとする。これによって、遮断周波数（２０ｋＨｚ）からナイキスト周波数（２４ｋＨｚ）の範囲に、パンニング係数の大きさを示す信号を付加する領域が確保されることになる。このサンプリング周波数は、その値が高いほど、パンニング係数の大きさを示す信号を付加する領域が広く確保されることになる。
Generally, a digital audio signal is generated from an audio signal of an analog sound source by A / D conversion by an audio signal conversion device (not shown). At this time, in order to eliminate aliasing distortion (anti-aliasing), band limitation is performed by a low-pass filter (anti-aliasing filter) corresponding to the sampling frequency before A / D conversion. For example, when the sampling frequency is 48 kHz (
もちろん、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号は、アナログ音源から生成されたものに限らず、予め定めた高周波成分の領域（前記したローパスフィルタの遮断周波数以上の周波数領域）に信号成分を有さない信号であれば、予めデジタル信号として生成されたオーディオ信号であっても構わない。
Of course, the digital audio signal input to the audio
図１に示すように、オーディオ信号ミキシング装置１は、ミキシング手段１０と、パイロット信号生成手段１１と、加算手段１２と、を備えている。
As shown in FIG. 1, the audio
ミキシング手段１０は、入力される各チャンネルのデジタルオーディオ信号を、パンニング係数に基づいてミキシングするものである。すなわち、ミキシング手段１０は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｔ）（ｉ＝１，２，…，Ｋ）を、パンニング係数に応じた振幅で出力チャンネルに割り当て、出力チャンネルごとに加算することで、ミキシング後のデジタルオーディオ信号Ｃｊ（ｔ）（ｊ＝１，２，…，Ｎ）を生成する。なお、以下の説明において、入力チャンネルごとの時間信号であるデジタルオーディオ信号Ｔｉ（ｔ）を単にＴｉ、出力チャンネルごとの時間信号であるデジタルオーディオ信号Ｃｊ（ｔ）を単にＣｊと記載する。 The mixing means 10 mixes the input digital audio signal of each channel based on the panning coefficient. That is, the mixing means 10 assigns the digital audio signal T i (t) (i = 1, 2,..., K) for each input channel to the output channel with an amplitude corresponding to the panning coefficient, and adds the output for each output channel. Thus, the mixed digital audio signal C j (t) (j = 1, 2,..., N) is generated. In the following description, a digital audio signal T i (t) that is a time signal for each input channel is simply referred to as T i , and a digital audio signal C j (t) that is a time signal for each output channel is simply referred to as C j. To do.
このミキシング手段１０で行う処理は、“０”から“１”の範囲で正規化されたパンニング係数ａｊｉ（ｊは出力チャンネル、ｉは入力チャンネルの番号を示す）を用いると、出力信号であるデジタルオーディオ信号Ｃｊは、以下の（１）式のように表すことができる。 The processing performed by the mixing means 10 is an output signal using a panning coefficient a ji (j is an output channel and i is an input channel number) normalized in a range of “0” to “1”. The digital audio signal C j can be expressed as the following equation (1).
また、以下の（２）式に示すように、デジタルオーディオ信号Ｔｉ，Ｃｊをそれぞれ行列Ｔ，Ｃで表し、パンニング係数ａｊｉをＮ行Ｋ列の行列（パンニング係数行列；変換行列）Ａで表すと、ミキシング手段１０は、以下の（３）式に示す行列演算を行うことに等しい。
Further, as shown in the following equation (2), the digital audio signals T i and C j are represented by matrices T and C, respectively, and the panning coefficient a ji is an N-row and K-column matrix (panning coefficient matrix; conversion matrix) A. In other words, the mixing
このミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）は、加算手段１２に出力される。
Digital audio signals C j (j = 1, 2,..., N) mixed by the mixing means 10 are output to the adding
パイロット信号生成手段１１は、ミキシング手段１０において用いられたそれぞれのパンニング係数の大きさを振幅とし、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号を生成するものである。なお、パンニング係数に割り当てる周波数は、それ以上の周波数にはデジタルオーディオ信号の信号成分が存在しない予め定めた遮断周波数よりも高い周波数であって、デジタルオーディオ信号のサンプリング周波数のナイキスト周波数未満の周波数の範囲で予め定めておく。
The pilot
すなわち、パイロット信号生成手段１１は、ミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとに、以下の（４）式に示すように、振幅をパンニング係数ａｊｉ（ｉ＝１，２，…，Ｋ）（より正確には、Ｋの値で正規化したパンニング係数ａｊｉ）とし、周波数をそれぞれのパンニング係数ａｊｉに予め定めた周波数ｆｊとした時刻ｔにおける正弦波信号ｐｊｉを生成する。
That is, the pilot
なお、周波数ｆｊは、例えば、遮断周波数を２０ｋＨｚ、ナイキスト周波数（サンプリング周波数の１／２）を２４ｋＨｚとしたとき、２０ｋＨｚよりも高く、２４ｋＨｚ未満の周波数範囲で定めておく。例えば、ｆ１＝２０．２ｋＨｚ、ｆ２＝２０．４ｋＨｚ、ｆ３＝２０．６ｋＨｚのように予め定めた間隔で周波数を定めておく。
また、（４）式中、位相φｉは、“−π”から“π”までの間で任意の値を用いればよい。
The frequency f j is determined in a frequency range higher than 20 kHz and lower than 24 kHz, for example, when the cutoff frequency is 20 kHz and the Nyquist frequency (1/2 of the sampling frequency) is 24 kHz. For example, the frequency is determined at predetermined intervals such as f 1 = 20.2 kHz, f 2 = 20.4 kHz, and f 3 = 20.6 kHz.
In the equation (4), the phase φ i may be any value between “−π” and “π”.
そして、パイロット信号生成手段１１は、この（４）式の正弦波信号ｐｊｉを以下の（５）式に示すように、ｉ＝１からＫまで足し合わすことで、出力チャンネルに対応したデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとのパイロット信号を生成する。 Then, the pilot signal generation means 11 adds the sine wave signal p ji of the equation (4) from i = 1 to K as shown in the following equation (5), so that the digital audio corresponding to the output channel is obtained. A pilot signal for each signal C j (j = 1, 2,..., N) is generated.
このパイロット信号生成手段１１で生成されたパイロット信号は、加算手段１２に出力される。
The pilot signal generated by the pilot
加算手段１２は、ミキシング手段１０でミキシングされた出力チャンネルのデジタルオーディオ信号に対して、パイロット信号生成手段１１で生成されたパイロット信号を加算するものである。すなわち、加算手段１２は、ｊ番目の出力チャンネルのデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）に、前記（５）式で示したパイロット信号を加算する。この加算手段１２でパイロット信号が加算されたデジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）は、ミキシング前のデジタルオーディオ信号を復元するための音源となり、図示を省略したハードディスク等の記憶手段に記憶、あるいは、伝送路を介して外部に出力される。 The adding means 12 adds the pilot signal generated by the pilot signal generating means 11 to the digital audio signal of the output channel mixed by the mixing means 10. That is, the adding means 12 adds the pilot signal shown by the above equation (5) to the digital audio signal C j (j = 1, 2,..., N) of the j-th output channel. The digital audio signal C j p (j = 1, 2,..., N) to which the pilot signal is added by the adding means 12 serves as a sound source for restoring the digital audio signal before mixing, such as a hard disk not shown. Stored in the storage means or output to the outside via a transmission line.
この加算手段１２で生成されたデジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）は、図示を省略した音響再生装置（あるいは、その前処理を行う装置）において、高周波成分に付加されたパイロット信号を除去することで、再生信号として使用することができる。この場合、音響再生装置等（不図示）は、デジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）に対して、パイロット信号を加算した高周波成分を遮断するローパスフィルタによって帯域制限を行えばよい。
なお、一般に、２０ｋＨｚを超える高周波成分は、人間の耳には聞こえないため、このデジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）を、そのまま再生信号として使用することも可能である。
The digital audio signal C j p (j = 1, 2,..., N) generated by the adding means 12 is added to a high-frequency component in a sound reproduction device (or a device that performs preprocessing thereof) (not shown). By removing the generated pilot signal, it can be used as a reproduction signal. In this case, the sound reproducing device or the like (not shown) limits the band to the digital audio signal C j p (j = 1, 2,..., N) by a low-pass filter that cuts off a high-frequency component obtained by adding the pilot signal. Just do it.
In general, a high frequency component exceeding 20 kHz cannot be heard by human ears, so this digital audio signal C j p (j = 1, 2,..., N) can be used as a reproduction signal as it is. is there.
あるいは、オーディオ信号ミキシング装置１は、パイロット信号を加算する前の信号、すなわち、ミキシング手段１０によって生成されたデジタルオーディオ信号Ｃｊ（ｔ）（ｊ＝１，２，…，Ｎ）を、別経路で再生用のオーディオ信号として出力することとしてもよい。
Alternatively, the audio
ここで、図２を参照して、オーディオ信号ミキシング装置１が生成するパイロット信号が加算されたデジタルオーディオ信号Ｃｊ ｐの周波数分布について説明する。
図２は、オーディオ信号ミキシング装置１が生成するある出力チャンネルのデジタルオーディオ信号の周波数分布を示すグラフ図であって、縦軸は振幅、横軸は周波数を示している。なお、ここでは、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号が、アナログ信号をローパスフィルタの遮断周波数によって帯域制限した後に、Ａ／Ｄ変換された信号であるとする。そして、遮断周波数を２０ｋＨｚ、Ａ／Ｄ変換のサンプリング周波数を４８ｋＨｚ（すなわち、ナイキスト周波数を２４ｋＨｚ）としたときの例を示している。
Here, the frequency distribution of the digital audio signal C j p to which the pilot signal generated by the audio
FIG. 2 is a graph showing the frequency distribution of a digital audio signal of an output channel generated by the audio
この図２に示すように、ローパスフィルタ（アンチエイリアシングフィルタ）の周波数特性によって、デジタルオーディオ信号は、２０ｋＨｚ以上の高周波成分が遮断される。
また、遮断周波数である２０ｋＨｚから、ナイキスト周波数である２４ｋＨｚまでの範囲に、当該デジタルオーディオ信号をミキシングする際に用いた入力チャンネルのデジタルオーディオ信号に対応したパンニング係数が予め定めた周波数ごとにパイロット信号として分布する。
As shown in FIG. 2, high frequency components of 20 kHz or higher are cut off from the digital audio signal due to the frequency characteristics of the low-pass filter (anti-aliasing filter).
In addition, a panning coefficient corresponding to the digital audio signal of the input channel used when mixing the digital audio signal in the range from the cutoff frequency of 20 kHz to the Nyquist frequency of 24 kHz is a pilot signal for each predetermined frequency. Distributed as.
このパンニング係数は、出力チャンネル（ミキシング後）のデジタルオーディオ信号から、入力チャンネル（ミキシング前）のデジタルオーディオ信号を復元するための情報として利用されることになる。なお、デジタルオーディオ信号の復元については、後で詳細に説明する。 This panning coefficient is used as information for restoring the digital audio signal of the input channel (before mixing) from the digital audio signal of the output channel (after mixing). The restoration of the digital audio signal will be described in detail later.
以上説明した構成により、オーディオ信号ミキシング装置１は、デジタルオーディオ信号に、ミキシングに用いたパンニング係数の情報を付加することで、ミキシング前のデジタルオーディオ信号を復元可能に多チャンネルのオーディオ信号をミキシングすることができる。
With the configuration described above, the audio
また、オーディオ信号ミキシング装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号ミキシング装置１は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号ミキシングプログラム）によって動作する。
The audio
なお、ここでは、入力されるデジタルオーディオ信号が、予め定めた高周波成分の領域に信号成分を有さない信号として説明したが、これは、オーディオ信号ミキシング装置１において、最初の音源からオーディオ信号のミキシングを行う場合である。すなわち、オーディオ信号ミキシング装置１においてミキシングを行った後のデジタルオーディオ信号に対して、再度、ミキシングを行う場合、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号には、予め定めた高周波成分の領域にパイロット信号が付加されている。このように、オーディオ信号ミキシング装置１を多段に処理することが可能な点については、後で詳細に説明する。
Although the input digital audio signal has been described here as a signal that does not have a signal component in a predetermined high-frequency component region, this is because the audio
〔オーディオ信号復元装置の構成〕
次に、図３を参照して、本発明の第１実施形態に係るオーディオ信号復元装置の構成について説明する。
[Configuration of audio signal restoration device]
Next, the configuration of the audio signal restoration device according to the first embodiment of the present invention will be described with reference to FIG.
オーディオ信号復元装置２は、ミキシングされた多チャンネルのオーディオ信号から、当該オーディオ信号に予め付加されているパンニング係数の情報に基づいて、ミキシング前のオーディオ信号を復元するものである。すなわち、オーディオ信号復元装置２は、オーディオ信号ミキシング装置１（図１参照）でミキシングされ、パンニング係数の情報がパイロット信号として加算されたデジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）を、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に復元するものである。 The audio signal restoration device 2 restores the audio signal before mixing from the mixed multi-channel audio signal based on the information of the panning coefficient added in advance to the audio signal. That is, the audio signal restoration device 2 is mixed by the audio signal mixing device 1 (see FIG. 1), and the digital audio signal C j p (j = 1, 2,..., N) obtained by adding panning coefficient information as a pilot signal. ) Is restored to the digital audio signal T i (i = 1, 2,..., K) before mixing.
図３に示すように、オーディオ信号復元装置２は、ブロック切出手段２０と、帯域制限手段２１と、周波数解析手段２２、係数検出手段２３、逆ミキシング手段２４と、を備えている。
As shown in FIG. 3, the audio signal restoration device 2 includes a
ブロック切出手段２０は、パンニング係数の情報がパイロット信号として加算されたチャンネルごとのデジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）から、予め定めた一定時間長ごとのブロックで信号を切り出すものである。この時間長は、例えば、２０ｍｓとする。以降の処理においては、このブロック単位で処理が行われる。
このブロック切出手段２０で切り出されたチャンネルごとのデジタルオーディオ信号（ブロック信号）は、帯域制限手段２１および周波数解析手段２２に出力される。
The block cutout means 20 is a block for each predetermined time length from the digital audio signal C j p (j = 1, 2,..., N) for each channel to which the information of the panning coefficient is added as a pilot signal. The signal is cut out. This time length is, for example, 20 ms. In the subsequent processing, processing is performed in units of blocks.
The digital audio signal (block signal) for each channel cut out by the block cutout means 20 is output to the band limiting means 21 and the frequency analysis means 22.
帯域制限手段２１は、ブロック切出手段２０で切り出されたデジタルオーディオ信号（ブロック信号）から、予め定めた周波数（遮断周波数）以上の高周波成分を除去するものである。この帯域制限手段２１は、一般的なローパスフィルタで実現することができる。この帯域が制限された各チャンネルのデジタルオーディオ信号（ブロック信号）Ｃｊ（ｊ＝１，２，…，Ｎ）は、逆ミキシング手段２４に出力される。
The
なお、帯域制限手段２１における遮断周波数は、オーディオ信号ミキシング装置１（図１参照）において付加されたパイロット信号の周波数領域を遮断する周波数であればよい。例えば、オーディオ信号ミキシング装置１（図１参照）において、２０ＫＨｚ以上の周波数領域にパイロット信号を付加する場合、帯域制限手段２１は、２０ｋＨｚを遮断周波数とすればよい。
The cut-off frequency in the
周波数解析手段２２は、ブロック切出手段２０で切り出されたチャンネルごとのデジタルオーディオ信号（ブロック信号）を、チャンネルごとに周波数解析するものである。
例えば、周波数解析手段２２は、デジタルオーディオ信号（ブロック信号）に対して、フーリエ変換を行うことで、時間信号であるデジタルオーディオ信号を、周波数領域で表された信号に変換する。このフーリエ変換の時間窓は、ハニング窓、ハミング窓等を用いることができる。なお、周波数解析手段２２は、一般的な周波数解析手法を実現するものであれば、その手法は限定されない。例えば、フーリエ変換以外にも、最大エントロピ法等を用いることもできる。
The frequency analysis means 22 analyzes the digital audio signal (block signal) for each channel extracted by the block extraction means 20 for each channel.
For example, the
これによって、パイロット信号の周波数ごとに、パイロット信号として加算されているパンニング係数の大きさを示す振幅が求められることになる。この周波数解析された信号は、係数検出手段２３に出力される。 Thus, an amplitude indicating the magnitude of the panning coefficient added as the pilot signal is obtained for each frequency of the pilot signal. The frequency-analyzed signal is output to the coefficient detection means 23.
係数検出手段２３は、周波数解析手段２２で得られた周波数領域で表された信号から、パンニング係数を検出するものである。
この係数検出手段２３は、チャンネルごとに、周波数解析手段２２で得られた周波数領域で表された信号において、遮断周波数からサンプリング周波数の１／２（ナイキスト周波数）までの範囲の高周波成分から、前記（５）式のパイロット信号における一定の周波数間隔の振幅（すなわち、パンニング係数）を検出する。なお、遮断周波数、サンプリング周波数、および、パイロット信号の周波数間隔は、オーディオ信号ミキシング装置１（図１参照）と同一であり、既知であるものとする。
The
This coefficient detection means 23, for each channel, in the signal expressed in the frequency domain obtained by the frequency analysis means 22, from the high frequency component in the range from the cutoff frequency to 1/2 of the sampling frequency (Nyquist frequency), The amplitude (that is, the panning coefficient) at a certain frequency interval in the pilot signal of equation (5) is detected. Note that the cutoff frequency, sampling frequency, and frequency interval of the pilot signal are the same as those of the audio signal mixing apparatus 1 (see FIG. 1) and are known.
そして、係数検出手段２３は、正弦波信号ｐｊｉの振幅が、予め定めた閾値以下の場合、その値を“０”とみなす。そして、係数検出手段２３は、すべてのチャンネルｊ＝１，２，…，Ｎ）においてパンニング係数を検出し、パンニング係数を要素とするＫ′列の行列Ｘ（以下の（６）式）を求める。
The
ここで、Ｋ′は、パイロット信号として付加されたパンニング係数の数であるため、Ｋとなる。
すなわち、係数検出手段２３は、この（６）式の行列Ｘにより、前記（２）式のＮ行Ｋ列のパンニング係数行列Ａのパンニング係数ａｊｉを検出できたことになる。
このように検出されたパンニング係数ａｊｉからなるパンニング係数行列Ａ（＝Ｘ）は、逆ミキシング手段２４に出力される。
Here, K ′ is K because it is the number of panning coefficients added as a pilot signal.
That is, the coefficient detecting means 23 can detect the panning coefficient a ji of the panning coefficient matrix A of N rows and K columns of the above equation (2) from the matrix X of the above equation (6).
The panning coefficient matrix A (= X) composed of the panning coefficients a ji detected in this way is output to the inverse mixing means 24.
なお、前記（２）式において、例えば、Ｋ列目のパンニング係数の値がすべて“０”であった場合、前記（６）式のＫ′の値は、（Ｋ−１）となってしまう。しかし、このように、Ｋ列目のパンニング係数の値がすべて“０”であることは現実的ではなく、通常、Ｋ′＝Ｋとなる。 In the equation (2), for example, if the values of the panning coefficients in the Kth column are all “0”, the value of K ′ in the equation (6) becomes (K−1). . However, it is not realistic that the values of the panning coefficients in the Kth column are all “0” in this way, and normally K ′ = K.
もちろん、これを考慮して、係数検出手段２３は、パンニング係数検出中に逐次Ｋ′の値を記憶手段（不図示）に保持し、Ｋ′の値が前回のブロックにおける値を下回った場合、前記（６）式の行列Ｘにおいて、検出されなかったＫ′列までのパンニング係数の値を“０”とすればよい。逆に、Ｋ′の値が前回のブロックにおける値を上回った場合、係数検出手段２３は、その旨の警告を表示手段（不図示）に表示し、Ｋ′の最大値を一旦計測し、記憶手段（不図示）に保持する。そして、オーディオ信号復元装置２は、係数検出手段２３において、Ｋ′の値を保持しておいた最大値に固定して、再度、オーディオ信号の復元を行えばよい。 Of course, in consideration of this, the coefficient detection means 23 sequentially holds the value of K ′ in the storage means (not shown) during detection of the panning coefficient, and when the value of K ′ falls below the value in the previous block, In the matrix X of the equation (6), the value of the panning coefficient up to the K ′ column that is not detected may be set to “0”. Conversely, when the value of K ′ exceeds the value in the previous block, the coefficient detection means 23 displays a warning to that effect on the display means (not shown), and once measures and stores the maximum value of K ′. Hold by means (not shown). Then, the audio signal restoration device 2 may restore the audio signal again by fixing the value of K ′ to the maximum value held in the coefficient detection means 23.
なお、このミキシング前のチャンネル数を示すＫの値は、オーディオ信号ミキシング装置１で生成されたデジタルオーディオ信号を多重化する際に、例えば、ＡＲＩＢ（電波産業会）のＢＴＡ Ｆ−１００２で規定されているＡＥＳ／ＥＢＵ（Audio Engineering Society / European Broadcasting Union）デジタル音声信号における付加データ（Auxiliary Data）の領域に多重化して、オーディオ信号復元装置２（図３参照）に通知することとしてもよい。
Note that the value of K indicating the number of channels before mixing is defined by, for example, ARIB (Radio Industry Association) BTA F-1002 when the digital audio signal generated by the audio
逆ミキシング手段２４は、帯域制限手段２１において帯域制限されたブロック単位のデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）を、係数検出手段２３で検出されたパンニング係数（パンニング係数行列Ａ（＝Ｘ））に基づいてミキシング前のデジタルオーディオ信号に変換するものである。すなわち、逆ミキシング手段２４は、前記（３）式の逆変換を行うことで、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）をブロック単位で復元する。
The
ただし、パンニング係数行列Ａ（＝Ｘ）は、一般に正方行列とは限らない。そこで、逆ミキシング手段２４は、パンニング係数行列Ａが正方行列であれば逆行列、正方行列でなければ擬似逆行列を用いて、以下の（７）式に示すように、ブロック単位にデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を生成する。ここで、Ａｔは行列Ａの転置行列を表している。 However, the panning coefficient matrix A (= X) is not always a square matrix. Therefore, the inverse mixing means 24 uses an inverse matrix if the panning coefficient matrix A is a square matrix, and uses a pseudo inverse matrix if the panning coefficient matrix A is not a square matrix, as shown in the following equation (7). T i (i = 1, 2,..., K) is generated. Here, A t represents the transposed matrix of the matrix A.
このように、逆ミキシング手段２４は、デジタルオーディオ信号から切り出されたブロック内において、パンニング係数が一定であるとみなすことで、行列演算によるデジタルオーディオ信号の復元を可能にしている。
As described above, the
そして、逆ミキシング手段２４は、ブロック単位で復元されたチャンネルごとの信号を、順次、チャンネルごとに出力する。これによって、チャンネルごとに、時間方向に連結され、復元されたデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）が、外部に出力されることになる。 And the reverse mixing means 24 outputs the signal for every channel restored | reconstructed per block sequentially for every channel. As a result, for each channel, the digital audio signal T i (i = 1, 2,..., K) connected in the time direction and restored is output to the outside.
以上説明した構成により、オーディオ信号復元装置２は、ミキシングに用いたパンニング係数の情報を付加されたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元することができる。 With the configuration described above, the audio signal restoration device 2 can restore the digital audio signal before mixing from the digital audio signal to which the information of the panning coefficient used for mixing is added.
また、オーディオ信号復元装置２は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号復元装置２は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号復元プログラム）によって動作する。 The audio signal restoration device 2 can be realized by a general computer having a CPU and a memory (not shown). At this time, the audio signal restoration device 2 operates by a program (audio signal restoration program) that causes the computer to function as each of the above-described means.
〔オーディオ信号ミキシング装置の動作〕
次に、図４を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るオーディオ信号ミキシング装置の動作について説明する。
なお、ここでは、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号を生成する手順として、アナログ音源のオーディオ信号（アナログオーディオ信号）からデジタルオーディオ信号に変換するオーディオ信号変換装置（不図示）の動作を含めて説明する。
[Operation of Audio Signal Mixing Device]
Next, the operation of the audio signal mixing apparatus according to the first embodiment of the present invention will be described with reference to FIG. 4 (refer to FIG. 1 as appropriate for the configuration).
Here, as a procedure for generating a digital audio signal input to the audio
まず、オーディオ信号変換装置の帯域制限手段（不図示）が、アナログオーディオ信号に対してアンチエイリアシング処理を行う（ステップＳ１）。すなわち、オーディオ信号変換装置は、折り返し歪み除去のため、予め定めた遮断周波数以上の周波数成分を除去する。 First, band limiting means (not shown) of the audio signal converter performs anti-aliasing processing on the analog audio signal (step S1). That is, the audio signal converter removes frequency components that are equal to or higher than a predetermined cutoff frequency in order to remove aliasing distortion.
そして、オーディオ信号変換装置のＡ／Ｄ変換手段（不図示）が、ステップＳ１でアンチエイリアシング処理が行われたアナログオーディオ信号に対して、予め定めたサンプリング周波数でＡ／Ｄ変換を行う（ステップＳ２）。
これによって、パンニング係数をパイロット信号として付加する領域が確保されたデジタルオーディオ信号が生成されることになる。
Then, A / D conversion means (not shown) of the audio signal conversion apparatus performs A / D conversion at a predetermined sampling frequency on the analog audio signal subjected to anti-aliasing processing in step S1 (step S2). ).
As a result, a digital audio signal in which a region for adding a panning coefficient as a pilot signal is secured is generated.
なお、このステップＳ１，Ｓ２は、パイロット信号の領域を確保した信号を、予めデジタルオーディオ信号として生成する場合は不要である。また、すでに、オーディオ信号ミキシング装置１においてミキシングされた後のデジタルオーディオ信号を再ミキシングする場合も不要である。
Note that steps S1 and S2 are unnecessary when a signal in which a pilot signal area is secured is generated in advance as a digital audio signal. Further, it is not necessary to remix the digital audio signal that has already been mixed in the audio
このように処理されたデジタルオーディオ信号を入力したオーディオ信号ミキシング装置１は、ミキシング手段１０によって、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を、パンニング係数に応じた振幅で出力チャンネルに割り当て、出力チャンネルごとに加算することで、ミキシング後のデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）を生成する（ステップＳ３）。
The audio
そして、オーディオ信号ミキシング装置１は、パイロット信号生成手段１１によって、ステップＳ３で用いたパンニング係数を含んだパイロット信号を出力チャンネルごとに生成する（ステップＳ４）。このとき、パイロット信号生成手段１１は、パンニング係数の大きさを振幅で表し、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号を出力チャンネルごとに生成する（ステップＳ４）。
Then, the audio
そして、オーディオ信号ミキシング装置１は、加算手段１２によって、ステップＳ３で生成されたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）に対して、ステップＳ４で生成された出力チャンネルごとのパイロット信号を加算することで、デジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）を生成する（ステップＳ５）。
Then, the audio
以上の動作によって、オーディオ信号ミキシング装置１は、デジタルオーディオ信号をミキシングするとともに、ミキシング後の信号に、ミキシング前のデジタルオーディオ信号を復元することが可能なように、パンニング係数の情報を付加することができる。
Through the above operation, the audio
〔オーディオ信号復元装置の動作〕
次に、図５を参照（構成については適宜図３参照）して、本発明の第１実施形態に係るオーディオ信号復元装置の動作について説明する。
なお、このオーディオ信号復元装置２に入力されるデジタルオーディオ信号は、オーディオ信号ミキシング装置１（図１参照）でミキシングされたデジタルオーディオ信号である。
[Operation of audio signal restoration device]
Next, the operation of the audio signal restoration device according to the first embodiment of the present invention will be described with reference to FIG.
The digital audio signal input to the audio signal restoration device 2 is a digital audio signal mixed by the audio signal mixing device 1 (see FIG. 1).
まず、オーディオ信号復元装置２は、ブロック切出手段２０によって、入力チャンネルごとに、デジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）から、予め定めた一定時間長ごとのブロックに信号（ブロック信号）を切り出す（ステップＳ１０）。 First, the audio signal restoration device 2 converts the digital audio signal C j p (j = 1, 2,..., N) from the digital audio signal C j p (j = 1, 2,... A signal (block signal) is cut out (step S10).
そして、オーディオ信号復元装置２は、周波数解析手段２２によって、ステップＳ１０で切り出されたデジタルオーディオ信号（ブロック信号）を、チャンネルごとに周波数解析（例えば、フーリエ変換）する（ステップＳ１１）。これによって、パイロット信号の周波数ごとに、パイロット信号として加算されているパンニング係数の大きさを示す振幅が求められることになる。
Then, the audio signal restoration device 2 performs frequency analysis (for example, Fourier transform) on the digital audio signal (block signal) cut out in step S10 by the
そして、オーディオ信号復元装置２は、係数検出手段２３によって、ステップＳ１１で得られた周波数領域で表された信号において、遮断周波数からサンプリング周波数の１／２（ナイキスト周波数）までの範囲の高周波成分から、一定の周波数間隔に配置された正弦波信号の振幅（すなわち、パンニング係数）を検出し、パンニング係数行列を生成する（ステップＳ１２）。
Then, the audio signal restoration device 2 uses the
すなわち、係数検出手段２３は、前記（５）式のパイロット信号において、一定の周波数間隔の振幅（すなわち、パンニング係数）を検出する。そして、係数検出手段２３は、前記（２）式のパンニング係数行列Ａに相当する行列Ｘを前記（６）式により生成する。 That is, the coefficient detection means 23 detects the amplitude (that is, the panning coefficient) at a certain frequency interval in the pilot signal of the equation (5). And the coefficient detection means 23 produces | generates the matrix X equivalent to the panning coefficient matrix A of said Formula (2) by said Formula (6).
また、オーディオ信号復元装置２は、帯域制限手段２１によって、ステップＳ１０で切り出されたデジタルオーディオ信号（ブロック信号）に対して、予め定めた周波数（ステップＳ１（図４参照）における遮断周波数に相当）以上の高周波成分を除去する（ステップＳ１３）。これによって、デジタルオーディオ信号（ブロック信号）に付加されているパイロット信号が除去されることになる。
In addition, the audio signal restoration device 2 has a predetermined frequency (corresponding to the cut-off frequency in step S1 (see FIG. 4)) with respect to the digital audio signal (block signal) cut out in step S10 by the
そして、オーディオ信号復元装置２は、逆ミキシング手段２４によって、ステップＳ１３で生成されたデジタルオーディオ信号（ブロック信号）を、ステップＳ１２で生成されたパンニング係数（パンニング係数行列）を用いた逆行列または擬似逆行列（前記（７）式参照）により、ミキシング前の信号に復元する（ステップＳ１４）。
以上の動作によって、オーディオ信号復元装置２は、オーディオ信号ミキシング装置１でミキシングされた元の音源となるデジタルオーディオ信号を復元することができる。
Then, the audio signal restoration device 2 uses the
With the above operation, the audio signal restoration device 2 can restore the digital audio signal that is the original sound source mixed by the audio
［第２実施形態］
〔オーディオ信号ミキシング装置の構成〕
次に、図６を参照して、本発明の第２実施形態に係るオーディオ信号ミキシング装置の構成について説明する。
[Second Embodiment]
[Configuration of audio signal mixing device]
Next, the configuration of an audio signal mixing apparatus according to the second embodiment of the present invention will be described with reference to FIG.
オーディオ信号ミキシング装置１Ｂは、ミキシングパラメータであるパンニング係数と、入力チャンネルごとのパラメータとに基づいて、多チャンネルのデジタルオーディオ信号をミキシングするものである。 The audio signal mixing device 1B mixes multi-channel digital audio signals based on panning coefficients that are mixing parameters and parameters for each input channel.
図１で説明したオーディオ信号ミキシング装置１は、ミキシングを行う際にパンニング係数のみを考慮したが、オーディオ信号ミキシング装置１Ｂは、さらに、入力チャンネルごとに調整を行うパラメータを考慮して、元のデジタルオーディオ信号を復元可能にミキシングする点が異なっている。
The audio
図６に示すように、オーディオ信号ミキシング装置１Ｂは、パラメータ調整手段１３と、ミキシング手段１０と、パイロット信号生成手段１１Ｂと、加算手段１２と、を備えている。ミキシング手段１０および加算手段１２は、図１で説明したオーディオ信号ミキシング装置１と同一の構成であるため、同一の符号を付して説明を省略する。
As shown in FIG. 6, the audio
パラメータ調整手段１３は、入力されるデジタルオーディオ信号を、チャンネルごとに個別に、入力されるパラメータ（重み係数）に基づいて信号のレベルを調整するものである。具体的には、パラメータ調整手段１３は、パラメータとして例えばゲイン（利得）によって、チャンネルごとの個々のデジタルオーディオ信号の信号レベルを調整する。なお、ここでは、チャンネルごとのパラメータ（重み係数）ｇｉ（ｉ＝１，２，…，Ｋ）は、予め“０”から“１”の範囲で正規化されているものとする。
The parameter adjusting means 13 adjusts the level of the input digital audio signal individually for each channel based on the input parameter (weight coefficient). Specifically, the
このパラメータ調整手段１３は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、それぞれ個別に、重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算し、デジタルオーディオ信号Ｓｉ（ｉ＝１，２，…，Ｋ）として、ミキシング手段１０に出力する。 The parameter adjusting means 13 individually multiplies the digital audio signal T i (i = 1, 2,..., K) for each input channel by a weight coefficient g i (i = 1, 2,..., K). The digital audio signal S i (i = 1, 2,..., K) is output to the mixing means 10.
パイロット信号生成手段１１Ｂは、入力チャンネルごとのデジタルオーディオ信号を調整したパラメータ（重み係数）と、ミキシング手段１０において用いられたそれぞれのパンニング係数との積を振幅とし、それぞれのパンニング係数に応じて予め定めた周波数を割り当てたパイロット信号を生成するものである。 The pilot signal generation means 11B uses the product of the parameter (weighting coefficient) adjusted for the digital audio signal for each input channel and the respective panning coefficients used in the mixing means 10 as the amplitude, and in advance according to each panning coefficient. A pilot signal to which a predetermined frequency is assigned is generated.
ここで、数式を用いて、パイロット信号生成手段１１Ｂが生成するパイロット信号について説明する。
パラメータ調整手段１３で調整されたデジタルオーディオ信号Ｓｉ（ｉ＝１，２，…，Ｋ）は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、“０”から“１”の範囲で正規化された重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算したもので、以下の（８）式で表すことができる。
Here, the pilot signal generated by the pilot
The digital audio signal S i (i = 1, 2,..., K) adjusted by the parameter adjusting means 13 is added to the digital audio signal T i (i = 1, 2,..., K) for each input channel as “0”. This is a product of weighting factors g i (i = 1, 2,..., K) normalized in the range of “1” to “1” and can be expressed by the following equation (8).
これを、前記（１）式に当てはめると、ミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）は、以下の（９）式で表すことができる。 When this is applied to the equation (1), the digital audio signal C j (j = 1, 2,..., N) mixed by the mixing means 10 can be expressed by the following equation (9).
この（９）式におけるａｊｉｇｉをひとつの係数とみなせば、パイロット信号生成手段１１Ｂは、前記（４）式と同様に、以下の（１０）式に示すように、振幅をパンニング係数ａｊｉに重み係数ｇｉを乗算した係数とし、周波数をそれぞれのパンニング係数ａｊｉに予め定めた周波数ｆｊとした時刻ｔにおける正弦波信号ｐｊｉを生成することになる。 If a ji g i in the equation (9) is regarded as one coefficient, the pilot signal generating means 11B, like the equation (4), converts the amplitude into the panning coefficient a as shown in the following equation (10). A sine wave signal p ji at time t is generated with a coefficient obtained by multiplying ji by a weighting coefficient g i and a frequency set to a predetermined frequency f j for each panning coefficient a ji .
そして、パイロット信号生成手段１１Ｂは、この（１０）式の正弦波信号ｐｊｉを以下の（１１）式に示すように、ｉ＝１からＫまで足し合わすことで、デジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとのパイロット信号を生成する。
Then, the pilot
このパイロット信号生成手段１１Ｂで生成されたパイロット信号は、加算手段１２に出力される。
以上説明した構成により、オーディオ信号ミキシング装置１Ｂは、デジタルオーディオ信号に、ミキシングに用いたパンニング係数とパラメータの情報を付加することで、ミキシング前のデジタルオーディオ信号を復元可能に多チャンネルのオーディオ信号をミキシングすることができる。
The pilot signal generated by the pilot
With the configuration described above, the audio signal mixing apparatus 1B adds a panning coefficient and parameter information used for mixing to the digital audio signal, so that the digital audio signal before mixing can be restored. Can be mixed.
また、オーディオ信号ミキシング装置１Ｂは、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号ミキシング装置１は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号ミキシングプログラム）によって動作する。
The audio signal mixing apparatus 1B can be realized by a general computer having a CPU and a memory (not shown). At this time, the audio
〔オーディオ信号復元装置の構成〕
次に、本発明の第２実施形態に係るオーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元するオーディオ信号復元装置の構成について説明する。
[Configuration of audio signal restoration device]
Next, the configuration of an audio signal restoration device that restores a digital audio signal before mixing from the digital audio signal mixed by the audio signal mixing device 1B (see FIG. 6) according to the second embodiment of the present invention will be described.
オーディオ信号ミキシング装置１Ｂ（図６参照）に対応するオーディオ信号復元装置は、図３で説明したオーディオ信号復元装置２と同じ構成で実現することができる。
なお、オーディオ信号ミキシング装置１Ｂ（図６参照）のパイロット信号生成手段１１Ｂでは、パイロット信号として、前記（１０）式に示したように、パンニング係数ａｊｉに重み係数ｇｉを乗算した係数によって正弦波信号ｐｊｉの振幅が特定されている。
The audio signal restoration device corresponding to the audio signal mixing device 1B (see FIG. 6) can be realized with the same configuration as the audio signal restoration device 2 described in FIG.
Incidentally, sine the pilot
このとき、係数検出手段２３において検出される係数は、パンニング係数のみではなく、パンニング係数ａｊｉに重み係数ｇｉを乗算した値となる。
すなわち、係数検出手段２３が逆ミキシング手段２４に出力する係数の行列は、前記（６）式の代わりに、以下の（１２）式の行列Ｘとなる。
In this case, the coefficients detected at the coefficient detection means 23, not only panning coefficient, a value obtained by multiplying the weighting factor g i panning coefficients a ji.
That is, the matrix of coefficients output from the coefficient detection means 23 to the inverse mixing means 24 is a matrix X of the following expression (12) instead of the expression (6).
そして、逆ミキシング手段２４が、この（１２）式に示した行列Ｘを係数行列（変換行列）Ａとして、前記（７）式の変換を行うことで、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）をブロック単位で復元する。
このように、オーディオ信号復元装置２は、ミキシングに用いたパンニング係数と重み係数の情報を付加されたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元することができる。
Then, the inverse mixing means 24 converts the matrix X shown in the equation (12) as a coefficient matrix (conversion matrix) A and performs the conversion of the equation (7), so that the digital audio signal T i (i) before mixing is performed. = 1, 2,..., K) are restored in units of blocks.
As described above, the audio signal restoration device 2 can restore the digital audio signal before mixing from the digital audio signal to which the information of the panning coefficient and the weighting coefficient used for mixing is added.
〔オーディオ信号ミキシング装置の動作〕
次に、図７を参照（構成については適宜図６参照）して、本発明の第２実施形態に係るオーディオ信号ミキシング装置の動作について説明する。
なお、基本的な動作は、図４で説明したオーディオ信号ミキシング装置１（図１参照）と同じであるため、異なる動作についてのみ説明する。
[Operation of Audio Signal Mixing Device]
Next, the operation of the audio signal mixing apparatus according to the second embodiment of the present invention will be described with reference to FIG.
Since the basic operation is the same as that of the audio signal mixing apparatus 1 (see FIG. 1) described in FIG. 4, only different operations will be described.
ステップＳ１，Ｓ２によって、パイロット信号を付加する領域が確保されたデジタルオーディオ信号に対し、オーディオ信号ミキシング装置１Ｂは、パラメータ調整手段１３によって、各チャンネルのデジタルオーディオ信号を、入力されるパラメータ（重み係数）に基づいて調整する（ステップＳ３Ａ）。例えば、パラメータ調整手段１３は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、それぞれ個別に、ゲインを“０”から“１”の範囲で予め正規化したパラメータである重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算することで、ゲイン調整を行う。
The audio signal mixing apparatus 1B uses the
そして、パンニング係数に基づいてデジタルオーディオ信号をミキシングするステップＳ３の動作の後、オーディオ信号ミキシング装置１Ｂは、パイロット信号生成手段１１Ｂによって、ステップＳ３で用いたパンニング係数に、ステップＳ３Ａで用いたパラメータ（重み係数）を乗算した値を振幅で表し、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号をチャンネルごとに生成する（ステップＳ４Ｂ）。
以降の動作は、オーディオ信号ミキシング装置１（図１参照）と同じである。
Then, after the operation of step S3 for mixing the digital audio signal based on the panning coefficient, the audio signal mixing apparatus 1B uses the pilot
The subsequent operation is the same as that of the audio signal mixing apparatus 1 (see FIG. 1).
〔オーディオ信号復元装置の動作〕
次に、図８を参照（構成については適宜図３参照）して、本発明の第２実施形態に係るオーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元するオーディオ信号復元装置の動作について説明する。
なお、この動作は、途中で生成される情報（係数）が異なるだけで、図５で説明した動作と同じであるため、異なる情報を処理する動作についてのみ説明する。
[Operation of audio signal restoration device]
Next, referring to FIG. 8 (refer to FIG. 3 as appropriate for the configuration), from the digital audio signal mixed by the audio signal mixing apparatus 1B (see FIG. 6) according to the second embodiment of the present invention, The operation of the audio signal restoration device for restoring the digital audio signal will be described.
Note that this operation is the same as the operation described in FIG. 5 except that information (coefficients) generated in the middle is different, and therefore only the operation for processing different information will be described.
図５のステップＳ１２では、係数検出手段２３によって、ステップＳ１１で得られた周波数領域で表された信号において、高周波成分から、一定の周波数間隔の正弦波信号の振幅により、パンニング係数を検出し、パンニング係数行列を生成した。しかし、この第２実施形態においては、正弦波信号の振幅により検出されるのが、パンニング係数に重み係数ｇｉを乗算した係数であって、係数検出手段２３は、その係数からなる係数行列を生成する（ステップＳ１２Ｂ）。
In step S12 of FIG. 5, the coefficient detection means 23 detects the panning coefficient from the high frequency component based on the amplitude of the sine wave signal at a constant frequency interval in the signal represented in the frequency domain obtained in step S11. A panning coefficient matrix was generated. However, in the second embodiment, what is detected by the amplitude of the sine wave signal is a coefficient obtained by multiplying the panning coefficient by the weighting coefficient g i , and the
また、図５のステップＳ１４では、デジタルオーディオ信号（ブロック信号）を、ステップＳ１２で生成されたパンニング係数行列を用いてミキシング前の信号に復元した。しかし、この第２実施形態においては、ステップＳ１２Ｂで生成された係数行列を用いてミキシング前の信号に復元する（ステップＳ１４Ｂ）。 In step S14 in FIG. 5, the digital audio signal (block signal) is restored to the signal before mixing using the panning coefficient matrix generated in step S12. However, in the second embodiment, the signal before mixing is restored using the coefficient matrix generated in step S12B (step S14B).
このように、オーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号は、第１実施形態で説明したオーディオ信号復元装置２によって、ミキシング前のデジタルオーディオ信号に復元することができる。 Thus, the digital audio signal mixed by the audio signal mixing apparatus 1B (see FIG. 6) can be restored to the digital audio signal before mixing by the audio signal restoration apparatus 2 described in the first embodiment.
以上、本発明の実施形態について説明したが、本発明は、オーディオ信号ミキシング装置１，１Ｂによって、１回のミキシングによって生成されたデジタルオーディオ信号を、オーディオ信号復元装置２でミキシング前のデジタルオーディオ信号に復元することができるのみならず、多段階のミキシング処理を行った場合であっても、元のデジタルオーディオ信号に復元することができる。
As described above, the embodiments of the present invention have been described. In the present invention, a digital audio signal generated by one-time mixing by the audio
［多段ミキシングされたデジタルオーディオ信号の復元について］
以下、オーディオ信号ミキシング装置１，１Ｂによって、複数のミキシングが行われた場合でも、オーディオ信号復元装置２において、元の音源であるデジタルオーディオ信号が復元可能であることを、数式を用いて説明する。
[Restoration of multistage mixed digital audio signal]
Hereinafter, it will be described using mathematical formulas that the digital audio signal that is the original sound source can be restored in the audio signal restoration apparatus 2 even when a plurality of mixings are performed by the audio
ここでは、説明を簡略化するため、図９（ａ）に示すように、ミキシング処理として、オーディオ信号ミキシング装置１によって、Ｋチャンネルのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）が、Ｎチャンネルのデジタルオーディオ信号Ｃｊ ｐ（ｊ＝１，２，…，Ｎ）にミキシングされた後、Ｍチャンネルのデジタルオーディオ信号Ｄｍ ｐ（ｍ＝１，２，…，Ｍ）に再ミキシングされたものとする。
Here, in order to simplify the description, as shown in FIG. 9A, as the mixing process, the audio
ここで、再ミキシングにおけるパンニング係数をｂｍｊ（ｍ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とすると、デジタルオーディオ信号Ｃｊは、前記（１）式で表されることから、再ミキシングされたデジタルオーディオ信号Ｄｍは、以下の（１３）式のように表すことができる。 Here, if the panning coefficient in remixing is b mj (m = 1, 2,..., M, j = 1, 2,..., N), the digital audio signal C j is expressed by the above equation (1). from Rukoto, digital audio signal D m which is re-mixing can be expressed by the following equation (13).
すなわち、以下の（１４）式に示すように、デジタルオーディオ信号Ｔｉ，Ｄｍをそれぞれ行列Ｔ，Ｄで表し、Ｍ行Ｋ列の係数行列をＹとしたとき、以下の（１５）式の関係が成り立つ。 That is, as shown in the following equation (14), when the digital audio signals T i and D m are represented by matrices T and D, respectively, and the coefficient matrix of M rows and K columns is Y, the following equation (15) A relationship is established.
また、再ミキシングにより、すでに付加されているパイロット信号は、以下の（１６）式に示すように混合される。 Further, the pilot signal already added by remixing is mixed as shown in the following equation (16).
これは、再ミキシング後の出力信号であるデジタルオーディオ信号Ｄｍに、以下の（１７）式に示す新たなパイロット信号が埋め込まれたことに等しい。 This digital audio signal D m is the output signal after re-mixing, equivalent to a new pilot signal is embedded in the following equation (17).
また、前記（１６）式に示すように、ｐｍｉの振幅は、前記（１４）式の係数行列Ｙの各要素に比例したものとなる。
よって、第１実施形態で説明した前記（７）式と同様に、オーディオ信号復元装置２の逆ミキシング手段２４によって、前記（１５）式から、係数行列Ｙの逆行列または擬似逆行列を用いた逆変換を行うことで、デジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を復元することができる。
As shown in the equation (16), the amplitude of p mi is proportional to each element of the coefficient matrix Y in the equation (14).
Therefore, similarly to the equation (7) described in the first embodiment, the
このように、図９（ｂ）に示すように、図９（ａ）において再ミキシングされたＭチャンネルのデジタルオーディオ信号Ｄｍ ｐ（ｍ＝１，２，…，Ｍ）は、オーディオ信号復元装置２によって、元のＫチャンネルのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に復元されることになる。 Thus, as shown in FIG. 9B, the M-channel digital audio signal D m p (m = 1, 2,..., M) remixed in FIG. 2 is restored to the original K channel digital audio signal T i (i = 1, 2,..., K).
以上、オーディオ信号ミキシング装置１が２回のミキシングを行った場合であっても、オーディオ信号復元装置２が元のデジタルオーディオ信号を復元可能であることを、数式を用いて説明した。しかし、このミキシング回数は、２回に限定されるものではない。
As described above, it has been described using mathematical formulas that the audio signal restoration device 2 can restore the original digital audio signal even when the audio
すなわち、オーディオ信号ミキシング装置１において、３回以上デジタルオーディオ信号がミキシングされる場合であっても、前記（１６）式に示すように、振幅の大きさが変化するだけで、前記（１５）式に示した関係が成立するため、１回の復元処理によって、元のデジタルオーディオ信号を復元することができる。
That is, in the audio
また、ここでは、パンニング係数のみを考慮したが、第２実施形態で説明したように、チャンネルごとに個別のパラメータ（ゲイン）を設定した場合であっても、前記（１２）式で示したように、係数行列の各要素にパラメータが乗算されているだけであるため、前記（１５）式から、元のデジタルオーディオ信号を復元する際には影響がない。 Here, only the panning coefficient is considered, but as described in the second embodiment, even when individual parameters (gains) are set for each channel, as shown in the expression (12) above. In addition, since each element of the coefficient matrix is simply multiplied by a parameter, there is no influence when the original digital audio signal is restored from the equation (15).
このように、本発明は、オーディオ信号ミキシング装置１，１Ｂにおいて、デジタルオーディオ信号をミキシングする際に、パンニング係数を含んだ信号を順次付加することで、オーディオ信号復元装置２において、１回の復元処理で元のデジタルオーディオ信号を復元することができる。
As described above, according to the present invention, when the digital audio signal is mixed in the audio
１ オーディオ信号ミキシング装置
１０ ミキシング手段
１１ パイロット信号生成手段
１２ 加算手段
１３ パラメータ調整手段
２ オーディオ信号復元装置
２０ ブロック切出手段
２１ 帯域制限手段
２２ 周波数解析手段
２３ 係数検出手段
２４ 逆ミキシング手段
DESCRIPTION OF
Claims (7)
前記複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、前記入力チャンネルのデジタルオーディオ信号をミキシングするミキシング手段と、
前記出力チャンネルごとに、当該出力チャンネルに割り当てられた前記入力チャンネルのパンニング係数を、予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成するパイロット信号生成手段と、
このパイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、前記ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する加算手段と、
を備えることを特徴とするオーディオ信号ミキシング装置。 An audio signal mixing apparatus that mixes digital audio signals of a plurality of input channels and adds a signal that can be restored to the digital audio signal before mixing to the digital audio signal of the output channel after mixing.
Mixing means for mixing the digital audio signal of the input channel based on a panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels;
For each output channel, the panning coefficient of the input channel assigned to the output channel is assigned to a predetermined frequency that is equal to or higher than a predetermined frequency and is different for each input channel, and the magnitude of the panning coefficient is an amplitude. Pilot signal generating means for generating a pilot signal
Adding means for adding the pilot signal for each output channel generated by the pilot signal generating means to the digital audio signal of the output channel mixed by the mixing means;
An audio signal mixing apparatus comprising:
前記パイロット信号生成手段は、前記遮断周波数以上で、かつ、前記サンプリング周波数の２分の１の周波数未満の周波数帯域に、前記パンニング係数を割り当てることを特徴とする請求項１に記載のオーディオ信号ミキシング装置。 The digital audio signal of the input channel is a signal that is converted into a digital signal at a predetermined sampling frequency after filtering an analog audio signal that is a sound source with a cutoff frequency of an anti-aliasing filter,
2. The audio signal mixing according to claim 1, wherein the pilot signal generation unit assigns the panning coefficient to a frequency band that is equal to or higher than the cutoff frequency and lower than a half of the sampling frequency. apparatus.
前記パイロット信号生成手段が、前記パラメータ調整手段で用いた入力チャンネルごとのパラメータを、当該入力チャンネルに対応した前記パンニング係数に乗算することを特徴とする請求項１または請求項２に記載のオーディオ信号ミキシング装置。 Parameter adjusting means for adjusting the level of the digital audio signal by a parameter for individually adjusting the digital audio signal corresponding to the input channel is provided in the preceding stage of the mixing means,
3. The audio signal according to claim 1, wherein the pilot signal generation unit multiplies the panning coefficient corresponding to the input channel by a parameter for each input channel used in the parameter adjustment unit. Mixing device.
前記複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、前記入力チャンネルのデジタルオーディオ信号をミキシングするミキシング手段、
前記出力チャンネルごとに、当該出力チャンネルに割り当てられた前記入力チャンネルのパンニング係数を、予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成するパイロット信号生成手段、
このパイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、前記ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する加算手段、
として機能させることを特徴とするオーディオ信号ミキシングプログラム。 In order to mix a digital audio signal of a plurality of input channels and to add a signal that can be restored to the digital audio signal before mixing to the digital audio signal of the output channel after mixing, the computer of the audio signal mixing device is
Mixing means for mixing the digital audio signal of the input channel based on a panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels;
For each output channel, the panning coefficient of the input channel assigned to the output channel is assigned to a predetermined frequency that is equal to or higher than a predetermined frequency and is different for each input channel, and the magnitude of the panning coefficient is an amplitude. Pilot signal generating means for generating a pilot signal,
An adding means for adding the pilot signal for each output channel generated by the pilot signal generating means to the digital audio signal of the output channel mixed by the mixing means;
An audio signal mixing program characterized by functioning as
前記ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出すブロック切出手段と、
このブロック切出手段で切り出されたブロックごとに、前記パイロット信号が加算された周波数領域の信号を除去する帯域制限手段と、
前記ブロック切出手段で切り出されたブロックの周波数解析を行う周波数解析手段と、
この周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられている前記パンニング係数を検出する係数検出手段と、
この係数検出手段で検出されたパンニング係数に基づいて、前記帯域制限手段でパイロット信号が除去された信号に対して、前記ミキシングの逆変換を行うことで、前記ブロックごとに、前記ミキシング前のデジタルオーディオ信号を復元する逆ミキシング手段と、
を備えることを特徴とするオーディオ信号復元装置。 When mixing the digital audio signal of the input channel based on the panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels, the panning coefficient is set to a predetermined frequency or higher. From a digital audio signal after mixing generated by assigning a pilot signal having an amplitude corresponding to the magnitude of the panning coefficient to the digital audio signal of the output channel, assigned to a different predetermined frequency for each input channel An audio signal restoration device for restoring a signal before mixing,
A block cutout means for cutting out the signal from the mixed digital audio signal in blocks of a predetermined time length;
Band limiting means for removing the signal in the frequency domain to which the pilot signal is added for each block cut out by the block cutting means;
Frequency analysis means for performing frequency analysis of the block cut out by the block cutting means;
Among the frequencies analyzed by the frequency analysis means, coefficient detection means for detecting the panning coefficient pre-assigned for each frequency from an amplitude greater than a predetermined frequency;
Based on the panning coefficient detected by the coefficient detecting means, the digital signal before mixing is obtained for each block by performing inverse transformation of the mixing on the signal from which the pilot signal has been removed by the band limiting means. A reverse mixing means for restoring the audio signal;
An audio signal restoration device comprising:
当該変換行列が正方行列であれば当該変換行列の逆行列を用い、当該変換行列が正方行列でなければ当該変換行列の擬似逆行列を用いて、前記ミキシング前のデジタルオーディオ信号を逆変換して復元することを特徴とする請求項５に記載のオーディオ信号復元装置。 The inverse mixing means, in the conversion matrix from the input channel to the output channel, which has the panning coefficient detected by the coefficient detection means as an element,
If the transformation matrix is a square matrix, the inverse matrix of the transformation matrix is used, and if the transformation matrix is not a square matrix, the pseudo-inverse matrix of the transformation matrix is used to inversely transform the digital audio signal before mixing. 6. The audio signal restoration device according to claim 5, wherein the audio signal restoration device is restored.
前記ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出すブロック切出手段、
このブロック切出手段で切り出されたブロックごとに、前記パイロット信号が加算された周波数領域の信号を除去する帯域制限手段、
前記ブロック切出手段で切り出されたブロックの周波数解析を行う周波数解析手段、
この周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられている前記パンニング係数を検出する係数検出手段、
この係数検出手段で検出されたパンニング係数に基づいて、前記帯域制限手段でパイロット信号が除去された信号に対して、前記ミキシングの逆変換を行うことで、前記ブロックごとに、前記ミキシング前のデジタルオーディオ信号を復元する逆ミキシング手段、
として機能させることを特徴とするオーディオ信号復元プログラム。 When mixing the digital audio signal of the input channel based on the panning coefficient indicating the intensity of the digital audio signal for each output channel assigned to each of the plurality of input channels, the panning coefficient is set to a predetermined frequency or higher. From a digital audio signal after mixing generated by assigning a pilot signal having an amplitude corresponding to the magnitude of the panning coefficient to the digital audio signal of the output channel, assigned to a different predetermined frequency for each input channel In order to restore the signal before mixing, the audio signal restoration device computer,
A block cutout means for cutting out a signal from the digital audio signal after the mixing in blocks of a predetermined time length;
Band limiting means for removing the signal in the frequency domain to which the pilot signal is added for each block cut out by the block cutting means,
Frequency analysis means for performing frequency analysis of the block cut out by the block cutting means;
Among the frequencies analyzed by the frequency analyzing means, coefficient detecting means for detecting the panning coefficient pre-assigned for each frequency from an amplitude greater than a predetermined frequency,
Based on the panning coefficient detected by the coefficient detecting means, the digital signal before mixing is obtained for each block by performing inverse transformation of the mixing on the signal from which the pilot signal has been removed by the band limiting means. Reverse mixing means to restore the audio signal,
An audio signal restoration program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011148245A JP5715514B2 (en) | 2011-07-04 | 2011-07-04 | Audio signal mixing apparatus and program thereof, and audio signal restoration apparatus and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011148245A JP5715514B2 (en) | 2011-07-04 | 2011-07-04 | Audio signal mixing apparatus and program thereof, and audio signal restoration apparatus and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013017022A JP2013017022A (en) | 2013-01-24 |
| JP5715514B2 true JP5715514B2 (en) | 2015-05-07 |
Family
ID=47689260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011148245A Expired - Fee Related JP5715514B2 (en) | 2011-07-04 | 2011-07-04 | Audio signal mixing apparatus and program thereof, and audio signal restoration apparatus and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5715514B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10460736B2 (en) | 2014-11-07 | 2019-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring audio signal |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0661901A (en) * | 1992-08-06 | 1994-03-04 | Mitsubishi Heavy Ind Ltd | Communication controller |
| JPH06327011A (en) * | 1993-05-14 | 1994-11-25 | Mitsubishi Electric Corp | Broadcasting system and recording and reproducing system for tv program |
| DE60037465T2 (en) * | 2000-08-10 | 2008-12-04 | Fujitsu Ltd., Kawasaki | Device for communicating with diversity |
| JP4892184B2 (en) * | 2004-10-14 | 2012-03-07 | パナソニック株式会社 | Acoustic signal encoding apparatus and acoustic signal decoding apparatus |
| EP2082396A1 (en) * | 2007-10-17 | 2009-07-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding using downmix |
| JP5556076B2 (en) * | 2008-08-20 | 2014-07-23 | ヤマハ株式会社 | Sequence data output device, sound processing system, and electronic musical instrument |
-
2011
- 2011-07-04 JP JP2011148245A patent/JP5715514B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013017022A (en) | 2013-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Farina | Advancements in impulse response measurements by sine sweeps | |
| EP3675527B1 (en) | Audio processing device and method, and program therefor | |
| JP5526107B2 (en) | Apparatus for determining spatial output multi-channel audio signals | |
| TWI477161B (en) | Electronic device with audio format converting function | |
| JP6508539B2 (en) | Sound field collecting apparatus and method, sound field reproducing apparatus and method, and program | |
| JP5147851B2 (en) | Audio signal interpolation apparatus and audio signal interpolation method | |
| JP7437493B2 (en) | Spectrally orthogonal audio component processing | |
| RU2595541C2 (en) | Device, method and computer program for generating output stereo signal to provide additional output channels | |
| EP3868129B1 (en) | Methods and devices for bass management | |
| EP2640096B1 (en) | Sound processing apparatus | |
| JP5715514B2 (en) | Audio signal mixing apparatus and program thereof, and audio signal restoration apparatus and program thereof | |
| WO2018053050A1 (en) | Audio signal processor and generator | |
| JP4286840B2 (en) | Impulse response synthesis method and reverberation method | |
| CN109791773B (en) | Audio output generation system, audio channel output method, and computer readable medium | |
| JP5131596B2 (en) | Signal separating / reproducing apparatus and signal separating / reproducing method | |
| JP5224586B2 (en) | Audio signal interpolation device | |
| JP6080557B2 (en) | Signal processing apparatus, method thereof and program thereof | |
| RU2826480C1 (en) | Encoding and decoding multichannel audio using directivity metadata | |
| JP2015076857A (en) | Up-mix device, sound reproduction device, sound amplification device and program | |
| JP6630605B2 (en) | Impulse response estimation device and program | |
| JP6630599B2 (en) | Upmix device and program | |
| WO2013176073A1 (en) | Audio signal conversion device, method, program, and recording medium | |
| JP5737592B2 (en) | REPRODUCTION SIGNAL GENERATION DEVICE, REPRODUCTION SIGNAL GENERATION METHOD, AND PROGRAM | |
| JP2017009743A (en) | Voice data processing device, and electronic apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140130 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150313 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5715514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |