WO2019106742A1 - 信号処理装置 - Google Patents

信号処理装置 Download PDF

Info

Publication number
WO2019106742A1
WO2019106742A1 PCT/JP2017/042758 JP2017042758W WO2019106742A1 WO 2019106742 A1 WO2019106742 A1 WO 2019106742A1 JP 2017042758 W JP2017042758 W JP 2017042758W WO 2019106742 A1 WO2019106742 A1 WO 2019106742A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
band pass
band
characteristic
frequency
Prior art date
Application number
PCT/JP2017/042758
Other languages
English (en)
French (fr)
Inventor
一任 阿部
宮阪 修二
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to PCT/JP2017/042758 priority Critical patent/WO2019106742A1/ja
Publication of WO2019106742A1 publication Critical patent/WO2019106742A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present disclosure relates to a signal processing apparatus, and more particularly to a signal processing apparatus that processes and outputs an input acoustic signal.
  • Patent Document 1 discloses a sound image localization apparatus that can localize a sound image of an input sound signal to an arbitrary place by performing sound image localization processing.
  • the sound image localization process is performed to localize the sound image at the position of both ears of the listener using the reproduction speaker installed at a symmetrical position viewed from the listener.
  • the acoustic signals reproduced from the right and left reproduction speakers become equal. That is, there is a problem that the sound image by the sound signal subjected to the sound image localization processing is localized at the position where the reproduction speaker is connected, and the sound image can not be localized at the binaural position of the listener.
  • the present disclosure has been made in view of the above-described circumstances, and it is a signal that can localize a sound image to the listener's binaural position even using a reproduction speaker installed at a symmetrical position when viewed from the listener. It aims at providing a processing device.
  • a signal processing apparatus processes and outputs an acoustic signal input to a first reproduction speaker and a second reproduction speaker installed at symmetrical positions with respect to a listener.
  • a first band pass filter processing the first acoustic signal input with a first band pass characteristic which is a frequency characteristic having a plurality of frequency bands consisting of one or more pass bands and a stop band;
  • a second band pass characteristic that is a frequency characteristic that complements the first band pass characteristic of the second acoustic signal that is the same as the first acoustic signal that is the second acoustic signal that is input and that is the same as the first acoustic signal.
  • a second input filter processing unit for performing band pass filter processing, and the first acoustic signal subjected to the band pass filter processing by the first input filter processing unit to the left of the listener A left localization filter that generates a first left signal and a first right signal by performing signal processing, and the second acoustic signal subjected to the band pass filter processing by the second input filter processing unit; By performing signal processing to localize to the right of the second left signal and the second left signal to generate the second left signal and the second right signal, and adding the first left signal and the second left signal to generate the first reproduction And a second adder for adding the first right signal and the second right signal and outputting the result to the second speaker for reproduction.
  • the frequency range of one pass band of the first band pass characteristic and the second band pass characteristic may be the frequency range of the other stop band.
  • the frequency range of one pass band of the first band pass characteristic and the second band pass characteristic includes the frequency range of the other stop band, and the frequency range of the other transition band and It may be partially overlapped.
  • the widths of the pass band and the stop band in a part of frequency range and the widths of the pass band and the stop band in another frequency range are different. It is also good.
  • band pass filter processing can be performed according to the frequency characteristics of the input acoustic signal, so that it is possible to suppress localization of sound localization.
  • the partial frequency range is a frequency band including the frequencies of the first formant and the second formant, and the widths of the passband and the stopband in the partial frequency range are the other frequency ranges. It may be narrower than the width of the pass band and the stop band in
  • a filter control unit may be provided which sets the first band pass characteristic and the second band pass characteristic according to auxiliary information indicating whether or not the main component is a main component.
  • the first band pass characteristic and the second band pass characteristic can be set in accordance with the auxiliary information input from the outside. As a result, it is possible to suppress the localization bias of the acoustic signal emitted from the first reproduction speaker and the second reproduction speaker with respect to the listener.
  • the voice analysis unit analyzes the frequency characteristic, and sharpness of each peak waveform of the frequency characteristic Calculating a width of each of the frequency bands according to the plurality of frequencies in the first band pass characteristic and the second band pass characteristic so that the filter control unit obtains the width calculated by the voice analysis unit.
  • the width of each band may be changed.
  • the voice analysis unit analyzes the frequency characteristic, and a value indicating sharpness of each peak waveform included in the frequency characteristic is equal to or less than a first threshold, and is larger than the first threshold and smaller than a second threshold.
  • a value indicating sharpness of each peak waveform included in the frequency characteristic is equal to or less than a first threshold, and is larger than the first threshold and smaller than a second threshold.
  • the widths of the first width, the second width narrower than the first width, or the third width narrower than the second width may be calculated.
  • the first acoustic signal and the second acoustic signal may be monaural signals.
  • the first acoustic signal and the second acoustic signal are stereo signals input to the signal processing device, and are different from the first reproduction speaker and the second reproduction speaker. It may be a monaural signal which is a common component extracted from stereo signals.
  • the sound image can be localized at the positions of both ears of the listener.
  • FIG. 1 is a diagram showing an example of a system configuration according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a computer that implements the functions of the signal processing device according to the first embodiment by software.
  • FIG. 3A is a diagram showing an example of the frequency characteristic of the first input filter processing unit in the first embodiment.
  • FIG. 3B is a diagram showing an example of frequency characteristics of the second input filter processing unit in the first embodiment.
  • FIG. 4 is a diagram showing another example of frequency characteristics of the first band pass characteristic and the second band pass characteristic in the first embodiment.
  • FIG. 5 is a diagram showing another example of frequency characteristics of the first band pass characteristic and the second band pass characteristic in the first embodiment.
  • FIG. 6 is a diagram showing an example of frequency characteristics of the first band pass characteristic and the second band pass characteristic in the modification of the first embodiment.
  • FIG. 7 is a diagram showing an example of frequency characteristics of an acoustic signal input to the signal processing device in the modification of the first embodiment.
  • FIG. 8 is an image diagram when the signal processing apparatus according to the modification of the first embodiment performs band pass filter processing on the acoustic signal of FIG. 7 with frequency characteristics having equally spaced band pass division widths.
  • FIG. 9 is an image diagram of a signal which is output after the signal processing apparatus according to the modification of the first embodiment performs band pass filter processing with frequency characteristics having equally spaced band pass division widths.
  • FIG. 8 is an image diagram when the signal processing apparatus according to the modification of the first embodiment performs band pass filter processing on the acoustic signal of FIG. 7 with frequency characteristics having equally spaced band pass division widths.
  • FIG. 9 is an image diagram of a signal which is output after the signal processing apparatus according to the modification of the first embodiment perform
  • FIG. 10 is an image diagram when the signal processing apparatus in the modification of the first embodiment performs band pass filtering on the acoustic signal of FIG. 7 with frequency characteristics in which the band pass division width in a partial frequency range is changed. is there.
  • FIG. 11 is an image diagram of a signal output after the signal processing apparatus in the modification of the first embodiment performs band pass filter processing with the frequency characteristic in which the band pass division width in a partial frequency range is changed.
  • FIG. 12 is a diagram showing an example of the configuration of the signal processing device according to the second embodiment.
  • FIG. 13 is a diagram showing an example of frequency characteristics of an acoustic signal input to the signal processing device according to the second embodiment.
  • FIG. 14 is an image diagram of a signal output after the signal processing apparatus according to the second embodiment performs band pass filter processing with a frequency characteristic in which the band pass division width in a partial frequency range is changed.
  • FIG. 15 is a diagram showing another example of the frequency characteristic of the acoustic signal input to the signal processing device in the second embodiment.
  • FIG. 16 is an image diagram of a signal output after the signal processing apparatus according to the second embodiment performs band pass filter processing with frequency characteristics having equally spaced band pass division widths.
  • FIG. 17 is a diagram showing an example of the configuration of the signal processing device according to the third embodiment.
  • FIG. 18 is a diagram showing an example of a detailed configuration of the speech analysis unit shown in FIG. FIG.
  • FIG. 19 is a diagram showing an example of the frequency characteristic of the input acoustic signal obtained by the frequency conversion unit shown in FIG.
  • FIG. 20 is an explanatory diagram of a method of calculating the Q value.
  • FIG. 21 is a diagram showing an example of the relationship between the Q value and the band pass division width in the third embodiment.
  • FIG. 22 is a diagram showing an example of a detailed configuration of the speech analysis unit shown in FIG.
  • FIG. 23 is a diagram showing a target system.
  • FIG. 24 is a diagram showing a reproduction system.
  • FIG. 23 shows a target system 90. As shown in FIG. As shown in FIG. 23, the target system 90 is composed of a listener 91 and a target speaker 92.
  • the target speaker 92 may or may not be the same as the speaker of the entity, but allows the listener 91 to hear the sound signal as if the acoustic signal is being reproduced at the position of the target speaker 92 shown in FIG.
  • FIG. 24 is a diagram showing a reproduction system 93. As shown in FIG. As shown in FIG. 24, the reproduction system 93 includes a listener 91, a signal processing device 94, a left speaker 95, and a right speaker 96.
  • the signal processing device 94 includes a left localization filter 941, a right localization filter 942, an adder 943, and an adder 944 as shown in FIG. 24. Then, the signal processing device 94 generates the sound signal Sl obtained at the left ear position of the listener 91 and the sound signal Sr obtained at the right ear position of the listener 91 in the target system 90 as the left speaker 95 of the reproduction system 93 and the right side.
  • the speaker 96 is used to realize the left ear position and the right ear position of the listener 91.
  • the left localization filter 941 filters the acoustic signal Sl for left ear localization. As shown in FIG. 24, the left localization filter 941 filters the acoustic signal Sl for left ear localization and outputs it to the adder 943, and filters the acoustic signal S1 for left ear localization and adds them. And a filter Xlr that outputs the signal to the filter 944.
  • the right localization filter 942 filters the acoustic signal Sr for right ear localization.
  • the right localization filter 942 as shown in FIG. 24, filters the acoustic signal Sr for right ear localization and outputs it to the adder 943, and filters the acoustic signal Sr for right ear localization and adds them. And a filter Xrr output to the filter 944.
  • the adder 943 adds the outputs of the filter Xll and the filter Xrl and outputs the result to the left speaker 95. Further, the adder 944 adds the outputs of the filter Xlr and the filter Xrr and outputs the result to the right speaker 96.
  • transfer functions from the left speaker 95 and the right speaker 96 to the positions of both ears of the listener 91 are Hll, Hlr, Hrl, and Hrr.
  • the transfer functions of the left localization filter 941 and the right localization filter 942 that is, the filter Xll, the filter Xlr, the filter Xrl, and the transfer functions Xll, Xlr, Xrl, and Xrr of the filter Xrr are expressed by the following (Expression 1) to (Expression 6) can be designed.
  • the transfer functions Xll, Xlr, Xrl, and Xrr calculated from (Expression 1) to (Expression 6) are realized as FIR (Finite Impulse Response) filter coefficients in the time domain by performing inverse FFT (Fast Fourier Transform). can do. Then, the outputs of the left localization filter 941 and the right localization filter 942 are added by the adder 943 and the adder 944, respectively, and output from the left speaker 95 and the right speaker 96.
  • the input acoustic signal Sl for left ear localization and the acoustic signal Sr for right ear localization can be reproduced.
  • the signals output from the left speaker 95 and the right speaker 96 can be expressed as in (Expression 7) and (Expression 8) below.
  • the left speaker 95 and the right speaker 96 reproduce the same signal.
  • the sound image position perceived by the listener 91 is The central position on the straight line connecting the left speaker 95 and the right speaker 96 is different from the originally expected binaural position.
  • the sound image localization apparatus disclosed in Patent Document 1 performs crosstalk cancellation processing, and the monaural signal reproduced by the reproduction speaker installed at a symmetrical position as viewed from the listener is located at the listener's both ears Let the sound image be localized.
  • the signals reproduced from the left and right reproduction speakers become equal, and the sound image is localized at a position connecting the reproduction speakers, and the listener's binaural position There is a problem that the sound image can not be localized.
  • a signal processing device and the like that can localize a sound image at the binaural position of the listener even when using speakers installed at symmetrical positions as viewed from the listener are described.
  • Embodiment 1 the signal processing apparatus according to the first embodiment will be described with reference to the drawings.
  • FIG. 1 is a diagram showing an example of a system configuration according to the first embodiment.
  • the system shown in FIG. 1 includes a signal processing device 1, a left speaker 2, and a right speaker 3. Further, a listener 50 is further shown in FIG.
  • the signal processing device 1 processes and outputs the acoustic signal input to the left speaker 2 and the right speaker 3.
  • the signal processing device 1 may include the left speaker 2 and the right speaker 3.
  • the left speaker 2 is an example of a first reproduction speaker, and among the two speakers installed at symmetrical positions with respect to the listener 50, the left speaker 2 is a speaker located on the left side as viewed from the listener 50.
  • the right speaker 3 is an example of a second reproduction speaker, and is a speaker located on the right side with respect to the listener 50 among two speakers installed at symmetrical positions with respect to the listener 50.
  • the left speaker 2 and the right speaker 3 are, for example, normal speakers, that is, speakers intended to reproduce the entire frequency band of the input signal, but the present invention is not limited thereto.
  • the left side speaker 2 and the right side speaker 3 may be, for example, a multi-way speaker including units different for each frequency of a signal to be reproduced, such as a tweeter, a squawker, or a woofer. In this case, for example, each unit may be disposed at a separate position in a separate housing.
  • a subwoofer or the like capable of reproducing an LFE (Low Frequency Effect) signal may be included.
  • FIG. 2 is a diagram showing an example of a hardware configuration of a computer 1000 that implements the functions of the signal processing device 1 according to the first embodiment by software.
  • the computer 1000 is a computer provided with an input device 1001, an output device 1002, a CPU 1003, a built-in storage 1004, a RAM 1005, a reading device 1007, a transmitting / receiving device 1008 and a bus 1009 as shown in FIG.
  • the input device 1001, the output device 1002, the CPU 1003, the built-in storage 1004, the RAM 1005, the reading device 1007 and the transmitting and receiving device 1008 are connected by a bus 1009.
  • An input device 1001 is a device serving as a user interface such as an input button, a touch pad, and a touch panel display, and receives an operation of a user. Note that the input device 1001 may be configured to receive a touch operation by the user, as well as an operation by voice and a remote operation by a remote control or the like.
  • the internal storage 1004 is a flash memory or the like.
  • the internal storage 1004 may store in advance a program for realizing the function of the signal processing device 1 and / or an application using the functional configuration of the signal processing device 1.
  • a RAM 1005 is a random access memory, and is used to store data and the like when executing a program or an application.
  • the reading device 1007 reads information from a recording medium such as a USB (Universal Serial Bus) memory.
  • the reading device 1007 reads the program and the application from the recording medium in which the program and the application as described above are recorded, and stores the program and the application in the internal storage 1004.
  • a recording medium such as a USB (Universal Serial Bus) memory.
  • the reading device 1007 reads the program and the application from the recording medium in which the program and the application as described above are recorded, and stores the program and the application in the internal storage 1004.
  • the transmission / reception device 1008 is a communication circuit for communicating wirelessly or by wire.
  • the transmission / reception apparatus 1008 communicates with, for example, a server apparatus connected to a network, downloads the program or application as described above from the server apparatus, and stores the program or application in the internal storage 1004.
  • the CPU 1003 is a central processing unit, copies a program or application stored in the built-in storage 1004 to the RAM 1005, sequentially reads out an instruction included in the program or application from the RAM 1005, and executes it.
  • the signal processing device 1 processes the input acoustic signal and outputs the processed signal to the left speaker 2 and the right speaker 3 installed at symmetrical positions with respect to the listener 50.
  • the signal processing device 1 includes a first input filter processing unit 11, a second input filter processing unit 12, a left localization filter 13, and a right localization filter 14. , Adder 15, and adder 16.
  • the first input filter processing unit 11 performs band pass filter processing on the input first acoustic signal with a first band pass characteristic that is a frequency characteristic having a plurality of frequency bands including one or more pass bands and a stop band. . More specifically, as shown in FIG. 1, the first input filter processing unit 11 performs band pass filtering on the sound signal Sl for left ear localization, which is the first sound signal, with the first band pass characteristic. And outputs it to the left localization filter 13.
  • the first input filter processing unit 11 can be realized by combining an infinite impulse response (IIR) filter such as a parametric equalizer, for example.
  • IIR infinite impulse response
  • FIG. 3A is a diagram showing an example of the frequency characteristic of the first input filter processing unit 11 in the first embodiment. That is, as shown in FIG. 3A, in the first band pass characteristic, in the frequency of the logarithmic axis, the pass band and the stop band alternately exist, and the frequency in which the pass band and the stop band are arranged at equal intervals. It is a characteristic.
  • the second input filter processing unit 12 is a second band pass that is a frequency characteristic that complements the first band pass characteristic of the second sound signal that is the second sound signal that is input and that is the same as the first sound signal. Band pass filter processing by characteristics. Here, the frequency range of one pass band of the first band pass characteristic and the second band pass characteristic may be the frequency range of the other stop band. More specifically, as shown in FIG. 1, the second input filter processing unit 12 performs band pass filtering on the sound signal Sr for right ear localization, which is the second sound signal, using the second band pass characteristic. And output to the right localization filter 14.
  • the second input filter processing unit 12 can be realized by combining an Infinite Impulse Response (IIR) filter such as, for example, a parametric equalizer.
  • IIR Infinite Impulse Response
  • FIG. 3B is a diagram showing an example of the frequency characteristic of the second input filter processing unit 12 in the first embodiment. That is, as shown in FIG. 3B, the second band pass characteristic is a frequency characteristic in which the pass band and the stop band alternately exist at the logarithmic axis frequency and the pass band and the stop band are arranged at equal intervals. is there. Furthermore, the stop band of the second band pass characteristic is the frequency range of the pass band of the first band pass characteristic, and the pass band of the second band pass characteristic is the frequency range of the pass band of the first band pass characteristic and It has become. Thus, the second band pass characteristic is a frequency characteristic that complements the first band pass characteristic.
  • the first band pass characteristic and the second band pass characteristic are not limited to the frequency characteristics shown in FIGS. 3A and 3B.
  • the first band pass characteristic may be the frequency characteristic shown in FIG. 3B
  • the second band pass characteristic may be the frequency characteristic shown in FIG. 3A.
  • the first band pass characteristic and the second band pass characteristic may be one or the other of the frequency characteristics shown in (a) and (b) of FIG. 4 or (a) and (b) of FIG. It may be one and the other of the frequency characteristics shown in.
  • FIGS. 4 and 5 are diagrams showing another example of frequency characteristics of the first band pass characteristic and the second band pass characteristic according to the first embodiment.
  • (a) and (b) of FIG. 5 show an example of the frequency characteristic consisting of one pass band and one stop band. That is, the first band pass characteristic and the second band pass characteristic are frequency characteristics having a plurality of frequency bands consisting of one or more pass bands and one stop band, and the first band pass characteristic and the second band pass characteristic The frequency range of one of the passbands may be the frequency range of the other stopband.
  • the acoustic signal Sl and the acoustic signal Sr are audible to the listener 50.
  • Signal processing can be performed so as not to be unnatural and not identical.
  • the left localization filter 13 performs signal processing to localize the first acoustic signal band-pass-filtered by the first input filter processing unit 11 to the left side of the listener 50, thereby the first left signal and the first right side. Generate a signal. More specifically, as shown in FIG. 1, the left localization filter 13 includes the filter 131 of the transfer function X11 and the filter 132 of the transfer function Xlr, and the first input filter processing unit 11 performs band pass filtering The received acoustic signal S1 is distributed and subjected to filtering processing for localization on the left side of the listener 50.
  • the transfer function X11 and the design method of the transfer function Xlr are the same as described above, and thus the description thereof is omitted.
  • the filter 131 filters the acoustic signal S1 band-pass-filtered by the first input filter processing unit 11 to generate a first left signal, and outputs the generated first left signal to the adder 15.
  • the filter 132 filters the acoustic signal S1 subjected to the band pass filter processing by the first input filter processing unit 11 to generate a first right signal, and outputs the generated first right signal to the adder 15.
  • the right localization filter 14 performs signal processing to localize the second acoustic signal band-pass-filtered by the second input filter processing unit 12 on the right side of the listener 50, thereby obtaining the second left signal and the second right signal. Generate a signal. More specifically, as shown in FIG. 1, the right localization filter 14 includes the filter 141 of the transfer function Xrl and the filter 142 of the transfer function Xrr, and the second input filter processing unit 12 performs band pass filtering The received acoustic signal Sr is distributed and subjected to filtering processing for localization on the right side of the listener 50.
  • the transfer function Xrl and the design method of the transfer function Xrr are the same as described above, and thus the description thereof is omitted.
  • the filter 141 filters the acoustic signal Sr band-pass-filtered by the second input filter processing unit 12 to generate a second left signal, and outputs the generated second left signal to the adder 15.
  • the filter 142 filters the acoustic signal S1 band-pass-filtered by the second input filter processing unit 12 to generate a second right signal, and outputs the generated second right signal to the adder 16.
  • the left localization filter 13 and the right localization filter 14 can be realized by fixed FIR filters, the present invention is not limited to this.
  • the left localization filter 13 and the right localization filter 14 may be realized by an IIR filter or a combination of an FIR filter and an IIR filter.
  • requiring a transfer function in a frequency domain and returning to a time domain by inverse FFT is demonstrated as a design method of the left localization filter 13 and the right localization filter 14 below, it is not limited to this. It may be realized by a method of least squares in the time domain or an adaptive filter instead of a fixed filter.
  • the adder 15 is an example of an adder, adds the first left signal and the second left signal, and outputs the result to the first reproduction speaker. More specifically, the adder 15 adds the first left signal output from the filter 131 of the left localization filter 13 and the second left signal output from the filter 141 of the right localization filter 14, Output to the speaker 2.
  • the adder 16 is an example of an adder, adds the first right signal and the second right signal, and outputs the result to the second speaker for reproduction. More specifically, the adder 16 adds the first right signal output from the filter 132 of the left localization filter 13 and the second right signal output from the filter 142 of the right localization filter 14 to the right. Output to the speaker 3.
  • the adder 15 and the adder 16 may constitute one adder.
  • band pass filter processing is performed on the input acoustic signal Sl and the acoustic signal Sr with frequency characteristics complementary to each other.
  • the acoustic signals reproduced from the reproduction speakers installed at symmetrical positions as viewed from the listener can be made to be the same for the listener 50 without a sense of discomfort and thus being identical to the listener.
  • the sound image can be localized at the binaural position.
  • the left speaker 95 and the right speaker 96 are symmetrical with respect to the listener 91, and the acoustic signals S1 and Sr are monaural sound etc. Sr).
  • the acoustic signals S1 and Sr are monaural sound etc. Sr).
  • the output of the left speaker 95 and the output of the right speaker 96 become equal, the sound image perceived by the listener 91 is assumed. This is not the binaural position of the listener 91, but the central position on the straight line connecting the left speaker 95 and the right speaker 96.
  • the signal processing apparatus 1 of the present embodiment shown in FIG. 1 has the first input filter processing unit 11 and the second input filter processing unit 12.
  • the first input filter processing unit 11 and the second input filter processing unit 12 perform band pass filter processing with frequency characteristics complementary to the input sound signal Sl and sound signal Sr. By doing so, the acoustic signal Sl and the acoustic signal Sr can be made insensible to the listener 50 and not identical.
  • the signals output from the left speaker 2 and the right speaker 3 can be expressed as in (Expression 11) to (Expression 14) below.
  • Equation (11) corresponds to the signal output from the left speaker 2 when the first input filter processing unit 11 performs band pass filtering in the pass band of the first band pass characteristic.
  • Equation (12) corresponds to the signal output from the left speaker 2 when the first input filter processing unit 11 performs band pass filtering in the stop band of the first band pass characteristic.
  • the second input filter processing in the stop band of the second band pass characteristic is This corresponds to the signal output from the right speaker 3 when the band pass filter processing is performed by the unit 12.
  • equation 14 when band pass filtering is performed by the first input filter processing unit 11 in the stop band of the first band pass characteristic, in other words, the second input filtering in the pass band of the second band pass characteristic This corresponds to the signal output from the right speaker 3 when the band pass filter processing is performed by the unit 12.
  • the signals output from the left speaker 2 and the right speaker 3 are a combination of (Expression 11) and (Expression 13), or (Expression 12) and (Expression 14). And since (formula 11) and (formula 13) are different and (formula 12) and (formula 14) are different, the signals outputted from the left speaker 2 and the right speaker 3 are different. It will be
  • the signal processing device 1 of the present embodiment even when the sound signals Sl and Sr are monaural sound and the like and are equal, using the speakers installed at symmetrical positions as viewed from the listener 50 The sound image can be localized at the binaural position of the listener 50.
  • the first band pass characteristic and the second band pass characteristic may be a plurality of sets of, for example, two sets of frequency characteristics in which the width of the frequency band in a predetermined frequency range is changed.
  • one set of frequency characteristics corresponding to the type of the input acoustic signal may be used as the first band pass characteristic and the second band pass characteristic.
  • FIG. 6 is a diagram showing an example of frequency characteristics of the first band pass characteristic and the second band pass characteristic in the modification of the first embodiment.
  • FIGS. 6A and 6B show an example of frequency characteristics in which the widths of the pass band and the stop band in the vicinity of, for example, several hundreds Hz to about 3 kHz are narrowed.
  • the first band pass characteristic and the second band pass characteristic may be one and the other of the frequency characteristics shown in (a) and (b) of FIG.
  • the widths of the pass band and the stop band in some frequency ranges may be different from the widths of the pass band and the stop band in other frequency ranges.
  • some frequency ranges consist of frequency bands including the frequencies of the first formant and the second formant
  • the widths of the passband and the stopband in some frequency ranges are the passbands in other frequency ranges and It may be narrower than the width of the stop band.
  • the first formant and the second formant which are specific frequency regions characterizing speech, are in the vicinity of several hundred Hz to about 3 kHz. Therefore, as shown in FIG. 6, for a frequency range of, for example, several hundred Hz to around 3 kHz, the band pass division width may be fine and the other frequency ranges may be rough.
  • the first band pass characteristic and the second band pass characteristic in which the widths of frequency bands (hereinafter also referred to as band pass division widths) as shown in FIGS. 3A and 3B are equal intervals.
  • band pass division widths the widths of frequency bands
  • FIG. 7 is a diagram showing an example of the frequency characteristic of the acoustic signal input to the signal processing device 1 in the present modification.
  • FIG. 8 is an image diagram when the signal processing device 1 of the present modification performs band pass filtering on the acoustic signal of FIG. 7 with frequency characteristics having equally spaced band pass division widths.
  • FIG. 9 is an image diagram of a signal output after the signal processing device 1 according to the present modification performs band pass filter processing with frequency characteristics having equally spaced band pass division widths.
  • FIG. 7 shows an example of an acoustic signal having a peak near 400 Hz and around 1 kHz, which is often seen in voice and the like.
  • the frequency characteristics shown in (a) and (b) in FIG. 8 correspond to the frequency characteristics shown in FIGS.
  • the signals shown in (a) and (b) of FIG. 9 correspond to the signals output after being band pass filtered with the frequency characteristics shown in (a) and (b) of FIG.
  • the signal output after the band pass filtering process is a signal including the vicinity of the peak in (a) of FIG. 9, and is a signal including the vicinity of the dip in (b) of FIG. 9.
  • the volume of the sound emitted from the left speaker 2 is larger than the volume of the sound emitted from the right speaker 3 and the volume difference also increases, the localization is biased toward the left ear of the listener 50. It will be.
  • FIG. 10 is an image diagram when the signal processing apparatus 1 in the present modification performs band pass filter processing of the acoustic signal of FIG. 7 with the frequency characteristic in which the band pass division width in a partial frequency range is changed.
  • FIG. 11 is an image diagram of a signal output after the signal processing device 1 in the present modification performs band pass filter processing with the frequency characteristic in which the band pass division width in a partial frequency range is changed. It is assumed that one and the other of the frequency characteristics shown in (a) and (b) of FIG. 10 correspond to the first band pass characteristic and the second band pass characteristic.
  • the signals shown in (a) and (b) of FIG. 11 correspond to the signals output after being band pass filtered with the frequency characteristics shown in (a) and (b) of FIG.
  • both the vicinity of the peak and the vicinity of the dip shown in FIG. 7 correspond to the passbands of the first band pass characteristic and the second band pass characteristic.
  • the signals output after the band pass filtering process include signals near the peak and near the dip, as shown in (a) and (b) of FIG.
  • the frequency characteristic in which the width of the frequency band in the predetermined frequency range is changed in accordance with the type of the input acoustic signal has the first band pass characteristic and Used for the second band pass characteristic.
  • the volume difference between the volume of the sound emitted from the left speaker 2 and the volume of the sound emitted from the right speaker 3 can be reduced, so that the localization of the sound localization to the listener 50 can be suppressed or prevented.
  • the band pass division width in a part of the frequency range is narrowed, and the narrow band pass division width is at equal intervals. It is not limited to this. If the volume difference between the volume of the sound output from the left speaker 2 and the volume of the sound output from the right speaker 3 can be reduced, the widths of the passband and the stopband of the first band pass characteristic and the second band pass filter characteristic can be a part of the frequency It may be changed for each frequency band in the range.
  • FIG. 12 is a diagram showing an example of a configuration of the signal processing device 1A in the second embodiment.
  • the same elements as in FIG. 1 are denoted by the same reference numerals, and the detailed description will be omitted.
  • the signal processing apparatus 1A shown in FIG. 12 includes a first input filter processing unit 11A, a second input filter processing unit 12A, a left localization filter 13, a right localization filter 14, an adder 15, and an adder 16 And an auxiliary information acquisition unit 21, an auxiliary information analysis unit 22, and a filter control unit 23.
  • the signal processing device 1A shown in FIG. 12 differs from the signal processing device 1 according to the first embodiment in the configurations of the first input filter processing unit 11A and the second input filter processing unit 12A, and the auxiliary information acquisition unit 21 and the auxiliary information analysis unit 22 and the filter control unit 23 are added.
  • the auxiliary information acquisition unit 21 acquires auxiliary information input to the signal processing device 1A from the outside.
  • the auxiliary information is information indicating whether the sound is a main component when the left ear localization sound signal Sl and the right ear localization sound signal Sr are reproduced by the left speaker 2 and the right speaker 3.
  • the auxiliary information may be genre information included in TV broadcast content.
  • the genre information is, for example, information indicating drama, movie, sports, music or variety. Generally, in a drama, a movie, a variety, etc., the sound is often the main component of the input audio signal. On the other hand, in music and the like, a sound signal in a frequency band wider than that of voice is often the main component of an acoustic signal to be input.
  • the auxiliary information analysis unit 22 analyzes the auxiliary information input from the outside acquired by the auxiliary information acquisition unit 21. More specifically, the auxiliary information analysis unit 22 analyzes the auxiliary information acquired by the auxiliary information acquisition unit 21, and when the sound signal Sl and the sound signal Sr are reproduced by the left speaker 2 and the right speaker 3, voice is generated. Identify whether it is the main component.
  • the auxiliary information is genre information
  • the auxiliary information analysis unit 22 determines whether the genre information indicated by the auxiliary information acquired by the auxiliary information acquisition unit 21 is information indicating drama, movie, sports, music or variety, or the like. Analyze if it is information to show.
  • the filter control unit 23 is auxiliary information input from the outside, and if the first sound signal and the second sound signal are reproduced by the first reproduction speaker and the second reproduction speaker, is the sound a main component?
  • the first band pass characteristic and the second band pass characteristic are set according to the auxiliary information indicating whether or not it is not. More specifically, the filter control unit 23 is auxiliary information input from the outside, and whether the sound is the main component when the sound signal Sl and the sound signal Sr are reproduced by the left speaker 2 and the right speaker 3.
  • the first band pass characteristic and the second band pass characteristic are set according to the auxiliary information indicating.
  • the filter control unit 23 sets the first band pass characteristic and the second band pass characteristic according to the auxiliary information indicating the genre information input from the outside.
  • the filter control unit 23 performs the first band pass characteristic of the first input filter processing unit 11A and the second band pass characteristic of the second input filter processing unit 12A. Control to change band pass characteristics. This is because the balance of the localization of the sound emitted by the left speaker 2 and the right speaker 3 is improved.
  • the filter control unit 23 performs the first band pass characteristic of the first input filter processing unit 11A and the second band pass filter processing unit 12A. Control to change the second band pass characteristic is performed.
  • FIG. 13 is a diagram showing an example of the frequency characteristic of an acoustic signal input to the signal processing device 1A in the second embodiment.
  • FIG. 14 is an image diagram of a signal output after the signal processing apparatus 1A in the second embodiment performs band pass filter processing with the frequency characteristic in which the band pass division width in a partial frequency range is changed.
  • the sound signal shown in FIG. 13 is mainly composed of voice.
  • the filter control unit 23 changes the band pass division width in a partial frequency range from several hundred Hz to about 3 kHz shown in (a) and (b) of FIG.
  • One of the characteristics may be set to the first band pass characteristic and the other may be set to the second band pass characteristic.
  • a part of the frequency range from several hundred Hz to about 3 kHz is a frequency range including the first formant and the second formant, which are specific frequency ranges that characterize the sound. Therefore, as shown in (a) and (b) of FIG. 14, the filter control unit 23 narrows the band pass division width for the partial frequency range and roughens the other frequency ranges, and the first band pass The characteristic and the second band pass characteristic may be set.
  • FIG. 15 is a diagram showing another example of the frequency characteristic of the acoustic signal input to the signal processing device 1A in the second embodiment.
  • FIG. 16 is an image diagram of a signal output after the signal processing apparatus 1A according to the second embodiment performs band pass filter processing with frequency characteristics having equally spaced band pass division widths.
  • the sound signal shown in FIG. 15 is mainly composed of a sound signal that is wider than voice.
  • the auxiliary information is genre information
  • the genre indicated by the auxiliary information is music
  • a sound signal having a broader band than the voice is the main component
  • the acoustic signal is an acoustic signal as shown in FIG.
  • the filter control unit 23 sets one of the frequency characteristics having equally spaced band pass division widths as the first band pass characteristic and the other as the second band pass.
  • the characteristics may be set.
  • the filter control unit 23 sets one of the frequency characteristics having the rough band pass division width as the first band pass characteristic and the other as the second band pass characteristic. It should be set to
  • the filter control unit 23 controls the first input filter processing unit 11A in the predetermined frequency range according to the type of the acoustic signal indicated by the auxiliary information analyzed by the auxiliary information analysis unit 22. Control is performed to change the one band pass characteristic and the second band pass characteristic of the second input filter processing unit 12A.
  • the first input filter processing unit 11 ⁇ / b> A performs band pass filter processing on the acoustic signal S ⁇ b> 1 that is the input first acoustic signal with the first band pass characteristic set by the filter control unit 23.
  • the first input filter processing unit 11A is a first band pass characteristic set to the frequency characteristic shown in one of (a) and (b) of FIG.
  • the signal S1 is band pass filtered and output to the left localization filter 13.
  • the first input filter processing unit 11A uses the first band pass characteristic set to the frequency characteristic shown in one of (a) and (b) of FIG.
  • the band pass filter processing is performed and output to the left localization filter 13.
  • the second input filter processing unit 12A performs band pass filter processing on the acoustic signal Sr, which is the input second acoustic signal, using the second band pass characteristic set by the filter control unit 23.
  • the second input filter processing unit 12A is a second band pass characteristic set to the frequency characteristic shown in the other of (a) and (b) of FIG.
  • the signal Sr is band pass filtered and output to the right localization filter 14.
  • the second input filter processing unit 12A may use the acoustic signal Sr for the right ear localization with the second band pass characteristic set to the frequency characteristic shown in the other of (a) and (b) of FIG. Band pass filter processing is performed and output to the right localization filter 14.
  • the first band pass characteristic and the second band pass are selected according to the type of the acoustic signal input from at least two sets of frequency characteristics prepared in advance based on the auxiliary information acquired from the outside.
  • the setting as the characteristic has been described.
  • FIG. 17 is a diagram showing an example of a configuration of a signal processing device 1B in the third embodiment.
  • the same elements as those in FIGS. 1 and 12 are denoted by the same reference numerals, and detailed descriptions thereof will be omitted.
  • a signal processing device 1B shown in FIG. 17 includes a first input filter processing unit 11B, a second input filter processing unit 12B, a left localization filter 13, a right localization filter 14, an adder 15, and an adder 16 , A voice analysis unit 31, and a filter control unit 32.
  • the signal processing apparatus 1B shown in FIG. 17 differs from the signal processing apparatus 1 according to the first embodiment in the configurations of the first input filter processing unit 11B and the second input filter processing unit 12B. And the filter control unit 32 are added.
  • the voice analysis unit 31 analyzes frequency characteristics of at least one of the first acoustic signal and the second acoustic signal. More specifically, the voice analysis unit 31 analyzes frequency characteristics of at least one of the acoustic signal Sl and the acoustic signal Sr.
  • FIG. 18 is a diagram showing an example of a detailed configuration of the speech analysis unit 31 shown in FIG.
  • the voice analysis unit 31 includes a frequency conversion unit 310, a Q value calculation unit 311, a band pass division width calculation unit 312, and a filter coefficient calculation unit 313, and includes an acoustic signal S1 and an acoustic signal.
  • the frequency characteristic of at least one of Sr is analyzed to calculate the width of the frequency band.
  • FIG. 19 is a diagram showing an example of the frequency characteristic of the input acoustic signal obtained by the frequency conversion unit 310 shown in FIG.
  • the frequency conversion unit 310 adds the input sound signal Sl and sound signal Sr for each predetermined analysis frame, and converts the sum into a frequency domain by FFT (Fast Fourier Transform) or the like. Thereby, the frequency conversion unit 310 obtains frequency characteristics of the added audio signal S1 and audio signal Sr as shown in FIG. 19, for example. Then, frequency conversion section 310 detects the peak of the obtained frequency characteristic. In FIG. 19, the peak of the frequency characteristic detected by the frequency conversion unit 310 is indicated by a circle.
  • FFT Fast Fourier Transform
  • each predetermined analysis frame may be each sampling frame, or each frame included in a fixed time may be time-averaged.
  • the frequency transform unit 310 may be configured by FFT or MDCT (modified discrete cosine transform), but is not limited thereto.
  • the Q value calculation unit 311 calculates the sharpness of each peak waveform of the frequency characteristics converted by the frequency conversion unit 310. More specifically, the Q-factor calculation unit 311 digitizes the sharpness of the peak of the frequency characteristic of the added acoustic signal Sl and the acoustic signal Sr detected by the frequency conversion unit 310 by calculating the Q-factor. . That is, the Q-factor calculation unit 311 calculates, for each frequency, the Q-factor of the frequency characteristic of the added acoustic signal Sl and the acoustic signal Sr detected by the frequency conversion unit 310.
  • FIG. 20 is an explanatory diagram of a method of calculating the Q value.
  • the method of calculating the Q value will be described with reference to FIG.
  • the frequency omega 0 the level is the frequency bandwidth to be -6dB from (the vertical direction size in FIG.) ( ⁇ 2 - ⁇ 1) at that frequency omega 0 It is a divided value, which can indicate the sharpness of the peak waveform shown in FIG.
  • the band pass division width calculation unit 312 calculates the width of each of the frequency bands according to the sharpness of the peak waveform calculated by the Q value calculation unit 311. More specifically, in the band pass division width calculation unit 312, the value indicating the sharpness of the peak waveform calculated by the Q value calculation unit 311 is less than or equal to the first threshold, greater than the first threshold, or less than the second threshold, or In accordance with being equal to or more than two threshold values, the widths of the first width, the second width narrower than the first width, or the third width narrower than the second width are calculated. That is, the band pass division width calculation unit 312 increases the band pass division width when the Q value is small, and reduces the band pass division width as the Q value increases.
  • FIG. 21 is a diagram showing an example of the relationship between the Q value and the band pass division width in the third embodiment.
  • 0.8 is an example of the first threshold
  • 2 is an example of the second threshold.
  • the band pass division width calculation unit 312 sets the Q value to 0.8 or less, 0.8 to 2, or 2 or more, and is large, medium, Alternatively, a small band pass division width may be calculated.
  • a large, medium, or small band pass division width for example, 300 Hz, 100 Hz, 50 Hz may be mentioned.
  • the filter coefficient calculation unit 313 calculates filter coefficients so as to obtain the first band pass characteristic and the second band pass characteristic including the band pass division width calculated by the band pass division width calculation unit 312.
  • the detailed configuration of the voice analysis unit 31 is not limited to the example shown in FIG. It may be a detailed configuration shown in FIG. Hereinafter, the speech analysis unit 31B will be described.
  • the voice analysis unit 31B analyzes frequency characteristics of at least one of the first acoustic signal and the second acoustic signal. More specifically, the voice analysis unit 31B analyzes frequency characteristics of at least one of the acoustic signal Sl and the acoustic signal Sr.
  • FIG. 22 is a diagram showing an example of a detailed configuration of the speech analysis unit 31B shown in FIG.
  • the voice analysis unit 31B includes a band pass filter unit 314, an output level comparison unit 315, and a band pass filter determination unit 316.
  • the band pass filter unit 314 has patterns of at least two sets of frequency characteristics as candidates for the first band pass characteristic and the second band pass characteristic.
  • the band pass filter unit 314 performs band pass filter processing using patterns of at least two sets of frequency characteristics, and performs the input acoustic signal S1 and the acoustic signal S1.
  • the band pass filter unit 314 outputs the outputs of the acoustic signal S1 and the acoustic signal S1 subjected to the band pass filter process using at least two sets of patterns of frequency characteristics to the output level comparison unit 315.
  • the band pass filter unit 314 has, for example, patterns of two sets of frequency characteristics, the pattern of one set of frequency characteristics shown in FIGS. 3A and 3B and the set of frequency characteristics shown in FIG. It suffices to have a pattern.
  • the output level comparison unit 315 analyzes the set of outputs from the band pass filter unit 314. More specifically, the output level comparison unit 315 compares the outputs of the acoustic signal S1 and the acoustic signal S1 subjected to the band pass filtering process using at least two sets of patterns of frequency characteristics, and the output level difference is the smallest. Identify the set of patterns.
  • the band pass filter unit 314 has, for example, the patterns of the two sets of frequency characteristics.
  • the output level comparison unit 315 sets the pattern of one set of frequency characteristics shown in FIG. 6 as a set of patterns with the smallest output level difference. Identify.
  • the output level comparison unit 315 sets one set of frequencies shown in FIGS. 3A and 3B as a set of patterns with the smallest output level difference. Identify the pattern of the characteristic.
  • the band pass filter determination unit 316 determines that the first band pass characteristic and the second band pass filter characteristic are to be a pattern of the set of frequency characteristics identified by the output level comparison unit 315. More specifically, the band pass filter determination unit 316 sets the filter coefficients so that the first band pass characteristic and the second band pass characteristic consisting of a set of frequency characteristic patterns specified by the output level comparison unit 315 are obtained. Calculate
  • the filter control unit 32 performs control to change the widths of the plurality of frequency bands in the first band pass characteristic and the second band pass characteristic based on the analysis result of the speech analysis unit 31 or the speech analysis unit 31B. For example, the filter control unit 32 changes the widths of the plurality of frequency bands in the first band pass characteristic and the second band pass characteristic so that the widths of the frequency bands calculated by the voice analysis unit 31 are obtained. More specifically, the filter control unit 32 sets the filter coefficients of the first band pass characteristic and the second band pass characteristic so as to be the filter coefficients calculated by the filter coefficient calculation unit 313. Thus, the filter control unit 32 can change the widths of the plurality of frequency bands in the first band pass characteristic and the second band pass characteristic.
  • the filter control unit 32 sets the first band pass characteristic and the first band pass characteristic so that the filter coefficients of the first band pass characteristic and the second band pass characteristic that are formed by the set of frequency characteristic patterns determined by the speech analysis unit 31B.
  • a filter coefficient of the second band pass characteristic may be set.
  • the first input filter processing unit 11B performs band pass filter processing on the acoustic signal S1 that is the input first acoustic signal with the first band pass characteristic set by the filter control unit 32.
  • the first input filter processing unit 11B outputs the acoustic signal Sl subjected to the band pass filter processing to the left localization filter 13.
  • the second input filter processing unit 12B performs band pass filter processing on the acoustic signal Sr, which is the input second acoustic signal, using the second band pass characteristic set by the filter control unit 32.
  • the second input filter processing unit 12B outputs the band pass filtered acoustic signal Sr to the right localization filter 14.
  • the signal processing device 1B of the present embodiment it is possible to analyze in real time the frequency characteristics of the acoustic signal input by the voice analysis unit 31 or the like. Therefore, the first band pass characteristic and the second band pass characteristic can be set according to the input acoustic signal.
  • the volume difference between the volume of the sound emitted from the left speaker 2 and the volume of the sound emitted from the right speaker 3 can be reduced, so that the localization of the sound localization to the listener 50 can be suppressed or prevented.
  • the first band pass characteristic and the second band pass characteristic of the first input filter processing unit 11 and the like and the second input filter processing unit 12 and the like will be described by exemplifying ideal characteristics. However, it is not limited to this. The same effect can be obtained as long as the pass band and the stop band are realized by the FIR filter, the IIR filter, and the like. Further, in the drawings for explaining the first band pass characteristic and the second band pass characteristic, the explanation has been made with the logarithmic axis, but the present invention is not limited to this. The same applies to linear axes.
  • FIG. 1 FIG. 12 and FIG. 17, it is assumed that the first input filter processing unit 11 etc. and the second input filter processing unit 12 etc. are provided in front of the left localization filter 13 and the right localization filter 14. Although described, they may be provided in the subsequent stages. It is because the obtained result is equivalent.
  • the present invention is not limited thereto.
  • a music signal in a state in which a common monaural component is mixed with a stereo signal having different left and right signals, such as a music signal including voice such as vocal may be treated as the sound signal Sl and the sound signal Sr.
  • the vocal component of such a music signal the sound reproduced from the left speaker 2 and the right speaker 3 is monaural. Therefore, the methods described in the first to third embodiments can be applied.
  • the monaural component may be extracted and the frequency analysis of the extracted monaural component may be performed.
  • various methods can be considered as a method of extracting a monaural component, for example, stereo signals having different signals on the left and right sides may be added together (Sl + Sr).
  • Some of the components constituting the above signal processing apparatus may be a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse and the like.
  • a computer program is stored in the RAM or the hard disk unit.
  • the microprocessor achieves its functions by operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions to the computer in order to achieve a predetermined function.
  • the system LSI is a super-multifunctional LSI manufactured by integrating a plurality of components on one chip, and more specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions as the microprocessor operates in accordance with the computer program.
  • a part of the components constituting the above-mentioned signal processing device may be composed of an IC card or a single module which can be detached from each device.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may be tamper resistant.
  • some of the components constituting the signal processing apparatus described above are recording media that can read the computer program or the digital signal by a computer, such as a flexible disk, hard disk, CD-ROM, MO, DVD , DVD-ROM, DVD-RAM, BD (Blu-ray (registered trademark) Disc), semiconductor memory, or the like. Further, the present invention may be the digital signal recorded on these recording media.
  • some of the components constituting the above signal processing apparatus transmit the computer program or the digital signal via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, etc. It may be transmitted.
  • the present disclosure may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present disclosure may be a computer system including a microprocessor and a memory, wherein the memory stores the computer program, and the microprocessor operates according to the computer program. .
  • another computer which is independent by recording the program or the digital signal on the recording medium and transferring it, or transferring the program or the digital signal via the network or the like. It may be implemented by a system.
  • the present disclosure is applicable to signal processing devices.
  • a wide range of signal processing devices configured in a system expected to localize the reproduced monaural signal at the listener's binaural position using the reproduction speaker installed at symmetrical positions relative to the listener.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

1以上の通過帯域および阻止帯域からなる複数の周波数帯域を持つ周波数特性である第1バンドパス特性で、入力された第1音響信号をバンドパスフィルタ処理する第1の入力フィルタ処理部(11)と、入力された第2音響信号であって第1音響信号と同一となる第2音響信号を、第1バンドパス特性を補完する周波数特性である第2バンドパス特性でバンドパスフィルタ処理する第2の入力フィルタ処理部(12)とを備え、バンドパスフィルタ処理された第1音響信号および第2音響信号を、受聴者の右側および左側に定位させる信号処理を行い、受聴者(50)に対して左右対称な位置に設置された左側スピーカ(2)および右側スピーカ(3)に出力することで、受聴者の両耳位置に音像を定位させる信号処理装置(1)。

Description

信号処理装置
 本開示は、信号処理装置に関し、特に、入力された音響信号を信号処理して出力する信号処理装置に関する。
 例えば特許文献1には、音像定位処理を行うことにより、入力された音響信号の音像を任意の場所に定位させることができる音像定位装置が開示されている。
特開平8-182100号公報
 しかしながら、特許文献1に開示される技術では、受聴者から見て左右対称な位置に設置された再生用スピーカを用いて、当該受聴者の両耳位置に音像を定位させる音像定位処理を行った音響信号で再生を行う場合には、左右の再生用スピーカから再生される音響信号が等しくなるという問題がある。つまり、当該音像定位処理を行った音響信号による音像が再生用スピーカを結んだ位置に定位してしまい、受聴者の両耳位置に音像を定位させることができないという問題がある。
 本開示は、上述の事情を鑑みてなされたもので、受聴者から見て左右対称な位置に設置された再生用スピーカを用いても受聴者の両耳位置に音像を定位させることができる信号処理装置を提供することを目的とする。
 本開示の一形態における信号処理装置は、受聴者に対して左右対称な位置に設置された第1の再生用スピーカおよび第2の再生用スピーカに、入力された音響信号を信号処理して出力する信号処理装置であって、1以上の通過帯域および阻止帯域からなる複数の周波数帯域を持つ周波数特性である第1バンドパス特性で、入力された第1音響信号をバンドパスフィルタ処理する第1の入力フィルタ処理部と、入力された第2音響信号であって前記第1音響信号と同一となる第2音響信号を、前記第1バンドパス特性を補完する周波数特性である第2バンドパス特性でバンドパスフィルタ処理する第2の入力フィルタ処理部と、前記第1の入力フィルタ処理部によりバンドパスフィルタ処理された前記第1音響信号を、前記受聴者の左側に定位させる信号処理を行うことにより、第1左側信号および第1右側信号を生成する左定位フィルタと、前記第2の入力フィルタ処理部によりバンドパスフィルタ処理された前記第2音響信号を、前記受聴者の右側に定位させる信号処理を行うことにより、第2左側信号および第2右側信号を生成する右定位フィルタと、前記第1左側信号と前記第2左側信号とを加算して前記第1の再生用スピーカに出力する第1の加算器と、前記第1右側信号と前記第2右側信号とを加算して前記第2の再生用スピーカに出力する第2の加算器とを備える。
 この構成によれば、入力された音響信号に対して補完関係のある周波数特性でフィルタ処理を行うことができる。これにより、受聴者から見て左右対称な位置に設置された再生用スピーカから再生される音響信号が、受聴者にとって聴感上違和感なくかつ同一とならないようにすることができるので、受聴者の両耳位置に音像を定位させることができる。
 ここで、例えば、前記第1バンドパス特性および前記第2バンドパス特性のうちの一方の通過帯域の周波数範囲は、他方の阻止帯域の周波数範囲であるとしてもよい。
 また、例えば、前記第1バンドパス特性および前記第2バンドパス特性のうちの一方の通過帯域の周波数範囲は、他方の阻止帯域の周波数範囲を含み、かつ、前記他方の遷移域の周波数範囲と一部重なっているとしてもよい。
 また、例えば、前記第1バンドパス特性および前記第2バンドパス特性は、一部の周波数範囲における通過帯域および阻止帯域の幅と、他の周波数範囲における通過帯域および阻止帯域の幅とが異なるとしてもよい。
 この構成によれば、入力される音響信号の周波数特性に応じたバンドパスフィルタ処理ができるため、音の定位の偏りを抑制することが可能となる。
 ここで、例えば、前記一部の周波数範囲は、第一フォルマントおよび第二フォルマントの周波数を含む周波数帯域からなり、前記一部の周波数範囲における通過帯域および阻止帯域の幅は、前記他の周波数範囲における通過帯域および阻止帯域の幅よりも狭いとしてもよい。
 また、例えば、さらに、外部から入力される補助情報であって前記第1音響信号および前記第2音響信号が前記第1の再生用スピーカおよび前記第2の再生用スピーカで再生されたときに音声が主成分か否かを示す補助情報に応じて、前記第1バンドパス特性および前記第2バンドパス特性を設定するフィルタ制御部を備えるとしてもよい。
 この構成によれば、外部から入力された補助情報に応じて、第1バンドパス特性および第2バンドパス特性を設定することができる。これにより、第1の再生用スピーカおよび第2の再生用スピーカから出音される音響信号の受聴者に対する定位の偏りを抑制することができる。
 また、例えば、さらに、前記第1音響信号および前記第2音響信号の少なくとも一方の周波数特性を分析する音声分析部と、前記音声分析部の分析結果に基づいて、前記第1バンドパス特性および前記第2バンドパス特性における複数の周波数帯域それぞれの幅を変更する制御を行うフィルタ制御部とを備え、前記音声分析部は、前記周波数特性を分析し、前記周波数特性が有するそれぞれのピーク波形の鋭さに応じた周波数帯域それぞれの幅を算出し、前記フィルタ制御部は、前記音声分析部により算出された前記幅となるように、前記第1バンドパス特性および前記第2バンドパス特性における複数の周波数帯域それぞれの幅を変更するとしてもよい。
 この構成により、音響信号の周波数特性をリアルタイムに分析することができる。これにより、入力される音響信号の周波数特性が変わった場合でも、それに応じたバンドパスフィルタ処理ができるため、定位の偏りを抑制することができる。
 ここで、例えば、前記音声分析部は、前記周波数特性を分析し、前記周波数特性が有するそれぞれのピーク波形の鋭さを示す値が第1閾値以下、前記第1閾値より大きく第2閾値より小さい、または前記第2閾値以上であることに応じて、第1幅、前記第1幅より狭い第2幅または前記第2幅より狭い第3幅となる周波数帯域それぞれの幅を算出するとしてもよい。
 また、例えば、前記第1音響信号および前記第2音響信号は、モノラル信号であるとしてもよい。
 また、例えば、前記第1音響信号および前記第2音響信号は、前記信号処理装置に入力されたステレオ信号であって、前記第1の再生用スピーカおよび前記第2の再生用スピーカに対して異なるステレオ信号のうちから抽出された共通成分であるモノラル信号であるとしてもよい。
 なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 本開示の信号処理装置によれば、受聴者から見て左右対称な位置に設置されたスピーカを用いても受聴者の両耳位置に音像を定位をさせることができる。
図1は、実施の形態1におけるシステムの構成の一例を示す図である。 図2は、実施の形態1に係る信号処理装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。 図3Aは、実施の形態1における第1の入力フィルタ処理部の周波数特性の一例を示す図である。 図3Bは、実施の形態1における第2の入力フィルタ処理部の周波数特性の一例を示す図である。 図4は、実施の形態1における第1バンドパス特性および第2バンドパス特性の周波数特性の別の一例を示す図である。 図5は、実施の形態1における第1バンドパス特性および第2バンドパス特性の周波数特性の別の一例を示す図である。 図6は、実施の形態1の変形例における第1バンドパス特性および第2バンドパス特性の周波数特性の一例を示す図である。 図7は、実施の形態1の変形例における信号処理装置に入力される音響信号の周波数特性の一例を示す図である。 図8は、実施の形態1の変形例における信号処理装置が、等間隔のバンドパス分割幅を持つ周波数特性で図7の音響信号をバンドパスフィルタ処理するときのイメージ図である。 図9は、実施の形態1の変形例における信号処理装置が、等間隔のバンドパス分割幅を持つ周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。 図10は、実施の形態1の変形例における信号処理装置が、一部の周波数範囲でのバンドパス分割幅が変更された周波数特性で図7の音響信号をバンドパスフィルタ処理するときのイメージ図である。 図11は、実施の形態1の変形例における信号処理装置が、一部の周波数範囲でのバンドパス分割幅が変更された周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。 図12は、実施の形態2における信号処理装置の構成の一例を示す図である。 図13は、実施の形態2における信号処理装置に入力される音響信号の周波数特性の一例を示す図である。 図14は、実施の形態2における信号処理装置が、一部の周波数範囲でのバンドパス分割幅が変更された周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。 図15は、実施の形態2における信号処理装置に入力される音響信号の周波数特性の別の一例を示す図である。 図16は、実施の形態2における信号処理装置が、等間隔のバンドパス分割幅を持つ周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。 図17は、実施の形態3における信号処理装置の構成の一例を示す図である。 図18は、図17に示す音声分析部の詳細構成の一例を示す図である。 図19は、図18に示す周波数変換部により得られた、入力された音響信号の周波数特性の一例を示す図である。 図20は、Q値の算出方法の説明図である。 図21は、実施の形態3におけるQ値とバンドパス分割幅との関係の一例を示す図である。 図22は、図17に示す音声分析部の詳細構成の一例を示す図である。 図23は、目標系を示す図である。 図24は、再生系を示す図である。
 (本発明の一態様を得るに至った経緯)
 まず、特許文献1に開示される音像定位処理について、図23および図24を用いて説明する。
 図23は、目標系90を示す図である。図23に示すように、目標系90は、受聴者91と目標スピーカ92とで構成されている。
 目標スピーカ92は、実体のスピーカと異なっていても同一でもよいが、図23に示す目標スピーカ92の位置で音響信号が再生されているように受聴者91に聴こえさせる。
 図24は、再生系93を示す図である。図24に示すように、再生系93は、受聴者91と信号処理装置94と、左側スピーカ95と、右側スピーカ96とで構成されている。
 信号処理装置94は、図24に示すように、左定位フィルタ941と、右定位フィルタ942と、加算器943と、加算器944とを備える。そして、信号処理装置94は、目標系90において受聴者91の左耳位置で得られる音響信号Slおよび受聴者91の右耳位置で得られる音響信号Srを、再生系93の左側スピーカ95および右側スピーカ96を用いて、受聴者91の左耳位置および右耳位置で実現する。
 左定位フィルタ941は、左耳定位用の音響信号Slに対してフィルタ処理する。左定位フィルタ941は、図24に示すように、左耳定位用の音響信号Slをフィルタ処理して加算器943に出力するフィルタXllと、左耳定位用の音響信号Slをフィルタ処理して加算器944に出力するフィルタXlrとから構成されている。
 右定位フィルタ942は、右耳定位用の音響信号Srに対してフィルタ処理する。右定位フィルタ942は、図24に示すように、右耳定位用の音響信号Srをフィルタ処理して加算器943に出力するフィルタXrlと、右耳定位用の音響信号Srをフィルタ処理して加算器944に出力するフィルタXrrとから構成されている。
 加算器943は、フィルタXllとフィルタXrlとの出力を加算して左側スピーカ95に出力する。また、加算器944は、フィルタXlrとフィルタXrrとの出力を加算して右側スピーカ96に出力する。
 ここで、左側スピーカ95および右側スピーカ96のそれぞれから、受聴者91の両耳位置までの伝達関数をHll、Hlr、Hrl、Hrrとする。この場合、左定位フィルタ941および右定位フィルタ942のそれぞれの伝達関数すなわちフィルタXll、フィルタXlr、フィルタXrl、フィルタXrrの伝達関数Xll、Xlr、Xrl、Xrr、は以下の(式1)~(式6)から設計することができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 なお、(式1)~(式6)から算出された伝達関数Xll、Xlr、Xrl、Xrrは、逆FFT (Fast Fourier Transform)を行うことで時間領域のFIR (Finite Impulse Response)フィルタ係数として実現することができる。そして、左定位フィルタ941と右定位フィルタ942との出力を加算器943および加算器944のそれぞれで加算して、左側スピーカ95および右側スピーカ96から出力することで、受聴者91の両耳位置において、入力された左耳定位用の音響信号Slおよび右耳定位用の音響信号Srを再現することができる。
 この場合、左側スピーカ95および右側スピーカ96から出力される信号は、下記の(式7)および(式8)のよう表すことができる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 ここで、左側スピーカ95および右側スピーカ96が、受聴者91に対して左右対称な位置に設置され、かつ、目標スピーカ92が受聴者91の正中面にあるとすると、(式7)および(式8)において、伝達関数Hll=伝達関数Hrr、伝達関数Hlr=伝達関数Hrlとなり、音響信号Sl=音響信号Srとなる。この場合、左側スピーカ95および右側スピーカ96から出力される信号は、下記の(式9)および(式10)のよう表すことができ、等しくなる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
 つまり、左側スピーカ95および右側スピーカ96は同一の信号を再生することとなる。そして、左側スピーカ95および右側スピーカ96が、受聴者91に対して左右対称な位置に設置され、かつ、目標スピーカ92が受聴者91の正中面にある場合、受聴者91が知覚する音像位置は、左側スピーカ95と右側スピーカ96とを結ぶ直線上の中心位置となり、本来想定していた両耳位置とは異なってしまうという問題が生じる。
 したがって、特許文献1に開示される音像定位装置が、クロストークキャンセル処理を行い、受聴者から見て左右対称な位置に設置された再生用スピーカに再生させたモノラル信号を受聴者の両耳位置に音像を定位させるとする。この場合、特許文献1に開示される音像定位装置では、左右の再生用スピーカから再生される信号が等しくなり、音像が再生用スピーカを結んだ位置に定位してしまい、受聴者の両耳位置に音像を定位させることができないという問題がある。
 それに対して、本開示では、受聴者から見て左右対称な位置に設置されたスピーカを用いても受聴者の両耳位置に音像を定位させることができる信号処理装置等について説明する。
 以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、使用手順、通信手順等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
 (実施の形態1)
 以下では、図面を参照しながら、実施の形態1に係る信号処理装置の説明を行う。
 [システムの構成]
 図1は、実施の形態1におけるシステムの構成の一例を示す図である。図1に示すシステムは、信号処理装置1と、左側スピーカ2と、右側スピーカ3とを備える。また、図1にはさらに、受聴者50が示されている。
 信号処理装置1は、左側スピーカ2および右側スピーカ3に、入力された音響信号を信号処理して出力する。なお、信号処理装置1は、左側スピーカ2および右側スピーカ3を備えてもよい。
 左側スピーカ2は、第1の再生用スピーカの一例であり、受聴者50に対して左右対称な位置に設置された2つのスピーカのうち受聴者50からみて左側に位置するスピーカである。右側スピーカ3は、第2の再生用スピーカの一例であり、受聴者50に対して左右対称な位置に設置された2つのスピーカのうち受聴者50からみて右側に位置するスピーカである。
 なお、左側スピーカ2および右側スピーカ3は、例えば通常のスピーカ、すなわち、入力信号の全周波数帯域を再生することを意図したスピーカであるが、これに限らない。左側スピーカ2および右側スピーカ3は、例えば、ツイータ、スコーカ、ウーハなど、再生する信号の周波数ごとに異なるユニットから構成されるマルチウェイのスピーカであってもよい。この場合、さらに、例えばユニットごとに別筐体でそれぞれが離れた位置に配置されていてもよい。また、LFE(Low Frequency Effect)信号を再生することができるサブウーハなどを含んでもよい。
 また、図1等において、左側スピーカ2と右側スピーカ3は左右対称に、信号処理装置1から受聴者50を見た場合の信号処理装置1の前方に配置されるとして説明したが、これに限定されない。例えば、左右対称な後方、上方の配置などでもよい。つまり、左側スピーカ2および右側スピーカ3のそれぞれから受聴者50の両耳位置までの伝達関数Hll、Hlr、Hrl、Hrrにおいて、概ねHll=Hrr、Hrl=Hlrとなるいかなる配置であってもよい。
 [信号処理装置1の構成]
 以下、信号処理装置1について詳細に説明する。
 [コンピュータ1000]
 まず、図2を用いて信号処理装置1のハードウェア構成について説明する。
 図2は、実施の形態1に係る信号処理装置1の機能をソフトウェアにより実現するコンピュータ1000のハードウェア構成の一例を示す図である。
 コンピュータ1000は、図2に示すように、入力装置1001、出力装置1002、CPU1003、内蔵ストレージ1004、RAM1005、読取装置1007、送受信装置1008およびバス1009を備えるコンピュータである。入力装置1001、出力装置1002、CPU1003、内蔵ストレージ1004、RAM1005、読取装置1007および送受信装置1008は、バス1009により接続される。
 入力装置1001は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置1001は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。
 内蔵ストレージ1004は、フラッシュメモリなどである。また、内蔵ストレージ1004は、信号処理装置1の機能を実現するためのプログラムおよび/または信号処理装置1の機能構成を利用したアプリケーションが、予め記憶されているとしてもよい。
 RAM1005は、Random Access Memoryであり、プログラムまたはアプリケーションの実行に際してデータ等の記憶に利用される。
 読取装置1007は、USB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る。読取装置1007は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ1004に記憶させる。
 送受信装置1008は、無線又は有線で通信を行うための通信回路である。送受信装置1008は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ1004に記憶させる。
 CPU1003は、Central Processing Unitであり、内蔵ストレージ1004に記憶されたプログラムやアプリケーションをRAM1005にコピーし、そのプログラムやアプリケーションに含まれる命令をRAM1005から順次読み出して実行する。
 [信号処理装置1]
 次に、図1を用いて信号処理装置1の各機能構成要素について説明する。
 信号処理装置1は、入力された音響信号を信号処理して、受聴者50に対して左右対称な位置に設置された左側スピーカ2および右側スピーカ3に出力する。本実施の形態では、信号処理装置1は、図1に示すように、第1の入力フィルタ処理部11と、第2の入力フィルタ処理部12と、左定位フィルタ13と、右定位フィルタ14と、加算器15と、加算器16とを備える。
 <第1の入力フィルタ処理部11>
 第1の入力フィルタ処理部11は、1以上の通過帯域および阻止帯域からなる複数の周波数帯域を持つ周波数特性である第1バンドパス特性で、入力された第1音響信号をバンドパスフィルタ処理する。より具体的には、図1に示すように、第1の入力フィルタ処理部11は、第1音響信号である左耳定位用の音響信号Slを、第1バンドパス特性でバンドパスフィルタ処理して、左定位フィルタ13に出力する。なお、第1の入力フィルタ処理部11は、例えばパラメトリックイコライザなどのIIR(Infinite Impulse Response)フィルタを組み合わせることで実現できる。
 ここで、図3Aを用いて、第1バンドパス特性の一例について説明する。
 図3Aは、実施の形態1における第1の入力フィルタ処理部11の周波数特性の一例を示す図である。すなわち、図3Aに示すように、第1バンドパス特性は、対数軸の周波数において、通過帯域と阻止帯域とが交互に存在し、かつ、通過帯域と阻止帯域とが等間隔に並んでいる周波数特性である。
 <第2の入力フィルタ処理部12>
 第2の入力フィルタ処理部12は、入力された第2音響信号であって第1音響信号と同一となる第2音響信号を、第1バンドパス特性を補完する周波数特性である第2バンドパス特性でバンドパスフィルタ処理する。ここで、第1バンドパス特性および第2バンドパス特性のうちの一方の通過帯域の周波数範囲は、他方の阻止帯域の周波数範囲であってもよい。より具体的には、図1に示すように、第2の入力フィルタ処理部12は、第2音響信号である右耳定位用の音響信号Srを、第2バンドパス特性でバンドパスフィルタ処理して、右定位フィルタ14に出力する。なお、第2の入力フィルタ処理部12は、例えばパラメトリックイコライザなどのIIR(Infinite Impulse Response)フィルタを組み合わせることで実現できる。
 ここで、図3Bを用いて、第2バンドパス特性の一例について説明する。
 図3Bは、実施の形態1における第2の入力フィルタ処理部12の周波数特性の一例を示す図である。すなわち、図3Bに示すように、第2バンドパス特性は、対数軸の周波数において、通過帯域と阻止帯域とが交互に存在し、通過帯域と阻止帯域とが等間隔に並んでいる周波数特性である。さらに、第2バンドパス特性の阻止帯域は、第1バンドパス特性の通過帯域の周波数範囲となっており、第2バンドパス特性の通過帯域は、第1バンドパス特性の通過帯域の周波数範囲となっている。このように第2バンドパス特性は、第1バンドパス特性を補完する周波数特性となっている。
 なお、第1バンドパス特性および第2バンドパス特性は、図3Aおよび図3Bに示す周波数特性である場合に限らない。例えば、第1バンドパス特性が図3Bに示す周波数特性であり、第2バンドパス特性が図3Aに示す周波数特性であってもよい。また、第1バンドパス特性および第2バンドパス特性は、図4の(a)および(b)に示される周波数特性の一方と他方であってもよいし、図5の(a)および(b)に示される周波数特性の一方と他方であってもよい。
 図4および図5は、実施の形態1における第1バンドパス特性および第2バンドパス特性の周波数特性の別の一例を示す図である。
 図4の(a)および(b)には、通過帯域および阻止帯域に加えて遷移域がある周波数特性の一例が示されている。そして、図4の(a)および(b)の一方の遷移域の周波数範囲が他方の遷移域の周波数範囲の一部と重なっている。すなわち、第1バンドパス特性および第2バンドパス特性うちの一方の通過帯域の周波数範囲は、他方の阻止帯域の周波数範囲を含み、かつ、他方の遷移域の周波数範囲と一部重なっていてもよい。
 また、図5の(a)および(b)には、1つの通過帯域および1つの阻止帯域からなる周波数特性の一例が示されている。すなわち、第1バンドパス特性および第2バンドパス特性は、1以上の通過帯域および1つの阻止帯域からなる複数の周波数帯域を持つ周波数特性であり、第1バンドパス特性および第2バンドパス特性のうちの一方の通過帯域の周波数範囲は、他方の阻止帯域の周波数範囲であってもよい。
 このような第1バンドパス特性および第2バンドパス特性を有する第1の入力フィルタ処理部11および第2の入力フィルタ処理部12により、音響信号Slおよび音響信号Srが、受聴者50に聴感上違和感なくかつ同一とならないように信号処理を行うことができる。
 <左定位フィルタ13>
 左定位フィルタ13は、第1の入力フィルタ処理部11によりバンドパスフィルタ処理された第1音響信号を、受聴者50の左側に定位させる信号処理を行うことにより、第1左側信号および第1右側信号を生成する。より具体的には、左定位フィルタ13は、図1に示すように、伝達関数Xllのフィルタ131と、伝達関数Xlrのフィルタ132とを備え、第1の入力フィルタ処理部11によりバンドパスフィルタ処理された音響信号Slを分配し、受聴者50の左側に定位させるフィルタ処理を行う。なお、伝達関数Xllおよび伝達関数Xlrの設計方法等は、上述した通りであるので説明を省略する。
 フィルタ131は、第1の入力フィルタ処理部11によりバンドパスフィルタ処理された音響信号Slをフィルタ処理して第1左側信号を生成し、生成した第1左側信号を加算器15に出力する。
 フィルタ132は、第1の入力フィルタ処理部11によりバンドパスフィルタ処理された音響信号Slをフィルタ処理して第1右側信号を生成し、生成した第1右側信号を加算器15に出力する。
 <右定位フィルタ14>
 右定位フィルタ14は、第2の入力フィルタ処理部12によりバンドパスフィルタ処理された第2音響信号を、受聴者50の右側に定位させる信号処理を行うことにより、第2左側信号および第2右側信号を生成する。より具体的には、右定位フィルタ14は、図1に示すように、伝達関数Xrlのフィルタ141と、伝達関数Xrrのフィルタ142とを備え、第2の入力フィルタ処理部12によりバンドパスフィルタ処理された音響信号Srを分配し、受聴者50の右側に定位させるフィルタ処理を行う。なお、伝達関数Xrlおよび伝達関数Xrrの設計方法等は、上述した通りであるので説明を省略する。
 フィルタ141は、第2の入力フィルタ処理部12によりバンドパスフィルタ処理された音響信号Srをフィルタ処理して第2左側信号を生成し、生成した第2左側信号を加算器15に出力する。
 フィルタ142は、第2の入力フィルタ処理部12によりバンドパスフィルタ処理された音響信号Slをフィルタ処理して第2右側信号を生成し、生成した第2右側信号を加算器16に出力する。
 なお、左定位フィルタ13および右定位フィルタ14は固定のFIRフィルタで実現することができるが、これに限らない。左定位フィルタ13および右定位フィルタ14は、IIRフィルタ、または、FIRフィルタおよびIIRフィルタを組み合わせたものなどで実現するとしてもよい。また、以下では、左定位フィルタ13および右定位フィルタ14の設計方法として、周波数領域で伝達関数を求めて逆FFTで時間領域に戻す方法について説明するが、これに限定されない。時間領域において最小二乗的に求める方法でも、更には固定のフィルタでなく、適応フィルタで実現してもよい。
 <加算器15>
 加算器15は、加算器の一例であり、第1左側信号と第2左側信号とを加算して第1の再生用スピーカに出力する。より具体的には、加算器15は、左定位フィルタ13のフィルタ131から出力された第1左側信号と、右定位フィルタ14のフィルタ141から出力された第2左側信号とを加算して、左側スピーカ2に出力する。
 <加算器16>
 加算器16は、加算器の一例であり、第1右側信号と第2右側信号とを加算して第2の再生用スピーカに出力する。より具体的には、加算器16は、左定位フィルタ13のフィルタ132から出力された第1右側信号と、右定位フィルタ14のフィルタ142から出力された第2右側信号とを加算して、右側スピーカ3に出力する。
 なお、加算器15および加算器16は、1つの加算部を構成してもよい。
 [効果等]
 本実施の形態の信号処理装置1によれば、入力された音響信号Slおよび音響信号Srに対して補完関係のある周波数特性でバンドパスフィルタ処理を行う。これにより、受聴者から見て左右対称な位置に設置された再生用スピーカから再生される音響信号が、受聴者50にとって聴感上違和感なくかつ同一とならないようにすることができるので、受聴者の両耳位置に音像を定位させることができる。
 以下、より具体的に説明する。図24に示す信号処理装置94では、上述したように、左側スピーカ95および右側スピーカ96が受聴者91に対して左右対称で、かつ、音響信号SlおよびSrがモノラル音声などであり等しい(Sl=Sr)。この場合、上記の(式9)および(式10)で表されるように、左側スピーカ95の出力と右側スピーカ96の出力とが等しくなるため、受聴者91が知覚する音像は、想定される受聴者91の両耳位置ではなく、左側スピーカ95と右側スピーカ96とを結ぶ直線上の中心位置となってしまう。
 それに対して、図1に示す本実施の形態の信号処理装置1では、第1の入力フィルタ処理部11および第2の入力フィルタ処理部12を有する。第1の入力フィルタ処理部11および第2の入力フィルタ処理部12により、入力された音響信号Slおよび音響信号Srに対して補完関係のある周波数特性でバンドパスフィルタ処理を行う。そうすることで、音響信号Slおよび音響信号Srを、受聴者50にとって聴感上違和感なく、かつ同一とならないようにすることができる。
 ここで、左側スピーカ2および右側スピーカ3から出音される信号は、下記の(式11)~(式14)のよう表すことができる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 (式11)は、第1バンドパス特性の通過帯域で第1の入力フィルタ処理部11によりバンドパスフィルタ処理された場合の左側スピーカ2から出音される信号に対応する。(式12)は、第1バンドパス特性の阻止帯域で第1の入力フィルタ処理部11によりバンドパスフィルタ処理された場合の左側スピーカ2から出音される信号に対応する。
 (式13)は、第1バンドパス特性の通過帯域で第1の入力フィルタ処理部11によりバンドパスフィルタ処理された場合、換言すると、第2バンドパス特性の阻止帯域で第2の入力フィルタ処理部12によりバンドパスフィルタ処理された場合の右側スピーカ3から出音される信号に対応する。(式14)は、第1バンドパス特性の阻止帯域で第1の入力フィルタ処理部11によりバンドパスフィルタ処理された場合、換言すると、第2バンドパス特性の通過帯域で第2の入力フィルタ処理部12によりバンドパスフィルタ処理された場合の右側スピーカ3から出音される信号に対応する。
 したがって、左側スピーカ2および右側スピーカ3から出音される信号は、(式11)および(式13)、または、(式12)および(式14)の組み合わせとなる。そして、(式11)と(式13)とは異なっており、また、(式12)と(式14)とは異なっているので、左側スピーカ2と右側スピーカ3とから出力される信号は異なったものとなる。
 これにより、左側スピーカ2および右側スピーカ3が受聴者50に対して左右対称で、かつ、音響信号SlおよびSrが等しい(Sl=Sr)場合でも、左側スピーカ2と右側スピーカ3を結ぶ直線状の中心位置に音が定位しないことがわかる。
 このように、本実施の形態の信号処理装置1によれば、音響信号SlおよびSrがモノラル音声などであり等しい場合でも、受聴者50から見て左右対称な位置に設置されたスピーカを用いて、受聴者50の両耳位置に音像を定位させることができる。
 (変形例)
 実施の形態1では、受聴者50の左耳位置には、音響信号Slに対して第1の入力フィルタ処理部11によるバンドパスフィルタ処理で第1バンドパス特性が乗算された信号が再現される。また、受聴者50の右耳位置には、音響信号Srに対して第2の入力フィルタ処理部12によるバンドパスフィルタ処理で第2バンドパス特性が乗算された信号が再現される。さらに、第1バンドパス特性および第2バンドパス特性は、一例として1つの組であると説明したが、これに限らない。第1バンドパス特性および第2バンドパス特性は、所定の周波数範囲における周波数帯域の幅が変更されている周波数特性からなる例えば2つの組などの複数の組であってもよい。この場合、第1バンドパス特性および第2バンドパス特性として、入力される音響信号の種類に応じた1つの組の周波数特性を用いればよい。
 以下、この場合を変形例として説明する。
 図6は、実施の形態1の変形例における第1バンドパス特性および第2バンドパス特性の周波数特性の一例を示す図である。
 図6の(a)および(b)には、例えば数100Hzから約3kHz付近における通過帯域および阻止帯域の幅が、狭くなっている周波数特性の一例が示されている。そして、第1バンドパス特性および第2バンドパス特性は、図6の(a)および(b)に示される周波数特性の一方と他方であってもよい。
 つまり、第1バンドパス特性および第2バンドパス特性は、一部の周波数範囲における通過帯域および阻止帯域の幅と、他の周波数範囲における通過帯域および阻止帯域の幅とが異なっていてもよい。
 また、例えば、一部の周波数範囲は、第一フォルマントおよび第ニフォルマントの周波数を含む周波数帯域からなり、一部の周波数範囲における通過帯域および阻止帯域の幅は、他の周波数範囲における通過帯域および阻止帯域の幅よりも狭くしてもよい。一般的に、音声の特徴づける特定の周波数領域である第一フォルマント、第二フォルマントは数100Hzから約3kHz付近にあることが知られているからである。そのため、図6に示すように、例えば数100Hzから約3kHz付近までの周波数範囲については、バンドパス分割幅を細かく、それ以外の周波数範囲は荒くしてもよい。
 [効果等]
 例えば図3Aおよび図3Bに示すような周波数帯域の幅(以下ではバンドパス分割幅とも称する)が等間隔である第1バンドパス特性および第2バンドパス特性を用いるとする。図3Aおよび図3Bに示す周波数帯域の幅(バンドパス分割幅)に対して入力される音響信号の周波数特性が狭帯域なときには、左側スピーカ2および右側スピーカ3が出音する音の定位が偏ってしまう場合がある。
 以下、このことについて図7~図9を用いて具体的に説明する。
 図7は、本変形例における信号処理装置1に入力される音響信号の周波数特性の一例を示す図である。図8は、本変形例の信号処理装置1が、等間隔のバンドパス分割幅を持つ周波数特性で図7の音響信号をバンドパスフィルタ処理するときのイメージ図である。図9は、本変形例における信号処理装置1が、等間隔のバンドパス分割幅を持つ周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。図7には、音声などでよく見られる、400Hz付近、1kHz付近にピークを持った音響信号の一例が示されている。図8の(a)および(b)に示される周波数特性は、図3Aおよび図3Bに示す周波数特性に対応し、図8の(a)および(b)に示される周波数特性の一方と他方が第1バンドパス特性および第2バンドパス特性に該当する。図9の(a)および(b)に示される信号は、図8の(a)および(b)に示される周波数特性でバンドパスフィルタ処理された後に出力される信号に該当する。
 図7に示すような音響信号が入力されるとする。この場合、図8の(a)および(b)に示されるように、図7に示されるピーク付近が第1バンドパス特性の通過帯域に該当し、図7に示されるデップ付近が第2バンドパス特性の通過帯域に該当する。そして、バンドパスフィルタ処理後に出力される信号は、図9の(a)ではピーク付近を含む信号である一方で図9の(b)ではデップ付近を含む信号となる。この結果、左側スピーカ2の出音の音量の方が右側スピーカ3の出音の音量より大きく、かつ、その音量差も大きくなる場合には、受聴者50の左耳側に定位が偏ってしまうことになる。
 それに対して、図6に示すように、数100Hzから約3kHz付近における通過帯域および阻止帯域の幅が狭くなっている第1バンドパス特性および第2バンドパス特性を用いる場合について説明する。
 図10は、本変形例における信号処理装置1が、一部の周波数範囲でのバンドパス分割幅が変更された周波数特性で図7の音響信号をバンドパスフィルタ処理するときのイメージ図である。図11は、本変形例における信号処理装置1が、一部の周波数範囲でのバンドパス分割幅が変更された周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。図10の(a)および(b)に示される周波数特性の一方と他方が第1バンドパス特性および第2バンドパス特性に該当するとする。図11の(a)および(b)に示される信号は、図10の(a)および(b)に示される周波数特性でバンドパスフィルタ処理された後に出力される信号に該当する。
 図7に示すような音響信号が入力されるとする。この場合、図10の(a)および(b)に示されるように、図7に示されるピーク付近およびデップ付近の両方が第1バンドパス特性および第2バンドパス特性の通過帯域に該当する。そして、バンドパスフィルタ処理後に出力される信号は、図11の(a)および(b)に示されるように、共にピーク付近およびデップ付近信号を含んでいる。この結果、左側スピーカ2の出音の音量と右側スピーカ3の出音の音量との音量差を少なくすることができるので、受聴者の両耳位置で得られる信号の音量の偏りを少なくすることができる。つまり、受聴者50に対する音の定位の偏りを抑制することができる。
 このように、本変形例の信号処理装置1によれば、入力される音響信号の種類に応じて、所定の周波数範囲における周波数帯域の幅が変更されている周波数特性を第1バンドパス特性および第2バンドパス特性に用いる。これにより、左側スピーカ2の出音の音量と右側スピーカ3の出音の音量との音量差を少なくすることができるので、受聴者50に対する音の定位の偏りを抑制するまたは防ぐことができる。
 なお、本変形例では、図6に示すように、一部の周波数範囲でのバンドパス分割幅が狭くなり、かつ、狭くなったバンドパス分割幅が等間隔である周波数特性について説明したが、これに限らない。左側スピーカ2の出音の音量と右側スピーカ3の出音の音量との音量差を少なくできれば、第1バンドパス特性および第2バンドパスフィルタ特性の通過帯域および阻止帯域の幅を一部の周波数範囲で周波数帯域ごとに変化させてもよい。
 (実施の形態2)
 実施の形態1の変形例では、入力される音響信号の種類に応じた第1バンドパス特性および第2バンドパス特性を用いることで、左側スピーカ2および右側スピーカ3により出音される音の定位の偏りを抑制できることについて説明した。
 実施の形態2では、外部から取得した補助情報に基づいて、入力される音響信号の種類に応じた第1バンドパス特性および第2バンドパス特性を設定することについて説明する。以下、実施の形態1における信号処理装置1と異なる部分を中心に説明する。
 [信号処理装置1Aの構成]
 図12は、実施の形態2における信号処理装置1Aの構成の一例を示す図である。図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図12に示す信号処理装置1Aは、第1の入力フィルタ処理部11Aと、第2の入力フィルタ処理部12Aと、左定位フィルタ13と、右定位フィルタ14と、加算器15と、加算器16と、補助情報取得部21と、補助情報分析部22と、フィルタ制御部23とを備える。図12に示す信号処理装置1Aは、実施の形態1に係る信号処理装置1に対して、第1の入力フィルタ処理部11Aおよび第2の入力フィルタ処理部12Aの構成が異なり、補助情報取得部21と補助情報分析部22とフィルタ制御部23とが追加されている。
 <補助情報取得部21>
 補助情報取得部21は、外部から信号処理装置1Aに入力される補助情報を取得する。ここで、補助情報は、左耳定位用の音響信号Slおよび右耳定位用の音響信号Srが左側スピーカ2および右側スピーカ3で再生されたときに音声が主成分か否かを示す情報である。もしくは、補助情報は、TV放送されるコンテンツに含まれるジャンル情報であってもよい。ジャンル情報は、例えばドラマ、映画、スポーツ、音楽またはバラエティを示す情報である。一般的に、ドラマ、映画、バラエティなどでは、音声が入力される音響信号の主な成分となる場合が多い。一方、音楽などでは、音声よりも広い周波数帯域の音信号が入力される音響信号の主な成分となる場合が多い。
 <補助情報分析部22>
 補助情報分析部22は、補助情報取得部21が取得した外部から入力された補助情報を分析する。より具体的には、補助情報分析部22は、補助情報取得部21が取得した補助情報を分析し、音響信号Slおよび音響信号Srが左側スピーカ2および右側スピーカ3で再生されたときに音声が主成分か否かを特定する。補助情報がジャンル情報の場合は、補助情報分析部22は、補助情報取得部21が取得した補助情報が示すジャンル情報がドラマ、映画、スポーツ、音楽またはバラエティを示す情報であるか、音楽などを示す情報であるかを分析する。
 <フィルタ制御部23>
 フィルタ制御部23は、外部から入力される補助情報であって第1音響信号および第2音響信号が第1の再生用スピーカおよび第2の再生用スピーカで再生されたときに音声が主成分か否かを示す補助情報に応じて、第1バンドパス特性および第2バンドパス特性を設定する。より具体的には、フィルタ制御部23は、外部から入力される補助情報であって音響信号Slおよび音響信号Srが左側スピーカ2および右側スピーカ3で再生されたときに音声が主成分か否かを示す補助情報に応じて、第1バンドパス特性および第2バンドパス特性を設定する。補助情報がジャンル情報の場合は、フィルタ制御部23は、外部から入力される、ジャンル情報を示す補助情報に応じて、第1バンドパス特性および第2バンドパス特性を設定する。
 本実施の形態では、フィルタ制御部23は、補助情報分析部22の分析結果に基づいて、第1の入力フィルタ処理部11Aの第1バンドパス特性および第2の入力フィルタ処理部12Aの第2バンドパス特性を変更する制御を行う。これにより、左側スピーカ2および右側スピーカ3により出音される音の定位のバランスが良くなるからである。
 例えば、フィルタ制御部23は、補助情報分析部22が分析した補助情報が示すジャンル情報に応じて、第1の入力フィルタ処理部11Aの第1バンドパス特性および第2の入力フィルタ処理部12Aの第2バンドパス特性を変更する制御を行う。
 以下、これについて図13~図16を用いて説明する。
 図13は、実施の形態2における信号処理装置1Aに入力される音響信号の周波数特性の一例を示す図である。図14は、実施の形態2における信号処理装置1Aが、一部の周波数範囲でのバンドパス分割幅が変更された周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。
 図13に示す音響信号は、音声が主成分となっている。補助情報がジャンル情報の場合は、補助情報が示すジャンルがドラマなどである場合は音声が主成分となるので、音響信号は図13に示すような音響信号となる。この場合、フィルタ制御部23は、図14の(a)および(b)に示される数100Hzから約3kHz付近までの一部の周波数範囲でのバンドパス分割幅を狭くするように変更された周波数特性の一方を第1バンドパス特性に他方を第2バンドパス特性に設定すればよい。換言すると、数100Hzから約3kHz付近までの一部の周波数範囲は、音声の特徴づける特定の周波数領域である第一フォルマント、第二フォルマントを含む周波数範囲である。そのため、フィルタ制御部23は、図14の(a)および(b)に示すように、当該一部の周波数範囲については、バンドパス分割幅を細かく、それ以外の周波数範囲は荒く第1バンドパス特性および第2バンドパス特性を設定すればよい。
 図15は、実施の形態2における信号処理装置1Aに入力される音響信号の周波数特性の別の一例を示す図である。図16は、実施の形態2における信号処理装置1Aが、等間隔のバンドパス分割幅を持つ周波数特性でバンドパスフィルタ処理した後に出力される信号のイメージ図である。
 図15に示す音響信号は、音声よりも広帯域な音信号が主成分となっている。補助情報がジャンル情報の場合は、補助情報が示すジャンルが音楽である場合は音声よりも広帯域な音信号が主成分となるので、音響信号は図15に示すような音響信号となる。この場合、フィルタ制御部23は、図16の(a)および(b)に示されるように等間隔のバンドパス分割幅を持つ周波数特性の一方を第1バンドパス特性に他方を第2バンドパス特性に設定すればよい。換言すると、フィルタ制御部23は、図16の(a)および(b)に示されるように、荒いバンドパス分割幅を持つ周波数特性の一方を第1バンドパス特性に他方を第2バンドパス特性に設定すればよい。
 なお、一般的には、同一条件で比較した場合、バンドパス分割幅すなわち通過帯域および阻止帯域の幅を荒く設定した方が、当該幅を細かく設定したときより、バンドパス特性を実現しやすい。当該幅を荒く設定した方が通過帯域と阻止帯域とのゲイン差を大きく取ることができるからである。通過帯域と阻止帯域とのゲイン差が小さくなると、想定する効果が得られにくくなる。そのため、必要な周波数帯域のみその幅を細かく設定するのが望ましい。したがって、本実施の形態では、フィルタ制御部23は、補助情報分析部22が分析した補助情報が示す音響信号の種類に応じて、所定の周波数範囲において、第1の入力フィルタ処理部11Aの第1バンドパス特性および第2の入力フィルタ処理部12Aの第2バンドパス特性を変更する制御を行っている。
 <第1の入力フィルタ処理部11A>
 第1の入力フィルタ処理部11Aは、フィルタ制御部23により設定された第1バンドパス特性で、入力された第1音響信号である音響信号Slをバンドパスフィルタ処理する。本実施の形態では、第1の入力フィルタ処理部11Aは、図14の(a)および(b)の一方に示される周波数特性に設定された第1バンドパス特性で、左耳定位用の音響信号Slを、バンドパスフィルタ処理して、左定位フィルタ13に出力する。または、第1の入力フィルタ処理部11Aは、図16の(a)および(b)の一方に示される周波数特性に設定された第1バンドパス特性で、左耳定位用の音響信号Slを、バンドパスフィルタ処理して、左定位フィルタ13に出力する。
 <第2の入力フィルタ処理部12A>
 第2の入力フィルタ処理部12Aは、フィルタ制御部23により設定された第2バンドパス特性で、入力された第2音響信号である音響信号Srをバンドパスフィルタ処理する。本実施の形態では、第2の入力フィルタ処理部12Aは、図14の(a)および(b)の他方に示される周波数特性に設定された第2バンドパス特性で、右耳定位用の音響信号Srを、バンドパスフィルタ処理して、右定位フィルタ14に出力する。または、第2の入力フィルタ処理部12Aは、図16の(a)および(b)の他方に示される周波数特性に設定された第2バンドパス特性で、右耳定位用の音響信号Srを、バンドパスフィルタ処理して、右定位フィルタ14に出力する。
 [効果等]
 本実施の形態の信号処理装置1Aによれば、外部から入力された補助情報に応じて、第1の入力フィルタ処理部11Aの第1バンドパス特性および第2の入力フィルタ処理部12Aの第2バンドパス特性を設定することができる。これにより、左側スピーカ2の出音の音量と右側スピーカ3の出音の音量との音量差を少なくすることができるので、受聴者50に対する音の定位の偏りを抑制または防ぐことができる。
 (実施の形態3)
 実施の形態2では、外部から取得した補助情報に基づいて、予め準備した少なくとも2組の周波数特性から入力される音響信号の種類に応じて選択して、第1バンドパス特性および第2バンドパス特性として設定することについて説明した。
 実施の形態3では、入力される音響信号を分析することで、自動的に、入力される音響信号に応じた第1バンドパス特性および第2バンドパス特性を設定することについて説明する。以下、実施の形態1における信号処理装置1と異なる部分を中心に説明する。
 [信号処理装置1Bの構成]
 図17は、実施の形態3における信号処理装置1Bの構成の一例を示す図である。図1、図12と同様の要素には同一の符号を付しており、詳細な説明は省略する。
 図17に示す信号処理装置1Bは、第1の入力フィルタ処理部11Bと、第2の入力フィルタ処理部12Bと、左定位フィルタ13と、右定位フィルタ14と、加算器15と、加算器16と、音声分析部31と、フィルタ制御部32とを備える。図17に示す信号処理装置1Bは、実施の形態1に係る信号処理装置1に対して、第1の入力フィルタ処理部11Bおよび第2の入力フィルタ処理部12Bの構成が異なり、音声分析部31と、フィルタ制御部32とが追加されている。
 <音声分析部31>
 音声分析部31は、第1音響信号および第2音響信号の少なくとも一方の周波数特性を分析する。より具体的には、音声分析部31は、音響信号Slおよび音響信号Srの少なくとも一方の周波数特性を分析する。
 図18は、図17に示す音声分析部31の詳細構成の一例を示す図である。
 図18に示すように、音声分析部31は、周波数変換部310と、Q値算出部311と、バンドパス分割幅算出部312と、フィルタ係数算出部313とを備え、音響信号Slおよび音響信号Srの少なくとも一方の周波数特性を分析し、周波数帯域の幅を算出する。
 ≪周波数変換部310≫
 図19は、図18に示す周波数変換部310により得られた、入力された音響信号の周波数特性の一例を示す図である。
 周波数変換部310は、入力された音響信号Slおよび音響信号Srを所定の分析フレームごとに加算し、FFT(Fast Fourier Transform)などにより周波数領域に変換する。これにより、周波数変換部310は、例えば図19に示すような、加算された音響信号Slおよび音響信号Srの周波数特性を得る。そして、周波数変換部310は、得られた周波数特性のピークを検出する。図19では、周波数変換部310が検出した周波数特性のピークを丸で示している。
 なお、所定の分析フレームごとは、サンプリングフレームごとでもよいし、一定の時間に含まれるフレームが時間平均されたものごとであってもよい。また、周波数変換部310は、FFTまたはMDCT(modified discrete cosine transform; 変形離散コサイン変換)で構成されてもよいが、これらに限定されない。
 ≪Q値算出部311≫
 Q値算出部311は、周波数変換部310により変換された周波数特性が有するそれぞれのピーク波形の鋭さを算出する。より具体的には、Q値算出部311は、周波数変換部310により検出された、加算された音響信号Slおよび音響信号Srの周波数特性のピークの鋭さをQ値を算出することで数値化する。つまり、Q値算出部311は、周波数変換部310により検出された、加算された音響信号Slおよび音響信号Srの周波数特性のQ値を、周波数ごとに算出する。
 図20は、Q値の算出方法の説明図である。以下、Q値の算出方法について図20を用いて説明する。
 Q値は、図20に示すように、周波数ωを、その周波数ωにおけるレベル(図で縦軸方向の大きさ)から-6dBとなる周波数バンド幅である(ω-ω)で割った値であり、図20に示すピーク波形の鋭さを示すことができる。
 ≪バンドパス分割幅算出部312≫
 バンドパス分割幅算出部312は、Q値算出部311により算出されたピーク波形の鋭さに応じた周波数帯域それぞれの幅を算出する。より具体的には、バンドパス分割幅算出部312は、Q値算出部311により算出されたピーク波形の鋭さを示す値が第1閾値以下、第1閾値より大きく第2閾値より小さい、または第2閾値以上であることに応じて、第1幅、第1幅より狭い第2幅または第2幅より狭い第3幅となる周波数帯域それぞれの幅を算出する。つまり、バンドパス分割幅算出部312は、Q値が小さい場合には、バンドパス分割幅を大きくし、Q値が大きくなるほどバンドパス分割幅を小さくする。
 図21は、実施の形態3におけるQ値とバンドパス分割幅との関係の一例を示す図である。図21において、0.8は第1閾値の一例であり、2は第2閾値の一例である。
 すなわち、バンドパス分割幅算出部312は、例えば図21に示すように、Q値が0.8以下、0.8から2まで、または、2以上であることに応じて、大きい、中くらい、または、小さいバンドパス分割幅を算出すればよい。なお、大きい、中くらい、または、小さいバンドパス分割幅の一例としては、例えば、300Hz、100Hz、50Hzが挙げられる。
 ≪フィルタ係数算出部313≫
 フィルタ係数算出部313は、バンドパス分割幅算出部312により算出されたバンドパス分割幅からなる第1バンドパス特性および第2バンドパス特性となるように、フィルタ係数を算出する。
 なお、音声分析部31の詳細構成は、図18に示す例に限らない。図22に示す詳細構成であってもよい。以下、音声分析部31Bとして説明する。
 <音声分析部31B>
 音声分析部31Bは、第1音響信号および第2音響信号の少なくとも一方の周波数特性を分析する。より具体的には、音声分析部31Bは、音響信号Slおよび音響信号Srの少なくとも一方の周波数特性を分析する。
 図22は、図17に示す音声分析部31Bの詳細構成の一例を示す図である。
 図22に示すように、音声分析部31Bは、バンドパスフィルタ部314と、出力レベル比較部315と、バンドパスフィルタ決定部316とを備える。
 ≪バンドパスフィルタ部314≫
 バンドパスフィルタ部314は、第1バンドパス特性および第2バンドパス特性の候補として、少なくとも2組の周波数特性のパターンを有する。バンドパスフィルタ部314は、少なくとも2組の周波数特性のパターンを用いたバンドパスフィルタ処理を、入力された音響信号Slおよび音響信号Slを行う。バンドパスフィルタ部314は、少なくとも2組の周波数特性のパターンを用いたバンドパスフィルタ処理を行った音響信号Slおよび音響信号Slの出力を出力レベル比較部315に出力する。
 なお、バンドパスフィルタ部314が、例えば、2組の周波数特性のパターンを有する場合、図3Aおよび図3Bに示した1組の周波数特性のパターンと、図6に示した1組の周波数特性のパターンとを有すればよい。
 ≪出力レベル比較部315≫
 出力レベル比較部315は、バンドパスフィルタ部314からの出力の組を分析する。より具体的には、出力レベル比較部315は、少なくとも2組の周波数特性のパターンを用いたバンドパスフィルタ処理を行った音響信号Slおよび音響信号Slの出力を比較し、最も出力レベル差が少ない組のパータンを特定する。
 ここで、バンドパスフィルタ部314が、例えば、上記2組の周波数特性のパターンを有するとする。出力レベル比較部315は、入力される音響信号Slおよび音響信号Slの主成分が音声である場合、最も出力レベル差が少ない組のパータンとして、図6に示した1組の周波数特性のパターンを特定する。一方、出力レベル比較部315は、入力される音響信号Slおよび音響信号Slの主成分が音声でない場合、最も出力レベル差が少ない組のパータンとして、図3Aおよび図3Bに示した1組の周波数特性のパターンを特定する。
 ≪バンドパスフィルタ決定部316≫
 バンドパスフィルタ決定部316は、第1バンドパス特性および第2バンドパスフィルタ特性を、出力レベル比較部315により特定された1組の周波数特性のパターンにすることを決定する。より具体的には、バンドパスフィルタ決定部316は、出力レベル比較部315により特定された1組の周波数特性のパターンからなる第1バンドパス特性および第2バンドパス特性となるように、フィルタ係数を算出する。
 <フィルタ制御部32>
 フィルタ制御部32は、音声分析部31または音声分析部31Bの分析結果に基づいて、第1バンドパス特性および第2バンドパス特性における複数の周波数帯域それぞれの幅を変更する制御を行う。例えば、フィルタ制御部32は、音声分析部31により算出された周波数帯域それぞれの幅となるように、第1バンドパス特性および第2バンドパス特性における複数の周波数帯域それぞれの幅を変更する。より具体的には、フィルタ制御部32は、フィルタ係数算出部313により算出されたフィルタ係数となるように、第1バンドパス特性および第2バンドパス特性のフィルタ係数を設定する。これにより、フィルタ制御部32は、第1バンドパス特性および第2バンドパス特性における複数の周波数帯域それぞれの幅を変更することができる。
 なお、フィルタ制御部32は、音声分析部31Bにより決定された1組の周波数特性のパターンからなる第1バンドパス特性および第2バンドパス特性のフィルタ係数となるように、第1バンドパス特性および第2バンドパス特性のフィルタ係数を設定してもよい。
 <第1の入力フィルタ処理部11B>
 第1の入力フィルタ処理部11Bは、フィルタ制御部32により設定された第1バンドパス特性で、入力された第1音響信号である音響信号Slをバンドパスフィルタ処理する。第1の入力フィルタ処理部11Bは、バンドパスフィルタ処理した音響信号Slを、左定位フィルタ13に出力する。
 <第2の入力フィルタ処理部12B>
 第2の入力フィルタ処理部12Bは、フィルタ制御部32により設定された第2バンドパス特性で、入力された第2音響信号である音響信号Srをバンドパスフィルタ処理する。第2の入力フィルタ処理部12Bは、バンドパスフィルタ処理した音響信号Srを、右定位フィルタ14に出力する。
 [効果等]
 本実施の形態の信号処理装置1Bによれば、音声分析部31等によって入力された音響信号の周波数特性をリアルタイムに分析することが可能となる。このため、入力された音響信号に応じた、第1バンドパス特性および第2バンドパス特性を設定することができる。
 特に、入力された音響信号の種類が途中で変化した場合でも、変化した音響信号の種類に応じた適切な第1バンドパス特性および第2バンドパス特性を設定することができる。これにより、左側スピーカ2の出音の音量と右側スピーカ3の出音の音量との音量差を少なくすることができるので、受聴者50に対する音の定位の偏りを抑止または防ぐことができる。
 なお、本明細書および図面において、第1の入力フィルタ処理部11等および第2の入力フィルタ処理部12等の第1バンドパス特性および第2バンドパス特性は理想的な特性を例示して説明したが、これに限らない。FIRフィルタ、IIRフィルタなどによって通過帯域、阻止帯域が実現されるものであればよく、同等の効果が得られる。また、第1バンドパス特性および第2バンドパス特性を説明する図面では対数軸のもので説明したが、これに限らない。リニア軸においてもあってもよく同様に適用可能である。
 また、図1、図12および図17において、第1の入力フィルタ処理部11等および第2の入力フィルタ処理部12等は、左定位フィルタ13、右定位フィルタ14の前段に設けられているとして説明したが、それぞれ後段に設けてもよい。得られる結果が同等であるからである。
 また、本明細書において、音響信号Slと音響信号Srとは等しいとして(Sl=Srの前提で)説明したが、これに限定されない。例えば、ボーカル等の音声が含まれる音楽信号のように、左右で信号が異なるステレオ信号に対して、共通のモノラル成分がミックスされた状態の音楽信号を音響信号Slと音響信号Srとして扱ってもよい。このような音楽信号におけるボーカル成分においては、左側スピーカ2、右側スピーカ3から再生される音としてはモノラルとなるからである。そのため、実施の形態1~3で説明した方法が適用できる。この場合、実施の形態3における音声分析部31が行う周波数分析の前処理として、モノラル成分の抽出を行わせて、抽出したモノラル成分の周波数分析を行えばよい。モノラル成分の抽出方法としては、さまざまな方法が考えられるが、例えば左右で信号が異なるステレオ信号を足し合わせる(Sl+Sr)などでもよい。
 また、本明細書において、周波数特性を調整するイコライザもしくはフィルタ、出力振幅を調整するゲイン、または、AGC(Auto Gain Controller)を、左定位フィルタ13および右定位フィルタ14の前段もしくは後段に設けてもよい。また、ディレイ、リバーブもしくはエコーなどのエフェクト処理を、左定位フィルタ13および右定位フィルタ14の前段もしくは後段に設けてもよい。その際、左側スピーカ2および右側スピーカ3の出力に対して同等の特性が乗算されることが望ましい。
 また、本明細書において、簡略化のため、デジタル信号をアナログに変換するD/A変換器、左側スピーカ2および右側スピーカ3から出力する際に信号を増幅するアンプ部などの記載は省略した。しかし、これらをソフトウェアおよび/またはハードウェアで実現し、左側スピーカ2および右側スピーカ3から出力してもよい。本開示の効果は変わらないからである。
 以上、本開示の態様に係る信号処理装置について、実施の形態等に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
 また、以下に示す形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
 (1)上記の信号処理装置を構成する構成要素の一部は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 (2)上記の信号処理装置を構成する構成要素の一部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
 (3)上記の信号処理装置を構成する構成要素の一部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
 (4)また、上記の信号処理装置を構成する構成要素の一部は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
 また、上記の信号処理装置を構成する構成要素の一部は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
 (5)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
 (6)また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
 (7)また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
 (8)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
 本開示は、信号処理装置に利用できる。特に、受聴者に対して左右対称な位置に設置された再生用スピーカを用いて、再生したモノラル信号を受聴者の両耳位置に定位させることが期待されるシステムに構成される幅広い信号処理装置に利用できる。
 1、1A、1B、94 信号処理装置
 2、95 左側スピーカ
 3、96 右側スピーカ
 11、11A、11B 第1の入力フィルタ処理部
 12、12A、12B 第2の入力フィルタ処理部
 13、941 左定位フィルタ
 14、942 右定位フィルタ
 15、16、943、944 加算器
 21 補助情報取得部
 22 補助情報分析部
 23、32 フィルタ制御部
 31、31B 音声分析部
 50、91 受聴者
 90 目標系
 92 目標スピーカ
 93 再生系
 131、132、141、142 フィルタ
 310 周波数変換部
 311 Q値算出部
 312 バンドパス分割幅算出部
 313 フィルタ係数算出部
 314 バンドパスフィルタ部
 315 出力レベル比較部
 316 バンドパスフィルタ決定部
 1000  コンピュータ
 1001  入力装置
 1002  出力装置
 1003  CPU
 1004  内蔵ストレージ
 1005  RAM
 1007  読取装置
 1008  送受信装置
 1009  バス

Claims (10)

  1.  受聴者に対して左右対称な位置に設置された第1の再生用スピーカおよび第2の再生用スピーカに、入力された音響信号を信号処理して出力する信号処理装置であって、
     1以上の通過帯域および阻止帯域からなる複数の周波数帯域を持つ周波数特性である第1バンドパス特性で、入力された第1音響信号をバンドパスフィルタ処理する第1の入力フィルタ処理部と、
     入力された第2音響信号であって前記第1音響信号と同一となる第2音響信号を、前記第1バンドパス特性を補完する周波数特性である第2バンドパス特性でバンドパスフィルタ処理する第2の入力フィルタ処理部と、
     前記第1の入力フィルタ処理部によりバンドパスフィルタ処理された前記第1音響信号を、前記受聴者の左側に定位させる信号処理を行うことにより、第1左側信号および第1右側信号を生成する左定位フィルタと、
     前記第2の入力フィルタ処理部によりバンドパスフィルタ処理された前記第2音響信号を、前記受聴者の右側に定位させる信号処理を行うことにより、第2左側信号および第2右側信号を生成する右定位フィルタと、
     前記第1左側信号と前記第2左側信号とを加算して前記第1の再生用スピーカに出力する第1の加算器と、
     前記第1右側信号と前記第2右側信号とを加算して前記第2の再生用スピーカに出力する第2の加算器とを備える、
     信号処理装置。
  2.  前記第1バンドパス特性および前記第2バンドパス特性のうちの一方の通過帯域の周波数範囲は、他方の阻止帯域の周波数範囲である、
     請求項1に記載の信号処理装置。
  3.  前記第1バンドパス特性および前記第2バンドパス特性のうちの一方の通過帯域の周波数範囲は、他方の阻止帯域の周波数範囲を含み、かつ、前記他方の遷移域の周波数範囲と一部重なっている、
     請求項1に記載の信号処理装置。
  4.  前記第1バンドパス特性および前記第2バンドパス特性は、一部の周波数範囲における通過帯域および阻止帯域の幅と、他の周波数範囲における通過帯域および阻止帯域の幅とが異なる、
     請求項1~3のいずれか1項に記載の信号処理装置。
  5.  前記一部の周波数範囲は、第一フォルマントおよび第二フォルマントの周波数を含む周波数帯域からなり、
     前記一部の周波数範囲における通過帯域および阻止帯域の幅は、前記他の周波数範囲における通過帯域および阻止帯域の幅よりも狭い、
     請求項4に記載の信号処理装置。
  6.  さらに、外部から入力される補助情報であって前記第1音響信号および前記第2音響信号が前記第1の再生用スピーカおよび前記第2の再生用スピーカで再生されたときに音声が主成分か否かを示す補助情報に応じて、前記第1バンドパス特性および前記第2バンドパス特性を設定するフィルタ制御部を備える、
     請求項1~5のいずれか1項に記載の信号処理装置。
  7.  さらに、
     前記第1音響信号および前記第2音響信号の少なくとも一方の周波数特性を分析する音声分析部と、
     前記音声分析部の分析結果に基づいて、前記第1バンドパス特性および前記第2バンドパス特性における複数の周波数帯域それぞれの幅を変更する制御を行うフィルタ制御部とを備え、
     前記音声分析部は、前記周波数特性を分析し、前記周波数特性が有するそれぞれのピーク波形の鋭さに応じた周波数帯域それぞれの幅を算出し、
     前記フィルタ制御部は、前記音声分析部により算出された前記幅となるように、前記第1バンドパス特性および前記第2バンドパス特性における複数の周波数帯域それぞれの幅を変更する、
     請求項1~3のいずれか1項に記載の信号処理装置。
  8.  前記音声分析部は、前記周波数特性を分析し、前記周波数特性が有するそれぞれのピーク波形の鋭さを示す値が第1閾値以下、前記第1閾値より大きく第2閾値より小さい、または前記第2閾値以上であることに応じて、第1幅、前記第1幅より狭い第2幅または前記第2幅より狭い第3幅となる周波数帯域それぞれの幅を算出する、
     請求項7に記載の信号処理装置。
  9.  前記第1音響信号および前記第2音響信号は、モノラル信号である、
     請求項1~8のいずれか1項に記載の信号処理装置。
  10.  前記第1音響信号および前記第2音響信号は、前記信号処理装置に入力されたステレオ信号であって、前記第1の再生用スピーカおよび前記第2の再生用スピーカに対して異なるステレオ信号のうちから抽出された共通成分であるモノラル信号である、
     請求項1~8のいずれか1項に記載の信号処理装置。
PCT/JP2017/042758 2017-11-29 2017-11-29 信号処理装置 WO2019106742A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/042758 WO2019106742A1 (ja) 2017-11-29 2017-11-29 信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/042758 WO2019106742A1 (ja) 2017-11-29 2017-11-29 信号処理装置

Publications (1)

Publication Number Publication Date
WO2019106742A1 true WO2019106742A1 (ja) 2019-06-06

Family

ID=66664086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042758 WO2019106742A1 (ja) 2017-11-29 2017-11-29 信号処理装置

Country Status (1)

Country Link
WO (1) WO2019106742A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58170299A (ja) * 1982-03-31 1983-10-06 Fujitsu Ltd 音声会議用音声信号伝送方式
JPH08182100A (ja) * 1994-10-28 1996-07-12 Matsushita Electric Ind Co Ltd 音像定位方法および音像定位装置
JP6177480B1 (ja) * 2016-12-08 2017-08-09 三菱電機株式会社 音声強調装置、音声強調方法、及び音声処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58170299A (ja) * 1982-03-31 1983-10-06 Fujitsu Ltd 音声会議用音声信号伝送方式
JPH08182100A (ja) * 1994-10-28 1996-07-12 Matsushita Electric Ind Co Ltd 音像定位方法および音像定位装置
JP6177480B1 (ja) * 2016-12-08 2017-08-09 三菱電機株式会社 音声強調装置、音声強調方法、及び音声処理プログラム

Similar Documents

Publication Publication Date Title
JP4732807B2 (ja) オーディオ信号処理
US20110116639A1 (en) Audio signal processing device and audio signal processing method
RU2666316C2 (ru) Аппарат и способ улучшения аудиосигнала, система улучшения звука
JP6479287B1 (ja) オーディオ再生のためのサブバンド空間クロストークキャンセル
US9516431B2 (en) Spatial enhancement mode for hearing aids
JP2018536342A (ja) サウンドステージ拡張のための機器及び方法
US9800988B2 (en) Production of 3D audio signals
EP2484127B1 (en) Method, computer program and apparatus for processing audio signals
KR20130080819A (ko) 다채널 음향 신호의 정위 방법 및 장치
US10560782B2 (en) Signal processor
EP2229012A1 (en) Device, method, program, and system for canceling crosstalk when reproducing sound through plurality of speakers arranged around listener
KR20120132342A (ko) 보컬 신호 제거 장치 및 방법
JP4810621B1 (ja) 音声信号変換装置、方法、プログラム、及び記録媒体
CN108464018A (zh) 减小多个空间位置处的音频通道之间的相位差
JP5324663B2 (ja) 音響信号処理装置および音響信号処理方法
US9414177B2 (en) Audio signal processing method and audio signal processing device
WO2019106742A1 (ja) 信号処理装置
JP2013055439A (ja) 音声信号変換装置、方法、プログラム、及び記録媒体
JP7332745B2 (ja) 音声処理方法及び音声処理装置
US20220417696A1 (en) Sound reproduction method, non-transitory medium, and sound reproduction device
CN112653985B (zh) 使用2声道立体声扬声器处理音频信号的方法和设备
US11228837B2 (en) Processing device, processing method, reproduction method, and program
JP2017212732A (ja) チャンネル数変換装置およびプログラム
JP2011239036A (ja) 音声信号変換装置、方法、プログラム、及び記録媒体
WO2013176073A1 (ja) 音声信号変換装置、方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933585

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17933585

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP