WO2019106848A1 - 信号処理装置および信号処理方法 - Google Patents

信号処理装置および信号処理方法 Download PDF

Info

Publication number
WO2019106848A1
WO2019106848A1 PCT/JP2017/043369 JP2017043369W WO2019106848A1 WO 2019106848 A1 WO2019106848 A1 WO 2019106848A1 JP 2017043369 W JP2017043369 W JP 2017043369W WO 2019106848 A1 WO2019106848 A1 WO 2019106848A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
signal
output
filter
output data
Prior art date
Application number
PCT/JP2017/043369
Other languages
English (en)
French (fr)
Inventor
一任 阿部
宮阪 修二
克海 小林
美孝 水野
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to PCT/JP2017/043369 priority Critical patent/WO2019106848A1/ja
Priority to EP17933807.4A priority patent/EP3720148A4/en
Priority to CN201780097230.6A priority patent/CN111406414B/zh
Priority to JP2019556530A priority patent/JP6973501B2/ja
Publication of WO2019106848A1 publication Critical patent/WO2019106848A1/ja
Priority to US16/884,806 priority patent/US11310621B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Definitions

  • the present disclosure relates to a signal processing device and a signal processing method.
  • Patent Document 1 a method of controlling a sound image in consideration of the difference between the positions of both ears of a viewer
  • Patent Document 1 and Non-Patent Document 1 a transfer function between the right speaker and the left speaker and the binaural position is calculated, and a sound image control filter is used to control the sound image.
  • the sound image control filter By using the sound image control filter, the sound image of the input sound signal is localized at an arbitrary position so that the listener can listen to the sound image to be listened with the desired sound image control effect.
  • Patent No. 5944567 gazette
  • the above-described transfer function is calculated in advance in consideration of the distance from the left and right speakers to the listener's ears. Therefore, in the prior art, when the listener moves, the transfer function at the moved position is different from the transfer function calculated in advance. Therefore, in the related art, when the movement distance of the listener is large, or when the change of the transfer function from the reproduction speaker to the position of the listener's both ears is large due to the influence of the reproduction environment, the assumed sound image control effect is obtained. It is not expected.
  • An object of the present disclosure is to provide a signal processing device and a signal processing method capable of giving a sound image control effect to a listener even when the listener's listening position changes.
  • a signal processing device that controls sound image localization, performs sound image localization processing on an input sound signal, and outputs an output signal.
  • At least one filter processing unit to be generated, a coefficient setting unit for setting a plurality of filter coefficients used in each of the filter processing units in the filter processing unit, and a plurality of outputs subjected to sound image localization processing in the filter processing unit An output data selection unit that selects the output signal to be output to a speaker from a signal, a timer unit that monitors a time during which the output signal is switched, and the output data selection unit according to the time during which the output signal is switched
  • a control unit that performs control to select an output signal, and the plurality of filter coefficients include filter coefficients generated from a plurality of listening conditions.
  • the listening conditions may include information on listening positions where the listener may move at least.
  • the sound image control filter designed at the listening position where the listener may move since the sound is output by the sound image control filter designed at the listening position where the listener may move, the sound image control effect can be given to the listener even when the listening position is changed.
  • the output data selection unit has at least one gain adjustment unit that selects the output signal to be output to the speaker by adjusting the gain of each of the plurality of output signals subjected to sound image localization processing. May be
  • the speaker has a first speaker and a second speaker arranged at different positions, and the output data selection unit is configured to set the first of the plurality of output signals whose gain is adjusted.
  • a first addition unit that adds the output signals output from the speaker, and a second addition that adds the output signals output from the second speaker among the plurality of gain-adjusted output signals. It may have a part.
  • the signal processing apparatus further includes an auxiliary information input unit for inputting auxiliary information on a binaural position or a seating position of a listener for selecting the range of the filter coefficient set by the coefficient setting unit;
  • An auxiliary information analysis unit that analyzes the input auxiliary information, and a coefficient range selection unit that selects the range of the filter coefficient set by the coefficient setting unit based on the analysis result of the auxiliary information analysis unit; May be provided.
  • the filter processing unit to be set can be limited by the input auxiliary information, it is possible to realize a signal processing apparatus that is easy to give a sound image control effect by the listener.
  • auxiliary information input unit may input, as the filter coefficient, information on a seat position at which the listener is seated.
  • the auxiliary information input unit may input image information including information of the binaural position of the listener as the filter coefficient.
  • the image information can be used to select the range of the filter coefficient, the sound image control effect can be easily given to the listener.
  • the signal processing apparatus may further include an acoustic signal analysis unit that analyzes the acoustic signal and inputs switching timing to an output data selection unit.
  • the sound image control effect is appropriately provided to the listener. it can.
  • the acoustic signal analysis unit may have a power detection unit that detects the power of the acoustic signal, and a determination unit that determines whether the power of the acoustic signal is equal to or higher than a threshold.
  • a signal processing method for controlling sound image localization, and at least one filter processing unit for an input acoustic signal.
  • Performing a sound image localization process according to the filter process for generating an output signal, a coefficient setting process for setting a plurality of filter coefficients used in each of the filter processes by a coefficient setting unit, and a plurality of sound image localization processes An output data selection processing step of selecting the output signal to be output to the speaker from the output signal of the speaker by the data selection processing unit, a clocking processing step of monitoring the time when the output signal is switched by the timer unit, and the control unit Control processing for performing control to cause the data selection processing unit to select the output signal in accordance with the time to switch the output signal,
  • Serial plurality of filter coefficients comprises a filter coefficients generated from the plurality of listening conditions.
  • the information processing apparatus may further include an auxiliary information acquisition step of acquiring auxiliary information, and a coefficient range selection step of analyzing the auxiliary information by the auxiliary information analysis unit and selecting a coefficient range of the filter coefficient.
  • the filter coefficient can be selected based on auxiliary information such as the position of the listener assumed in advance. As a result, it is possible to easily obtain sound image localization control by avoiding the use of filter coefficients for which the effect of sound image localization control is hard to be obtained.
  • the method further includes a power detection step of detecting the power of the input sound signal by the sound signal analysis unit, and in the control processing step, the data selection based on the power of the sound signal detected by the control unit. Control may be performed to cause the processing unit to select the output signal.
  • the output data is switched when the section in which the acoustically effective acoustic signal is generated or the output data selection switching time has elapsed when the acoustically effective acoustic signal is not generated.
  • the listener can be given a sound image control effect to perceive an acoustic signal.
  • the present invention it is possible to provide a signal processing device and a signal processing method capable of giving a sound image control effect to a listener even when the listening position of the listener changes.
  • FIG. 1 is a block diagram showing a configuration example of a signal processing apparatus according to Embodiment 1, a speaker, and a listener.
  • FIG. 2 is a diagram showing an example of listening positions at the time of design of the filter processing unit in the first embodiment.
  • FIG. 3 is a block diagram showing a configuration of an output data selection unit in the first embodiment.
  • FIG. 4 is a diagram showing an example of an output signal obtained by the output data selection unit in the first embodiment.
  • FIG. 5 is a diagram showing an example of gain setting of the gain adjustment unit of the output data selection unit according to the first embodiment.
  • FIG. 6 is a diagram in which two of one example of gain setting of the gain adjusting unit shown in FIG. 5 are superimposed and displayed.
  • FIG. 1 is a block diagram showing a configuration example of a signal processing apparatus according to Embodiment 1, a speaker, and a listener.
  • FIG. 2 is a diagram showing an example of listening positions at the time of design of the filter processing unit in the first embodiment.
  • FIG. 7 is a flowchart showing the operation of the signal processing device according to the first embodiment.
  • FIG. 8 is a block diagram showing a configuration example of a signal processing device according to Embodiment 2, a speaker, and a listener.
  • FIG. 9 is a diagram showing an example of listening positions at the time of design of the filter processing unit in the second embodiment and a group of listening positions.
  • FIG. 10 is a flowchart showing the operation of the signal processing device according to the second embodiment.
  • FIG. 11 is a block diagram showing a configuration example of a signal processing device according to Embodiment 3, a speaker, and a listener.
  • FIG. 12 is a block diagram showing the configuration of the acoustic signal analysis unit in the third embodiment.
  • FIG. 13 is a diagram showing an example of the switching timing of the reproduction sound when the acoustic signal analysis unit in the third embodiment is used.
  • FIG. 14 is a flowchart showing the operation of the signal processing apparatus according to the third embodiment.
  • FIG. 15A is a schematic view showing an arrangement relationship between a listener and speakers for configuring a target listening state in the sound image control method in the conventional example.
  • FIG. 15B is a schematic view showing an arrangement relationship between an actual listener and speakers when reproducing an acoustic signal in the sound image control method in the conventional example.
  • FIG. 15A is a schematic view showing an arrangement relationship between a listener and a speaker for configuring a target listening state in an acoustic control method according to the prior art.
  • FIG. 15B is a schematic view showing an arrangement relationship between an actual listener and a speaker when reproducing an acoustic signal in the acoustic control method according to the prior art.
  • target system an arrangement relationship between a listener and a speaker for configuring a target listening state
  • a “reproduction system” an arrangement relationship between an actual listener and a speaker when reproducing an acoustic signal
  • the configuration of the target system 10 shown in FIG. 15A shows that an acoustic signal is reproduced from the target speaker 203 and reaches the binaural position of the listener 101.
  • the target speaker is a virtual speaker disposed at a position that causes the listener 101 to recognize that an acoustic signal is generated, regardless of the actual position of the speaker. That is, it is a virtual speaker disposed at an arbitrary place where the sound image of the acoustic signal is localized.
  • FIG. 15B shows that in the configuration of the reproduction system 20, the sound signal is subjected to sound image control processing by the filter processing unit 350, reproduced from the left speaker 201 and the right speaker 202, and reaching the binaural position of the listener 100. There is.
  • a case is considered in which the acoustic signal obtained at the binaural position of the listener 101 in the configuration of the target system 10 matches the acoustic signal obtained at the binaural position of the listener 100 in the configuration of the reproduction system 20.
  • the listener 100 perceives a sound image at the position of the target speaker 203 viewed from the listener 101 despite the fact that the sound signal is emitted from the left speaker 201 and the right speaker 202 in the configuration of the reproduction system 20. .
  • Such a control method is conventionally used as a method for reproducing the sense of reality obtained by the configuration of the target system 10 in the configuration of the reproduction system 20 that is physically different from the configuration of the target system 10.
  • transfer functions from the left speaker 201 and the right speaker 202 in the configuration of the reproduction system 20 to both ears of the listener 100 are measured in advance, and the target speakers 203 in the configuration of the target system 10 both ears of the listener 101
  • the measured transfer function is subjected to a predetermined convolution (operation).
  • a filter processing unit 350 for performing convolution on the input acoustic signal S is provided.
  • the filter processing unit 350 is composed of a filter X1 and a filter Xr, as shown in FIG. 15B.
  • transfer functions from each of the left speaker 201 and the right speaker 202 to the binaural position of the listener 100 are Hll, Hlr, Hrl, and Hrr.
  • transfer functions from the target speaker 203 to the positions of both ears of the listener 101 are Dl and Dr.
  • transfer functions Hll, Hlr, Hrl, and Hrr used in the filter processing unit 350 will be described as values in the frequency domain.
  • H should be written as a subscript that means ⁇ , such as Hll ( ⁇ ), but for the sake of simplicity, ( ⁇ ) will be omitted.
  • Equation (1) may be either the time domain or the frequency domain.
  • the filter processing unit 350 designed by the equation (1) includes transfer functions Hll, Hlr, Hrl, and Hrr, which are measured in advance, from the left speaker 201 and the right speaker 202 to both ears of the listener 100. There is. Therefore, when the listener 100 moves from the position at which the transfer functions Hll, Hlr, Hrl, and Hrr are measured, the transfer function to the both ears of the listener 100 at the position moved from the left speaker 201 and the right speaker 202 is Since Hll, Hlr, Hrl, and Hrr are different from each other, the filter processing unit 350 designed by the equation (1) can not realize the signal obtained at the binaural position of the listener 101 in the target system 10 by the reproduction system 20. That is, the effect of sound image localization control can not be obtained.
  • Patent Document 1 discloses a method of realizing more robust control by realizing an interaural difference instead of reproducing the absolute sound pressure of the binaural position of the listener 100.
  • Patent Document 1 even if the movement distance of the listener becomes large or even if the movement distance of the listener is very small, the influence of the reproduction environment causes the listener to hear both ears from the reproduction speaker. If the change of the transfer function to the position is large, it can be expected that the expected sound image localization control effect can not be obtained.
  • the present disclosure provides a signal processing device and a signal processing method that can provide an auditory image control effect even when the listener's listening position moves.
  • FIG. 1 is a block diagram showing an example of the configuration of the signal processing system according to the first embodiment.
  • the signal processing system includes a signal processing device 1, a left speaker 201, and a right speaker 202.
  • the signal processing device 1 is a signal processing device that processes and outputs an acoustic signal input to the left speaker 201 and the right speaker 202.
  • the configuration and operation of the signal processing device 1 will be described in detail later.
  • Each component in the signal processing device 1 may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component includes an integrated circuit such as an LSI (Large Scale Integration), a dedicated circuit, a general purpose processor, an FPGA (Field Programmable Gate Array), and a reconfigurable circuit which can reconfigure connection and setting of circuit cells in the LSI. It may be realized by a processor.
  • LSI Large Scale Integration
  • FPGA Field Programmable Gate Array
  • the signal processing apparatus 1 may be configured to include the left speaker 201 and the right speaker 202.
  • the left speaker 201 and the right speaker 202 are speakers for outputting an acoustic signal subjected to signal processing in the signal processing device 1.
  • the left speaker 201 is a first speaker
  • the right speaker 202 is a second speaker.
  • the left speaker 201 and the right speaker 202 are, for example, speakers intended to reproduce the entire frequency band of the input signal.
  • the left speaker 201 and the right speaker 202 are disposed at different positions.
  • the left speaker 201 and the right speaker 202 are disposed at symmetrical positions with respect to the listener 100.
  • the left speaker 201 is a speaker located on the left side as viewed from the listener 100.
  • the right speaker 202 is a speaker located on the right side with respect to the listener 100.
  • the signal processing apparatus 1 includes an input unit 301, a plurality of filter processing units, a storage device 304, a coefficient setting unit 305, a control unit 401, an output data selection unit 402, a timer 403, a counter 404, and an output unit. 405 is provided.
  • the signal processing apparatus 1 includes, as a plurality of filter processing units, a first filter processing unit 302a, a second filter processing unit 302b, ..., and an n-th filter processing unit 302n.
  • the first filter processing unit 302a, the second filter processing unit 302b,..., And the n-th filter processing unit 302n are collectively referred to as a first filter processing unit 302a to an n-th filter processing unit 302n.
  • the input unit 301 is an input unit to which the acoustic signal S is input from the outside of the signal processing device 1.
  • the input unit 301 outputs an acoustic signal input from the outside of the signal processing device 1 to the first filter processing unit 302a to the n-th filter processing unit 302n.
  • the first filter processing unit 302a to the n-th filter processing unit 302n are processing units that perform sound image control processing for sound image localization of the sound signal S input from the input unit 301.
  • the first filter processing unit 302a to the n-th filter processing unit 302n are, for example, FIR (Finite Impulse Response) filters.
  • the first filter processing unit 302a to the n-th filter processing unit 302n may be realized not only by the FIR filter but also by, for example, a combination of an IIR (Infinite Impulse Response) filter, an FIR filter and an IIR filter, or the like.
  • the transfer function of the filtering unit may be designed in the frequency domain or may be designed using the least squares method in the time domain.
  • the first filter processing unit 302a to the n-th filter processing unit 302n may not be filters whose filter coefficients are fixed, but may be realized by an adaptive filter in which the filter coefficients change with time by feedback or the like. .
  • the storage device 304 is a storage device in which filter coefficients for performing sound image control processing in the first filter processing unit 302a to the n-th filter processing unit 302n are stored.
  • the filter coefficients are generated from a plurality of listening conditions as described later.
  • the plurality of listening conditions are, for example, conditions such as a plurality of physically nearby listening positions, head size, and the like.
  • the filter coefficients of the first filter processing unit 302a to the n-th filter processing unit 302n are, for example, coefficients associated with the filter coefficients of the first filter processing unit 302a to the n-th filter processing unit 302n and the filter coefficients. It is saved as a table.
  • the coefficient setting unit 305 is a setting unit that sets a filter coefficient in each filter processing unit of the first filter processing unit 302a to the n-th filter processing unit 302n.
  • the coefficient setting unit 305 reads the filter coefficient from the storage device 304 and sets the filter coefficient in each filter processing unit.
  • the output data selection unit 402 selects one of the output signals (output data) subjected to sound image control processing by the filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n. It is a selection part which selects whether to output from 202.
  • the output data selection unit 402 includes a plurality of gain adjustment units, an addition unit 421, and an addition unit 422, as described later.
  • the adding unit 421 is a first adding unit
  • the adding unit 422 is a second adding unit.
  • the output data selection unit 402 outputs the selected output data to the output unit 405.
  • the configuration and operation of the output data selection unit 402 will be described in detail later.
  • the control unit 401 is a control unit that controls the output data selection unit 402 to select output data output from the left speaker 201 and the right speaker 202.
  • the control unit 401 adjusts the gains set in each of the plurality of gain adjustment units. Specifically, the control unit 401 performs control to switch the gain set for each of the plurality of gain adjustment units and to multiply the output data.
  • the control unit 401 controls the output data selection unit 402 so that switching of output data is performed based on a predetermined time of switching output data.
  • the timer 403 is a timer in which the time to switch the output data selected by the output data selection unit 402 is preset.
  • the counter 404 is a counter that counts elapsed time.
  • the timer 403 and the counter 404 are timekeeping units that monitor the time during which the output data selection unit 402 switches output data.
  • the counter 404 notifies the control unit 401 that the time has elapsed.
  • the timer 403 and the counter 404 may be provided inside the control unit 401, or may be externally provided outside the control unit 401.
  • the acoustic signal S is input from the input unit 301, and is subjected to sound image control processing by each of the first filter processing unit 302a to the n-th filter processing unit 302n.
  • the coefficient setting unit 305 reads out the filter coefficients of the respective filter processing units of the first filter processing unit 302 a to the n-th filter processing unit 302 n from the coefficient table stored in the storage device 304.
  • the filter processing unit 302 a to the n-th filter processing unit 302 n are set.
  • the filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n are designed under different conditions although transfer functions are designed according to Equation (1).
  • An output signal that is, output data that has been subjected to sound image control processing by each filter processing unit of the first filter processing unit 302 a to the n-th filter processing unit 302 n is input to the output data selection unit 402.
  • the output data selection unit 402 controls the output data subjected to the sound image control processing by any of the first filter processing unit 302 a to the n-th filter processing unit 302 n under the control of the control unit 401. Whether to output from the right speaker 202 is selected. Then, the selected output data is output to the output unit 405. The output data output to the output unit 405 is output from the left speaker 201 and the right speaker 202 as an acoustic signal.
  • “selecting output data” is also referred to as “switching output data”. Specifically, “select output data” or “switch output data” switches the gain of the gain adjustment units 412a to 412n disposed in the output data selection unit 402, as described later, and the gain adjustment unit In 412a to 412n, the sound signal subjected to the sound image control processing in the first filter processing unit 302a to the n-th filter processing unit 302n is multiplied by a gain.
  • FIG. 2 is a diagram showing an example of listening positions at the time of designing the first filter processing unit 302a to the n-th filter processing unit 302n in the present embodiment.
  • FIG. 2 shows an example in which the filter coefficient is designed by changing the listening position as an example of the design condition of the filter coefficient.
  • FIG. 2 shows an example of the listener 100 and a plurality of listening positions when the listener 100 is viewed from the left ear side.
  • the listening positions 1001, 1002, 1003 indicate assumed positions where the left ear of the listener 100 is supposed to be located.
  • the filter coefficients are designed on the assumption of a plurality of positions where the listener 100 will listen. That is, the listening conditions for generating the filter coefficient include at least information on the listening position to which the listener may move.
  • the distance between the plurality of listening positions shown in FIG. 2 is, for example, 5 cm.
  • the filter coefficients are stored in the storage unit 304 of FIG. 1 as a coefficient table as described above.
  • the filter coefficient designed in this way is set by the coefficient setting unit 305, respectively.
  • FIG. 3 is a block diagram showing a configuration of output data selection unit 402 in the present embodiment.
  • the output data selection unit 402 includes a plurality of gain adjustment units, an addition unit 421, and an addition unit 422.
  • the plurality of gain adjustment units may be provided in the same number as the plurality of filter processing units, and one gain adjustment unit may correspond to each of the filter processing units.
  • the output data selection unit 402 includes gain adjustment units 412a, 412b,..., 412n as a plurality of gain adjustment units.
  • the gain adjusting units 412a, 412b, ..., 412n correspond to the first filter processing unit 302a, the second filter processing unit 302b, ..., the n-th filter processing unit 302n.
  • the gain adjusting units 412a, 412b,..., 412n may be collectively referred to as gain adjusting units 412a to 412n.
  • the acoustic signals subjected to sound image control processing by the first filter processing unit 302a to the n-th filter processing unit 302n are processed by the gain adjustment units of the gain adjustment units 412a to 412n, respectively.
  • Gain is multiplied. More specifically, the gain is multiplied for each of the sound signal output from the left speaker 201 and the sound signal output from the right speaker 202. The same gain is multiplied to the sound signal output from the left speaker 201 and the sound signal output from the right speaker 202.
  • the control unit 401 receives the switching timing of the gains of the gain adjustment units 412a to 412n from the timer 403 and the counter 404. Then, at this timing, the control unit 401 changes the values of the gains g1, g2,..., Gn set in the gain adjustment units 412a to 412n of the output data selection unit 402. In each of the gain adjusting units of the gain adjusting units 412a to 412n, the output data processed by the filter processing unit is multiplied by a gain. Thus, in the output data selection unit 402, the output data output from the left speaker 201 and the right speaker 202 is selected.
  • the output data output from the left speaker 201 is added in the adding unit 421.
  • the output data output from the right speaker 202 is added by the adding unit 422.
  • the output data added by the adding units 421 and 422 is output as an acoustic signal from the left speaker 201 and the right speaker 202, respectively.
  • FIG. 4 is a diagram showing an example of an acoustic signal obtained by the output data selection unit 402 in the present embodiment.
  • the horizontal axis represents time
  • the vertical axis represents the amplitude level of the output signal.
  • the upper stage is output data for the left speaker 201
  • the lower stage is output data for the right speaker 202.
  • a section surrounded by a dashed square indicates an output section of the output data selected by the output data selection unit 402.
  • control to switch output data at timings of time t (0), t (1),..., T (5) is performed. There is.
  • the transition interval between each time t (0), t (1),..., T (5) is a constant time.
  • the setting value of the interval (time difference) ⁇ t of the switching time of the output data is, for example, about 0.1 to 0.5 seconds, although it depends on the type and the length of the acoustic signal S to be input. If the sound signal S is a meaningful word (for example, “danger”, “there is an obstacle, etc.”), the duration may be such that the word can be heard at least once. If the sound signal S is an intermittent warning sound or the like, it may be shortened according to the duration of the warning sound of one section.
  • FIG. 5 is a diagram showing an example of gain setting of the gain adjusting units 412a to 412n of the output data selecting unit 402 according to the first embodiment.
  • FIG. 6 is a diagram in which two of the gains of the gain adjusting units 412a to 412n shown in FIG. 5 are superimposed and displayed.
  • FIGS. 3 and 4 described above an example is shown in which the output of each filter processing unit of the first filter processing unit 302a to the n-th filter processing unit 302n is switched at the switching timing, but as shown in FIGS.
  • the change of the gain in the transition section from time t (1) which is gain switching time to time t (1) ' will be described using FIG.
  • the gain g1 gradually decreases from time t (1) and becomes 0 at time t (1) '.
  • the gain g2 is 0 until time t (1) but gradually increases from time t (1) and becomes 1 at time t (1) '.
  • the gains g1 and g2 are crossfaded in a straight line in the transition section from time t (1) to time t (1) ′, but the gains g1 and g2 are sine squares or cosines It may be cross faded with a curve such as a square.
  • time difference ⁇ t is generally set for the transition section (for example, time t (1) to time t (1) ′) illustrated in FIG. 6, the invention is not limited thereto.
  • FIG. 7 is a flowchart showing an operation of the signal processing device 1 in the present embodiment.
  • the coefficient setting unit 305 reads the filter coefficient from the storage device 304 (step S10). Then, the read filter coefficients are set in the respective filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n (coefficient setting processing step) (step S11).
  • the input of the acoustic signal S is started to each of the filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n (step S12).
  • the input acoustic signal S is subjected to sound image control processing in each of the filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n (filtering process).
  • control information is input from the control unit 401 to the output data selection unit 402, and control for selecting the output signal is performed (control processing step) (step S13).
  • control processing step control processing step
  • acoustic signals subjected to sound image control processing in each of the first to n-th filter processing units 302a to 302n are sequentially selected as output data (output data Selection processing step) (step S14).
  • the selected output data is output from the output data selection unit 402 to the output unit 405.
  • the output data output to the output unit 405 is output as an acoustic signal from the selected left speaker 201 or right speaker 202 (step S15).
  • step S16 it is detected whether the output data selection switching time set in the timer 403 set in the timer 403 has elapsed by counting the time while the output data is being output by the counter 404 ( Timekeeping process step) (step S16).
  • step S16 When the output data selection switching time set in the timer 403 has passed (yes in step S16), the control unit 401 controls the output data selection unit 402 so that the output data is switched, and the control unit 401 Step S13 in which control information is input, step S14 in which output data is selected by the output data selection unit 402, and step S15 in which a filtered acoustic signal is output are repeatedly performed.
  • the signal processing apparatus 1 may end the process, or may repeat the process of steps S10 to S15 again without ending the process. It is also good.
  • step S15 When the output data selection switching time set in the timer 403 has not elapsed (No in step S16), the output of the selected output data is continued (step S15).
  • the listener 100 processes the sound signal S by the operation of the flowchart shown in FIG. 7 so that the listener 100 can hear the left speaker 201 and the right speaker 202 at any timing. It is possible to listen to an acoustic signal that matches the listening position output from. Thereby, the signal processing apparatus 1 can provide the listener 100 with a desired sound image control effect.
  • the signal processing device 2 according to the present embodiment differs from the signal processing device 1 according to the first embodiment in that the range to be used for the filter coefficient is set.
  • FIG. 8 is a block diagram showing an example of the configuration of a signal processing system according to the present embodiment.
  • the signal processing system according to the present embodiment includes the signal processing device 2, the left speaker 201, and the right speaker 202.
  • the configurations of the left speaker 201 and the right speaker 202 are the same as those of the left speaker 201 and the right speaker 202 described in the first embodiment, and thus the description thereof will be omitted.
  • the signal processing device 2 further includes an auxiliary information input unit 501, an auxiliary information analysis unit 502, and a coefficient range selection unit 503, as compared with the configuration of the signal processing device 1 shown in FIG. There is.
  • the auxiliary information input unit 501 is an input unit to which auxiliary information for selecting the range of the filter coefficient set in each filter processing unit of the first filter processing unit 302 a to the n-th filter processing unit 302 n is input.
  • the auxiliary information relates to the listening position of the listener 100 for selecting the range of the filter coefficient to be set in each of the filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n by the coefficient setting unit 305. It is supplementary information.
  • the auxiliary information may be, for example, information including the information of the binaural position of the listener 100, or may be information including the information of the sitting position of the listener 100. Also, the auxiliary information may include information on the seat position where the listener 100 sits.
  • CAN Controller Area Network
  • seat position information of the listener 100 is installed as auxiliary information, a drive recorder, etc. You may use the image information etc. which are obtained from the camera for vehicle interiors.
  • the auxiliary information analysis unit 502 is an analysis unit that analyzes the input auxiliary information and extracts information useful for detecting the listening position of the listener 100 from among the auxiliary information. For example, if the input auxiliary information is CAN information, the auxiliary information analysis unit 502 analyzes the input CAN information and obtains sheet position information from the input CAN information. If the input auxiliary information is image information from the drive recorder, the auxiliary information analysis unit 502 analyzes the image information using a technology such as image recognition technology to recognize the position of the driver's face, and the driver Extract where the listening position of auxiliary information.
  • the coefficient range selection unit 503 determines which of the filter coefficients stored in the storage device 304 to use, the range of the filter coefficient to be used (the coefficient range Select). The coefficient range selection unit 503 inputs the filter coefficient of the selected coefficient range to the coefficient setting unit 305.
  • FIG. 9 is a diagram showing an example of listening positions at the time of design of the first filter processing unit 302a to the n-th filter processing unit 302n in the present embodiment and a group of listening positions. More specifically, FIG. 9 shows a setting example of the use range of the filter coefficient set by the coefficient range selection unit 503.
  • the listening position shown in FIG. 9 is the same as the listening position shown in FIG. 2 between the listener 100 and the first filter processing unit 302a to the n-th filter processing unit 302n when viewed from the left ear side of the listener 100.
  • the example of the listening position assumed at the time of design is shown.
  • the storage device 304 stores a plurality of filter coefficients designed under a plurality of listening conditions, shown as a plurality of listening positions shown in FIG.
  • the filter coefficients stored in the storage unit 304 are grouped by listening positions. For example, when the analysis result of the auxiliary information obtained by the auxiliary information analysis unit 502 is the position of A, the coefficient range selection unit 503 is a plurality of coefficients included in the first group 1101 to which A belongs. The use of the filter coefficient of the listening position is input to the coefficient setting unit 305.
  • the group for setting the coefficient range such as the first group 1101 or the second group 1102 is designed by changing the filter coefficient designed at a plurality of physically close listening positions, or the size of the head, etc. It may be a filtered filter coefficient. Further, the group for setting the coefficient range may be designed by combining a plurality of listening conditions. For example, a group may be designed for each condition such as a first group for listening positions and an a-th group for head size.
  • the coefficient setting unit 305 Upon receiving the output result of the coefficient range selection unit 503, the coefficient setting unit 305 reads out the coefficient of the corresponding group from the storage device 304, and the filter processing units of the first filter processing unit 302a to the nth filter processing unit 302n. Set For example, in the example of the group shown in FIG. 9, the coefficients set under the nine conditions (listening positions) included in the first group 1101 are set to the respective filters of the first filter processing unit 302a to the nth filter processing unit 302n. Set in the processing unit.
  • the filter processing units of the first filter processing unit 302 a to the n-th filter processing unit 302 n perform sound image control processing on the input acoustic signal S, and input the sound signal S to the output data selection unit 402.
  • the operation (gain setting) of the gain adjustment units 412a to 412n in the output data selection unit 402 is as shown in FIG. 5 and FIG.
  • FIG. 10 is a flowchart showing an operation of the signal processing device 2 in the present embodiment.
  • the signal processing device 2 acquires the auxiliary information by the auxiliary information input unit 501 (auxiliary information acquisition step) (step S20), and then analyzes the auxiliary information input by the auxiliary information analysis unit 502. Then, information useful for detecting the listening position of the listener 100 is extracted from the auxiliary information (step S21). Subsequently, the coefficient range selection unit 503 selects which coefficient of the filter coefficients stored in the storage device 304 to use (coefficient range selection step) (step S22).
  • the coefficient setting unit 305 reads the filter coefficient from the storage device 304 based on the coefficient range selected by the coefficient range selection unit 503 (step S23). Subsequently, the coefficient setting unit 305 sets a filter coefficient in each filter processing unit of the first filter processing unit 302a, the second filter processing unit 302b, ..., and the n-th filter processing unit 302n (step S24). ).
  • step S25 the input of the acoustic signal S to the input unit 301 is started.
  • the input acoustic signal S is subjected to sound image control processing in each of the filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n. Further, control information is input from the control unit 401 to the output data selection unit 402 (step S26).
  • the output data selection unit 402 performs acoustic image control processing by each of the first filter processing unit 302a to the n-th filter processing unit 302n. Signals are sequentially selected as output data (step S27). Then, the selected output data is output from the output data selection unit 402 to the output unit 405. The output data output to the output unit 405 is output as an acoustic signal from the left speaker 201 or the right speaker 202 based on the selected output data (step S28).
  • step S29 by counting the time by the counter 404, it is detected whether a predetermined output data selection switching time set in the timer 403 has elapsed (step S29). ).
  • step S29 When the output data selection switching time set in the timer 403 has elapsed (yes in step S29), the control unit 401 controls the output data selection unit 402 to switch output data, and the control unit 401 Step S26 in which control information is input, step S27 in which output data is selected in the output data selection unit 402, and step S28 in which a filtered acoustic signal is output are repeated. If the output data selection switching time set in the timer 403 has not elapsed (No in step S29), the output of the selected output data is continued (step S28).
  • the auxiliary information analysis unit 502 analyzes the auxiliary information again (step S21), and repeats the operations in steps S22 to S30. .
  • the signal processing device 2 ends the process.
  • the signal processing device 2 may end the process, or the process of steps S20 to S30 may be repeated again without ending the process. Good.
  • the acoustic signal S is processed by the operation of the flowchart shown in FIG. 10, whereby the signal processing device 2 generates the basis of the auxiliary information input to the auxiliary information input unit 501.
  • the filter coefficients in the group extracted from the filter coefficients stored in the storage device 304 can be selected and used.
  • the signal processing device 2 it is possible to avoid the use of filter coefficients for which the effect of sound image localization control is difficult to obtain. Thereby, the signal processing device 2 can provide the listener 100 with a desired sound image control effect.
  • the switching timing of the sound signal output from the left speaker 201 and the right speaker 202 is an acoustic signal input. It differs in that it is changed according to the power of S.
  • FIG. 11 is a block diagram showing an example of the configuration of a signal processing system according to the present embodiment.
  • the signal processing system according to the present embodiment includes the signal processing device 3, the left speaker 201, and the right speaker 202.
  • the configurations of the left speaker 201 and the right speaker 202 are the same as those of the left speaker 201 and the right speaker 202 described in the first embodiment, and thus the description thereof will be omitted.
  • the signal processing device 3 further includes an acoustic signal analysis unit 601 in comparison with the configuration of the signal processing device 1 shown in FIG. 1.
  • the acoustic signal analysis unit 601 is an analysis unit that analyzes the power of the input acoustic signal S.
  • the acoustic signal analysis unit 601 inputs the analysis result to the control unit 401.
  • the control unit 401 based on the power of the acoustic signal S analyzed by the acoustic signal analysis unit 601, the switching timing of the output data selected by the output data selection unit 402 is set.
  • the power of the acoustic signal S indicates, for example, the amplitude of the acoustic signal S in decibels. That is, assuming that the amplitude of the acoustic signal S is Z, this is a parameter that can be expressed as 20 log 10
  • the power of the acoustic signal S may be calculated using the value of the square of the amplitude. In this case, an instantaneous square value for each sampling may be used, or a sum of squares for a certain period may be used.
  • FIG. 12 is a block diagram showing a configuration of acoustic signal analysis unit 601 in the present embodiment. As shown in FIG. 12, the acoustic signal analysis unit 601 includes a power detection unit 611 and a determination unit 612.
  • the power detection unit 611 is a detection unit that detects the power of the acoustic signal S.
  • the determination unit 612 is a determination unit that determines whether the power of the acoustic signal S is equal to or greater than a threshold.
  • the power of the acoustic signal S is detected by the power detection unit 611 of the acoustic signal analysis unit 601 as to the acoustic signal S input from the input unit 301 to the acoustic signal analysis unit 601. Based on the detection result, the determination unit 612 determines whether the power detected by the power detection unit 611 exceeds a certain threshold, and outputs the determination result to the control unit 401.
  • the certain threshold value is, for example, a value of the minimum power that can be recognized as the acoustic signal S effective for aural sense.
  • environmental sounds such as fan sounds are not acoustically effective acoustic signals, but background noise.
  • the threshold of the power of the sound signal may be a level that can detect that an aurally effective signal has been input, such as a level of +6 dB from the level of the background sound sound signal, for example.
  • the control unit 401 to which the determination result of the power of the acoustic signal S is output from the determination unit 612 causes the output data selection unit 402 to select the output data when the power of the acoustic signal S in the acoustic signal analysis unit 601 exceeds the threshold.
  • Do the action Since the selection operation of the output data is performed when the power of the acoustic signal S exceeds the threshold, it is limited to being performed at a constant interval as compared with the selection operation of the signal processing device 1 shown in the first embodiment. Absent. That is, the switching timings of the gains of the gain adjusting units 412a to 412n are not performed at constant time intervals, but are performed according to the power of the input acoustic signal S.
  • FIG. 13 is a diagram showing an example of an acoustic signal obtained by the output data selection unit 402 when the acoustic signal analysis unit 601 in the present embodiment is used.
  • the horizontal axis represents time
  • the vertical axis represents the amplitude level of the output signal.
  • the upper stage is output data for the left speaker 201
  • the lower stage is output data for the right speaker 202.
  • FIG. 13 An example of the switching timing of the reproduced sound is shown.
  • a section surrounded by a dashed square in (a) to (c) of FIG. 13 indicates an output section of the output data selected by the output data selection unit 402.
  • the vertical arrows shown in FIG. 13 indicate the timing (time) at which the control unit 401 performs the playback sound switching operation.
  • output is performed at the timing of time t (10), t (11),..., T (15)
  • Control to switch data is performed.
  • the transition section between the respective times t (10), t (11),..., T (15) is controlled by the control unit 401, not for a fixed time.
  • the control unit 401 controls the timing of switching output data according to the control information generated by the acoustic signal analysis unit 601.
  • the sound signal analysis unit 601 determines whether the power of the input sound signal S changes from less than the threshold value to more than the threshold value and exceeds the threshold value, and the control unit 401 outputs based on the determination result. Control information for controlling the selection timing of the output data of the data selection unit 402 is generated. For example, when the power of the input sound signal S changes from less than the threshold to more than the threshold, the sound signal analysis unit 601 switches the gain of the gain adjustment units 412a to 412n of the output data selection unit 402, and the input is performed. If the power of the acoustic signal S does not exceed the threshold value, control information is generated so as not to switch the gains of the gain adjustment units 412a to 412n of the output data selection unit 402.
  • the output of each of the first filter processing unit 302a to the n-th filter processing unit in a section where the power of the acoustic signal S does not exceed the threshold Can be switched, and the output of each of the first filter processing unit 302a to the n-th filter processing unit can be switched in a section in which the power of the acoustic signal S is a power of a magnitude effective for hearing.
  • the control unit 401 Control may be performed to switch the output of the first filter processing unit 302a to the n-th filter processing unit 302n.
  • the sound signal analysis unit 601 determines the power of the sound signal S as an example of the determination condition of the sound signal S for setting the switching timing.
  • a determination condition may be used that is equal to or higher than a threshold and the time during which the filter processing unit is selected exceeds ⁇ t2.
  • ⁇ t2 may be set to a time sufficient to recognize that the sound signal S is a warning sound, for example, between 0.1 and 0.5 seconds. Note that ⁇ t2 is not limited to this, and may be changed according to the type of acoustic signal or the like.
  • FIG. 14 is a flowchart showing the operation of the signal processing device 3 in the present embodiment.
  • the filter setting unit 305 reads the filter coefficient from the storage device 304 (step S40). Then, the read filter coefficients are set in the respective filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n (step S41).
  • the input of the acoustic signal S is started to each of the filter processing units of the first filter processing unit 302a to the n-th filter processing unit 302n (step S42).
  • the input acoustic signal S is subjected to sound image control processing by each of the first filter processing unit 302a to the n-th filter processing unit 302n.
  • the sound signal analysis unit 601 analyzes whether the power of the sound signal S is larger or smaller than a preset threshold (power detection step) (step S43). Then, based on the result analyzed by the acoustic signal analysis unit 601, the control unit 401 generates control information for performing control of switching the output data by the output data selection unit 402 (step S44). The control information generated by the control unit 401 is input from the control unit 401 to the output data selection unit 402 (step S45).
  • the sound signal subjected to the sound image control processing in each of the first filter processing unit 302a to the n-th filter processing unit 302n is sequentially selected as output data (step S46) .
  • the selected output data is output from the output data selection unit 402 to the output unit 405.
  • the output data output to the output unit 405 is output as an acoustic signal from the left speaker 201 or the right speaker 202 based on the selected output data (step S47).
  • the power detection unit 611 detects the power of the acoustic signal S, and based on the detection result, the determination unit 612 detects whether or not it has changed from less than the threshold to more than the threshold (step S48).
  • the control unit 401 When the power of the acoustic signal S changes from less than the threshold to more than the threshold (yes in step S48), the control unit 401 generates control information so that switching of output data is performed (step S44).
  • the counter 404 counts the time during which the output data is output, thereby setting the output of the timer 403 It is detected whether the data selection switching time has elapsed (step S49).
  • Step S49 When the output data selection switching time set in the timer 403 has elapsed (yes in step S49), the control unit 401 controls the output data selection unit 402 to switch the output data, and the sound signal S is selected.
  • the output data selection switching time set in the timer 403 has not elapsed (NO in step S49)
  • the output of the selected output data is continued (step S47).
  • the signal processing device 3 may end the process, or the process of steps S40 to S49 may be performed again without ending the process. You may repeat.
  • the signal processing device 3 when the power of the input sound signal S changes from less than the threshold to more than the threshold, the output data is switched, and the power of the sound signal S does not change from less than the threshold to more than the threshold In this case, control is performed to maintain the output data without switching.
  • control is performed to switch the output data when the output data selection switching time has elapsed. Therefore, the listener 100 can perceive an acoustic signal at any timing at any of a plurality of listening positions.
  • the acoustic signal S is processed by the operation of the flowchart shown in FIG. 14 so that the signal processing device 3 receives the acoustic signal S input by the acoustic signal analysis unit 601. Can be analyzed to control the switching timing of output data. As a result, the signal processing device 3 outputs the section when the aurally effective acoustic signal is generated, or when the output data selection switching time has elapsed when the aurally effective acoustic signal is not generated. The data can be switched to give the listener 100 a sound image control effect to percept the sound signal.
  • the filter processing unit may be realized by an FIR filter, an IIR filter, or a combination of an FIR filter and an IIR filter.
  • the method of designing in a frequency domain as a design method of a filter process part, it is not limited to this. It may be realized by a method of least squares in the time domain or an adaptive filter instead of a fixed filter.
  • the signal processing apparatus including three or more filter processing units has been described, but the present invention is not limited to this.
  • only one filter processing unit may be provided, and filter coefficients may be switched as needed by the coefficient setting unit.
  • the output data selection unit including three or more gain adjustment units has been described, but the present invention is not limited to this.
  • only one gain adjustment unit may be provided, and the control unit may appropriately switch the gain for use.
  • FIG. 5 according to the first embodiment, an example in which the output of each filter processing unit is switched and output as an operation of the output data selection unit and an example in which cross fading is performed in FIGS. Although shown, it is apparent that this can be applied to the second and third embodiments.
  • the left speaker 201 and the right speaker 202 described in the above-described embodiment are speakers intended to reproduce the entire frequency band of the input signal
  • the present invention is not limited to this configuration.
  • the left speaker 201 and the right speaker 202 may be, for example, a multiway speaker composed of units different for each frequency of a signal to be reproduced, such as a tweeter, a squawker, or a woofer.
  • each speaker may be comprised by another housing for every unit, and may be arrange
  • the speaker may include a subwoofer or the like capable of reproducing a low frequency effect (LFE) signal.
  • LFE low frequency effect
  • the left speaker 201 and the right speaker 202 may be included in the signal processing device.
  • a gain for adjusting output amplitude, or AGC Auto Gain Controller
  • effect processing such as delay, reverb or echo is performed.
  • the configuration may be provided before or after the filter processing unit. At that time, it is desirable that the left and right speaker outputs be multiplied by the same characteristic.
  • each component in the signal processing apparatus may be configured by dedicated hardware or implemented by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • an LSI that is an integrated circuit, a dedicated circuit, a general-purpose processor, an FPGA, and a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI may be realized.
  • the signal processing device can be applied to a signal processing device that processes a signal in an audio device that generates a warning sound, a vehicle-mounted or indoor audio device, or the like.
  • 1, 2, 3 signal processing apparatus 10 target system 20 reproduction system 100 101 listener 201 left speaker (first speaker) 202 Right speaker (second speaker) 203 target speaker 301 input unit 302a to 302n first to nth filter processing units (filter processing units) 304 storage unit 305 coefficient setting unit 350 filter processing unit 401 control unit 402 output data selection unit 403 timer (time counting unit) 404 Counter (Timer) 405 output unit 412a to 412n gain adjustment unit 421 addition unit (first addition unit) 422 Adder (second adder) 501 auxiliary information input unit 502 auxiliary information analysis unit 503 coefficient range selection unit 601 acoustic signal analysis unit 611 power detection unit 612 determination unit 1001, 1002, 1003 listening position 1101 first group 1102 second group

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

信号処理装置(1)は、入力された音響信号に対して音像定位処理を行い出力信号を生成する少なくとも1つのフィルタ処理部(302a~302n)と、フィルタ処理部(302a~302n)のそれぞれで使用される複数のフィルタ係数をフィルタ処理部(302a~302n)に設定する係数設定部(305)と、フィルタ処理部(302a~302n)で音像定位処理された複数の出力信号から、左スピーカ(201)および右スピーカ(202)に出力される出力信号を選択する出力データ選択部(402)と、出力信号を切り替える時間を監視する計時部(403)と、出力データ選択部(402)に出力信号を切り替える時間に応じて出力信号を選択させる制御を行う制御部(401)とを備え、複数のフィルタ係数は、複数の受聴条件から生成されたフィルタ係数を含む。

Description

信号処理装置および信号処理方法
 本開示は、信号処理装置および信号処理方法に関する。
 近年、スピーカから出力される音響信号を、受聴者が臨場感を得られるように再生する技術として、視聴者の両耳位置の差を考慮して音像を制御する方法が知られている(例えば、特許文献1、非特許文献1参照)。例えば、右スピーカおよび左スピーカと両耳位置までの伝達関数を算出し、これにより音像を制御するための音像制御フィルタを用いる。音像制御フィルタを用いることで、入力された音響信号の音像を任意の場所に定位させ、受聴者が、受聴する音像を所望の音像制御効果で受聴できるようにしている。
特許第5944567号公報
「空間音響」イェンスブラウエルト、森本政之、後藤敏幸 編著、鹿島出版会
 上記した伝達関数は、あらかじめ、左スピーカおよび右スピーカから受聴者の両耳までの距離を考慮して算出される。したがって、従来の技術では、受聴者が移動すると、移動した位置における伝達関数はあらかじめ算出された伝達関数とは異なるものとなる。よって、従来の技術では、受聴者の移動距離が大きい場合、または、再生環境の影響などにより再生スピーカから受聴者両耳位置までの伝達関数の変化が大きい場合、想定した音像制御効果が得られないことが予想される。
 本開示は、受聴者の受聴位置が変化した場合においても、受聴者に音像制御効果を与えることができる信号処理装置および信号処理方法を提供することを目的とする。 
 上記の課題を解決するために、本開示の一形態における信号処理装置は、音像定位の制御を行う信号処理装置であって、入力された音響信号に対して音像定位処理を行い、出力信号を生成する少なくとも1つのフィルタ処理部と、前記フィルタ処理部のそれぞれで使用される複数のフィルタ係数を前記フィルタ処理部に設定する係数設定部と、前記フィルタ処理部で音像定位処理された複数の出力信号から、スピーカに出力される前記出力信号を選択する出力データ選択部と、前記出力信号を切り替える時間を監視する計時部と、前記出力データ選択部に、前記出力信号を切り替える時間に応じて前記出力信号を選択させる制御を行う制御部とを備え、前記複数のフィルタ係数は、複数の受聴条件から生成されたフィルタ係数を含む。
 この構成によれば、異なる受聴条件において設計された音像制御フィルタによって出音されるため、受聴者の受聴位置が変わった場合でも、受聴者に音像制御効果を与えることができる。
 また、前記受聴条件は、少なくとも受聴者が移動する可能性のある受聴位置の情報を含んでもよい。
 この構成によれば、受聴者が移動する可能性のある受聴位置において設計された音像制御フィルタによって出音されるため、受聴位置が変わった場合でも受聴者に音像制御効果を与えることができる。
 また、前記出力データ選択部は、音像定位処理された前記複数の出力信号のそれぞれのゲインを調整することにより、前記スピーカに出力される前記出力信号を選択する少なくとも1つのゲイン調整部を有してもよい。
 また、前記スピーカは、異なる位置に配置される第1のスピーカおよび第2のスピーカとを有し、前記出力データ選択部は、ゲインが調整された前記複数の出力信号のうち、前記第1のスピーカから出力される前記出力信号を加算する第1の加算部と、ゲインが調整された前記複数の出力信号のうち、前記第2のスピーカから出力される前記出力信号を加算する第2の加算部とを有してもよい。
 また、前記信号処理装置は、さらに、前記係数設定部により設定される前記フィルタ係数の範囲を選定するための、受聴者の両耳位置または着座位置に関する補助情報を入力する補助情報入力部と、入力された前記補助情報を分析する補助情報分析部と、前記補助情報分析部で分析された結果を基に、前記係数設定部により設定される前記フィルタ係数の範囲を選定する係数範囲選定部とを備えてもよい。
 この構成によれば、入力された補助情報によって、設定するフィルタ処理部を限定できるため、受聴者により音像制御効果を与えやすい信号処理装置を実現することができる。
 また、前記補助情報入力部は、前記フィルタ係数として受聴者が着座するシート位置の情報を入力してもよい。
 この構成によれば、フィルタ係数の範囲選定のために受聴者が着座するシート位置情報を用いることができるため、受聴者に容易に音像制御効果を与えることができる。
 また、前記補助情報入力部は、前記フィルタ係数として受聴者の両耳位置の情報を含む画像情報を入力してもよい。
 この構成によれば、フィルタ係数の範囲選定のために画像情報を用いることができるため、受聴者に容易に音像制御効果を与えることができる。
 また、前記信号処理装置は、さらに、前記音響信号を分析して出力データ選択部に切り替えタイミングを入力する音響信号分析部を備えてもよい。
 この構成によれば、音響信号を分析して出力データの切り替えタイミングを制御するため、受聴者が知覚すべき音響信号が発生しているときに、適切に受聴者に音像制御効果を与えることができる。
 また、前記音響信号分析部は、前記音響信号のパワーを検出するパワー検出部と、前記音響信号のパワーが閾値以上であるか否かを判定する判定部とを有してもよい。
 また、上記の課題を解決するために、本開示の一形態における信号処理方法は、音像定位の制御を行う信号処理方法であって、入力された音響信号に対して、少なくとも1つのフィルタ処理部により音像定位処理を行い、出力信号を生成するフィルタ処理工程と、前記フィルタ処理のそれぞれで使用される複数のフィルタ係数を係数設定部により設定する係数設定処理工程と、前記音像定位処理された複数の出力信号から、スピーカに出力される前記出力信号をデータ選択処理部により選択する出力データ選択処理工程と、前記出力信号を切り替える時間を計時部により監視する計時処理工程と、制御部により、前記出力信号を切り替える時間に応じて前記データ選択処理部に前記出力信号を選択させる制御を行う制御処理工程とを含み、前記複数のフィルタ係数は、複数の受聴条件から生成されたフィルタ係数を含む。
 この構成によれば、異なる受聴条件において設計された音像制御フィルタによって出音されるため、受聴者の受聴位置が変わった場合でも、受聴者に音像制御効果を与えることができる。
 また、補助情報を取得する補助情報取得工程と、補助情報分析部により、前記補助情報を分析し、前記フィルタ係数の係数範囲を選定する係数範囲選定工程とをさらに含んでもよい。
 この構成によれば、あらかじめ想定された受聴者の位置等の補助情報を基にフィルタ係数を選択することができる。これにより、音像定位制御の効果が得られにくいフィルタ係数の使用を避け、容易に音像定位制御を得ることができる。
 また、音響信号分析部により、入力された音響信号のパワーを検出するパワー検出工程をさらに含み、前記制御処理工程において、前記制御部により、検出された前記音響信号のパワーに基づいて前記データ選択処理部に前記出力信号を選択させる制御を行ってもよい。
 この構成によれば、聴感上有効な音響信号が発生している区間、または、聴感上有効な音響信号が発生していない場合には出力データ選択切り替え時間が経過したときに、出力データを切り替え、受聴者に音像制御効果を与えて音響信号を知覚させることができる。
 本発明によれば、受聴者の受聴位置が変化した場合においても、受聴者に音像制御効果を与えることができる信号処理装置および信号処理方法を提供することができる。
図1は、実施の形態1における信号処理装置の構成例およびスピーカと、受聴者とを示すブロック図である。 図2は、実施の形態1におけるフィルタ処理部の設計時の受聴位置の一例を示す図である。 図3は、実施の形態1における出力データ選択部の構成を示すブロック図である。 図4は、実施の形態1における出力データ選択部によって得られる出力信号の一例を示す図である。 図5は、実施の形態1における出力データ選択部のゲイン調整部のゲイン設定の一例を示す図である。 図6は、図5に示したゲイン調整部のゲイン設定の一例のうちの2つを重ねて表示した図である。 図7は、実施の形態1における信号処理装置の動作を示すフローチャートである。 図8は、実施の形態2における信号処理装置の構成例およびスピーカと、受聴者とを示すブロック図である。 図9は、実施の形態2におけるフィルタ処理部の設計時の受聴位置と、受聴位置のグループの一例を示す図である。 図10は、実施の形態2における信号処理装置の動作を示すフローチャートである。 図11は、実施の形態3における信号処理装置の構成例およびスピーカと、受聴者とを示すブロック図である。 図12は、実施の形態3における音響信号分析部の構成を示すブロック図である。 図13は、実施の形態3における音響信号分析部を用いたときの、再生音の切り替えタイミングの一例を示す図である。 図14は、実施の形態3における信号処理装置の動作を示すフローチャートである。 図15Aは、従来例における音像制御法において、目標とする受聴状態を構成するための受聴者とスピーカとの配置関係を示す概略図である。 図15Bは、従来例における音像制御法において、音響信号を再生する際の実際の受聴者とスピーカとの配置関係を示す概略図である。
 (本開示の基礎となった知見)
 はじめに、本開示に係る技術の理解を容易にするために、従来技術および従来技術における課題についてより詳細に説明する。
 図15Aは、従来技術に係る音響制御法において、目標とする受聴状態を構成するための受聴者とスピーカとの配置関係を示す概略図である。図15Bは、従来技術に係る音響制御法において、音響信号を再生する際の実際の受聴者とスピーカとの配置関係を示す概略図である。以下、目標とする受聴状態を構成するための受聴者とスピーカとの配置関係を「目標系」、音響信号を再生する際の実際の受聴者とスピーカとの配置関係を「再生系」と呼ぶ。
 図15Aに示す目標系10の構成では、音響信号が目標スピーカ203から再生され、受聴者101の両耳位置に届く様子を示している。ここで、目標スピーカとは、実際のスピーカの位置に関わらず、受聴者101に音響信号が発生していると認識させる位置に配置されている仮想のスピーカである。すなわち、音響信号の音像が定位される任意の場所に配置されている仮想のスピーカである。また、図15Bは、再生系20の構成において、音響信号がフィルタ処理部350によって音像制御処理され、左スピーカ201および右スピーカ202から再生されて受聴者100の両耳位置に届く様子を示している。
 ここで、目標系10の構成において受聴者101の両耳位置で得られる音響信号と、再生系20の構成において受聴者100の両耳位置で得られる音響信号とが一致する場合を考える。この場合、受聴者100は、再生系20の構成において音響信号が左スピーカ201および右スピーカ202から出音されているにも関わらず、受聴者101から見た目標スピーカ203の位置に音像を知覚する。つまり、目標系10の構成において受聴者101の両耳位置で得られる音響信号と、再生系20の構成において受聴者100の両耳位置で得られる音響信号とが一致する制御を行うことにより、受聴者101の知覚する音像の位置を目標スピーカ203の位置に制御することが可能となる。
 このような制御方法は、従来、目標系10の構成とは物理的に異なる再生系20の構成において、目標系10の構成で得られる臨場感を再現する方法として用いられている。
 具体的には、再生系20の構成における左スピーカ201および右スピーカ202から受聴者100の両耳までの伝達関数をあらかじめ計測し、目標系10の構成における目標スピーカ203から受聴者101の両耳までの伝達関数を得るために、計測した伝達関数に所定の畳み込み(演算)を行う。再生系20の構成では、図15Bに示すように、入力された音響信号Sに畳みこみを行うためのフィルタ処理部350を設けている。
 フィルタ処理部350は、図15Bに示すように、フィルタXlおよびフィルタXrとから構成される。フィルタXlおよびフィルタXrにおいて、左スピーカ201および右スピーカ202のそれぞれから受聴者100の両耳位置までの伝達関数をHll、Hlr、Hrl、Hrrとする。また、目標系10の構成において、目標スピーカ203から受聴者101の両耳位置までの伝達関数をDl、Drとする。
 なお、以下、フィルタ処理部350で用いられる伝達関数Hll、Hlr、Hrl、Hrrは、周波数領域の値として記載する。本来はHll(ω)のように周波数を意味するωを添字として記載するべきだが、簡単化のため、(ω)を省略して説明する。
 あらかじめ計測された再生系20における伝達関数への畳み込みは、周波数領域の乗算で表される。したがって、フィルタXlおよびフィルタXrに設定される伝達関数Hll、Hlr、Hrl、Hrrは、以下の式(1)で設計することができる(非特許文献1参照)。
Figure JPOXMLDOC01-appb-M000001
                         ・・・・・式(1)
 なお、式(1)で用いられる関数は、時間領域、周波数領域のどちらであってもよい。
 ここで、式(1)で設計されるフィルタ処理部350は、あらかじめ計測された、左スピーカ201および右スピーカ202から受聴者100の両耳までの伝達関数Hll、Hlr、Hrl、Hrrから成り立っている。したがって、伝達関数Hll、Hlr、Hrl、Hrrを計測した位置から受聴者100が移動した場合には、左スピーカ201および右スピーカ202から移動した位置における受聴者100の両耳までの伝達関数は、Hll、Hlr、Hrl、Hrrと異なるため、式(1)で設計したフィルタ処理部350では目標系10において受聴者101の両耳位置で得られる信号を再生系20で実現できないことになる。すなわち、音像定位制御の効果が得られないこととなる。
 音像定位制御の効果が得られる受聴位置が限定されてしまう課題については、例えば、特許文献1で公開されている。特許文献1では、受聴者100の両耳位置の絶対的な音圧を再現するのではなく、両耳間差を実現することで、よりロバストな制御を実現する方法が開示されている。しかし、特許文献1に開示されている方法では、受聴者の移動距離が大きくなった場合、または、受聴者の移動距離が微少だったとしても再生環境の影響などにより再生スピーカから受聴者両耳位置までの伝達関数の変化が大きい場合、想定した音像定位制御効果が得られないことが予想される。
 そこで、本開示は、受聴者の受聴位置が移動した場合においても、受聴者に音像制御効果を与えることができる信号処理装置および信号処理方法を提供する。 
 以下、適宜図面を参照しながら、本開示にかかる信号処理装置および信号処理方法の実施の形態について詳細に説明する。なお、以下の実施の形態では、実質的に同一の構成に対して同一の符号を付し、説明を省略する場合がある。
 また、以下で説明する実施の形態は、いずれも一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、以下において、同一の構成または変更のないものについては、同じ符号で説明する。
 なお、添付図面及び以下の説明は当業者が本開示を十分に理解するためのものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
 (実施の形態1)
 [1-1.信号処理システムの構成]
 はじめに、実施の形態1にかかる信号処理システムの構成について説明する。図1は、実施の形態1における信号処理システムの構成の一例を示すブロック図である。
 図1に示すように、本実施の形態に係る信号処理システムは、信号処理装置1と、左スピーカ201、右スピーカ202とを備えている。
 信号処理装置1は、左スピーカ201および右スピーカ202に、入力された音響信号を信号処理して出力する信号処理装置である。信号処理装置1の構成および動作については、後に詳述する。なお、信号処理装置1における各構成要素は、専用のハードウェアで構成されてもよいし、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。また、各構成要素は、CPU、またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、各構成要素は、集積回路であるLSI(Large Scale Integration)、専用回路、汎用プロセッサ、FPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続や設定を再構成可能なリコンフィグアブル・プロセッサで実現してもよい。
 なお、信号処理装置1は、左スピーカ201および右スピーカ202を含む構成としてもよい。
 左スピーカ201および右スピーカ202は、信号処理装置1において信号処理された音響信号を出力するスピーカである。本実施の形態において、左スピーカ201は第1のスピーカ、右スピーカ202は第2のスピーカである。左スピーカ201および右スピーカ202は、例えば、入力信号の全周波数帯域を再生することを意図したスピーカである。
 左スピーカ201および右スピーカ202は、異なる位置に配置されている。例えば、図1に示すように、左スピーカ201および右スピーカ202は、受聴者100に対して左右対称な位置に配置されている。左スピーカ201は、受聴者100からみて左側に位置するスピーカである。右スピーカ202は、受聴者100からみて右側に位置するスピーカである。
 [1-2.信号処理装置の構成]
 信号処理装置1は、図1に示すように、入力部301、複数のフィルタ処理部、記憶装置304、係数設定部305、制御部401、出力データ選択部402、タイマー403、カウンタ404、出力部405を備える。本実施の形態において、信号処理装置1は、複数のフィルタ処理部として、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nを備えている。なお、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nを、まとめて第1のフィルタ処理部302a~第nのフィルタ処理部302nと表すこともある。
 入力部301は、信号処理装置1の外部から音響信号Sが入力される入力部である。入力部301は、信号処理装置1の外部から入力された音響信号を、第1のフィルタ処理部302a~第nのフィルタ処理部302nに出力する。
 第1のフィルタ処理部302a~第nのフィルタ処理部302nは、入力部301から入力された音響信号Sを音像定位させるための音像制御処理を行う処理部である。第1のフィルタ処理部302a~第nのフィルタ処理部302nは、例えば、FIR(Finite Impulse Response)フィルタで構成されている。なお、第1のフィルタ処理部302a~第nのフィルタ処理部302nは、FIRフィルタに限らず、例えばIIR(Infinite Impulse Response)フィルタ、FIRフィルタとIIRフィルタを組み合わせたものなどで実現してもよい。フィルタ処理部の伝達関数は、周波数領域で設計されていてもよいし、時間領域において最小二乗法を用いて設計されてもよい。また、第1のフィルタ処理部302a~第nのフィルタ処理部302nは、フィルタ係数が固定されたフィルタでなくてもよく、フィードバック等によりフィルタ係数が時間変化する適応フィルタで実現されていてもよい。
 記憶装置304は、第1のフィルタ処理部302a~第nのフィルタ処理部302nで音像制御処理を行うためのフィルタ係数が記憶されている記憶装置である。フィルタ係数は、後述するように、複数の受聴条件から生成されている。複数の受聴条件とは、例えば、物理的に近傍な複数の受聴位置、頭の大きさ等の条件である。第1のフィルタ処理部302a~第nのフィルタ処理部302nのフィルタ係数は、例えば第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部とフィルタ係数とを対応付けた係数テーブルとして保存されている。
 係数設定部305は、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部にフィルタ係数を設定する設定部である。係数設定部305は、記憶装置304からフィルタ係数を読み出し、各フィルタ処理部に設定する。
 出力データ選択部402は、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理された出力信号(出力データ)のうち、いずれを左スピーカ201および右スピーカ202から出力するかを選択する選択部である。出力データ選択部402は、後述するように、複数のゲイン調整部と、加算部421および加算部422とを有している。本実施の形態において、加算部421は第1の加算部、加算部422は第2の加算部である。
 出力データ選択部402は、選択した出力データを出力部405に出力する。なお、出力データ選択部402の構成および動作については、後に詳述する。
 制御部401は、左スピーカ201および右スピーカ202から出力される出力データを、出力データ選択部402に選択させる制御を行う制御部である。制御部401は、複数のゲイン調整部のそれぞれに設定されるゲインの調整を行う。具体的には、制御部401は、複数のゲイン調整部のそれぞれに設定されるゲインを切り替え、出力データへ乗算する制御を行う。制御部401は、出力データを切り替える所定の時間に基づいて出力データの切り替えが行われるように、出力データ選択部402の制御を行う。
 タイマー403は、出力データ選択部402で選択される出力データを切り替える時間があらかじめ設定されているタイマーである。カウンタ404は、経過時間をカウントするカウンタである。本実施の形態において、タイマー403およびカウンタ404は、出力データ選択部402が出力データを切り替える時間を監視する計時部である。カウンタ404は、タイマー403に設定された時間が経過した場合に、制御部401に当該時間の経過を通知する。なお、タイマー403およびカウンタ404は、制御部401の内部に設けられてもよいし、制御部401の外部に外付けされていてもよい。
 [1-3.信号処理装置の動作]
 次に、信号処理装置1の動作について説明する。
 音響信号Sは、入力部301から入力され、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理される。その際、係数設定部305によって、記憶装置304に格納された係数テーブルから第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部のフィルタ係数が読み出され、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に設定される。
 第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部は、それぞれ式(1)によって伝達関数が設計されるが、異なる条件下において設計される。第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部によって音像制御処理された出力信号すなわち出力データは、出力データ選択部402に入力される。
 出力データ選択部402は、制御部401からの制御によって、第1のフィルタ処理部302a~第nのフィルタ処理部302nのうちのどのフィルタ処理部によって音像制御処理された出力データを左スピーカ201および右スピーカ202から出力するかを選択する。そして、選択された出力データを出力部405へ出力する。出力部405に出力された出力データは、音響信号として左スピーカ201および右スピーカ202から出力される。
 なお、本開示においては、「出力データを選択する」ことを「出力データを切り替える」ともいう。「出力データを選択する」または「出力データを切り替える」とは、具体的には、後述するように、出力データ選択部402に配置されたゲイン調整部412a~412nのゲインを切り替え、ゲイン調整部412a~412nにおいて、第1のフィルタ処理部302a~第nのフィルタ処理部302nで音像制御処理された音響信号にゲインを乗算することをいう。
 ここで、図2は、本実施の形態における第1のフィルタ処理部302a~第nのフィルタ処理部302nの設計時の、受聴位置の一例を示す図である。図2では、フィルタ係数の設計条件の一例として、受聴位置を変化させてフィルタ係数を設計した例を示している。図2では、受聴者100を左耳側からみた場合の、受聴者100と複数の受聴位置の例を示している。受聴位置1001、1002、1003は、受聴者100の左耳が位置するであろうと想定される想定位置を示している。フィルタ係数は、受聴者100が受聴するであろう位置を複数想定して設計されている。つまり、フィルタ係数を生成するための受聴条件には、少なくとも受聴者が移動する可能性のある受聴位置の情報が含まれている。図2に示す複数の受聴位置の間隔は、例えば5cmである。
 フィルタ係数は、上述したように、係数テーブルとして図1の記憶装置304に格納されている。図1に示した第1のフィルタ処理部302a~第nのフィルタ処理部302nには、このようにして設計されたフィルタ係数が係数設定部305によってそれぞれ設定される。
 図3は、本実施の形態における出力データ選択部402の構成を示すブロック図である。出力データ選択部402は、複数のゲイン調整部と、加算部421および加算部422とを有している。複数のゲイン調整部は、例えば、複数のフィルタ処理部と同数設けられており、各フィルタ処理部に対してそれぞれ1つのゲイン調整部が対応する構成とされていてもよい。
 本実施の形態では、出力データ選択部402は、複数のゲイン調整部として、ゲイン調整部412a、412b、・・・、412nを有している。ゲイン調整部412a、412b、・・・、412nは、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nに対応している。なお、以下において、ゲイン調整部412a、412b、・・・、412nをまとめてゲイン調整部412a~412nと表すこともある。
 出力データ選択部402において、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理された音響信号は、ゲイン調整部412a~412nの各ゲイン調整部において、ゲインが乗算される。より詳細には、左スピーカ201から出力される音響信号および右スピーカ202から出力される音響信号ごとにゲインが乗算される。また、左スピーカ201から出力される音響信号と右スピーカ202から出力される音響信号とには、同じゲインが乗算される。
 その際、制御部401は、タイマー403およびカウンタ404により、ゲイン調整部412a~412nのゲインの切り替えタイミングを受け取る。そして、制御部401は、当該タイミングで、出力データ選択部402のゲイン調整部412a~412nに設定される各ゲインg1、g2、・・・、gnの値を変更する。ゲイン調整部412a~412nの各ゲイン調整部では、フィルタ処理部により処理された出力データにゲインが乗算される。このようにして、出力データ選択部402において、左スピーカ201および右スピーカ202から出力される出力データが選択される。
 さらに、ゲイン調整部412a~412nの各ゲイン調整部においてゲインが乗算された出力データのうち、左スピーカ201から出力される出力データは、加算部421において加算される。また、ゲインが乗算された出力データのうち、右スピーカ202から出力される出力データは、加算部422において加算される。加算部421および422で加算された出力データは、それぞれ左スピーカ201および右スピーカ202から音響信号として出力される。
 図4は、本実施の形態における出力データ選択部402によって得られる音響信号の一例を示す図である。図4の(a)~(c)において、横軸は時間、縦軸は出力信号の振幅レベルを示している。また、図4の(a)~(c)のそれぞれにおいて、上段は左スピーカ201用の出力データ、下段は右スピーカ202用の出力データである。
 なお、図4の(a)~(c)において破線の四角で囲んだ区間は、出力データ選択部402が選択した出力データの出力区間を示している。本実施の形態に係る信号処理装置1では、図4に示すように、時刻t(0)、t(1)、・・・、t(5)のタイミングで出力データを切り替える制御が行われている。各時刻t(0)、t(1)、・・・、t(5)の間の遷移区間は、一定時間である。
 ゲイン調整部412a、412b、・・・、412nに設定されるゲインをそれぞれg1、g2、・・・、gnとすると、ゲイン調整部412a~412nは、時刻t(0)から時刻t(1)の遷移区間においては、g1=1、g2=0、・・・、gn=0、時刻t(1)から時刻t(2)の遷移区間においては、g1=0、g2=1、・・・、gn=0、のようにゲイン調整部412a~412nのゲインg1~gnを切り替える。なお、図4の(a)~(c)に示すように、第1のフィルタ処理部302a~第nのフィルタ処理部302nのそれぞれからの出力データは、一定時間ごとに切り替わって順に選択され、出力部405に出力されてもよい。
 ここで、出力データの切り替え時間の間隔(時間差)Δtの設定値は、入力する音響信号Sの種類および長さにもよるが、例えば0.1~0.5秒程度である。音響信号Sが意味のある言葉(例えば、「危険」「障害物があります」など。)である場合には、当該言葉が少なくとも1回は聞こえる程度の継続時間としてもよい。音響信号Sが断続的な警告音などであれば、1区間の警告音の継続時間に合わせて短くしてもよい。
 また、図5は、実施の形態1における出力データ選択部402のゲイン調整部412a~412nのゲイン設定の一例を示す図である。図6は、図5に示したゲイン調整部412a~412nのゲインのうちの2つを重ねて表示した図である。上記の図3および図4では、切り替えタイミングで第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部の出力が切り替わる例を示したが、図5および図6に示すようにゲイン調整部412a~412nのうち、出力時間が連続する2つのフィルタ処理部に設定されるゲインをクロスフェードさせるようにすることで、切り替えタイミングに発生するノイズを抑えることが可能となる。
 ゲイン切り替え時刻である時刻t(1)から時刻t(1)’までの遷移区間におけるゲインの変化ついて、図6を用いて説明する。図6に示すように、時刻t(1)からゲインg1は徐々に値が小さくなり、時刻t(1)’で0になる。また、ゲインg2は、時刻t(1)までは0であるが、時刻t(1)から徐々に大きくなり、時刻t(1)’で1となる。その際、ゲインg1およびg2は、g1+g2=1となるようにそれぞれ変化する。
 なお、本実施の形態では、時刻t(1)から時刻t(1)’の遷移区間にゲインg1およびg2が直線でクロスフェードする例を示したが、ゲインg1およびg2は、サイン二乗またはコサイン二乗などの曲線でクロスフェードしてもよい。
 また、図6に示した遷移区間(例えば時刻t(1)から時刻t(1)’)については、一般的には時間差Δtより小さい値を設定するがそれに限定されない。
 [1-4.信号処理装置における信号処理手順]
 次に、信号処理装置1における信号処理の手順を説明する。図7は、本実施の形態における信号処理装置1の動作を示すフローチャートである。
 まず、起動時などの初期設定時に、係数設定部305により記憶装置304からフィルタ係数が読み出される(ステップS10)。そして、読み出されたフィルタ係数は、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に設定される(係数設定処理工程)(ステップS11)。
 その後、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に、音響信号Sの入力が開始される(ステップS12)。入力された音響信号Sは、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理される(フィルタ処理工程)。
 その後、制御部401から出力データ選択部402に制御情報が入力され、前記出力信号を選択させる制御が行われる(制御処理工程)(ステップS13)。続けて、出力データ選択部402において、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部において音像制御処理された音響信号が、出力データとして順次選択される(出力データ選択処理工程)(ステップS14)。そして、選択された出力データは、出力データ選択部402から出力部405へ出力される。出力部405へ出力された出力データは、選択された左スピーカ201または右スピーカ202から音響信号として出力される(ステップS15)。
 さらに、カウンタ404によって、出力データが出力されている間の時間をカウントすることにより、タイマー403に設定されたタイマー403に設定された出力データ選択切り替え時間が経過したか否かが検知される(計時処理工程)(ステップS16)。
 タイマー403に設定された出力データ選択切り替え時間を経過した場合(ステップS16においてyes)、出力データの切り替えが行われるように、制御部401が出力データ選択部402の制御を行い、制御部401から制御情報が入力されるステップS13、出力データ選択部402にて出力データが選択されるステップS14、フィルタ処理済みの音響信号が出力されるステップS15が繰り返し行われる。なお、信号処理装置1は、タイマー403に設定された出力データ選択切り替え時間が経過した場合、処理を終了してもよいし、処理を終了せずにステップS10~ステップS15の処理を再度繰り返してもよい。
 また、タイマー403に設定された出力データ選択切り替え時間が経過していない場合には(ステップS16においてno)、選択された出力データの出力が継続される(ステップS15)。
 これにより、図2に示した複数の受聴位置に順次音像が定位される。つまり、複数の受聴位置に順に音像が移動することとなる。したがって、受聴者100は、複数の受聴位置のいずれかにおいて、いずれかのタイミングで、音響信号を知覚することができる。
 [1-5.効果等]
 以上のような構成の信号処理装置1によると、図7に示したフローチャートの動作により音響信号Sが処理されることで、受聴者100は、いずれかのタイミングで、左スピーカ201および右スピーカ202から出力された受聴位置に合った音響信号を受聴することができる。これにより、信号処理装置1によって、受聴者100に所望の音像制御効果を与えることができる。
 (実施の形態2)
 [2-1.信号処理装置の構成及び動作]
 次に、実施の形態2にかかる信号処理システムおよび信号処理装置2について説明する。本実施の形態にかかる信号処理装置2は、実施の形態1にかかる信号処理装置1と比較して、フィルタ係数について使用する範囲を設定する点が異なっている。
 図8は、本実施の形態における信号処理システムの構成の一例を示すブロック図である。図8に示すように、本実施の形態に係る信号処理システムは、信号処理装置2と、左スピーカ201、右スピーカ202とを備えている。なお、左スピーカ201および右スピーカ202の構成は、実施の形態1に示した左スピーカ201および右スピーカ202と同様であるため、説明を省略する。
 信号処理装置2は、図8に示すように、図1に示した信号処理装置1の構成と比較して、補助情報入力部501、補助情報分析部502および係数範囲選定部503をさらに備えている。
 補助情報入力部501は、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に設定されるフィルタ係数の範囲を選定するための補助情報が入力される入力部である。補助情報は、係数設定部305により第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に設定されるフィルタ係数の範囲を選定するための、受聴者100の受聴位置に関する補助的な情報である。補助情報は、例えば、受聴者100の両耳位置の情報を含む情報であってもよいし、受聴者100の着座位置の情報を含む情報であってもよい。また、補助情報は、受聴者100が着座するシート位置の情報を含むものであってもよい。
 例えば、車載機器向けに本実施の形態にかかる信号処理装置2を適用した場合、補助情報として、受聴者100のシート位置情報を含むCAN(Controller Area Network)情報、ドライブレコーダなどに設置されている車室内向けカメラから得られる画像情報などを用いてもよい。
 補助情報分析部502は、入力された補助情報を分析し、補助情報の中から受聴者100の受聴位置を検出するのに有用な情報を抽出する分析部である。例えば、入力された補助情報がCAN情報であれば、補助情報分析部502は、入力されたCAN情報を分析し、入力されたCAN情報の中からシート位置情報を得る。また、入力された補助情報がドライブレコーダからの画像情報であれば、補助情報分析部502は、画像認識技術などの技術を用いて画像情報を分析してドライバの顔の位置を認識し、ドライバの受聴位置がどこであるかを抽出する。
 係数範囲選定部503は、補助情報分析部502で分析された結果を基に、記憶装置304に格納されているフィルタ係数のうちのどの係数を使用するか、使用するフィルタ係数の範囲(係数範囲)を選定する。係数範囲選定部503は、選定した係数範囲のフィルタ係数を、係数設定部305に入力する。
 図9は、本実施の形態における第1のフィルタ処理部302a~第nのフィルタ処理部302nの設計時の受聴位置と、受聴位置のグループの一例を示す図である。より詳細には、図9は、係数範囲選定部503で設定するフィルタ係数の使用範囲の設定例を示している。図9に示す受聴位置は、図2に示した受聴位置と同様に、受聴者100の左耳側からみた場合の受聴者100と第1のフィルタ処理部302a~第nのフィルタ処理部302nの設計時に想定した受聴位置の例を示している。
 信号処理装置2において、記憶装置304には、図9に示す複数の受聴位置として示した、複数の受聴条件で設計された複数のフィルタ係数が格納されている。記憶装置304に格納されたそれぞれのフィルタ係数は、受聴位置によってグループ分けされている。例えば、補助情報分析部502によって得られた補助情報の分析結果がAの位置であった場合、係数範囲選定部503は、係数範囲として、Aが属するグループである第1グループ1101に含まれる複数の受聴位置のフィルタ係数を用いることを係数設定部305に入力する。
 なお、第1グループ1101または第2グループ1102など、係数範囲を設定するためのグループは、物理的に近傍な複数の受聴位置で設計されたフィルタ係数、または、頭の大きさなどを変えて設計されたフィルタ係数であってもよい。また、係数範囲を設定するためのグループは、複数の受聴条件を組み合わせて設計されていてもよい。例えば、受聴位置については第1グループ、頭の大きさについては第aグループなど、条件ごとにグループを設計してもよい。
 係数範囲選定部503の出力結果を受け、係数設定部305では、記憶装置304から該当するグループの係数を読み出し、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に設定する。例えば図9に示したグループの例では、第1グループ1101に含まれる9つの条件(受聴位置)で設定された係数を、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に設定する。
 第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部では、入力された音響信号Sを音像制御処理し、出力データ選択部402に入力する。出力データ選択部402におけるゲイン調整部412a~412nの動作(ゲインの設定)については、図5および図6に示した通りである。
 [2-2.信号処理装置における信号処理手順]
 ここで、信号処理装置2における信号処理の手順を説明する。図10は、本実施の形態における信号処理装置2の動作を示すフローチャートである。
 まず、信号処理装置2は、上述したように補助情報入力部501により補助情報を取得し(補助情報取得工程)(ステップS20)、その後、補助情報分析部502により入力された補助情報を分析し、補助情報の中から受聴者100の受聴位置を検出するのに有用な情報を抽出する(ステップS21)。続けて、係数範囲選定部503により記憶装置304に格納されているフィルタ係数のうちのどの係数を使用するか、使用する係数範囲を選定する(係数範囲選定工程)(ステップS22)。
 さらに、係数設定部305は、係数範囲選定部503において選定された係数範囲を基に、記憶装置304からフィルタ係数を読み出す(ステップS23)。続けて、係数設定部305は、第1のフィルタ処理部302a、第2のフィルタ処理部302b、・・・、第nのフィルタ処理部302nの各フィルタ処理部にフィルタ係数を設定する(ステップS24)。
 その後、入力部301に音響信号Sの入力が開始され(ステップS25)。入力された音響信号Sは、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理される。さらに、制御部401から出力データ選択部402に制御情報が入力される(ステップS26)。
 続けて、制御部401から入力された制御情報に基づいて、出力データ選択部402において、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部で音像制御処理された音響信号が出力データとして順次選択される(ステップS27)。そして、選択された出力データは、出力データ選択部402から出力部405に出力される。出力部405に出力された出力データは、選択された出力データに基づいて左スピーカ201または右スピーカ202から音響信号として出力される(ステップS28)。
 さらに、図7に示した信号処理装置1と同様、カウンタ404によって時間をカウントすることにより、タイマー403に設定された所定の出力データ選択切り替え時間が経過したか否かが検知される(ステップS29)。
 タイマー403に設定された出力データ選択切り替え時間が経過した場合(ステップS29においてyes)、出力データの切り替えが行われるように、制御部401が出力データ選択部402の制御を行い、制御部401から制御情報が入力されるステップS26、出力データ選択部402において出力データが選択されるステップS27、フィルタ処理済みの音響信号が出力されるステップS28が繰り返し行われる。タイマー403に設定された出力データ選択切り替え時間が経過していない場合には(ステップS29においてno)、選択された出力データの出力が継続される(ステップS28)。
 さらに、補助情報分析部502において補助情報の変化が検知されると(ステップS30においてyes)、補助情報分析部502は再び補助情報を分析し(ステップS21)、ステップS22~ステップS30の動作を繰り返す。補助情報分析部502において補助情報の変化が検知されない場合には(ステップS30においてno)、信号処理装置2は、処理を終了する。なお、信号処理装置2は、補助情報分析部502において補助情報の変化が検知されない場合、処理を終了してもよいし、処理を終了せずにステップS20~ステップS30の処理を再度繰り返してもよい。
 これにより、図9に示した第1グループ1101内の複数の受聴位置に順次音像が定位される。つまり、第1グループ1101において、複数の受聴位置に順に音像が移動することとなる。したがって、受聴者100は、複数の受聴位置のいずれかにおいて、いずれかのタイミングで、音響信号を知覚することができる。
 [2-3.効果等]
 以上のような構成の信号処理装置2において、図10に示したフローチャートの動作により音響信号Sが処理されることで、信号処理装置2は、補助情報入力部501に入力された補助情報を基に、記憶装置304に格納されたフィルタ係数のなかから抽出されたグループ内のフィルタ係数を選択して使用することができる。これにより、信号処理装置2では、音像定位制御の効果が得られにくいフィルタ係数の使用を避けることができる。これにより、信号処理装置2によって、受聴者100に所望の音像制御効果を与えることができる。
 (実施の形態3)
 [3-1.信号処理装置の構成及び動作]
 次に、実施の形態3にかかる信号処理システムおよび信号処理装置3について説明する。本実施の形態にかかる信号処理装置3は、実施の形態1にかかる信号処理装置1と比較して、左スピーカ201および右スピーカ202から出力される音響信号の切り替えタイミングが、入力された音響信号Sのパワーに応じて変更される点が異なっている。
 図11は、本実施の形態における信号処理システムの構成の一例を示すブロック図である。図11に示すように、本実施の形態に係る信号処理システムは、信号処理装置3と、左スピーカ201、右スピーカ202とを備えている。なお、左スピーカ201および右スピーカ202の構成は、実施の形態1に示した左スピーカ201および右スピーカ202と同様であるため、説明を省略する。
 信号処理装置3は、図11に示すように、図1に示した信号処理装置1の構成と比較して、音響信号分析部601をさらに備えている。
 音響信号分析部601は、入力された音響信号Sのパワーを分析する分析部である。音響信号分析部601は、分析結果を制御部401に入力する。制御部401では、音響信号分析部601で分析された音響信号Sのパワーに基づいて、出力データ選択部402で選択される出力データの切り替えタイミングが設定される。
 ここで、音響信号Sのパワーとは、例えば、音響信号Sの振幅をデシベルで示したものである。つまり、音響信号Sの振幅をZとすると、20log10|Z|[dB]と表すことができるパラメータである。なお、音響信号Sのパワーは、振幅の2乗の値を用いて計算したものであってもよい。この場合、サンプリングごとの瞬時的な2乗の値を用いたものであってもよいし、一定期間の2乗和を用いたものであってもよい。
 図12は、本実施の形態における音響信号分析部601の構成を示すブロック図である。図12に示すように、音響信号分析部601は、パワー検出部611と、判定部612とを有している。
 パワー検出部611は、音響信号Sのパワーを検出する検出部である。判定部612は、音響信号Sのパワーが閾値以上であるか否かを判定する判定部である。
 入力部301から音響信号分析部601に入力された音響信号Sは、音響信号分析部601のパワー検出部611において音響信号Sのパワーが検出される。その検出結果を基に、判定部612は、パワー検出部611で検出されたパワーがある閾値を超えているか否かの判定を行い、判定結果を制御部401に出力する。
 ここで、ある閾値とは、例えば、音響信号Sが聴感上有効な音響信号であると認識することができる最低限のパワーの値である。例えば、ファンの音などの環境音は聴感上有効な音響信号ではなく、暗騒音である。音響信号のパワーの閾値は、例えば暗騒音の音響信号のレベルから+6dBのレベルなど、聴感上有効な信号が入力されたことを検出できるレベルとしてもよい。
 判定部612から音響信号Sのパワーの判定結果を出力された制御部401は、音響信号分析部601における音響信号Sのパワーが閾値を超えている場合、出力データ選択部402において出力データの選択動作を行う。この出力データの選択動作は、音響信号Sのパワーが閾値を超えている場合に行われるので、実施の形態1に示した信号処理装置1の選択動作と比べて一定間隔で行われるとは限らない。つまり、ゲイン調整部412a~412nのゲインの切り替えタイミングは、一定の時間間隔で行われず、入力された音響信号Sのパワーの大きさに応じて行われる。
 図13は、本実施の形態における音響信号分析部601を用いたときの、出力データ選択部402によって得られる音響信号の一例を示す図である。図13の(a)~(c)において、横軸は時間、縦軸は出力信号の振幅レベルを示している。また、図13の(a)~(c)のそれぞれにおいて、上段は左スピーカ201用の出力データ、下段は右スピーカ202用の出力データである。
 図13の(a)~(c)では、再生音の切り替えタイミングの一例が示されている。図13の(a)~(c)において破線の四角で囲んだ区間は、出力データ選択部402が選択した出力データの出力区間を示している。また、図13に示す縦の矢印は、制御部401で再生音切り替え動作を行うタイミング(時刻)を示している。
 本実施の形態に係る信号処理装置3では、図13の(a)~(c)に示すように、時刻t(10)、t(11)、・・・、t(15)のタイミングで出力データを切り替える制御が行われる。各時刻t(10)、t(11)、・・・、t(15)の間の遷移区間は一定時間ではなく、制御部401により制御される。制御部401は、音響信号分析部601で生成された制御情報により、出力データを切り替えるタイミングを制御する。
 詳細には、音響信号分析部601は、入力された音響信号Sのパワーが閾値未満から閾値以上に変化し、閾値を超えたか否かを判定し、判定結果に基づいて、制御部401が出力データ選択部402の出力データの選択タイミングを制御するための制御情報を生成する。例えば、音響信号分析部601は、入力された音響信号Sのパワーが閾値未満から閾値以上に変化した場合には、出力データ選択部402のゲイン調整部412a~412nのゲインを切り替え、入力された音響信号Sのパワーが閾値を超えない場合には、出力データ選択部402のゲイン調整部412a~412nのゲインを切り替えないとする制御情報を生成する。
 当該制御情報を用いて制御部401によって出力データ選択部402を制御することにより、音響信号Sのパワーが閾値を超えない区間では第1のフィルタ処理部302a~第nの各フィルタ処理部の出力の切り替えは行われなくなり、音響信号Sのパワーが聴感上有効な大きさのパワーである区間において第1のフィルタ処理部302a~第nの各フィルタ処理部の出力の切り替えを行うことができる。
 なお、入力された音響信号Sによっては、入力開始直後に音響信号Sのパワーが閾値未満から閾値以上となり、そのまま閾値以上のままであるものもある。そこで、出力データの切り替えが行われてからの経過時間をカウンタ404によりカウントし、音響信号Sのパワーが閾値以上となる時間がタイマー403にあらかじめ設定された時間以上続いた場合、制御部401は第1のフィルタ処理部302a~第nフィルタ処理部302nの出力を切り替える、という制御を行っても良い。
 なお、音響信号Sのパワーが閾値を超えない場合があることを考慮すると、音響信号分析部601は、切り替えタイミングを設定するための音響信号Sの判定条件の例として、音響信号Sのパワーが閾値以上、かつ、当該フィルタ処理部が選択されている時間がΔt2を超える、という判定条件を用いてもよい。なお、Δt2は、音響信号Sが警告音であることを認識できる程度の時間、例えば0.1から0.5秒の間で設定してよい。なお、Δt2は、これに限らず、音響信号の種類等に応じて変更してもよい。
 [3-2.信号処理装置における信号処理手順]
 ここで、信号処理装置3における信号処理の手順を説明する。図14は、本実施の形態における信号処理装置3の動作を示すフローチャートである。
 起動時などの初期設定時に、係数設定部305により記憶装置304からフィルタ係数が読み出される(ステップS40)。そして、読み出されたフィルタ係数は、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に設定される(ステップS41)。
 その後、第1のフィルタ処理部302a~第nのフィルタ処理部302nの各フィルタ処理部に、音響信号Sの入力が開始される(ステップS42)。入力された音響信号Sは、第1のフィルタ処理部302a~第nのフィルタ処理部302n各フィルタ処理部で音像制御処理される。
 さらに、音響信号Sは、音響信号分析部601において、音響信号Sのパワーがあらかじめ設定された閾値より大きいか小さいか分析される(パワー検出工程)(ステップS43)。そして、音響信号分析部601で分析された結果を基に、制御部401は、出力データ選択部402が出力データを切り替える制御を行うための制御情報を生成する(ステップS44)。制御部401で生成された制御情報は、制御部401から出力データ選択部402に入力される(ステップS45)。
 続けて、出力データ選択部402において、第1のフィルタ処理部302a~第nのフィルタ処理部302n各フィルタ処理部で音像制御処理された音響信号が、出力データとして順次選択される(ステップS46)。そして、選択された出力データが、出力データ選択部402から出力部405へ出力される。出力部405へ出力された出力データは、選択された出力データに基づいて左スピーカ201または右スピーカ202から音響信号として出力される(ステップS47)。
 さらに、パワー検出部611において、音響信号Sのパワーが検出され、その検出結果を基に判定部612において、閾値未満から閾値以上に変化したかどうかが検出される(ステップS48)。音響信号Sのパワーが閾値未満から閾値以上に変化した場合(ステップS48においてyes)、出力データの切り替えが行われるように、制御部401は制御情報を生成する(ステップS44)。音響信号Sのパワーが閾値未満から閾値以上に変化していない場合(ステップS48においてno)、カウンタ404によって出力データが出力されている間の時間をカウントすることにより、タイマー403に設定された出力データ選択切り替え時間が経過したか否かが検知される(ステップS49)。
 タイマー403に設定された出力データ選択切り替え時間が経過した場合(ステップS49においてyes)、出力データの切り替えが行われるように、制御部401が出力データ選択部402の制御を行い、音響信号Sのパワーを分析するステップS43、制御部401において制御信号を生成するステップS44、制御部401から制御情報が入力されるステップS45、出力データ選択部402において出力データが選択されるステップS46、フィルタ処理済みの音響信号が出力されるステップS47が行われる。タイマー403に設定された出力データ選択切り替え時間が経過していない場合には(ステップS49においてno)、選択された出力データの出力が継続される(ステップS47)。なお、信号処理装置3は、タイマー403に設定された出力データ選択切り替え時間が経過していない場合、処理を終了してもよいし、処理を終了せずにステップS40~ステップS49の処理を再度繰り返してもよい。
 これにより、信号処理装置3では、入力された音響信号Sのパワーが閾値未満から閾値以上に変化した場合には出力データを切り替え、音響信号Sのパワーが閾値未満から閾値以上に変化していない場合には、出力データを切り替えずに維持する制御が行われる。また、音響信号Sのパワーが閾値未満から閾値以上に変化していない時間が長い場合には、出力データ選択切り替え時間が経過したときに出力データを切り替える制御が行われる。したがって、受聴者100は、複数の受聴位置のいずれかにおいて、いずれかのタイミングで、音響信号を知覚することができる。
 [3-3.効果等]
 以上のような構成の信号処理装置3において、図14に示したフローチャートの動作により音響信号Sが処理されることで、信号処理装置3は、音響信号分析部601によって、入力された音響信号Sを分析して出力データの切り替えタイミングを制御することができる。これにより、信号処理装置3は、聴感上有効な音響信号が発生している区間、または、聴感上有効な音響信号が発生していない場合には出力データ選択切り替え時間が経過したときに、出力データを切り替え、受聴者100に音像制御効果を与えて音響信号を知覚させることができる。
 (その他の実施の形態)
 以上、本開示の態様に係る信号処理装置について、実施の形態等に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。例えば、本開示において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
 例えば、上述した実施の形態では、フィルタ処理部はFIRフィルタ、IIRフィルタ、FIRフィルタとIIRフィルタを組み合わせたものなどで実現してもよい。また、フィルタ処理部の設計方法として、周波数領域で設計する方法を用いて説明したが、これに限定されない。時間領域において最小二乗的に求める方法でも、更には固定のフィルタでなく、適応フィルタで実現してもよい。
 また、上述した実施の形態では、フィルタ処理部を3つ以上備えた信号処理装置について説明したが、これに限らない。例えば、フィルタ処理部を1つのみ持ち、適宜係数設定部によりフィルタ係数を切り替えて使用してもよい。ただし、IIRフィルタを含む形式で実現した場合には、フィルタ係数を切り替えることで発振が起こる可能性もあるため、少なくとも2つ以上のフィルタ処理部を用いて切り替えて使用するのが望ましい。 
 また、上述した実施の形態では、ゲイン調整部を3つ以上備えた出力データ選択部について説明したが、これに限らない。例えば、ゲイン調整部を1つのみ持ち、適宜制御部によってゲインを切り替えて使用してもよい。
 また、実施の形態1にかかる図5に、出力データ選択部の動作として各フィルタ処理部の出力を切り替えて出力する例を、また、図5および図6にクロスフェードさせて滑らかに切り替える例を示したが、これは実施の形態2および3にも適用できるのは明らかである。
 また、上述した実施の形態において説明した左スピーカ201および右スピーカ202は、入力信号の全周波数帯域を再生することを意図したスピーカとしたがこの構成に限らない。左スピーカ201および右スピーカ202は、例えば、ツイータ、スコーカ、ウーハなど、再生する信号の周波数ごとに異なるユニットから構成されるマルチウェイのスピーカでもよい。その場合、それぞれのスピーカがユニットごとに別筐体で構成され、離れた位置に配置されていてもよい。また、スピーカは、LFE(Low Frequency Effect)信号を再生することができるサブウーハなどを含んでもよい。
 また、左スピーカ201および右スピーカ202は、信号処理装置に含まれる構成としてもよい。
 また、上述した実施の形態に記載の処理に加え、周波数特性を調整するイコライザまたはフィルタ、出力振幅を調整するゲインまたはAGC(Auto Gain Controller)のほか、ディレイ、リバーブまたはエコーなどのエフェクト処理を行う構成を、フィルタ処理部の前段もしくは後段に設けてもよい。その際、左右のスピーカ出力に対して同等の特性が乗算されることが望ましい。
 以上、本開示にかかる信号処理装置について実施の形態に基づいて説明したが、本開示はこの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
 なお、本開示において、信号処理装置における各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU、またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、集積回路であるLSI、専用回路、汎用プロセッサ、FPGA、LSI内部の回路セルの接続や設定を再構成可能なリコンフィグアブル・プロセッサで実現してもよい。
 なお、本開示において、簡略化のため、ディジタル信号をアナログに変換するD/A変換器、スピーカから出力する際に信号を増幅するアンプ部などの記載は省略したが、これらをソフトウェアまたはハードウェアで実現し、スピーカから出力しても、本開示の効果は変わらないことはいうまでもない。
 本開示にかかる信号処理装置は、警告音を発生する音響機器、車載用または室内用の音響機器等において信号を処理する信号処理装置に応用することができる。
 1、2、3 信号処理装置
 10 目標系
 20 再生系
 100、101 受聴者
 201 左スピーカ(第1のスピーカ)
 202 右スピーカ(第2のスピーカ)
 203 目標スピーカ
 301 入力部
 302a~302n 第1~第nのフィルタ処理部(フィルタ処理部)
 304 記憶装置
 305 係数設定部
 350 フィルタ処理部
 401 制御部
 402 出力データ選択部
 403 タイマー(計時部)
 404 カウンタ(計時部)
 405 出力部
 412a~412n ゲイン調整部
 421 加算部(第1の加算部)
 422 加算部(第2の加算部)
 501 補助情報入力部
 502 補助情報分析部
 503 係数範囲選定部
 601 音響信号分析部
 611 パワー検出部
 612 判定部
 1001、1002、1003 受聴位置
 1101 第1グループ
 1102 第2グループ

Claims (12)

  1.  音像定位の制御を行う信号処理装置であって、
     入力された音響信号に対して音像定位処理を行い、出力信号を生成する少なくとも1つのフィルタ処理部と、
     前記フィルタ処理部のそれぞれで使用される複数のフィルタ係数を前記フィルタ処理部に設定する係数設定部と、
     前記フィルタ処理部で音像定位処理された複数の出力信号から、スピーカに出力される前記出力信号を選択する出力データ選択部と、
     前記出力信号を切り替える時間を監視する計時部と、
     前記出力データ選択部に、前記出力信号を切り替える時間に応じて前記出力信号を選択させる制御を行う制御部とを備え、
     前記複数のフィルタ係数は、複数の受聴条件から生成されたフィルタ係数を含む
     信号処理装置。
  2.  前記受聴条件は、少なくとも受聴者が移動する可能性のある受聴位置の情報を含む
     請求項1に記載の信号処理装置。
  3.  前記出力データ選択部は、音像定位処理された前記複数の出力信号のそれぞれのゲインを調整することにより、前記スピーカに出力される前記出力信号を選択する少なくとも1つのゲイン調整部を有する
     請求項1または2に記載の信号処理装置。
  4.  前記スピーカは、異なる位置に配置される第1のスピーカおよび第2のスピーカとを有し、
     前記出力データ選択部は、
     ゲインが調整された前記複数の出力信号のうち、前記第1のスピーカから出力される前記出力信号を加算する第1の加算部と、
     ゲインが調整された前記複数の出力信号のうち、前記第2のスピーカから出力される前記出力信号を加算する第2の加算部とを有する
     請求項3に記載の信号処理装置。
  5.  前記信号処理装置は、さらに、
     前記係数設定部により設定される前記フィルタ係数の範囲を選定するための、受聴者の両耳位置または着座位置に関する補助情報を入力する補助情報入力部と、
     入力された前記補助情報を分析する補助情報分析部と、
     前記補助情報分析部で分析された結果を基に、前記係数設定部により設定される前記フィルタ係数の範囲を選定する係数範囲選定部とを備える
     請求項1~4のいずれか1項に記載の信号処理装置。
  6.  前記補助情報入力部は、前記フィルタ係数として受聴者が着座するシート位置の情報を入力する
     請求項5に記載の信号処理装置。
  7.  前記補助情報入力部は、前記フィルタ係数として受聴者の両耳位置の情報を含む画像情報を入力する
     請求項5に記載の信号処理装置。
  8.  前記信号処理装置は、さらに、
     前記音響信号を分析して出力データ選択部に切り替えタイミングを入力する音響信号分析部を備える
     請求項1~7のいずれか1項に記載の信号処理装置。
  9.  前記音響信号分析部は、前記音響信号のパワーを検出するパワー検出部と、
     前記音響信号のパワーが閾値以上であるか否かを判定する判定部とを有する
     請求項8に記載の信号処理装置。
  10.  音像定位の制御を行う信号処理方法であって、
     入力された音響信号に対して、少なくとも1つのフィルタ処理部により音像定位処理を行い、出力信号を生成するフィルタ処理工程と、
     前記フィルタ処理部のそれぞれで使用される複数のフィルタ係数を、係数設定部により前記フィルタ処理部に設定する係数設定処理工程と、
     前記音像定位処理された複数の出力信号から、スピーカに出力される前記出力信号をデータ選択処理部により選択する出力データ選択処理工程と、
     前記出力信号を切り替える時間を計時部により監視する計時処理工程と、
     制御部により、前記出力信号を切り替える時間に応じて前記データ選択処理部に前記出力信号を選択させる制御を行う制御処理工程とを含み、
     前記複数のフィルタ係数は、複数の受聴条件から生成されたフィルタ係数を含む
     信号処理方法。
  11.  補助情報を取得する補助情報取得工程と、
     補助情報分析部により、前記補助情報を分析し、前記フィルタ係数の係数範囲を選定する係数範囲選定工程とをさらに含む
     請求項10に記載の信号処理方法。
  12.  音響信号分析部により、入力された音響信号のパワーを検出するパワー検出工程をさらに含み、
     前記制御処理工程において、前記制御部により、検出された前記音響信号のパワーに基づいて前記データ選択処理部に前記出力信号を選択させる制御を行う
     請求項10に記載の信号処理方法。
PCT/JP2017/043369 2017-12-01 2017-12-01 信号処理装置および信号処理方法 WO2019106848A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2017/043369 WO2019106848A1 (ja) 2017-12-01 2017-12-01 信号処理装置および信号処理方法
EP17933807.4A EP3720148A4 (en) 2017-12-01 2017-12-01 SIGNAL PROCESSING DEVICE, AND SIGNAL PROCESSING METHOD
CN201780097230.6A CN111406414B (zh) 2017-12-01 2017-12-01 信号处理装置以及信号处理方法
JP2019556530A JP6973501B2 (ja) 2017-12-01 2017-12-01 信号処理装置および信号処理方法
US16/884,806 US11310621B2 (en) 2017-12-01 2020-05-27 Signal processing device and signal processing method for performing sound localization processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043369 WO2019106848A1 (ja) 2017-12-01 2017-12-01 信号処理装置および信号処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/884,806 Continuation US11310621B2 (en) 2017-12-01 2020-05-27 Signal processing device and signal processing method for performing sound localization processing

Publications (1)

Publication Number Publication Date
WO2019106848A1 true WO2019106848A1 (ja) 2019-06-06

Family

ID=66664809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043369 WO2019106848A1 (ja) 2017-12-01 2017-12-01 信号処理装置および信号処理方法

Country Status (5)

Country Link
US (1) US11310621B2 (ja)
EP (1) EP3720148A4 (ja)
JP (1) JP6973501B2 (ja)
CN (1) CN111406414B (ja)
WO (1) WO2019106848A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944567B2 (ja) 1976-01-19 1984-10-30 フセソユ−ズヌイ、ナウチノ、イスレドワ−チエレスキ−、イ、コンストルクトルスキ−、インスチツ−ト、〃ツベトメタフトマチカ〃 薄板状材料の厚み測定装置
JP2001186600A (ja) * 1999-12-24 2001-07-06 Matsushita Electric Ind Co Ltd 音像定位装置
JP2008113118A (ja) * 2006-10-05 2008-05-15 Sony Corp 音響再生システムおよび音響再生方法
JP2009044263A (ja) * 2007-08-06 2009-02-26 Sony Corp 情報処理装置、情報処理方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3059191B2 (ja) * 1990-05-24 2000-07-04 ローランド株式会社 音像定位装置
EP0724378B1 (en) * 1995-01-25 2005-11-23 Victor Company Of Japan, Limited Surround signal processing apparatus
DE69637736D1 (de) * 1995-09-08 2008-12-18 Fujitsu Ltd Dreidimensionaler akustischer Prozessor mit Anwendung von linearen prädiktiven Koeffizienten
JPH09182200A (ja) * 1995-12-22 1997-07-11 Kawai Musical Instr Mfg Co Ltd 音像制御装置及び音像制御方法
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
TW410527B (en) * 1998-01-08 2000-11-01 Sanyo Electric Co Stereo sound processing device
JP2006180467A (ja) * 2004-11-24 2006-07-06 Matsushita Electric Ind Co Ltd 音像定位装置
JP2006203850A (ja) * 2004-12-24 2006-08-03 Matsushita Electric Ind Co Ltd 音像定位装置
JP2013031145A (ja) 2011-06-24 2013-02-07 Toshiba Corp 音響制御装置
JP5944567B2 (ja) 2011-06-24 2016-07-05 株式会社東芝 音響制御装置、フィルタ装置および音響制御方法
CN105379311B (zh) * 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法
KR20160020377A (ko) 2014-08-13 2016-02-23 삼성전자주식회사 음향 신호를 생성하고 재생하는 방법 및 장치
GB201604295D0 (en) * 2016-03-14 2016-04-27 Univ Southampton Sound reproduction system
US9998606B2 (en) * 2016-06-10 2018-06-12 Glen A. Norris Methods and apparatus to assist listeners in distinguishing between electronically generated binaural sound and physical environment sound
CN106303836B (zh) * 2016-11-15 2019-10-01 广东小天才科技有限公司 一种调节立体声播放的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944567B2 (ja) 1976-01-19 1984-10-30 フセソユ−ズヌイ、ナウチノ、イスレドワ−チエレスキ−、イ、コンストルクトルスキ−、インスチツ−ト、〃ツベトメタフトマチカ〃 薄板状材料の厚み測定装置
JP2001186600A (ja) * 1999-12-24 2001-07-06 Matsushita Electric Ind Co Ltd 音像定位装置
JP2008113118A (ja) * 2006-10-05 2008-05-15 Sony Corp 音響再生システムおよび音響再生方法
JP2009044263A (ja) * 2007-08-06 2009-02-26 Sony Corp 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JENS BLAUERT: "Masayuki Morimoto", TOSHIYUKI GOTO, KAJIMA PUBLISHING, article "Spatial Hearing"
See also references of EP3720148A4

Also Published As

Publication number Publication date
CN111406414B (zh) 2022-10-04
US20200288264A1 (en) 2020-09-10
EP3720148A1 (en) 2020-10-07
JPWO2019106848A1 (ja) 2020-11-19
EP3720148A4 (en) 2021-07-14
JP6973501B2 (ja) 2021-12-01
US11310621B2 (en) 2022-04-19
CN111406414A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
EP1894439B1 (en) Method of and system for determining distances between loudspeakers
KR101386360B1 (ko) 오디오 채널 보상을 갖는 다채널 오디오 시스템
US8116465B2 (en) Measuring apparatus and method, and recording medium
US10623857B2 (en) Individual delay compensation for personal sound zones
JP6479287B1 (ja) オーディオ再生のためのサブバンド空間クロストークキャンセル
US8335331B2 (en) Multichannel sound rendering via virtualization in a stereo loudspeaker system
US20160088388A1 (en) Device and method for spatially selective audio reproduction
JP6790654B2 (ja) フィルタ生成装置、フィルタ生成方法、及びプログラム
JP5118267B2 (ja) 音声信号再生装置、音声信号再生方法
JPWO2010076850A1 (ja) 音場制御装置及び音場制御方法
JP2006005902A (ja) 増幅装置及び振幅周波数特性調整方法
JP2008311718A (ja) 音像定位制御装置及び音像定位制御プログラム
US8009834B2 (en) Sound reproduction apparatus and method of enhancing low frequency component
CN108737930B (zh) 车辆导航系统中的可听提示
JP4150749B2 (ja) 立体音響再生システムおよび立体音響再生装置
CN109076302B (zh) 信号处理装置
JP2021513263A (ja) ダイナミックサウンドイコライゼーションに関する方法
JP2004279525A (ja) 音場制御システム及び音場制御方法
JP2006279864A (ja) 音響システム
WO2019106848A1 (ja) 信号処理装置および信号処理方法
JP5651813B1 (ja) 音声信号処理装置、および音声信号処理方法
JP5032463B2 (ja) 立体音響再生装置及び立体音響再生用プログラム
EP3684082B1 (en) Signal delay adjustment device, signal delay adjustment method, and signal processing device
JPWO2009008068A1 (ja) 自動音場補正装置
JP2010217268A (ja) 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933807

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019556530

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017933807

Country of ref document: EP

Effective date: 20200701