WO2017119284A1 - 信号処理装置、利得調整方法および利得調整プログラム - Google Patents

信号処理装置、利得調整方法および利得調整プログラム Download PDF

Info

Publication number
WO2017119284A1
WO2017119284A1 PCT/JP2016/087968 JP2016087968W WO2017119284A1 WO 2017119284 A1 WO2017119284 A1 WO 2017119284A1 JP 2016087968 W JP2016087968 W JP 2016087968W WO 2017119284 A1 WO2017119284 A1 WO 2017119284A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
estimated
gain
mixed
obtaining
Prior art date
Application number
PCT/JP2016/087968
Other languages
English (en)
French (fr)
Inventor
昭彦 杉山
良次 宮原
Original Assignee
日本電気株式会社
Ｎｅｃエンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Ｎｅｃエンジニアリング株式会社 filed Critical 日本電気株式会社
Priority to US16/067,850 priority Critical patent/US10825465B2/en
Priority to JP2017560090A priority patent/JPWO2017119284A1/ja
Publication of WO2017119284A1 publication Critical patent/WO2017119284A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Definitions

  • the present invention relates to a technique for amplifying or attenuating a signal.
  • Patent Document 1 describes an automatic gain adjustment apparatus that can receive only a target voice at an appropriate volume without distortion regardless of fluctuations in the voice of the speaker or fluctuations in the distance from the microphone.
  • This technology suppresses background noise contained in the input signal, then determines a threshold value that is a boundary between compression and expansion from the effective value of the residual noise of the frame determined to be noise, and smoothes the effective value of the past frame. I do.
  • the compression ratio is calculated from the smoothed effective value, and the necessary gain is obtained from the threshold value and the target average effective value.
  • the gain is automatically adjusted by applying the obtained gain to the input signal after the background noise suppression.
  • this technique obtains an output signal by applying a gain to the signal after background noise suppression, noise (components other than speech) included in the input signal is suppressed, and the output is only speech. For this reason, this technique cannot cope with a case where it is desired to keep the environmental sound in recording natural sound or a case where it is desired to suppress the environmental sound slightly.
  • the desired signal and the other signals cannot be amplified or attenuated at different ratios with respect to the signal in which the desired signal and the other signals are mixed.
  • An object of the present invention is to provide a technique for solving the above-described problems.
  • an apparatus provides: Means for inputting a mixed signal in which the first signal and the second signal are mixed to obtain an estimated first signal and an estimated second signal; Means for determining a gain adjustment mixed signal based on the estimated first signal and the estimated second signal; Is a signal processing apparatus.
  • the method according to the present invention comprises: Inputting a mixed signal in which the first signal and the second signal are mixed to obtain an estimated first signal and an estimated second signal; Obtaining a gain adjustment mixed signal based on the estimated first signal and the estimated second signal; Is a gain adjusting method.
  • a program according to the present invention provides: Inputting a mixed signal in which the first signal and the second signal are mixed to obtain an estimated first signal and an estimated second signal; Obtaining a gain adjustment mixed signal based on the estimated first signal and the estimated second signal; Is a gain adjustment program for causing a computer to execute.
  • the desired signal and the other signals can be amplified or attenuated at different ratios with respect to the signal obtained by mixing the desired signal and the other signals.
  • the “voice signal” is a direct electrical change that occurs in accordance with voice and other sounds, and is used to transmit voice and other sounds, and is not limited to voice.
  • the number of mixed signals input in some embodiments is described as four, this is merely an example, and the same description holds for any number of signals equal to or greater than two.
  • the gain adjusting apparatus 100 inputs a mixed signal in which a first signal (for example, sound) and a second signal (for example, noise) are mixed from a sensor such as a microphone 101 or an external terminal, and makes the first signal and the second signal different.
  • This device amplifies and attenuates at a rate.
  • the gain adjustment device 100 includes a separation unit 102 and a gain adjustment unit 103.
  • the separation unit 102 obtains an estimated first signal that is an estimated value of the first signal and an estimated second signal that is an estimated value of the second signal from the mixed signal.
  • the gain adjustment unit 103 performs processing so that different gains are applied to the estimated first signal and the estimated second signal input from the separation unit 102, and obtains a gain adjustment mixed signal.
  • the gain adjusting apparatus 100 can adjust the gains of the first signal and the second signal included in the mixed signal. Therefore, the desired signal and the other signals can be amplified or attenuated at different ratios with respect to the signal obtained by mixing the desired signal and the other signals.
  • a gain adjusting apparatus as a second embodiment of the present invention will be described with reference to FIG.
  • the gain adjustment device according to the present embodiment has a configuration in which the gain adjustment unit 103 included in the gain adjustment device 100 shown in FIG. 1 is replaced with the gain adjustment unit 203 of FIG.
  • the gain adjusting unit 203 includes a multiplier 231, a multiplier 232, and an adder 233.
  • the multiplier 231 multiplies the estimated first signal by the first gain to obtain a gain adjustment estimated first signal, and supplies it to the adder 233.
  • the multiplier 232 multiplies the estimated second signal and the second gain to obtain a gain adjustment estimated second signal, and supplies it to the adder 233.
  • the adder 233 adds the gain adjustment estimation first signal and the gain adjustment estimation second signal to obtain and output a gain adjustment mixed signal.
  • the first gain and the second gain may be supplied from the outside, or may be stored in advance in a memory.
  • the gain adjustment device adjusts the gain by applying different gains to the first signal and the second signal included in the mixed signal and then adding them. Mixed signals can be generated.
  • a gain adjusting apparatus as a third embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the gain adjusting unit 103 shown in FIG. 1 is replaced with a gain adjusting unit 303 in FIG.
  • the gain adjusting unit 303 includes a gain calculating unit 331 and a gain calculating unit 332 in addition to the multiplier 231, the multiplier 232, and the adder 233 in the second embodiment.
  • the multiplier 231 multiplies the estimated first signal Se and the first gain Gs to obtain a gain adjustment estimated first signal So, and supplies the gain adjusted estimated first signal So to the adder 233.
  • the multiplier 232 multiplies the estimated second signal De and the second gain Gd to obtain a gain adjustment estimated second signal Do, and supplies it to the adder 233.
  • the adder 233 adds the gain adjustment estimation first signal So and the gain adjustment estimation second signal Do to obtain and output a gain adjustment mixed signal.
  • the gain calculation unit 331 determines the first gain Gs so that the gain adjustment estimation first signal So becomes the target value St.
  • the first signal such as voice generally has higher non-stationarity than the second signal such as noise, and the gain value also has higher non-stationarity.
  • the first gain Gs is preferably obtained by sequential processing with appropriate control.
  • the gain calculation unit 331 obtains the first gain Gs by sequential calculation using the estimated first signal Se, the gain adjustment estimated first signal So, the target value St of the first signal, and the step size ⁇ .
  • the maximum value or the minimum value with respect to the upper limit value of the first gain Gs may be limited using the estimated second signal De.
  • the 2nd gain was calculated
  • the calculation of the first gain in the gain calculation unit 331 may be performed using the absolute values of the estimated first signal Se, the gain adjustment estimated first signal So, and the target value St of the first signal, and the power is calculated. May be used.
  • the gain calculation unit 331 may be used to determine the second gain Gd by the same method as the first gain Gs.
  • the first gain Gs may be obtained by the same method as the second gain Gd using the gain calculation unit 332 instead of the gain calculation unit 331.
  • a gain adjustment apparatus as a fourth embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the gain adjusting unit 103 shown in FIG. 1 is replaced with a gain adjusting unit 403 in FIG.
  • the gain adjusting unit 403 includes a multiplier 232, an adder 431, and a multiplier 432.
  • the multiplier 232 multiplies the estimated second signal and the second gain Gd to obtain a gain adjustment estimated second signal, and supplies it to the adder 431.
  • the adder 431 adds the estimated first signal and the gain adjustment estimated second signal to obtain a provisional gain adjustment mixed signal and supplies it to the multiplier 432.
  • the multiplier 432 multiplies the provisional gain adjustment mixed signal and the third gain Gm to obtain and output the gain adjustment mixed signal.
  • the second gain and the third gain may be supplied from the outside, or may be stored in advance in a memory.
  • the second embodiment shown in FIG. 2 is different from the present embodiment shown in FIG. 4 in the following points.
  • the levels of the estimated first signal and the estimated second signal are independently controlled and then added.
  • the equivalent gain for the estimated first signal is Gm
  • the equivalent gain for the estimated second signal is Gm ⁇ Gd.
  • the third gain Gm is appropriately determined with respect to the estimated first signal Se
  • the second gain Gd is appropriately determined with respect to the estimated second signal De by further determining the desired signal and the other signals.
  • the signal can be amplified or attenuated at different rates.
  • the gain adjusting apparatus sets a ratio with the first signal by applying a gain to the second signal included in the mixed signal, and further adds another gain after adding the estimated value of the first signal. By acting, a gain adjustment mixed signal can be generated.
  • a gain adjusting apparatus as a fifth embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the gain adjusting unit 103 shown in FIG. 1 is replaced with a gain adjusting unit 503 in FIG.
  • the gain adjustment unit 503 includes a multiplier 232, an adder 431, a multiplier 432, and an inverse conversion unit 531.
  • This embodiment shown in FIG. 5 is obtained by adding an inverse conversion unit 531 to the fourth embodiment shown in FIG.
  • the equivalent gain for the estimated first signal is Gm and the equivalent gain for the estimated second signal is Gm ⁇ Gd.
  • the equivalent gain for the estimated first signal is Gm
  • the estimated second signal is 1. Therefore, by appropriately controlling only the third gain Gm, a desired signal can be amplified or attenuated at an arbitrary ratio, and other signal levels can be made unchanged.
  • the gain adjustment device can appropriately amplify or attenuate the first signal without changing the level of the second signal by setting an appropriate gain for the first signal included in the mixed signal. Can do.
  • the desired signal can be amplified or attenuated at an arbitrary ratio and the other signal levels can be kept unchanged by simply controlling a single gain with respect to the signal in which the desired signal and other signals are mixed. can do.
  • a gain adjusting apparatus as a sixth embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the gain adjusting unit 103 shown in FIG. 1 is replaced with a gain adjusting unit 603 in FIG.
  • the gain adjustment unit 603 includes a multiplier 232, an adder 431, a multiplier 432, an inverse conversion unit 531, and a gain calculation unit 631.
  • the gain calculation unit 631 has the same configuration as the gain calculation unit 331 in the third embodiment, and the operation is also the same.
  • the gain calculation unit 631 may also limit the maximum value and the minimum value with respect to the upper limit value of the third gain Gm using the estimated second signal De. By limiting the upper limit value of the third gain Gm, distortion due to excessive amplification when the first signal is small and unnatural signal attenuation can be prevented.
  • the gain adjusting apparatus amplifies the first signal to match the target value without changing the level of the second signal by setting the target value for the first signal included in the mixed signal. Or it can be attenuated. In addition, since only one gain is controlled, it can be realized by a simple process. Therefore, the desired signal is amplified or attenuated in proportion to the target value only by controlling a single gain with respect to the signal in which the desired signal and other signals are mixed, and other signal levels Can be immutable.
  • a gain adjusting apparatus as a seventh embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the gain adjusting unit 103 shown in FIG. 1 is replaced with a separating unit 702 in FIG.
  • the separation unit 702 includes an enhancement unit 721 and an estimation unit 722.
  • the enhancement unit 721 receives the mixed signal, enhances the first signal, and outputs it as an estimated first signal that is an estimated value of the first signal.
  • the emphasizing unit 721 has a configuration generally called a noise suppressor. Details of the noise suppressor are disclosed in Patent Document 2, Patent Document 3, Non-Patent Document 1, Non-Patent Document 2, and the like.
  • the estimation unit 722 obtains an estimated second signal that is an estimated value of the second signal based on the mixed signal and the estimated first signal. Assuming that the mixed signal is the sum of the first signal and the second signal, and that the first signal and the second signal are uncorrelated, the power of the mixed signal is the sum of the power of the first signal and the power of the second signal. It is. Accordingly, the estimation unit 722 obtains the power of the mixed signal and the power of the estimated first signal, and subtracts the latter from the former to obtain the power of the estimated second signal. The estimation unit 722 obtains an estimated second signal by combining the phase of the mixed signal with the obtained subtraction result.
  • the processing of the estimation unit 722 may be performed in the time domain, or may be performed in the frequency domain after the signal is converted into the frequency domain using Fourier transform or the like. When processing is performed in the frequency domain, it is converted into a time domain signal after combining power and phase.
  • FIG. 8A is a block diagram illustrating a first configuration example 721 of the emphasis unit.
  • FIG. 8B is a block diagram illustrating a second configuration example 821 of the enhancement unit.
  • the first configuration example of the enhancement unit 721 includes an estimation unit 801 and a subtracter 802.
  • the estimation unit 801 receives the mixed signal, estimates the power of the second signal included therein, and supplies it to the subtracter 802 as the estimated value of the second signal. Since many methods of such noise estimation are disclosed in Non-Patent Document 3, description thereof is omitted here.
  • the subtracter 802 obtains the power of the supplied mixed signal and subtracts the power of the second signal to obtain a subtraction signal.
  • the subtractor 802 combines the power of the subtraction signal and the phase of the mixed signal and outputs the combined signal as an estimated first signal. That is, since the estimated first signal is obtained by the subtractor 802, the subtractor 802 can be regarded as an estimation unit.
  • the processing in the estimation unit 801 and the subtractor 802 may be performed on absolute values instead of power.
  • the processing of the enhancement unit 721 may be performed in the time domain, or may be performed in the frequency domain after the signal is converted into the frequency domain using Fourier transform or the like. When processing is performed in the frequency domain, it is converted into a time domain signal after combining power and phase.
  • the second configuration example 821 of the enhancement unit includes an estimation unit 811, a gain calculation unit 813, and a multiplier 814.
  • the estimation unit 811 receives the mixed signal, estimates the power of the second signal, and supplies it to the gain calculation unit 813.
  • the gain calculator 813 calculates the power of the supplied mixed signal, calculates the fourth gain using the power of the mixed signal and the power of the second signal, and transmits the fourth gain to the multiplier 814.
  • Multiplier 814 multiplies the mixed signal by the fourth gain and outputs the product as an estimated first signal. That is, since the estimated first signal is obtained by the multiplier 814, the multiplier 814 can be regarded as an estimation unit.
  • the processes in the estimation unit 811, the gain calculation unit 813, and the subtractor 814 may be performed on absolute values instead of power.
  • the processing of the enhancement unit 721 may be performed in the time domain, or may be performed in the frequency domain after the signal is converted into the frequency domain using Fourier transform or the like. When processing is performed in the frequency domain, it is converted into a time domain signal after combining power and phase.
  • the separation unit can be realized with a simple configuration, so that an inexpensive and high-performance gain adjusting device can be provided.
  • a gain adjusting apparatus according to an eighth embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the separation unit 102 shown in FIG. 1 is replaced with a separation unit 902 in FIG.
  • the separation unit 902 includes an enhancement unit 921.
  • the enhancement unit 921 receives the mixed signal, estimates the second signal, and outputs it as an estimated second signal that is an estimated value of the second signal. Further, the enhancement unit 921 receives the mixed signal, enhances the first signal, and outputs it as an estimated first signal that is an estimated value of the first signal.
  • FIG. 10A is a block diagram illustrating a first configuration example 921 of the enhancement unit
  • FIG. 10B is a block diagram illustrating a second configuration example 1021 of the enhancement unit.
  • enhancement unit 921 includes an estimation unit 1011 and a subtractor 1012.
  • the enhancement unit 921 is different from the enhancement unit 721 shown in FIG. 8A in that the estimation unit 1011 combines the estimated value of the second signal with the phase of the mixed signal and outputs the estimated second signal.
  • the enhancement unit 1021 includes an estimation unit 1022, a gain calculation unit 1023, and a multiplier 1024. Compared with the enhancement unit 821 shown in FIG. 8B, the enhancement unit 1021 combines the estimated value of the second signal with the phase of the mixed signal and outputs it as the estimated second signal that is the estimated value of the second signal. It is different in point to do.
  • the separation unit can be realized with a simpler configuration, so that an inexpensive and high-performance gain adjusting device can be provided.
  • a gain adjustment apparatus according to a ninth embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the separation unit 102 shown in FIG. 1 is replaced with a separation unit 1102 in FIG.
  • the separation unit 1102 includes an enhancement unit 1121 and an estimation unit 1122.
  • the emphasizing unit 1121 receives a plurality of mixed signals from the input terminal group 1103 including a plurality of input terminals, emphasizes the first signal based on directivity, and estimates the first signal that is an estimated value of the first signal. Output as.
  • the plurality of mixed signals are obtained by a plurality of sensors arranged at equal intervals on a straight line, and have different phases and amplitudes according to the positional relationship of each sensor. In addition, it is arranged in a circle or arc instead of a straight line, or when the sensor interval is different, by performing additional processing to convert the circle or arc to a straight line or correct the sensor interval, The acquired signal can be used.
  • the enhancement unit 1121 has a configuration generally called a beam former. Details of the beamformer are disclosed in Patent Document 4, Patent Document 5, Non-Patent Document 4, and the like.
  • the estimation unit 1122 receives a plurality of mixed signals and the estimated first signal and obtains an estimated second signal that is an estimated value of the second signal. Comparing the estimator 1122 with the estimator 722 differs in that the estimator 1122 receives a plurality of mixed signals and first integrates them into a single mixed signal.
  • any one of a plurality of mixed signals can be selected and used.
  • statistical values regarding these signals may be used.
  • Statistical values can include average values, maximum values, minimum values, median values, and the like.
  • the average value and the median value give signals in a virtual sensor that exists in the center of the plurality of sensors.
  • the maximum value gives the signal at the sensor with the shortest distance to the signal when the signal arrives from a direction other than the front.
  • the minimum value gives the signal at the sensor with the longest distance to the signal when the signal comes from a direction other than the front.
  • any of the array signal processing shown in Non-Patent Document 5 may be applied.
  • Array signal processing includes delay-sum beamformer, filter-sum beamformer, MSNR (Maximum Signal-to-Noise Ratio) beamformer, MMSE (Minimum Mean Square Error) beamformer, LCMV (Linearly Constrained Minimum Variance) beamformer, nesting (Nested) beamformers and the like are included, but not limited thereto. The value calculated in this way is defined as a single mixed signal.
  • the estimation unit 1122 receives the single mixed signal and the estimated first signal obtained by the integration, and obtains the estimated second signal that is the estimated value of the second signal by the same method as the estimation unit 722.
  • the processing of the estimation unit 1122 may be performed in the time domain, or may be performed in the frequency domain after the signal is converted into the frequency domain using Fourier transform or the like. When processing is performed in the frequency domain, it is converted into a time domain signal after combining power and phase.
  • FIG. 12 is a block diagram illustrating a configuration example of the enhancement unit 1121.
  • the enhancement unit 1121 includes a fixed beamformer 1201, a blocking matrix 1202, and a multi-input canceller 1203.
  • the fixed beamformer 1201 forms a highly sensitive beam with respect to the arrival direction of the first signal, and obtains the enhanced first signal by emphasizing the first signal. That is, the fixed beamformer 1201 functions as an enhancement unit for the first signal.
  • the enhanced first signal is supplied to a blocking matrix 1202 and a multi-input canceller 1203.
  • any of the array signal processing shown in Non-Patent Document 5 can be applied.
  • the blocking matrix 1202 receives a plurality of mixed signals and the enhanced first signal, and obtains a plurality of pseudo second signals by removing a component correlated with the enhanced first signal from each mixed signal. That is, the blocking matrix 1202 can be regarded as an estimation unit for the second signal.
  • the plurality of pseudo second signals are supplied to the multi-input canceller 1203.
  • the multi-input canceller 1203 receives the enhanced first signal and the plurality of pseudo second signals, and obtains an estimated first signal by removing components correlated with the plurality of pseudo second signals from the enhanced first signal. That is, the multi-input canceller 1203 can be regarded as an estimation unit for the first signal.
  • Non-Patent Document 6 filtering based on the phase difference shown in Non-Patent Document 6 may be applied.
  • the separation unit separates the second signal after enhancing the first signal using directivity, and thus includes a signal that particularly comes from a specific direction.
  • a high-performance gain adjusting device can be provided for mixed signals.
  • the gain adjusting apparatus has a configuration in which the separation unit 102 shown in FIG. 1 is replaced with a separation unit 1302 in FIG.
  • the separation unit 1302 includes an enhancement unit 1321.
  • the enhancement unit 1321 receives a plurality of mixed signals from the input terminal group 1103 including a plurality of input terminals, emphasizes the first signal based on directivity, and estimates the first signal that is an estimated value of the first signal. Output as.
  • the enhancement unit 1321 receives a plurality of mixed signals, estimates the second signal, and outputs the second signal as an estimated second signal that is an estimated value of the second signal.
  • FIG. 14 is a block diagram illustrating a configuration example of the emphasizing unit 1321.
  • the emphasizing unit 1321 includes an integration unit 1401 in addition to the configuration of FIG.
  • the integration unit 1401 integrates a plurality of pseudo second signals that are the output of the blocking matrix 1202 and outputs the second estimated signal as an estimated value of the second signal.
  • any one of a plurality of pseudo second signals can be selected and used.
  • statistical values regarding these signals may be used.
  • Statistical values can include average values, maximum values, minimum values, median values, and the like.
  • the average value and the median value give signals in a virtual sensor that exists in the center of the plurality of sensors.
  • the maximum value gives the signal at the sensor with the shortest distance to the signal when the signal arrives from a direction other than the front.
  • the minimum value gives the signal at the sensor with the longest distance to the signal when the signal comes from a direction other than the front.
  • any of the array signal processing shown in Non-Patent Document 5 may be applied.
  • Array signal processing includes delay sum beamformer, filter sum beamformer, MSNR (Maximum-Signal-to-Noise-Ratio) beamformer, MMSE (Minimum-Mean-Square-Error) beamformer, LCMV (Linearly-Constrained-Minimum-Variance) beamformer, nesting (Nested) beamformers and the like are included, but not limited thereto. The value calculated in this way is used as the estimated second signal.
  • the separation unit separates the first signal and the second signal using directivity, the configuration is particularly suitable for mixed signals including signals coming from a specific direction.
  • a simple and high-performance gain adjusting device can be provided.
  • a gain adjustment apparatus according to an eleventh embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the eleventh embodiment has a configuration in which the separation unit 102 shown in FIG. 1 is replaced with a separation unit 1502 in FIG.
  • the separation unit 1502 includes an enhancement unit 1521 and an estimation unit 722.
  • the enhancement unit 1521 receives the mixed signal and the reference signal correlated with the second signal, enhances the first signal, and outputs it as an estimated first signal that is an estimated value of the first signal.
  • the enhancement unit 1521 has a configuration generally called a noise canceller. Details of the noise canceller are disclosed in Patent Document 6, Patent Document 7, Non-Patent Document 7, and the like.
  • the estimation unit 722 receives the mixed signal and the estimated first signal and obtains an estimated second signal that is an estimated value of the second signal.
  • FIG. 16 is a block diagram illustrating a configuration example of the enhancement unit 1521.
  • the enhancement unit 1521 includes an adaptive filter 1601 and a subtracter 1602.
  • the adaptive filter 1601 receives the reference signal, performs a convolution operation with the filter coefficient, and outputs a pseudo second signal correlated with the second signal. That is, the adaptive filter 1601 functions as an estimation unit for the second signal.
  • the pseudo second signal is supplied to the subtracter 1602.
  • a mixed signal is also supplied to the subtracter 1602.
  • the subtracter 1602 subtracts the pseudo second signal from the mixed signal and outputs the subtraction result as the estimated first signal. That is, the subtracter 1602 functions as an estimation unit for the first signal.
  • the filter coefficient is updated so that the expected power value of the subtraction result is minimized.
  • the coefficient update algorithm the LMS (least mean square) algorithm and the normalized LMS algorithm are most frequently used. Since these algorithms are described in Patent Document 6, Patent Document 7, and Non-Patent Document 7, details thereof are omitted. Also, other coefficient update algorithms such as the LS (least squares) algorithm can be used.
  • the processing of the enhancement unit 1521 may be performed in the time domain, or may be performed in the frequency domain after the signal is converted into the frequency domain using Fourier transform or the like. When processing is performed in the frequency domain, it is converted into a time domain signal after enhancement processing.
  • a gain adjustment apparatus as a twelfth embodiment of the present invention will be described with reference to FIG.
  • the gain adjusting apparatus according to the present embodiment has a configuration in which the separation unit 102 shown in FIG. 1 is replaced with a separation unit 1702 in FIG.
  • the separation unit 1702 includes an enhancement unit 1721.
  • the enhancement unit 1721 receives the mixed signal and the reference signal correlated with the second signal, enhances the first signal, and outputs it as an estimated first signal that is an estimated value of the first signal. Further, the enhancement unit 1721 obtains an estimated second signal that is an estimated value of the second signal based on the reference signal.
  • the enhancement unit 1721 has a configuration generally called a noise canceller. Details of the noise canceller are disclosed in Patent Document 6, Patent Document 7, Non-Patent Document 7, and the like.
  • FIG. 18 is a block diagram illustrating a configuration example of the enhancement unit 1721.
  • the enhancement unit 1721 includes an adaptive filter 1601 and a subtracter 1602.
  • the enhancement unit 1721 illustrated in FIG. 18 differs from the enhancement unit 1521 illustrated in FIG. 16 in that the output of the adaptive filter 1601 is output as an estimated second signal that is an estimated value of the second signal. Since other operations are the same as those in FIG. 16, detailed description thereof is omitted.
  • the first signal and the second signal are separated using the reference signal, so that high-performance gain adjustment is performed particularly for mixed signals including diffusive signals.
  • An apparatus can be provided.
  • a gain adjustment apparatus according to a thirteenth embodiment of the present invention will be described with reference to FIG.
  • the gain adjustment apparatus has a configuration in which the gain calculation unit 331 shown in FIG. 3 or the gain calculation unit 631 shown in FIG. 6 is replaced with a gain calculation unit 1901 in FIG.
  • the gain calculation unit 1901 includes an averaging unit 1911, an inverse conversion unit 1912, a multiplier 1913, a subtracter 1914, a multiplier 1915, an adder 1916, an averaging unit 1917, a limiting unit 1918, a storage unit 1919, and a delay unit 1920.
  • the reciprocal conversion unit 1912 receives the estimated first signal (or provisional gain adjustment mixed signal Sp) Se, obtains the reciprocal 1 / Se (or 1 / Sp), and transmits it to the multiplier 1913.
  • the multiplier 1913 receives the step size ⁇ and the reciprocal 1 / Se (or 1 / Sp) of the estimated first signal (or provisional gain adjustment mixed signal Sp), and obtains the product ⁇ / Se (or ⁇ / Sp as the normalized step size). ) Is transmitted to the multiplier 1915.
  • the subtractor 1914 receives the gain adjustment mixed signal Xo and the target value St of the first signal, obtains an error Xo ⁇ St, and transmits it to the multiplier 1915.
  • the multiplier 1915 receives the normalized step size ⁇ / Se (or ⁇ / Sp) and the error Xo ⁇ St, and uses the product ⁇ (Xo ⁇ St) / Se (or ⁇ (Xo ⁇ St) / Sp as a gain adjustment signal. ) Is transmitted to the adder 1916.
  • the first gain Gs is stored in the storage unit 1919 as a new value Gsn each time it is sequentially updated.
  • the new value Gsn of the first gain Gs read from the storage unit 1919 is transmitted to the delay unit 1920.
  • the delay unit 1920 delays the new value Gsn of the first gain Gs and transmits the delayed value to the adder 1916 as the current value Gsc of the first gain Gs.
  • the adder 1916 adds the current value Gsc of the first gain Gs supplied from the delay unit 1920 and the gain adjustment signal ⁇ (Xo ⁇ St) / Se supplied from the multiplier 1915 to obtain a new value of the first gain. Gsn is obtained and stored in the storage unit 1919. That is, the update of the first gain can be expressed by the following equation.
  • the coefficient update algorithm of another adaptive filter such as the LMS algorithm or the LS algorithm can be used for updating the first gain.
  • the averaging unit 1911 receives and averages the estimated first signal Se, and supplies the averaged estimated first signal to the inverse conversion unit 1912.
  • the averaging unit 1917 receives and averages the gain adjustment mixed signal Xo, and supplies the averaged gain adjustment mixed signal to the subtractor 1914.
  • the first gain When the first gain is excessive, distortion occurs in the gain adjustment mixed signal, particularly when the first signal is not sufficiently larger than the second signal. This is due to the following reason. If the first signal is S and the second signal is N, the SN ratio (SNR) is not sufficiently high when the first signal is not sufficiently larger than the second signal. At that time, the component of the first signal is masked by the component of the second signal, and it is difficult to separate the component from the mixed signal. In this state, the estimated value of the first signal separated from the mixed signal, that is, the estimated first signal includes a large error and is perceived as distorted. This distortion becomes a problem particularly when the first signal is small. When the first signal is small, the first gain takes a large value, and the distortion is more easily perceived by gain adjustment. In order to prevent this, it is effective to limit the first gain so that it does not become excessive when the first signal is not sufficiently larger than the second signal.
  • SNR SN ratio
  • the limiting unit 1918 shown in FIG. 19 prevents the distortion from being perceived by limiting the maximum value of the first gain value.
  • the limiter 1918 receives the estimated second signal, limits the update value Gsn of the first gain, and supplies it to the storage unit 1919.
  • the horizontal axis represents the power estimate value of the second signal
  • the vertical axis represents the upper limit value Gsmax of the first gain.
  • the line segment PQ represents the first gain at which the SNR of the gain adjustment mixed signal is constant.
  • the first signal level is equal to St, and the SNR is St / ⁇ 2.
  • the SNR at Q is 3 dB.
  • the estimated power value of the second signal at P is ⁇ 1
  • ⁇ St 2 ⁇ 1 from the constant SNR condition.
  • P and Q have the same SNR, but the second signal at P is smaller than the second signal at Q, so the first signal at P is smaller than the first signal at Q and only uses the LSB side of the fixed-point representation. There will be no. That is, the resolution for the first signal is lower at P than Q. If the same first gain is applied to P and Q in this state, the first gain becomes excessive at P, and the distortion of the gain adjustment mixed signal is perceived.
  • the upper limit value of the first gain may be configured such that an appropriate fixed value is assigned in advance as the minimum value of the first signal and is read from the storage device.
  • a minimum value can be set as the upper limit value Gsmax of the first gain.
  • the upper limit value Gsmax of the first gain is a value smaller than 1. This is a situation where the input mixed signal is attenuated and does not normally occur. For this reason, by setting the minimum value of the upper limit value Gsmax of the first gain to 1, unnatural signal attenuation can be avoided.
  • the restriction unit 1918 also executes application of this minimum value.
  • the upper limit value is limited within a certain range when calculating the gain, so that the power of the desired signal is particularly small. Distortions that are sometimes caused by excessive amplification and unnatural signal attenuation can be avoided.
  • the difference from the sixth embodiment of the present invention is that the mixed signal converted into the frequency domain by the conversion unit 2101 is supplied to the separation unit 102 and the provisional gain adjustment mixed signal output from the adder 431 is inversely converted. This is to be supplied to the multiplier 432 and the gain calculation unit 631 after being converted into the time domain by the unit 2132. Since configurations and operations of the conversion unit 2101 and the inverse conversion unit 2132 are described in Patent Document 7, they are omitted here.
  • the separation process By performing the separation process in the frequency domain, it differs for each frequency according to the input mixed signal, the distribution state (power spectrum or amplitude spectrum) of the frequency components of the first signal and the second signal to be separated. Processing can be applied, and the separation accuracy of the first signal and the second signal can be increased.
  • the inverse transform unit must be placed before the gain calculation unit. This is because obtaining a different gain for each frequency may break the shape of the power spectrum or amplitude spectrum of the signal that acts on the gain.
  • the conversion unit 2101 and the inverse conversion unit 2132 may be configured to simply perform frame division and frame synthesis. Since one common gain is calculated for a plurality of signal samples constituting a frame, the averaging effect works, and a stable gain value can be obtained for a highly non-stationary signal. Therefore, gain adjustment capable of stable gain control can be performed.
  • a gain adjusting device capable of gain control can be provided.
  • FIG. 22 is a diagram illustrating a hardware configuration when the gain adjustment apparatus 2200 according to the present embodiment is realized using software.
  • the gain adjusting device 2200 includes a processor 2210, a ROM (Read Only Memory) 2220, a RAM (Random Access Memory) 2240, a storage 2250, an input / output interface 2260, an operation unit 2261, an input unit 2262, and an output unit 2263.
  • the processor 2210 is a central processing unit, and controls the entire gain adjusting apparatus 2200 by executing various programs.
  • the ROM 2220 stores various parameters in addition to the boot program that the processor 2210 should execute first.
  • the RAM 2240 stores a mixed signal 2240a (input signal), an estimated first signal 2240b, an estimated second signal 2240c, a gain 2240d, a gain adjustment mixed signal 2240e (output signal) and the like in addition to a program load area (not shown). have.
  • the storage 2250 stores a gain adjustment program 2251.
  • the gain adjustment program 2251 includes a signal separation module 2251a, a gain calculation module 2251b, and a multiplication module 2251c.
  • the processor 2210 executes each module included in the gain adjustment program 2251, thereby realizing the functions of the separation unit 102 in FIG. 1, the gain calculation units 331 and 332, the multipliers 231 and 232, and the adder 233 in FIG. it can.
  • the gain adjustment mixed signal 2240e which is an output related to the gain adjustment program 2251 executed by the processor 2210, is output from the output unit 2263 via the input / output interface 2260. Thereby, for example, gain adjustment can be independently performed on a desired signal included in the mixed signal 2240a input from the input unit 2262 and other signals.
  • FIG. 23 is a flowchart for explaining the flow of processing for adjusting the gain independently for the desired signal and other signals by the gain adjustment program 2251.
  • step S2301 the mixed signal 2240a including the first signal and the second signal is supplied to the separation unit 102.
  • step S2303 the first signal and the second signal are separated.
  • step S2305 independent gains are calculated for the first signal and the second signal.
  • step S2307 the gain adjustment first signal and the gain adjustment second signal are calculated by applying the calculated gains.
  • step S2309 the gain adjustment mixed signal is generated by adding the gain adjustment second signal to the gain adjustment first signal.
  • step S2311 the sum of the gain adjustment first signal and the gain adjustment second signal is output as a gain adjustment mixed signal in which the gain adjustment is independently performed on the desired signal and the other signals.
  • FIG. 23 illustrates an example of a processing flow when the configuration of the gain adjusting unit 103 according to the third embodiment is realized by software in the gain adjusting apparatus according to the present embodiment.
  • each embodiment can be similarly realized by software by appropriately omitting and adding differences in the respective block diagrams.
  • the present invention may be applied to a system composed of a plurality of devices, or may be applied to a single device. Furthermore, the present invention can also be applied to a case where an information processing program that implements the functions of the embodiments is supplied directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the present invention with a computer, a program installed in the computer, a medium storing the program, and a WWW (World Wide Web) server that downloads the program are also included in the scope of the present invention. . In particular, at least a non-transitory computer-readable medium that stores a program that causes a computer to execute the processing steps included in the above-described embodiments is included in the scope of the present invention.
  • the gain adjusting means includes First multiplying means for obtaining a gain adjustment estimated first signal by applying a first gain to the estimated first signal; Second multiplying means for obtaining a gain adjustment estimated second signal by applying a second gain to the estimated second signal; First addition means for adding the gain adjustment estimation first signal and the gain adjustment estimation second signal to obtain a gain adjustment mixed signal;
  • the signal processing apparatus according to appendix 2 comprising: (Appendix 3)
  • the gain adjusting means includes First gain calculating means for obtaining a first gain using the estimated first signal and a target value of the first signal; Second gain calculating means for
  • the gain adjusting means includes 6.
  • the separating means emphasizes the first signal to obtain the estimated first signal;
  • the first emphasis means includes Second estimating means for estimating the second signal to obtain a pseudo second signal; Third estimation means for obtaining the estimated first signal using the mixed signal and the pseudo second signal;
  • the first emphasis means includes Second estimating means for estimating the second signal to obtain a pseudo second signal; A fourth gain calculating means for obtaining a fourth gain using the mixed signal and the pseudo second signal; Fourth estimating means for obtaining the estimated first signal using the mixed signal and the fourth gain;
  • the separation unit includes a second enhancement unit that enhances the first signal to obtain the estimated first signal and estimates the second signal to obtain the estimated second signal.
  • the second emphasis means includes Second estimating means for estimating the second signal to obtain a pseudo second signal; Third estimation means for obtaining the estimated first signal using the mixed signal and the pseudo second signal; With The signal processing apparatus according to appendix 10, wherein the pseudo second signal is output as the estimated second signal.
  • the second emphasis means includes Second estimating means for estimating the second signal to obtain a pseudo second signal; A fourth gain calculating means for obtaining a fourth gain using the mixed signal and the pseudo second signal; Fourth estimating means for obtaining the estimated first signal using the mixed signal and the fourth gain; With The signal processing apparatus according to appendix 10, wherein the pseudo second signal is output as the estimated second signal.
  • the separating means includes Third enhancing means for receiving the plurality of mixed signals and enhancing the first signal to obtain the estimated first signal;
  • the signal processing apparatus according to any one of supplementary notes 1 to 6, further comprising fifth estimation means for obtaining the estimated second signal from the plurality of mixed signals and the estimated first signal.
  • the third emphasis means includes Fourth enhancing means for receiving the plurality of mixed signals and enhancing the first signal to obtain an enhanced first signal; Sixth estimation means for receiving the plurality of mixed signals and the enhanced first signal and obtaining a plurality of pseudo second signals uncorrelated with the enhanced first signal; Seventh estimating means for obtaining the estimated first signal using the enhanced first signal and the plurality of pseudo second signals;
  • the signal processing apparatus according to appendix 13, comprising: (Appendix 15)
  • the separating means includes Receiving a plurality of mixed signals and enhancing the first signal to obtain an estimated first signal; Fifth enhancing means for obtaining an estimated second signal by removing the correlation with the first signal from the plurality of mixed signals; 7.
  • the signal processing apparatus comprising: (Appendix 16)
  • the fifth emphasis means includes Fourth enhancing means for receiving the plurality of mixed signals and enhancing the first signal to obtain an enhanced first signal; Sixth estimation means for receiving the plurality of mixed signals and the enhanced first signal and obtaining a plurality of pseudo second signals uncorrelated with the enhanced first signal; Seventh estimating means for obtaining an estimated first signal using the enhanced first signal and the plurality of pseudo second signals; Integration means for integrating the plurality of pseudo second signals to obtain the estimated second signal;
  • the signal processing apparatus according to appendix 15, comprising: (Appendix 17)
  • the separating means includes Further receiving a reference signal correlated with the second signal, Sixth enhancing means for obtaining the estimated first signal using the mixed signal and the reference signal;
  • the signal processing apparatus according to any one of supplementary notes 1 to 6, further comprising: first estimation means for obtaining the estimated second signal from the mixed signal and the estimated first signal.
  • the sixth emphasis means includes Eighth estimation means for obtaining a pseudo second signal correlated with the second signal using the reference signal; Ninth estimating means for obtaining the estimated first signal by removing the pseudo second signal from the mixed signal; 18.
  • the signal processing device comprising: (Appendix 19)
  • the separating means includes Further receiving a reference signal correlated with the second signal, Estimating the second signal based on the reference signal to obtain the estimated second signal; Seventh emphasizing means for removing the estimated second signal from the mixed signal to obtain the estimated first signal; 7.
  • the signal processing apparatus comprising: (Appendix 20)
  • the seventh emphasis means includes Eighth estimation means for obtaining a pseudo second signal correlated with the second signal using the reference signal; Ninth estimating means for obtaining the estimated first signal by removing the pseudo second signal from the mixed signal; With The signal processing device according to attachment 19, wherein the pseudo second signal is output as the estimated second signal.
  • the first gain calculating means includes Second reciprocal transformation means for obtaining the reciprocal of the estimated first signal; A fourth multiplier for obtaining a normalized signal by multiplying an inverse of the estimated first signal by a step size; A subtractor for obtaining an error by calculating a difference between the gain adjustment mixed signal and the first signal target value; A fifth multiplier for multiplying the normalized signal and the error to obtain a gain adjustment signal; A third adder for obtaining an updated value of the first gain using the gain adjustment signal and a past value of the first gain; Storage means for storing an update value of the first gain; Delay means for delaying an update value of the first gain stored in the storage means and supplying the updated value to the adder; The signal processing apparatus according to any one of appendices 3 to 20, comprising: (Appendix 22) The first gain calculating means includes The signal processing apparatus according to appendix 21, further comprising a limiting unit that receives the estimated second signal, limits the update value of the first gain, and supplies the updated value to the storage unit
  • the first gain calculating means includes First averaging means for averaging the estimated first signal and supplying the averaged signal to the inverse means; A second averaging means for averaging the gain adjustment mixed signal and supplying it to the subtractor;
  • the signal processing apparatus according to any one of appendices 3 to 23, wherein the first gain calculating means or the second gain calculating means calculates one gain for each frame.
  • (Appendix 25) Receiving a mixed signal in which the first signal and the second signal are mixed, and separating the first signal and the second signal to obtain an estimated first signal and an estimated second signal; Receiving the estimated first signal and the estimated second signal and obtaining a gain-adjusted mixed signal; (Appendix 26) Receiving a mixed signal in which the first signal and the second signal are mixed, and separating the first signal and the second signal to obtain an estimated first signal and an estimated second signal; A gain adjustment method comprising: obtaining a gain adjustment mixed signal by applying different gains to the estimated first signal and the estimated second signal. (Appendix 27) 27. The gain adjustment method according to supplementary note 26, wherein one of the different gains is a reciprocal of the other gain.
  • Appendix 28 Receiving a mixed signal in which the first signal and the second signal are mixed, and separating the first signal and the second signal to obtain an estimated first signal and an estimated second signal; A gain adjustment program for causing a computer to execute the step of obtaining the gain adjustment mixed signal in response to the estimated first signal and the estimated second signal.

Abstract

所望の信号とそれ以外の信号とが混合された信号に対して、所望の信号とそれ以外の信号とを異なった割合で増幅または減衰するための信号処理装置であって、第１信号(例えば音声）と第２信号(例えば雑音）が混在した混在信号を受けて、第１信号と第２信号を推定して推定第１信号と推定第２信号を求める分離部を備えている。また、前記推定第１信号と前記推定第２信号を受けて利得調整混在信号を求める利得調整部を備えたことを特徴とする。

Description

信号処理装置、利得調整方法および利得調整プログラム
　本発明は、信号を増幅または減衰させる技術に関する。
　上記技術分野において、特許文献１には、発話者の声の大小の変動やマイクロホンとの距離の変動にかかわらず目的音声のみを適切な音量で歪なく受聴できる自動利得調整装置に関する記載がある。
　この技術は、入力信号に含まれる暗騒音を抑圧してから、雑音と判定されたフレームの残留雑音の実効値から圧縮と伸長境界である閾値を決定し、過去のフレームの実効値の平滑化を行う。平滑化された実効値から圧縮率を計算し、閾値と目標平均実効値から必要な利得を求める。求めた利得を暗騒音抑圧後の入力信号に作用させて、利得の自動調整を行う。
特開平９－３１１６９６号公報 特開２００２－２０４１７５号公報 ＷＯ２００７／０２６６９１号公報 特開２００７－６８１２５号公報 ＷＯ２０１５／０４９９２１号公報 特開平９－１８２９１号公報 ＷＯ２００５／０２４７８７号公報 特開２０１１－１０００３０号公報
1979年4月、アイ・イー・イー・イー・トランザクション・オン・アクースティクス・スピーチ・アンド・シグナル・プロセッシング、第27巻、第2号、(IEEE TRANSACTION ON ACOUSTIC, SPEECH, AND SIGNAL PROCESSING, VOL.27, No. 2, PP.113-120, APR 1979) 113～120 ページ 1984年12月、アイ・イー・イー・イー・トランザクション・オン・アクースティクス・スピーチ・アンド・シグナル・プロセッシング、第32巻、第6号、(IEEE TRANSACTION ON ACOUSTIC, SPEECH, AND SIGNAL PROCESSING, VOL.32, No. 6, PP.1109-1121, DEC 1984) 1109～1121ページ 2011年5月、アイ・イー・イー・イー・プロシーディングス・オブ・インターナショナル・カンファレンス・オン・アクースティクス・スピーチ・アンド・シグナル・プロセッシング、(IEEE PROCEEDINGS OF INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNNAL PROCESSING, PP.4640ー4643, MAY 2011) 4640～4643ページ 1982年1月、アイ・イー・イー・イー・トランザクション・オン・アクースティクス・スピーチ・アンド・シグナル・プロセッシング、第30巻、第1号、(IEEE TRANSACTION ON ACOUSTIC, SPEECH, AND SIGNAL PROCESSING, VOL.30, No. 1, PP.27-34, JAN 1982) 27～34 ページ 2008年、「ハンドブック・オブ・スピーチ・プロセシング」、シュプリンガー、ベルリン ハイデルベルグ ニューヨーク(HANDBOOK OF SPEECH PROCESSING, SPRINGER, BERLIN HEIDELBERG NEW YORK, 2008.) 2015年4月、アイ・イー・イー・イー・プロシーディングス・オブ・インターナショナル・カンファレンス・オン・アクースティクス・スピーチ・アンド・シグナル・プロセッシング、(IEEE PROCEEDINGS OF INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNNAL PROCESSING, PP.524-528, APR 2015) 524～528ページ 1975年12月、プロシーディングス・オブ・アイ・イー・イー・イー、第63巻、第12号、(PROCEEDINGS OF IEEE, VOL.63, No. 12, PP.1692-1716, DEC 1975) 1692～1716ページ
　しかし、この技術は暗騒音抑圧後の信号に利得を作用させて出力信号を求めるので、入力信号に含まれる雑音（音声以外の成分）が抑圧され、出力は音声だけとなる。このため、この技術では、自然音の録音において環境音を保持したい場合や環境音を少しだけ抑圧したい場合などに対応できない。
　すなわち、所望の信号とそれ以外の信号が混合された信号に対して、所望の信号とそれ以外の信号を異なった割合で増幅または減衰することができない。
　本発明の目的は、上述の課題を解決する技術を提供することにある。
　上記目的を達成するため、本発明に係る装置は、
　第１信号と第２信号が混在した混在信号を入力して、推定第１信号と推定第２信号を求める手段と、
　前記推定第１信号と前記推定第２信号に基づいて利得調整混在信号を求める手段と、
　を備えた信号処理装置である。
　上記目的を達成するため、本発明に係る方法は、
　第１信号と第２信号が混在した混在信号を入力して、推定第１信号と推定第２信号を求めるステップと、
　前記推定第１信号と前記推定第２信号に基づいて利得調整混在信号を求めるステップと、
　を含む利得調整方法である。
　上記目的を達成するため、本発明に係るプログラムは、
　第１信号と第２信号が混在した混在信号を入力して、推定第１信号と推定第２信号を求めるステップと、
　前記推定第１信号と前記推定第２信号に基づいて利得調整混在信号を求めるステップと、
　をコンピュータに実行させる利得調整プログラムである。
　本発明によれば、所望の信号とそれ以外の信号が混合された信号に対して、所望の信号とそれ以外の信号を異なった割合で増幅または減衰することができる。
本発明の第１実施形態に係る利得調整装置の構成を示すブロック図である。 本発明の第２実施形態に係る利得調整部の構成を示す図である。 本発明の第３実施形態に係る利得調整部の構成を示す図である。 本発明の第４実施形態に係る利得調整部の構成を示す図である。 本発明の第５実施形態に係る利得調整部の構成を示す図である。 本発明の第６実施形態に係る利得調整部の構成を示す図である。 本発明の第７実施形態に係る分離部の構成を示す図である。 本発明の第７実施形態に係る強調部の第１構成例を示す図である。 本発明の第７実施形態に係る強調部の第２構成例を示す図である。 本発明の第８実施形態に係る分離部の構成を示す図である。 本発明の第８実施形態に係る強調部の第１構成例を示す図である。 本発明の第８実施形態に係る強調部の第２構成例を示す図である。 本発明の第９実施形態に係る分離部の構成例を示す図である。 本発明の第９実施形態に係る強調部の構成を示す図である。 本発明の第１０実施形態に係る分離部の構成を示す図である。 本発明の第１０実施形態に係る強調部の構成を示す図である。 本発明の第１１実施形態に係る分離部の構成を示す図である。 本発明の第１１実施形態に係る強調部の構成を示す図である。 本発明の第１２実施形態に係る分離部の構成を示す図である。 本発明の第１２実施形態に係る強調部の構成を示す図である。 本発明の第１３実施形態に係る利得計算部の構成を示すブロック図である。 本発明の第１３実施形態に係る第１利得計算部における利得制限処理を示す図である。 本発明の第１４実施形態に係る利得調整装置の構成を示すブロック図である。 本発明の第１５実施形態に係る利得調整装置のハードウェア構成を示す図である。 本発明の第１５実施形態に係る利得調整装置の処理の流れを説明するフローチャートである。
　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、以下の説明中における「音声信号」とは、音声その他の音響に従って生ずる直接的の電気的変化であって、音声その他の音響を伝送するためのものをいい、音声に限定されない。また、一部の実施形態で入力される混在信号の数が４のものについて説明しているが、これはあくまで例示であり、２以上の任意の信号数について同じ説明が成り立つ。
　［第１実施形態］
　本発明の第１実施形態としての利得調整装置１００について、図１を用いて説明する。利得調整装置１００は、第１信号(例えば音声）と第２信号(例えば雑音）が混在した混在信号をマイク１０１などのセンサや外部端子から入力して、第１信号と第２信号を異なった割合で増幅・減衰する装置である。図１に示すように、利得調整装置１００は、分離部１０２、および利得調整部１０３を含む。分離部１０２は、混在信号から第１信号の推定値である推定第１信号と第２信号の推定値である推定第２信号を求める。利得調整部１０３は、分離部１０２から入力した推定第１信号と推定第２信号に対して異なった利得が作用するように処理を行い、利得調整混在信号を求める。
　このような構成により、利得調整装置１００は、混在信号に含まれる第１信号と第２信号とのそれぞれの利得を調整することができる。したがって、所望の信号とそれ以外の信号が混合された信号に対して、所望の信号とそれ以外の信号を異なった割合で増幅または減衰することができる。
　［第２実施形態］
　本発明の第２実施形態としての利得調整装置について、図２を用いて説明する。本実施形態に係る利得調整装置は、図１に示した利得調整装置１００に含まれる利得調整部１０３を、図２の利得調整部２０３に置き換えた構成を有する。
　図２に示すように、利得調整部２０３は、乗算器２３１、乗算器２３２、および加算器２３３を含む。乗算器２３１は、推定第１信号と第１利得を乗算して、利得調整推定第１信号を求め、加算器２３３に供給する。乗算器２３２は、推定第２信号と第２利得を乗算して、利得調整推定第２信号を求め、加算器２３３に供給する。加算器２３３は、利得調整推定第１信号と利得調整推定第２信号を加算して利得調整混在信号を求めて出力する。第１利得および第２利得は、外部から供給してもよいし、あらかじめメモリに記憶しておいてもよい。
　このような構成により、第１実施形態の効果に加えて利得調整装置は、混在信号に含まれる第１信号と第２信号に対して異なった利得を作用させてから加算することで、利得調整混在信号を生成することができる。
　［第３実施形態］
　本発明の第３実施形態としての利得調整装置について、図３を用いて説明する。本実施形態に係る利得調整装置は、図１に示した利得調整部１０３を、図３の利得調整部３０３に置き換えた構成を有する。
　図３に示すように、利得調整部３０３は、第２実施形態における乗算器２３１、乗算器２３２、加算器２３３に加えて、利得計算部３３１および利得計算部３３２を含む。乗算器２３１は、推定第１信号Ｓｅと第１利得Ｇｓを乗算して、利得調整推定第１信号Ｓｏを求め、加算器２３３に供給する。乗算器２３２は、推定第２信号Ｄｅと第２利得Ｇｄを乗算して、利得調整推定第２信号Ｄｏを求め、加算器２３３に供給する。加算器２３３は、利得調整推定第１信号Ｓｏと利得調整推定第２信号Ｄｏを加算して利得調整混在信号を求めて出力する。
　利得計算部３３２は、利得調整推定第２信号Ｄｏが第２信号の目標値Ｄｔとなるように、第２利得Ｇｄを決定する。すなわち、Ｇｄ＝｜Ｄｔ｜／｜Ｄｅ｜である。
　利得計算部３３１は、利得調整推定第１信号Ｓｏが目標値Ｓｔとなるように、第１利得Ｇｓを決定する。しかし、例えば音声のような第１信号は一般的に、雑音のような第２信号と比較して非定常性が高く、利得の値も非定常性が高くなる。そのため、第１利得Ｇｓは、適切な制御による逐次処理で求めることがよい。利得計算部３３１は、推定第１信号Ｓｅ、利得調整推定第１信号Ｓｏ、第１信号の目標値Ｓｔ、およびステップサイズμを用いて、第１利得Ｇｓを逐次計算で求める。その際、推定第２信号Ｄｅを用いて、第１利得Ｇｓの上限値に対する最大値または最小値を制限してもよい。第１利得Ｇｓの上限値制限によって、第１信号が小さいときの過剰増幅による歪と不自然な信号の減衰を防止することができる。
　なお、推定第２信号Ｄｅ、利得調整推定第２信号Ｄｏの目標値Ｄｔの絶対値を用いて第２利得を求めたが、パワーを用いて利得を求めてもよい。同様に、利得計算部３３１における第１利得の計算も、推定第１信号Ｓｅ、利得調整推定第１信号Ｓｏ、第１信号の目標値Ｓｔの絶対値を用いて行ってもよいし、パワーを用いて行ってもよい。さらに、利得計算部３３２の代わりに利得計算部３３１を用いて、第２利得Ｇｄを第１利得Ｇｓと同様の方法で求めてもよい。反対に、利得計算部３３１の代わりに利得計算部３３２を用いて、第１利得Ｇｓを第２利得Ｇｄと同様の方法で求めてもよい。
　このような構成により、第１実施形態の効果に加えて、異なった利得を、第１信号の目標値と第２信号の目標値に応じて定めることができる。
　［第４実施形態］
　本発明の第４実施形態としての利得調整装置について、図４を用いて説明する。本実施形態に係る利得調整装置は、図１に示した利得調整部１０３を、図４の利得調整部４０３に置き換えた構成を有する。
　図４に示すように、利得調整部４０３は、乗算器２３２、加算器４３１、および乗算器４３２を含む。乗算器２３２は、推定第２信号と第２利得Ｇｄを乗算して、利得調整推定第２信号を求め、加算器４３１に供給する。加算器４３１は、推定第１信号と利得調整推定第２信号を加算して仮利得調整混在信号を求めて乗算器４３２に供給する。乗算器４３２は、仮利得調整混在信号と第３利得Ｇｍを乗算して、利得調整混在信号を求めて出力する。第２利得および第３利得は、外部から供給してもよいし、あらかじめメモリに記憶しておいてもよい。
　図２に示した第２実施形態と、図４に示した本実施形態は、以下の点で異なる。第２実施形態では、推定第１信号と推定第２信号のレベルをそれぞれ独立に制御した後、加算する構成となっている。一方、第４実施形態では、まず推定第２信号Ｄｅのレベルを制御して、推定第１信号Ｓｅと加算することで、仮利得調整混在信号を求める。すなわち、仮利得調整混在信号Ｘｐは、Ｘｐ＝Ｇｄ・Ｄｅ＋Ｓｅとなる。その後、仮利得調整混在信号Ｘｐに第３利得Ｇｍを作用させることで、利得調整混在信号Ｘｏは、Ｘｏ＝Ｇｍ・Ｇｄ・Ｄｅ＋Ｇｍ・Ｓｅとなる。すなわち、推定第１信号に対する等価利得がＧｍと、推定第２信号に対する等価利得がＧｍ・Ｇｄとなる。したがって、第３利得Ｇｍを推定第１信号Ｓｅに対して適切に定め、さらに第２利得ＧｄをＧｍ・Ｇｄを推定第２信号Ｄｅに対して適切に定めることで、所望の信号とそれ以外の信号を異なった割合で増幅または減衰することができる。
　このような構成により、利得調整装置は、混在信号に含まれる第２信号に利得を作用させて第１信号との比を設定し、さらに第１信号の推定値と加算した後に別の利得を作用させることで、利得調整混在信号を生成することができる。
　［第５実施形態］
　本発明の第５実施形態としての利得調整装置について、図５を用いて説明する。本実施形態に係る利得調整装置は、図１に示した利得調整部１０３を、図５の利得調整部５０３に置き換えた構成を有する。
　図５に示すように、利得調整部５０３は、乗算器２３２、加算器４３１、乗算器４３２、および逆数変換部５３１を含む。図５に示す本実施形態は、図４に示した第４実施形態に対して、逆数変換部５３１を追加したものである。逆数変換部５３１は、第３利得Ｇｍの逆数１／Ｇｍを求めて第２利得Ｇｄとして乗算器２３２に供給する。すなわち、Ｇｄ＝１／Ｇｍとなる。このとき利得調整混在信号Ｘｏは、Ｘｏ＝Ｄｅ＋Ｇｍ・Ｓｅとなる。
　第４実施形態では、推定第１信号に対する等価利得がＧｍ、推定第２信号に対する等価利得がＧｍ・Ｇｄとなるが、本実施形態では、推定第１信号に対する等価利得がＧｍ、推定第２信号に対する等価利得が１となる。したがって、第３利得Ｇｍだけを適切に制御することで、所望の信号を任意の割合で増幅または減衰し、それ以外の信号レベルを不変とすることができる。
　このような構成により、利得調整装置は、混在信号に含まれる第１信号に対する適切な利得を設定することで、第２信号のレベルを変えることなく、第１信号を適切に増幅または減衰することができる。また、制御する利得が一つだけなので、簡単な処理で実現できる。したがって、所望の信号とそれ以外の信号が混合された信号に対して、単一の利得を制御するだけで、所望の信号を任意の割合で増幅または減衰し、それ以外の信号レベルを不変とすることができる。
　　［第６実施形態］
　本発明の第６実施形態としての利得調整装置について、図６を用いて説明する。本実施形態に係る利得調整装置は、図１に示した利得調整部１０３を、図６の利得調整部６０３に置き換えた構成を有する。
　図６に示すように、利得調整部６０３は、乗算器２３２、加算器４３１、乗算器４３２、逆数変換部５３１、および利得計算部６３１を含む。図６に示す第６実施形態と図５に示した第５実施形態の違いは、利得計算部６３１にある。すなわち、第３利得Ｇｍが外部から供給されたり、メモリに記憶されたりする代わりに、利得計算部６３１によって仮利得調整混在信号Ｘｐ、利得調整混在信号Ｘｏ、および第１信号の目標値Ｓｔから計算される。利得計算部６３１は、第３実施形態における利得計算部３３１と全く同じ構成であり、動作も等しい。利得計算部３３１に関して説明した通りに、利得計算部６３１においても、推定第２信号Ｄｅを用いて、第３利得Ｇｍの上限値に対する最大値と最小値を制限してもよい。第３利得Ｇｍの上限値制限によって、第１信号が小さいときの過剰増幅による歪と不自然な信号の減衰を防止することができる。
　このような構成により、利得調整装置は、混在信号に含まれる第１信号に対する目標値を設定することで、第２信号のレベルを変えることなく、第１信号が目標値に一致するように増幅または減衰することができる。また、制御する利得が一つだけなので、簡単な処理で実現できる。したがって、所望の信号とそれ以外の信号が混合された信号に対して、単一の利得を制御するだけで、所望の信号を目標値に合わせた割合で増幅または減衰し、それ以外の信号レベルを不変とすることができる。
　［第７実施形態］
　本発明の第７実施形態としての利得調整装置について、図７を用いて説明する。本実施形態に係る利得調整装置は、図１に示した利得調整部１０３を、図７の分離部７０２に置き換えた構成を有する。
　図７に示すように、分離部７０２は、強調部７２１、および推定部７２２を含む。強調部７２１は、混在信号を受けて、第１信号を強調し、第１信号の推定値である推定第１信号として出力する。強調部７２１は、一般にノイズサプレッサと呼ばれる構成を有している。ノイズサプレッサの詳細は、特許文献２特許文献３、非特許文献１、非特許文献２などに開示されている。
　推定部７２２は、混在信号と推定第１信号とに基づいて、第２信号の推定値である推定第２信号を求める。混在信号は第１信号と第２信号の和であり、第１信号と第２信号が無相関であると仮定すれば、混在信号のパワーは第１信号のパワーと第２信号のパワーの和である。したがって、推定部７２２では、混在信号のパワーと推定第１信号のパワーを求め、前者から後者を差し引くことで、推定第２信号のパワーを求める。推定部７２２は、得られた減算結果に混在信号の位相を組み合わせて、推定第２信号を求める。推定部７２２の処理は、時間領域で行ってもよいし、フーリエ変換などを用いて信号を周波数領域に変換してから周波数領域で行ってもよい。周波数領域で処理を実行した際には、パワーと位相を組み合わせた後に、時間領域信号に変換する。
　図８Ａは、強調部の第１構成例７２１を示すブロック図である。図８Ｂは、強調部の第２構成例８２１を示すブロック図である。図８Ａに示すように、強調部７２１の第１構成例では、推定部８０１、および減算器８０２を含む。推定部８０１は、混在信号を受けてその中に含まれる第２信号のパワーを推定して、第２信号の推定値として減算器８０２に供給する。このような雑音推定の数々の方法については、非特許文献３に開示されているので、ここでは説明を省略する。
　減算器８０２は、供給されている混在信号のパワーを求めて、第２信号のパワーを減算して、減算信号を求める。減算器８０２は、減算信号のパワーと混在信号の位相を組み合わせて、推定第１信号として出力する。すなわち、減算器８０２によって推定第１信号を求めるので、減算器８０２は推定部とみなすこともできる。推定部８０１と減算器８０２における処理は、パワーの代わりに絶対値に関して行ってもよい。強調部７２１の処理は、時間領域で行ってもよいし、フーリエ変換などを用いて信号を周波数領域に変換してから周波数領域で行ってもよい。周波数領域で処理を実行した際には、パワーと位相を組み合わせた後に、時間領域信号に変換する。
　図８Ｂに示すように、強調部の第２構成例８２１では、推定部８１１、利得計算部８１３、および乗算器８１４を含む。推定部８１１は混在信号を受けて、第２信号のパワーを推定し、利得計算部８１３に供給する。利得計算部８１３は、供給されている混在信号のパワーを求めて、混在信号のパワーと第２信号のパワーを用いて第４利得を計算し、乗算器８１４に伝達する。乗算器８１４は、混在信号に第４利得を乗算して、その積を推定第１信号として出力する。すなわち、乗算器８１４によって推定第１信号を求めるので、乗算器８１４は推定部とみなすこともできる。推定部８１１、利得計算部８１３、および減算器８１４における処理は、パワーの代わりに絶対値に関して行ってもよい。強調部７２１の処理は、時間領域で行ってもよいし、フーリエ変換などを用いて信号を周波数領域に変換してから周波数領域で行ってもよい。周波数領域で処理を実行した際には、パワーと位相を組み合わせた後に、時間領域信号に変換する。
　このような構成により、第１実施形態の効果に加えて、分離部を簡単な構成で実現できるので、安価で高性能な利得調整装置を提供することができる。
　［第８実施形態］
　本発明の第８実施形態としての利得調整装置について、図９を用いて説明する。本実施形態に係る利得調整装置は、図１に示した分離部１０２を、図９の分離部９０２に置き換えた構成を有する。
　図９に示すように、分離部９０２は、強調部９２１を含む。強調部９２１は、混在信号を受けて、第２信号を推定し、第２信号の推定値である推定第２信号として出力する。また、強調部９２１は、混在信号を受けて、第１信号を強調し、第１信号の推定値である推定第１信号として出力する。
　図１０Ａは、強調部の第１構成例９２１を示すブロック図であり、図１０Ｂは、強調部の第２構成例１０２１を示すブロック図である。図１０Ａを参照すると、強調部９２１は、推定部１０１１、および減算器１０１２を含む。強調部９２１は、図８Ａに示した強調部７２１と異なり、推定部１０１１が第２信号の推定値に混在信号の位相を組み合わせて、推定第２信号を出力することである。
　図１０Ｂにおいて、強調部１０２１は、推定部１０２２、利得計算部１０２３、および乗算器１０２４を含む。強調部１０２１は、図８Ｂに示した強調部８２１と比較すると、推定部１０２２が第２信号の推定値に混在信号の位相を組み合わせて、第２信号の推定値である推定第２信号として出力する点で異なる。
　このような構成により、第１実施形態の効果に加えて、分離部をさらに簡単な構成で実現できるので、安価で高性能な利得調整装置を提供することができる。
　［第９実施形態］
　本発明の第９実施形態としての利得調整装置について、図１１を用いて説明する。本実施形態に係る利得調整装置は、図１に示した分離部１０２を、図１１の分離部１１０２に置き換えた構成を有する。
　図１１に示すように、分離部１１０２は、強調部１１２１、および推定部１１２２を含む。強調部１１２１は、複数の混在信号を複数の入力端子から構成される入力端子群１１０３から受けて、指向性に基づいて第１信号を強調し、第１信号の推定値である推定第１信号として出力する。複数の混在信号は、直線上に等間隔に配置された複数のセンサで取得されたもので、各々のセンサの位置関係に従って、位相と振幅が異なる。なお、直線の代わりに円状や円弧状に配置されたり、センサ間隔がそれぞれ異なる場合には、円や円弧を直線に変換したり、センサ間隔を補正したりする追加の処理を行う事で、取得した信号を利用することができる。強調部１１２１は、一般にビームフォーマと呼ばれる構成を有している。ビームフォーマの詳細は、特許文献４、特許文献５、非特許文献４などに開示されている。
　推定部１１２２は、複数の混在信号と推定第１信号を受けて、第２信号の推定値である推定第２信号を求める。推定部１１２２を推定部７２２と比較すると、推定部１１２２は複数の混在信号を受けて、まずこれを単一の混在信号に統合する点で異なる。
　単一の混在信号としては、複数の混在信号のうち、いずれか任意のものを選択して用いることができる。あるいは、これらの信号に関する統計値を用いてもよい。統計値としては、平均値、最大値、最小値、中央値などをあげることができる。平均値と中央値は、複数のセンサの中央に存在する仮想センサにおける信号を与える。最大値は、信号が正面以外の方向から到来するときに、信号までの距離が最短であるセンサにおける信号を与える。最小値は、信号が正面以外の方向から到来するときに、信号までの距離が最長であるセンサにおける信号を与える。さらに、これらの信号の単純加算を用いることもできる。あるいは、非特許文献５に示されるアレイ信号処理のいずれかを適用してもよい。アレイ信号処理としては、遅延和ビームフォーマ、フィルタ和ビームフォーマ、ＭＳＮＲ（Maximum Signal-to-Noise Ratio）ビームフォーマ、ＭＭＳＥ（Minimum Mean Square Error）ビームフォーマ、ＬＣＭＶ（Linearlly Constrained Minimum Variance）ビームフォーマ、入れ子（Nested）ビームフォーマなどを含むが、これらに限定されない。このようにして計算された値を、単一の混在信号とする。
　推定部１１２２は、統合によって得られた単一の混在信号と推定第１信号を受けて、推定部７２２と同じ方法で、第２信号の推定値である推定第２信号を求める。推定部１１２２の処理は、時間領域で行ってもよいし、フーリエ変換などを用いて信号を周波数領域に変換してから周波数領域で行ってもよい。周波数領域で処理を実行した際には、パワーと位相を組み合わせた後に、時間領域信号に変換する。
　図１２は、強調部１１２１の構成例を示すブロック図である。図１２を参照すると、強調部１１２１は、固定ビームフォーマ１２０１、ブロッキング行列１２０２、および多入力キャンセラ１２０３を含む。
　固定ビームフォーマ１２０１は、第１信号の到来方向に対して感度の高いビームを形成し、第１信号を強調して強調第１信号を求める。すなわち、固定ビームフォーマ１２０１は、第１信号に対する強調部として機能する。強調第１信号は、ブロッキング行列１２０２と多入力キャンセラ１２０３に供給される。固定ビームフォーマの動作は、非特許文献５に示されるアレイ信号処理のいずれかを適用することができる。
　ブロッキング行列１２０２は、複数の混在信号と強調第１信号を受けて、それぞれの混在信号から強調第１信号と相関のある成分を除去することで、複数の擬似第２信号を求める。すなわち、ブロッキング行列１２０２は、第２信号の推定部とみなすことができる。複数の擬似第２信号は、多入力キャンセラ１２０３に供給される。
多入力キャンセラ１２０３は、強調第１信号と複数の擬似第２信号を受けて、強調第１信号から複数の擬似第２信号と相関のある成分を除去することで、推定第１信号を求める。すなわち、多入力キャンセラ１２０３は、第１信号に対する推定部とみなすことができる。
　強調部１１０１としては、非特許文献６に示される位相差に基づくフィルタリングを適用してもよい。
　このような構成により、第１実施形態の効果に加えて、分離部が指向性を利用して第１信号を強調した後で第２信号を分離するので、特に特定方向から到来する信号を含む混在信号に対して高性能な利得調整装置を提供することができる。
　［第１０実施形態］
　本発明の第１０実施形態としての利得調整装置について、図１３を用いて説明する。本実施形態に係る利得調整装置は、図１に示した分離部１０２を、図１３の分離部１３０２に置き換えた構成を有する。
　図１３に示すように、分離部１３０２は、強調部１３２１を含む。強調部１３２１は、複数の混在信号を複数の入力端子から構成される入力端子群１１０３から受けて、指向性に基づいて第１信号を強調し、第１信号の推定値である推定第１信号として出力する。また、強調部１３２１は、複数の混在信号を受けて、第２信号を推定し、第２信号の推定値である推定第２信号として出力する。
　図１４は、強調部１３２１の構成例を示すブロック図である。図１４を参照すると、強調部１３２１は、図１２の構成に加えて、統合部１４０１を含む。
　統合部１４０１は、ブロッキング行列１２０２の出力である複数の擬似第２信号を統合して、第２信号の推定値である推定第２信号として出力する。
　推定第２信号としては、複数の擬似第２信号のうち、いずれか任意のものを選択して用いることができる。あるいは、これらの信号に関する統計値を用いてもよい。統計値としては、平均値、最大値、最小値、中央値などをあげることができる。平均値と中央値は、複数のセンサの中央に存在する仮想センサにおける信号を与える。最大値は、信号が正面以外の方向から到来するときに、信号までの距離が最短であるセンサにおける信号を与える。最小値は、信号が正面以外の方向から到来するときに、信号までの距離が最長であるセンサにおける信号を与える。さらに、これらの信号の単純加算を用いることもできる。あるいは、非特許文献５に示されるアレイ信号処理のいずれかを適用してもよい。アレイ信号処理としては、遅延和ビームフォーマ、フィルタ和ビームフォーマ、ＭＳＮＲ（Maximum Signal-to-Noise Ratio）ビームフォーマ、ＭＭＳＥ（Minimum Mean Square Error）ビームフォーマ、ＬＣＭＶ（Linearly Constrained Minimum Variance）ビームフォーマ、入れ子（Nested）ビームフォーマなどを含むが、これらに限定されない。このようにして計算された値を、推定第２信号とする。
　このような構成により、本実施形態によれば、分離部が指向性を利用して第１信号と第２信号を分離するので、特に特定方向から到来する信号を含む混在信号に対して構成が簡単で高性能な利得調整装置を提供することができる。
　［第１１実施形態］
　本発明の第１１実施形態としての利得調整装置について、図１５を用いて説明する。第１１実施形態に係る利得調整装置は、図１に示した分離部１０２を、図１５の分離部１５０２に置き換えた構成を有する。
　図１５に示すように、分離部１５０２は、強調部１５２１、および推定部７２２を含む。強調部１５２１は、混在信号と、第２信号と相関のある参照信号を受けて、第１信号を強調し、第１信号の推定値である推定第１信号として出力する。強調部１５２１は、一般にノイズキャンセラと呼ばれる構成を有している。ノイズキャンセラの詳細は、特許文献６、特許文献７、非特許文献７などに開示されている。推定部７２２は、既に説明した通り、混在信号と推定第１信号を受けて、第２信号の推定値である推定第２信号を求める。
　図１６は、強調部１５２１の構成例を示すブロック図である。図１６を参照すると、強調部１５２１は、適応フィルタ１６０１、および減算器１６０２を含む。適応フィルタ１６０１は、参照信号を受けて、フィルタ係数との畳込演算を行い、第２信号と相関のある擬似第２信号を出力する。すなわち、適応フィルタ１６０１は、第２信号に対する推定部として機能する。擬似第２信号は、減算器１６０２に供給される。
　減算器１６０２には混在信号も供給されている。減算器１６０２は、混在信号から擬似第２信号を減算し、減算結果を推定第１信号として出力する。すなわち、減算器１６０２は、第１信号に対する推定部として機能する。フィルタ係数は、減算結果のパワーの期待値が最小になるように更新される。係数更新アルゴリズムとしては、ＬＭＳ（最小平均二乗）アルゴリズムや正規化ＬＭＳアルゴリズムが最も多く使われている。これらのアルゴリズムに関しては、特許文献６、特許文献７、非特許文献７に記載があるので、詳細は省略する。また、ＬＳ（最小二乗）アルゴリズムなど、その他の係数更新アルゴリズムを使用することもできる。強調部１５２１の処理は、時間領域で行ってもよいし、フーリエ変換などを用いて信号を周波数領域に変換してから周波数領域で行ってもよい。周波数領域で処理を実行した際には、強調処理後に、時間領域信号に変換する。
　このような構成により、本実施形態によれば、参照信号を利用して第１信号を強調した後で第２信号を分離するので、特に拡散性信号を含む混在信号に対して高性能な利得調整装置を提供することができる。
　［第１２実施形態］
　本発明の第１２実施形態としての利得調整装置について、図１７を用いて説明する。本実施形態に係る利得調整装置は、図１に示した分離部１０２を、図１７の分離部１７０２に置き換えた構成を有する。
　図１７に示すように、分離部１７０２は、強調部１７２１を含む。強調部１７２１は、混在信号と、第２信号と相関のある参照信号を受けて、第１信号を強調し、第１信号の推定値である推定第１信号として出力する。また、強調部１７２１は、参照信号に基づいて、第２信号の推定値である推定第２信号を求める。強調部１７２１は、一般にノイズキャンセラと呼ばれる構成を有している。ノイズキャンセラの詳細は、特許文献６、特許文献７、非特許文献７などに開示されている。
　図１８は、強調部１７２１の構成例を示すブロック図である。図１８を参照すると、強調部１７２１は、適応フィルタ１６０１、および減算器１６０２を含む。
　図１８に示す強調部１７２１は、図１６の強調部１５２１と比べると、適応フィルタ１６０１の出力を、第２信号の推定値である推定第２信号として出力する点で異なる。それ以外の動作は図１６と等しいので、詳細な説明を省略する。
　このような構成により、第１実施形態の効果に加えて、参照信号を利用して第１信号と第２信号を分離するので、特に拡散性信号を含む混在信号に対して高性能な利得調整装置を提供することができる。
　［第１３実施形態］
　本発明の第１３実施形態としての利得調整装置について、図１９を用いて説明する。本実施形態に係る利得調整装置は、図３に示した利得計算部３３１または図６に示した利得計算部６３１を、図１９の利得計算部１９０１に置き換えた構成を有する。
　利得計算部１９０１は、平均部１９１１、逆数変換部１９１２、乗算器１９１３、減算器１９１４、乗算器１９１５、加算器１９１６、平均部１９１７、制限部１９１８、記憶部１９１９、および遅延部１９２０、を含む。逆数変換部１９１２は、推定第１信号（または仮利得調整混在信号Ｓｐ）Ｓｅを受けて逆数１／Ｓｅ（または１／Ｓｐ）を求め、乗算器１９１３に伝達する。乗算器１９１３は、ステップサイズμと推定第１信号（または仮利得調整混在信号Ｓｐ）の逆数１／Ｓｅ（または１／Ｓｐ）を受けて正規化ステップサイズとして積μ／Ｓｅ（またはμ／Ｓｐ）を計算し、乗算器１９１５に伝達する。
　減算器１９１４は、利得調整混在信号Ｘｏと第１信号の目標値Ｓｔを受けて、誤差Ｘｏ―Ｓｔを求め、乗算器１９１５に伝達する。乗算器１９１５は、正規化ステップサイズμ／Ｓｅ（またはμ／Ｓｐ）と誤差Ｘｏ―Ｓｔを受けて、利得調整信号として積μ（Ｘｏ―Ｓｔ）／Ｓｅ（またはμ（Ｘｏ―Ｓｔ）／Ｓｐ）を求め、加算器１９１６に伝達する。
　第１利得Ｇｓは、逐次更新される都度、新たな値Ｇｓｎとして記憶部１９１９に記憶される。記憶部１９１９から読みだされた第１利得Ｇｓの新たな値Ｇｓｎは、遅延部１９２０に伝達される。遅延部１９２０は、第１利得Ｇｓの新たな値Ｇｓｎを遅延させて第１利得Ｇｓの現在値Ｇｓｃとして、加算器１９１６に伝達する。
　加算器１９１６は、遅延部１９２０から供給される第１利得Ｇｓの現在値Ｇｓｃと乗算器１９１５から供給される利得調整信号μ（Ｘｏ―Ｓｔ）／Ｓｅを加算して第１利得の新たな値Ｇｓｎを求め、記憶部１９１９に記憶する。すなわち、第１利得の更新は、次式で表すことができる。
Ｇｓｎ＝Ｇｓｃ＋μ（Ｘｏ―Ｓｔ）／Ｓｅ
　　　＝Ｇｓｃ＋μ（Ｘｏ―Ｓｔ）Ｓｅ／Ｓｅ２この式は、１タップ適応フィルタに対する正規化ＬＭＳアルゴリズムに他ならない。したがって、第１利得の更新には、ＬＭＳアルゴリズムやＬＳアルゴリズムなど、その他の適応フィルタの係数更新アルゴリズムを使用することができる。
　平均部１９１１は、推定第１信号Ｓｅを受けて平均化し、平均化された推定第１信号を逆数変換部１９１２に供給する。また、平均部１９１７は、利得調整混在信号Ｘｏを受けて平均化し、平均化された利得調整混在信号を減算器１９１４に供給する。これらの平均部は、供給される信号の過大な変動を平均化によって低減し、瞬間的に発生する過大なまたは過小な値による不安定性を含む望ましくない動作を回避することに貢献する。
　上記の利得計算部１９０１を利得計算部６３１に置き換える場合、上記推定第１信号Ｓｅを仮利得調整混在信号Ｓｐと置き換えることで説明できる。
　第１利得が過大になると、特に第１信号が第２信号に比べて十分に大きくないときに、利得調整混在信号に歪が生じる。これは、次の理由による。第１信号をＳ、第２信号をＮとすれば、第１信号が第２信号に比べて十分に大きくないときはＳＮ比（ＳＮＲ）が十分に高くない状態を表す。その際、第１信号の成分は第２信号の成分にマスクされて、混在信号から分離することは困難である。その状態で混在信号から分離した第１信号の推定値、すなわち推定第１信号は、大きな誤差を含み、歪んで知覚される。この歪は、特に第１信号が小さいときに問題となる。第１信号が小さいときは第１利得が大きな値をとり、前記歪が利得調整によってより知覚されやすくなる。これを防ぐためには、第１信号が第２信号に比べて十分に大きくないときに、第１利得が過大にならないように制限することが有効である。
　図１９にある制限部１９１８は、第１利得の値の最大値を制限することで、前記歪の知覚を防止する。制限部１９１８は、推定第２信号を受けて第１利得の更新値Ｇｓｎに制限を加えて記憶部１９１９に供給する。
　第１利得の上限値Ｇｓｍａｘの決定法の一例を、図２０を用いて説明する。図２０の横軸は第２信号のパワー推定値、縦軸は第１利得の上限値Ｇｓｍａｘである。線分ＰＱは、利得調整混在信号のＳＮＲが一定となる第１利得を表す。ＳＮＲの一定値はＱの位置で定まる。すなわち、ＱはＧｓｍａｘ＝１の線上にあり、その時の第２信号のパワー推定値がδ２である。
　また、Ｇｓｍａｘ＝１であることから、第１信号レベルはＳｔに等しく、ＳＮＲはＳｔ／δ２となる。例えば、δ２を第１信号の目標値Ｓｔに対して半分になるように、すなわち、δ２＝０．５Ｓｔに設定するとＱにおけるＳＮＲは３ｄＢとなる。Ｐにおける第２信号のパワー推定値をδ１とすれば、対応するＧｓｍａｘ＝Ｇ０は、ＳＮＲ一定の条件から、Ｇ０＝（δ１／δ２）・Ｓｔ＝２δ１となる。
　ＰとＱでＳＮＲは等しいが、Ｐにおける第２信号がＱにおける第２信号よりも小さいので、Ｐにおける第１信号はＱにおける第１信号よりも小さく、固定小数点表現のＬＳＢ側しか使用していないことになる。すなわち、第１信号に対する分解能は、ＱよりもＰで低いことになる。この状態で、ＰとＱで同じ第１利得を適用すると、Ｐにおいて第１利得が過大となり、利得調整混在信号の歪が知覚される。
　この歪の知覚を避けるために、第１利得に上限値Ｇｓｍａｘ＝Ｇ０を導入とする。第１利得の上限値は第１信号の最小値に依存するので、第１信号の最小値を推定して、これに基づいて決定する。第１信号の最小値は、例えば、推定第１信号の値を仮最小値と逐次比較して、小さい方を新たな仮最小値とすることで、求めることができる。仮最小値の初期値は、推定第１信号の最初の値とする。また、第１利得の上限値は、第１信号の最小値として、適当な固定値を事前に割り当て、記憶装置から読み出す構成としてもよい。
　第１利得の上限値Ｇｓｍａｘには、最小値を設けることもできる。例えば、図２０において、推定第２信号レベルがδ２よりも大きいときに、第１利得の上限値Ｇｓｍａｘは１よりも小さい値となる。これは、入力される混在信号を減衰させていることになり、通常は生じない状況である。このため、第１利得の上限値Ｇｓｍａｘの最小値を１とするで、不自然な信号の減衰を回避することができる。この最小値の適用も、制限部１９１８が実行する。
　図２０を用いて、第１利得の上限値Ｇｓｍａｘに対する最大値と最小値の設定について説明したが、この説明は一例であり、実際には応用に応じて適切に最大値と最小値を設定してよい。
　このような構成により、本実施形態によれば、第１実施形態の効果に加えて、利得を計算する際にその上限値を一定の範囲内に制限するので、所望の信号のパワーが特別小さいときに過度に増幅することで生じる歪と不自然な信号の減衰を回避することができる。
　［第１４実施形態］
　本発明の第１４実施形態としての利得調整装置について、図２１を用いて説明する。
　本発明の第６実施形態との違いは、変換部２１０１によって周波数領域に変換された混在信号が分離部１０２に供給されることと、加算器４３１の出力である仮利得調整混在信号が逆変換部２１３２によって時間領域に変換された後に、乗算器４３２と利得計算部６３１に供給されることである。変換部２１０１と逆変換部２１３２の構成および動作に関しては、特許文献７に記載があるので、ここでは省略する。
　周波数領域で分離処理を実行することにより、入力される混在信号、分離対象となる第１信号、および第２信号の周波数成分の分布状態（パワースペクトルまたは振幅スペクトラム）に応じて、周波数ごとに異なる処理を適用することができ、第１信号と第２信号の分離精度を高くすることが可能となる。
　なお、逆変換部は利得計算部の前に配置されなければいけない。これは、周波数ごとに異なった利得を求めると、利得を作用させる信号のパワースペクトルまたは振幅スペクトラムの形を壊す可能性があるからである。
　さらに、変換部２１０１と逆変換部２１３２は、単にフレーム分割とフレーム合成だけを行う構成とすることもできる。フレームを構成する複数の信号サンプルに対して共通の一つの利得を計算するので、平均化の効果が働き、非定常性の高い信号に対して、安定した利得の値を求めることができる。そのため、安定した利得制御が可能な利得調整を行うことができる。
　このような構成により、本実施形態によれば、所望の信号とそれ以外の信号を分離する際に周波数領域で処理を行うので、分離精度が高く、非定常性の高い信号に対して安定した利得制御が可能な利得調整装置を提供することができる。
　［第１５実施形態］
　本発明の第１５実施形態としての利得調整装置について、図２２および図２３を用いて説明する。図２２は、本実施形態にかかる利得調整装置２２００をソフトウェアを用いて実現する場合のハードウェア構成について説明する図である。
　利得調整装置２２００は、プロセッサ２２１０、ＲＯＭ（Read Only Memory）２２２０、ＲＡＭ（Random Access Memory）２２４０、ストレージ２２５０、入出力インタフェース２２６０、操作部２２６１、入力部２２６２、および出力部２２６３を備えている。プロセッサ２２１０は中央処理部であって、様々なプログラムを実行することにより利得調整装置２２００全体を制御する。
　ＲＯＭ２２２０は、プロセッサ２２１０が最初に実行すべきブートプログラムの他、各種パラメータ等を記憶している。ＲＡＭ２２４０は、不図示のプログラムロード領域の他に、混在信号２２４０ａ（入力信号）、推定第１信号２２４０ｂ、推定第２信号２２４０ｃ、利得２２４０ｄ、利得調整混在信号２２４０ｅ（出力信号）等を記憶する領域を有している。
　また、ストレージ２２５０は、利得調整プログラム２２５１を格納している。利得調整プログラム２２５１は、信号分離モジュール２２５１ａ、利得計算モジュール２２５１ｂ、および乗算モジュール２２５１ｃを含んでいる。利得調整プログラム２２５１に含まれる各モジュールをプロセッサ２２１０が実行することにより、図１の分離部１０２、図３の利得計算部３３１ならびに３３２、乗算器２３１ならびに２３２、および加算器２３３の各機能を実現できる。
　プロセッサ２２１０が実行した利得調整プログラム２２５１に関する出力である利得調整混在信号２２４０ｅは、入出力インタフェース２２６０を介して出力部２２６３から出力される。これにより、例えば、入力部２２６２から入力した混在信号２２４０ａに含まれる所望信号とそれ以外の信号に対して、独立に利得調整することができる。
　図２３は、利得調整プログラム２２５１による、所望信号とそれ以外の信号に対して、独立に利得調整する処理の流れを説明するためのフローチャートである。ステップＳ２３０１では、第１信号と第２信号を含む混在信号２２４０ａが分離部１０２に供給される。ステップＳ２３０３では、第１信号と第２信号とを分離する。
　次にステップＳ２３０５において、第１信号と第２信号に対し独立な利得を計算する。次にステップＳ２３０７において、計算した利得をそれぞれ作用させて、利得調整第１信号と利得調整第２信号を計算する。ステップＳ２３０９において、利得調整第１信号に利得調整第２信号を加算して、利得調整混在信号を生成する。
　最終的には、ステップＳ２３１１で、利得調整第１信号と利得調整第２信号の和を、所望信号とそれ以外の信号に対して独立に利得調整が実施された利得調整混合信号として出力させる。
　図２３では、本実施形態にかかる利得調整装置において利得調整部１０３を第３実施形態とした構成をソフトウェアで実現する場合の処理の流れの一例を説明した。しかし、第１乃至第１４実施形態のいずれの実施形態に関しても、各々のブロック図における違いを適宜省略および追加することで、同様にソフトウェアで各実施形態を実現できる。
　以上の構成により、本実施形態によれば、混在信号に含まれる第１信号と第２信号に対して異なった利得を作用させて、利得調整混在信号を生成することをソフトウェアで実現できる。
　［他の実施形態］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（nonーtransitory computer readable medium）は本発明の範疇に含まれる。
　［実施形態の他の表現］
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　第１信号と第２信号が混在した混在信号から、推定第１信号と推定第２信号を求める分離手段と、
　前記推定第１信号と前記推定第２信号とを用いて、利得調整混在信号を求める利得調整手段と、
　を備えた信号処理装置。
（付記２）
　前記利得調整手段は、
　前記推定第１信号に第１利得を作用させて利得調整推定第１信号を求める第１乗算手段と、
　前記推定第２信号に第２利得を作用させて利得調整推定第２信号を求める第２乗算手段と、
　前記利得調整推定第１信号と前記利得調整推定第２信号とを加算して利得調整混在信号を求める第１加算手段と、
　を備えた付記２に記載の信号処理装置。
（付記３）
　前記利得調整手段は、
　前記推定第１信号と前記第１信号の目標値とを用いて第１利得を求める第１利得計算手段と、
　前記推定第２信号と前記第２信号の目標値とを用いて第２利得を求める第２利得計算手段と、
　を備えた付記１に記載の信号処理装置。
（付記４）
　前記利得調整手段は、
　前記推定第２信号に第２利得を作用させて利得調整推定第２信号を求める第３乗算手段と、
　前記推定第１信号と前記利得調整推定第２信号を加算して仮利得調整混在信号を求める第２加算手段と、
　前記仮利得調整混在信号に第３利得を作用させて利得調整混在信号を求める第４乗算手段と、
　を備えた付記１に記載の信号処理装置。
（付記５）
　前記利得調整手段は、
　前記第３利得の逆数を求めて前記第２利得とする第１逆数変換手段をさらに備えた付記４に記載の信号処理装置。
（付記６）
　前記利得調整手段は、
　前記仮利得調整混在信号と前記第１信号の目標値と前記利得調整混在信号を用いて前記第３利得を求める第３利得計算手段をさらに備えた付記５に記載の信号処理装置。
（付記７）
　前記分離手段は、前記第１信号を強調して前記推定第１信号を求める第１強調手段と、
　前記混在信号と前記推定第１信号から推定第２信号を求める第１推定手段とを備えた付記１乃至６のいずれか１項に記載の信号処理装置。
（付記８）
　前記第１強調手段は、
　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
　前記混在信号と前記疑似第２信号を用いて前記推定第１信号を求める第３推定手段と、
　を備えた付記７に記載の信号処理装置。
（付記９）
　前記第１強調手段は、
　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
　前記混在信号と前記疑似第２信号を用いて第４利得を求める第４利得計算手段と、
　前記混在信号と前記第４利得を用いて前記推定第１信号を求める第４推定手段と、
　を備えた付記７に記載の信号処理装置。
（付記１０）
　前記分離手段は、前記第１信号を強調して前記推定第１信号を求め、前記第２信号を推定して前記推定第２信号を求める第２強調手段を備えた付記１乃至６のいずれに記載の信号処理装置。
（付記１１）
　前記第２強調手段は、
　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
　前記混在信号と前記疑似第２信号を用いて前記推定第１信号を求める第３推定手段と、
　を備え、
　前記擬似第２信号を前記推定第２信号として出力する付記１０に記載の信号処理装置。
（付記１２）
　前記第２強調手段は、
　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
　前記混在信号と前記疑似第２信号を用いて第４利得を求める第４利得計算手段と、
　前記混在信号と前記第４利得を用いて前記推定第１信号を求める第４推定手段と、
　を備え、
　前記擬似第２信号を前記推定第２信号として出力する付記１０に記載の信号処理装置。
（付記１３）
　前記分離手段は、
　複数の混在信号を受けて前記第１信号を強調して前記推定第１信号を求める第３強調手段と、
　前記複数の混在信号と前記推定第１信号から前記推定第２信号を求める第５推定手段とを備えた付記１乃至６のいずれか１項に記載の信号処理装置。
（付記１４）
　前記第３強調手段は、
　前記複数の混在信号を受けて前記第１信号を強調して強調第１信号を求める第４強調手段と、
　前記複数の混在信号と前記強調第１信号を受けて前記強調第１信号と相関のない複数の疑似第２信号を求める第６推定手段と、
　前記強調第１信号と前記複数の疑似第２信号を用いて前記推定第１信号を求める第７推定手段と、
　を備えた付記１３に記載の信号処理装置。
（付記１５）
　前記分離手段は、
　複数の混在信号を受けて前記第１信号を強調して推定第１信号を求め、
　前記複数の混在信号から前記第１信号との相関を除去して推定第２信号を求める第５強調手段、
　を備えた付記１乃至６のいずれか１項に記載の信号処理装置。
（付記１６）
　前記第５強調手段は、
　前記複数の混在信号を受けて前記第１信号を強調して強調第１信号を求める第４強調手段と、
　前記複数の混在信号と前記強調第１信号を受けて前記強調第１信号と相関のない複数の疑似第２信号を求める第６推定手段と、
　前記強調第１信号と前記複数の疑似第２信号を用いて推定第１信号を求める第７推定手段と、
　前記複数の疑似第２信号を統合して前記推定第２信号を求める統合手段と、
　を備えた付記１５に記載の信号処理装置。
（付記１７）
　前記分離手段は、
　前記第２信号と相関のある参照信号をさらに受けて、
　前記混在信号と前記参照信号を用いて前記推定第１信号を求める第６強調手段と、
　前記混在信号と前記推定第１信号から前記推定第２信号を求める第１推定手段とを備えた付記１乃至６のいずれか１項に記載の信号処理装置。
（付記１８）
　前記第６強調手段は、
　前記参照信号を用いて前記第２信号と相関のある疑似第２信号を求める第８推定手段と、
　前記混在信号から前記疑似第２信号を除去して前記推定第１信号を求める第９推定手段と、
　を備えた付記１７に記載の信号処理装置。
（付記１９）
　前記分離手段は、
　前記第２信号と相関のある参照信号をさらに受けて、
　前記参照信号に基づいて前記第２信号を推定して前記推定第２信号を求め、
　前記混在信号から前記推定第２信号を除去して前記推定第１信号を求める第７強調手段、
　を備えた付記１乃至６のいずれか１項に記載の信号処理装置。
（付記２０）
　前記第７強調手段は、
　前記参照信号を用いて前記第２信号と相関のある疑似第２信号を求める第８推定手段と、
　前記混在信号から前記疑似第２信号を除去して前記推定第１信号を求める第９推定手段と、
　を備え、
　前記疑似第２信号を前記推定第２信号として出力する付記１９に記載の信号処理装置。
（付記２１）
　前記第１利得計算手段は、
　前記推定第１信号の逆数を求める第２逆数変換手段と、
　前記推定第１信号の逆数とステップサイズを乗算して正規化信号を求める第４乗算器と、
　前記利得調整混在信号と第１信号目標値との差を求めて誤差とする減算器と、
　前記正規化信号と前記誤差を乗算して利得調整信号を求める第５乗算器と、
　前記利得調整信号と前記第１利得の過去の値を用いて前記第１利得の更新値を求める第３加算器と、
　前記第１利得の更新値を記憶する記憶手段と、
　前記記憶手段に記憶された前記第１利得の更新値を遅延させて前記加算器に供給する遅延手段と、
　を備えた付記３乃至２０のいずれか１項に記載の信号処理装置。
（付記２２）
　前記第１利得計算手段は、
　前記推定第２信号を受けて前記第１利得の更新値に制限を加えて前記記憶手段に供給する制限手段をさらに備えた付記２１に記載の信号処理装置。
（付記２３）
　前記第１利得計算手段は、
　前記推定第１信号を平均して前記逆数手段に供給する第１平均手段と、
　前記利得調整混在信号を平均して前記減算器に供給する第２平均手段と、
　をさらに備えた付記２１または２２に記載の信号処理装置。
（付記２４）
　前記推定第１信号、前記推定第２信号、または前記仮利得調整混在信号の少なくとも一つが、複数の信号サンプルから構成されるフレームを単位としたフレーム信号として供給され、前記フレーム信号が供給される前記第１利得計算手段または前記第２利得計算手段がフレームごとに一つの利得を計算する付記３乃至２３のいずれか１項に記載の信号処理装置。
（付記２５）
　第１信号と第２信号が混在した混在信号を受けて、第１信号と第２信号を分離して推定第１信号と推定第２信号を求めるステップと、
　前記推定第１信号と前記推定第２信号を受けて利得調整混在信号を求めるステップとを有する利得調整方法。
（付記２６）
　第１信号と第２信号が混在した混在信号を受けて、第１信号と第２信号を分離して推定第１信号と推定第２信号を求めるステップと、
　前記推定第１信号と前記推定第２信号に対して異なる利得を作用させて利得調整混在信号を求めるステップと
　を有する利得調整方法。
（付記２７）
　前記異なる利得は、一方の利得が他方の利得の逆数である付記２６に記載の利得調整方法。
（付記２８）
　第１信号と第２信号が混在した混在信号を受けて、第１信号と第２信号を分離して推定第１信号と推定第２信号を求めるステップと、
　前記推定第１信号と前記推定第２信号を受けて利得調整混在信号を求めるステップとをコンピュータに実行させる利得調整プログラム。
　この出願は、２０１６年１月８日に出願された日本出願特願２０１６－００３０７６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (28)

  1. 　第１信号と第２信号が混在した混在信号から、推定第１信号と推定第２信号を求める分離手段と、
    　前記推定第１信号と前記推定第２信号とを用いて、利得調整混在信号を求める利得調整手段と、
    　を備えた信号処理装置。
  2. 　前記利得調整手段は、
    　前記推定第１信号に第１利得を作用させて利得調整推定第１信号を求める第１乗算手段と、
    　前記推定第２信号に第２利得を作用させて利得調整推定第２信号を求める第２乗算手段と、
    　前記利得調整推定第１信号と前記利得調整推定第２信号とを加算して利得調整混在信号を求める第１加算手段と、
    　を備えた請求項１に記載の信号処理装置。
  3. 　前記利得調整手段は、
    　前記推定第１信号と前記第１信号の目標値とを用いて第１利得を求める第１利得計算手段と、
    　前記推定第２信号と前記第２信号の目標値とを用いて第２利得を求める第２利得計算手段と、
    　を備えた請求項１に記載の信号処理装置。
  4. 　前記利得調整手段は、
    　前記推定第２信号に第２利得を作用させて利得調整推定第２信号を求める第３乗算手段と、
    　前記推定第１信号と前記利得調整推定第２信号を加算して仮利得調整混在信号を求める第２加算手段と、
    　前記仮利得調整混在信号に第３利得を作用させて利得調整混在信号を求める第４乗算手段と、
    　を備えた請求項１に記載の信号処理装置。
  5. 　前記利得調整手段は、
    　前記第３利得の逆数を求めて前記第２利得とする第１逆数変換手段をさらに備えた請求項４に記載の信号処理装置。
  6. 　前記利得調整手段は、
    　前記仮利得調整混在信号と前記第１信号の目標値と前記利得調整混在信号を用いて前記第３利得を求める第３利得計算手段をさらに備えた請求項５に記載の信号処理装置。
  7. 　前記分離手段は、前記第１信号を強調して前記推定第１信号を求める第１強調手段と、
    　前記混在信号と前記推定第１信号から推定第２信号を求める第１推定手段とを備えた請求項１乃至６のいずれか１項に記載の信号処理装置。
  8. 　前記第１強調手段は、
    　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
    　前記混在信号と前記疑似第２信号を用いて前記推定第１信号を求める第３推定手段と、
    　を備えた請求項７に記載の信号処理装置。
  9. 　前記第１強調手段は、
    　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
    　前記混在信号と前記疑似第２信号を用いて第４利得を求める第４利得計算手段と、
    　前記混在信号と前記第４利得を用いて前記推定第１信号を求める第４推定手段と、
    　を備えた請求項７に記載の信号処理装置。
  10. 　前記分離手段は、前記第１信号を強調して前記推定第１信号を求め、前記第２信号を推定して前記推定第２信号を求める第２強調手段を備えた請求項１乃至６のいずれに記載の信号処理装置。
  11. 　前記第２強調手段は、
    　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
    　前記混在信号と前記疑似第２信号を用いて前記推定第１信号を求める第３推定手段と、
    　を備え、
    　前記擬似第２信号を前記推定第２信号として出力する請求項１０に記載の信号処理装置。
  12. 　前記第２強調手段は、
    　前記第２信号を推定して疑似第２信号を求める第２推定手段と、
    　前記混在信号と前記疑似第２信号を用いて第４利得を求める第４利得計算手段と、
    　前記混在信号と前記第４利得を用いて前記推定第１信号を求める第４推定手段と、
    　を備え、
    　前記擬似第２信号を前記推定第２信号として出力する請求項１０に記載の信号処理装置。
  13. 　前記分離手段は、
    　複数の混在信号を受けて前記第１信号を強調して前記推定第１信号を求める第３強調手段と、
    　前記複数の混在信号と前記推定第１信号から前記推定第２信号を求める第５推定手段とを備えた請求項１乃至６のいずれか１項に記載の信号処理装置。
  14. 　前記第３強調手段は、
    　前記複数の混在信号を受けて前記第１信号を強調して強調第１信号を求める第４強調手段と、
    　前記複数の混在信号と前記強調第１信号を受けて前記強調第１信号と相関のない複数の疑似第２信号を求める第６推定手段と、
    　前記強調第１信号と前記複数の疑似第２信号を用いて前記推定第１信号を求める第７推定手段と、
    　を備えた請求項１３に記載の信号処理装置。
  15. 　前記分離手段は、
    　複数の混在信号を受けて前記第１信号を強調して推定第１信号を求め、
    　前記複数の混在信号から前記第１信号との相関を除去して推定第２信号を求める第５強調手段、
    　を備えた請求項１乃至６のいずれか１項に記載の信号処理装置。
  16. 　前記第５強調手段は、
    　前記複数の混在信号を受けて前記第１信号を強調して強調第１信号を求める第４強調手段と、
    　前記複数の混在信号と前記強調第１信号を受けて前記強調第１信号と相関のない複数の疑似第２信号を求める第６推定手段と、
    　前記強調第１信号と前記複数の疑似第２信号を用いて推定第１信号を求める第７推定手段と、
    　前記複数の疑似第２信号を統合して前記推定第２信号を求める統合手段と、
    　を備えた請求項１５に記載の信号処理装置。
  17. 　前記分離手段は、
    　前記第２信号と相関のある参照信号をさらに受けて、
    　前記混在信号と前記参照信号を用いて前記推定第１信号を求める第６強調手段と、
    　前記混在信号と前記推定第１信号から前記推定第２信号を求める第１推定手段とを備えた請求項１乃至６のいずれか１項に記載の信号処理装置。
  18. 　前記第６強調手段は、
    　前記参照信号を用いて前記第２信号と相関のある疑似第２信号を求める第８推定手段と、
    　前記混在信号から前記疑似第２信号を除去して前記推定第１信号を求める第９推定手段と、
    　を備えた請求項１７に記載の信号処理装置。
  19. 　前記分離手段は、
    　前記第２信号と相関のある参照信号をさらに受けて、
    　前記参照信号に基づいて前記第２信号を推定して前記推定第２信号を求め、
    　前記混在信号から前記推定第２信号を除去して前記推定第１信号を求める第７強調手段、
    　を備えた請求項１乃至６のいずれか１項に記載の信号処理装置。
  20. 　前記第７強調手段は、
    　前記参照信号を用いて前記第２信号と相関のある疑似第２信号を求める第８推定手段と、
    　前記混在信号から前記疑似第２信号を除去して前記推定第１信号を求める第９推定手段と、
    　を備え、
    　前記疑似第２信号を前記推定第２信号として出力する請求項１９に記載の信号処理装置。
  21. 　前記第１利得計算手段は、
    　前記推定第１信号の逆数を求める第２逆数変換手段と、
    　前記推定第１信号の逆数とステップサイズを乗算して正規化信号を求める第４乗算器と、
    　前記利得調整混在信号と第１信号目標値との差を求めて誤差とする減算器と、
    　前記正規化信号と前記誤差を乗算して利得調整信号を求める第５乗算器と、
    　前記利得調整信号と前記第１利得の過去の値を用いて前記第１利得の更新値を求める第３加算器と、
    　前記第１利得の更新値を記憶する記憶手段と、
    　前記記憶手段に記憶された前記第１利得の更新値を遅延させて前記加算器に供給する遅延手段と、
    　を備えた請求項３乃至２０のいずれか１項に記載の信号処理装置。
  22. 　前記第１利得計算手段は、
    　前記推定第２信号を受けて前記第１利得の更新値に制限を加えて前記記憶手段に供給する制限手段をさらに備えた請求項２１に記載の信号処理装置。
  23. 　前記第１利得計算手段は、
    　前記推定第１信号を平均して前記逆数手段に供給する第１平均手段と、
    　前記利得調整混在信号を平均して前記減算器に供給する第２平均手段と、
    　をさらに備えた請求項２１または２２に記載の信号処理装置。
  24. 　前記推定第１信号、前記推定第２信号、または前記仮利得調整混在信号の少なくとも一つが、複数の信号サンプルから構成されるフレームを単位としたフレーム信号として供給され、前記フレーム信号が供給される前記第１利得計算手段または前記第２利得計算手段がフレームごとに一つの利得を計算する請求項３乃至２３のいずれか１項に記載の信号処理装置。
  25. 　第１信号と第２信号が混在した混在信号を受けて、第１信号と第２信号を分離して推定第１信号と推定第２信号を求めるステップと、
    　前記推定第１信号と前記推定第２信号を受けて利得調整混在信号を求めるステップとを有する利得調整方法。
  26. 　第１信号と第２信号が混在した混在信号を受けて、第１信号と第２信号を分離して推定第１信号と推定第２信号を求めるステップと、
    　前記推定第１信号と前記推定第２信号に対して異なる利得を作用させて利得調整混在信号を求めるステップと
    　を有する利得調整方法。
  27. 　前記異なる利得は、一方の利得が他方の利得の逆数である請求項２６に記載の利得調整方法。
  28. 　第１信号と第２信号が混在した混在信号を受けて、第１信号と第２信号を分離して推定第１信号と推定第２信号を求めるステップと、
    　前記推定第１信号と前記推定第２信号を受けて利得調整混在信号を求めるステップとをコンピュータに実行させる利得調整プログラム。
PCT/JP2016/087968 2016-01-08 2016-12-20 信号処理装置、利得調整方法および利得調整プログラム WO2017119284A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/067,850 US10825465B2 (en) 2016-01-08 2016-12-20 Signal processing apparatus, gain adjustment method, and gain adjustment program
JP2017560090A JPWO2017119284A1 (ja) 2016-01-08 2016-12-20 信号処理装置、利得調整方法および利得調整プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-003076 2016-01-08
JP2016003076 2016-01-08

Publications (1)

Publication Number Publication Date
WO2017119284A1 true WO2017119284A1 (ja) 2017-07-13

Family

ID=59274304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087968 WO2017119284A1 (ja) 2016-01-08 2016-12-20 信号処理装置、利得調整方法および利得調整プログラム

Country Status (3)

Country Link
US (1) US10825465B2 (ja)
JP (1) JPWO2017119284A1 (ja)
WO (1) WO2017119284A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110265042B (zh) * 2019-05-31 2021-07-23 歌尔科技有限公司 声音信号处理方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0833091A (ja) * 1994-07-18 1996-02-02 Roland Corp ハウリング予知装置
JP2001095082A (ja) * 1999-09-24 2001-04-06 Yamaha Corp 指向性拡声装置
JP2009193031A (ja) * 2008-02-18 2009-08-27 Sharp Corp 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2011244232A (ja) * 2010-05-19 2011-12-01 Fujitsu Ltd マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
JP2012120133A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 相関低減方法、音声信号変換装置および音響再生装置
JP2013168878A (ja) * 2012-02-16 2013-08-29 Olympus Imaging Corp 録音機器
JP2014160156A (ja) * 2013-02-20 2014-09-04 Pioneer Electronic Corp 制御装置及び制御方法、並びにプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2685031B2 (ja) 1995-06-30 1997-12-03 日本電気株式会社 雑音消去方法及び雑音消去装置
US5822728A (en) * 1995-09-08 1998-10-13 Matsushita Electric Industrial Co., Ltd. Multistage word recognizer based on reliably detected phoneme similarity regions
JPH09311696A (ja) 1996-05-21 1997-12-02 Nippon Telegr & Teleph Corp <Ntt> 自動利得調整装置
US5930336A (en) * 1996-09-30 1999-07-27 Matsushita Electric Industrial Co., Ltd. Voice dialing server for branch exchange telephone systems
JP4282227B2 (ja) 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
CN102592605A (zh) 2003-09-02 2012-07-18 日本电气株式会社 信号处理方法和装置
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
EP3118849B1 (en) * 2004-05-19 2020-01-01 Fraunhofer Gesellschaft zur Förderung der Angewand Encoding device, decoding device, and method thereof
US7184937B1 (en) * 2005-07-14 2007-02-27 The United States Of America As Represented By The Secretary Of The Army Signal repetition-rate and frequency-drift estimator using proportional-delayed zero-crossing techniques
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
JP4701931B2 (ja) 2005-09-02 2011-06-15 日本電気株式会社 信号処理の方法及び装置並びにコンピュータプログラム
CN101091209B (zh) 2005-09-02 2010-06-09 日本电气株式会社 抑制噪声的方法及装置
US8521537B2 (en) * 2006-04-03 2013-08-27 Promptu Systems Corporation Detection and use of acoustic signal quality indicators
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
JP5787126B2 (ja) 2009-11-06 2015-09-30 日本電気株式会社 信号処理方法、情報処理装置、及び信号処理プログラム
KR101726737B1 (ko) * 2010-12-14 2017-04-13 삼성전자주식회사 다채널 음원 분리 장치 및 그 방법
CN103854653B (zh) * 2012-12-06 2016-12-28 华为技术有限公司 信号解码的方法和设备
WO2015049921A1 (ja) 2013-10-04 2015-04-09 日本電気株式会社 信号処理装置、メディア装置、信号処理方法および信号処理プログラム
EP3053356B8 (en) * 2013-10-30 2020-06-17 Cerence Operating Company Methods and apparatus for selective microphone signal combining
US20160329949A1 (en) * 2015-05-05 2016-11-10 Analog Devices Global Apparatus and methods for scalable receivers

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0833091A (ja) * 1994-07-18 1996-02-02 Roland Corp ハウリング予知装置
JP2001095082A (ja) * 1999-09-24 2001-04-06 Yamaha Corp 指向性拡声装置
JP2009193031A (ja) * 2008-02-18 2009-08-27 Sharp Corp 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2011244232A (ja) * 2010-05-19 2011-12-01 Fujitsu Ltd マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
JP2012120133A (ja) * 2010-12-03 2012-06-21 Fujitsu Ten Ltd 相関低減方法、音声信号変換装置および音響再生装置
JP2013168878A (ja) * 2012-02-16 2013-08-29 Olympus Imaging Corp 録音機器
JP2014160156A (ja) * 2013-02-20 2014-09-04 Pioneer Electronic Corp 制御装置及び制御方法、並びにプログラム

Also Published As

Publication number Publication date
US10825465B2 (en) 2020-11-03
JPWO2017119284A1 (ja) 2018-11-08
US20190027159A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
EP2238592B1 (en) Method for reducing noise in an input signal of a hearing device as well as a hearing device
US7933424B2 (en) Hearing aid comprising adaptive feedback suppression system
KR101610656B1 (ko) 널 프로세싱 노이즈 감산을 이용한 노이즈 억제 시스템 및 방법
US8374358B2 (en) Method for determining a noise reference signal for noise compensation and/or noise reduction
US9210504B2 (en) Processing audio signals
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
CN111128210B (zh) 具有声学回声消除的音频信号处理的方法和系统
JP4689269B2 (ja) 静的スペクトルパワー依存型音響強調システム
KR20190085927A (ko) 적응성 빔포밍
US9313573B2 (en) Method and device for microphone selection
US20100171662A1 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
US7181026B2 (en) Post-processing scheme for adaptive directional microphone system with noise/interference suppression
JP2015523609A (ja) デュアルマイクに基づく音声残響低減方法及びその装置
KR101182017B1 (ko) 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
US20090086578A1 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
TWI465121B (zh) 利用全方向麥克風改善通話的系統及方法
WO2017119284A1 (ja) 信号処理装置、利得調整方法および利得調整プログラム
JP2020504966A (ja) 遠距離音の捕捉
JP6593643B2 (ja) 信号処理装置、メディア装置、信号処理方法および信号処理プログラム
US10692514B2 (en) Single channel noise reduction
JPH1127099A (ja) 適応フィルタおよびこれを用いた信号処理装置
CN117116281A (zh) 声学反馈抑制方法、装置、设备及存储介质
Mahbub et al. Gradient Based Adaptive Algorithm for Echo Cancellation from Recorded Echo Corrupted Speech

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883783

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017560090

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16883783

Country of ref document: EP

Kind code of ref document: A1