WO2010092913A1 - 多チャンネル音響信号処理方法、そのシステム及びプログラム - Google Patents

多チャンネル音響信号処理方法、そのシステム及びプログラム Download PDF

Info

Publication number
WO2010092913A1
WO2010092913A1 PCT/JP2010/051750 JP2010051750W WO2010092913A1 WO 2010092913 A1 WO2010092913 A1 WO 2010092913A1 JP 2010051750 W JP2010051750 W JP 2010051750W WO 2010092913 A1 WO2010092913 A1 WO 2010092913A1
Authority
WO
WIPO (PCT)
Prior art keywords
channel
section
crosstalk
channels
voice
Prior art date
Application number
PCT/JP2010/051750
Other languages
English (en)
French (fr)
Inventor
剛範 辻川
江森　正
祥史 大西
亮輔 磯谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/201,389 priority Critical patent/US8954323B2/en
Priority to JP2010550498A priority patent/JP5605573B2/ja
Publication of WO2010092913A1 publication Critical patent/WO2010092913A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Definitions

  • the present invention relates to a multi-channel acoustic signal processing method, its system and program.
  • Patent Document 1 An example of a related multi-channel acoustic signal processing system is described in Patent Document 1.
  • This device is a system that extracts target speech by removing unintended speech and background noise from a mixed acoustic signal of speech and noise of a plurality of speakers observed with a plurality of microphones arranged arbitrarily. Moreover, it is also a system which can detect the target voice from the mixed acoustic signal.
  • FIG. 10 is a block diagram showing the configuration of the noise removal system disclosed in Patent Document 1, and outlines the configuration and operation of a location where target speech is detected from a mixed acoustic signal.
  • a signal separator 101 that receives and separates input time-series signals of a plurality of channels, and a noise estimator 102 that receives a separated signal output from the signal separator 101 and estimates noise based on the intensity ratio from the intensity ratio calculator 106.
  • Patent Document 1 The noise removal system described in Patent Document 1 described above is intended to detect and extract a target voice from mixed speech signals of a plurality of speakers and noises observed by a plurality of arbitrarily arranged microphones. However, it has the following problems.
  • the problem is that the target speech may not be efficiently detected and extracted from the mixed acoustic signal.
  • a plurality of microphones are arbitrarily arranged, and assuming that, for example, target speech is detected using signals from the plurality of microphones (microphone signal, input time series signal in FIG. 10), depending on the microphone signal, This is because there are cases where signal separation is necessary and cases where signal separation is unnecessary. That is, the degree of signal separation required differs depending on the subsequent processing of the signal separation unit 101.
  • the signal separation unit 101 consumes an enormous amount of calculation for unnecessary processing, which is inefficient.
  • the noise section and the voice section are detected using the output of the signal separation unit 101 that extracts the target voice.
  • the voices of the speakers A and B are respectively obtained from the mixed acoustic signals of the speakers A and B collected by the microphones A and B.
  • the voices of the speaker A and the speaker B are mixed in the microphone A at a close ratio (FIG. 2).
  • the voice of the speaker A mixed in the microphone B is the voice of the speaker B. Less compared (see FIG. 2). That is, in order to extract the voice of the speaker A included in the microphone A and the voice of the speaker B included in the microphone B, the voice of the speaker B mixed in the microphone A (crosstalk by the speaker B) is removed. The need to do is high. However, the necessity of removing the voice of the speaker A mixed in the microphone B (crosstalk by the speaker A) is low. When the necessity for removal is different, it is inefficient to perform the same processing on the mixed acoustic signal collected by the microphone A and the microphone B in the signal separation unit 101.
  • an object of the present invention is to provide a multi-channel acoustic signal processing system that has been invented in view of the above problems and can efficiently detect a target voice from a multi-channel input signal.
  • the present invention for solving the above problems is a multi-channel acoustic signal processing method for processing input signals of a plurality of channels including voices of a plurality of speakers, and the first feature amount for each channel from the multi-channel input signals. Calculating the similarity between the channels of the first feature amount for each channel, selecting a plurality of channels having a high similarity, and separating the signals using the input signals of the selected plurality of channels.
  • the multi-channel acoustic signal processing is characterized in that an input signal of a plurality of channels with low similarity and the signal after the signal separation are input, and a voice section for each speaker or each channel is detected. Is the method.
  • the present invention for solving the above problems is a multi-channel acoustic signal processing system for processing input signals of a plurality of channels including voices of a plurality of speakers, and calculates a feature value for each channel from the multi-channel input signals.
  • a first feature amount calculation unit a similarity calculation unit that calculates a similarity between channels of the first feature amount for each channel, a channel selection unit that selects a plurality of channels having a high degree of similarity, and a selection
  • the signal separation unit that separates the signals using the input signals of the plurality of channels, the input signals of the plurality of channels with low similarity and the signal after the signal separation as inputs, for each speaker, or
  • a multi-channel acoustic signal processing system having an audio detection unit that detects an audio section for each channel.
  • the present invention for solving the above problems is a program for processing input signals of a plurality of channels including voices of a plurality of speakers, and a first feature value for calculating a feature value for each channel from a multi-channel input signal.
  • a calculation process; a similarity calculation process for calculating the similarity between the channels of the first feature amount for each channel; a channel selection process for selecting a plurality of channels with a high similarity; and a plurality of selected channels A signal separation process for separating a signal using an input signal, an input signal of a plurality of channels with low similarity and the signal after the signal separation as inputs, and for each speaker or a voice section for each channel
  • This is a program that causes an information processing apparatus to execute a voice detection process for detecting a voice.
  • the present invention can eliminate unnecessary calculations and can efficiently detect a target voice.
  • FIG. 1 is a layout diagram of microphones and speakers for explaining the problem of the present invention.
  • FIG. 2 is a diagram for explaining crosstalk and overlap sections.
  • FIG. 3 is a block diagram showing the configuration of the first exemplary embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the first exemplary embodiment of the present invention.
  • FIG. 5 is a diagram showing voice sections detected by the multi-channel voice detector 5 and crosstalk between channels.
  • FIG. 6 is a block diagram showing the configuration of the second mode of the present invention.
  • FIG. 7 is a flowchart showing the operation of the second embodiment of the present invention.
  • FIG. 8 is a diagram showing an overlap section detected by the overlap section detection unit 6.
  • FIG. 9 is a diagram showing a section in which the second feature amount calculation units 7-1 to 7-P calculate feature amounts.
  • FIG. 10 is a block diagram showing a configuration of a related noise removal system.
  • FIG. 3 is a block diagram illustrating a configuration example of the multi-channel acoustic signal processing system according to the first embodiment.
  • the multi-channel acoustic signal processing system shown in FIG. 3 includes first feature amount calculation units 1-1 to 1-M that receive input signals 1 to M and calculate a first feature amount for each channel,
  • the similarity calculation unit 2 that calculates the similarity between the channels by receiving the feature amount
  • the channel selection unit 3 that selects the channel with the high similarity by receiving the similarity between the channels, and the selected similarity is high
  • a signal separation unit 4-1 to 4-N that receives a channel input signal and separates the signal, and a channel input signal that has a low similarity to the signal from the signal separation unit 4-1 to 4-N after the signal separation;
  • a multi-channel audio detector 5 for detecting the voices of a plurality of speakers in the input signals of the plurality of channels, respectively, on any one channel.
  • FIG. 4 is a flowchart showing a processing procedure in the multi-channel acoustic signal processing system according to the first embodiment. Details of the multi-channel acoustic signal processing system according to the first embodiment will be described below with reference to FIGS. 3 and 4.
  • input signals 1 to M are x1 (t) to xM (t), respectively.
  • t is a time index.
  • the first feature quantity calculators 1-1 to 1-M calculate the first feature quantities 1 to M from the input signals 1 to M, respectively (step S1).
  • F1 (T) [f11 (T) f12 (T)... f1L (T)]... (1-1)
  • F2 (T) [f21 (T) f22 (T)... f2L (T)]... (1-2)
  • ⁇ ⁇ ⁇ FM (T) [fM1 (T) fM2 (T)... fML (T)]... (1-M)
  • F1 (T) to FM (T) are feature quantities 1 to M calculated from the input signals 1 to M.
  • T is an index of time, and a plurality of t may be set as one section, and T may be used as an index in the time section.
  • the first feature values F1 (T) to FM (T) are elements of L-dimensional feature values (L is a value of 1 or more), respectively. It is configured as a vector with As elements of the first feature amount, for example, time waveform (input signal), statistics such as average power, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for acoustic model, reliability for acoustic model ( (Including entropy), phoneme / syllable recognition results, speech segment length, etc.
  • time waveform input signal
  • statistics such as average power, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for acoustic model, reliability for acoustic model ( (Including entropy), phoneme / syllable recognition results, speech segment length, etc.
  • the first feature quantity not only the feature quantity directly obtained from the input signals 1 to M but also the value for each channel with respect to a certain standard called an acoustic model can be used as the first feature quantity. It should be noted that the above feature amount is an example, and other feature amounts may be used.
  • the similarity calculation unit 2 receives the first feature quantities 1 to M and calculates the similarity between channels (step S2).
  • the similarity calculation method differs depending on the feature quantity.
  • the correlation value is generally suitable as an index representing the degree of similarity.
  • the distance (difference) value is an index indicating that the smaller the value is, the higher the similarity is.
  • the first feature value is a phoneme / syllable recognition result
  • character strings are compared, and DP matching or the like may be used to calculate the similarity.
  • the above correlation value, distance value, and the like are examples, and it is needless to say that the similarity may be calculated using another index.
  • it is not necessary to calculate the similarity of all combinations of all channels and only the similarity to the channel may be calculated on the basis of a certain channel among the M channels. Alternatively, a plurality of times T may be taken as one section, and the similarity in that time section may be calculated.
  • the channel selection unit 3 receives the similarity between channels from the similarity calculation unit 2, selects a channel with a high similarity, and performs grouping (step S3).
  • a method of clustering may be used, for example, by comparing the degree of similarity with a threshold and grouping those channels when the degree of similarity is higher than the threshold or grouping when the degree of similarity is relatively high. At that time, there may be channels selected for multiple groups. Further, there may be a channel that is not selected in any group. Such an input signal of a channel having a low similarity to the input signal of any channel is not grouped and is output to the multi-channel sound detection unit 5.
  • the similarity calculation unit 2 and the channel selection unit 3 may perform processing to narrow down the channels to be selected by repeating the process of calculating the similarity and selecting a channel for different feature amounts.
  • the signal separation units 4-1 to 4-N perform signal separation for each group selected by the channel selection unit 3 (step S4).
  • a method based on independent component analysis or a method based on square error minimization may be used. Although the output of each signal separation unit is expected to have a low similarity, the output of different signal separation units may include a high similarity. In that case, similar outputs may be selected.
  • the multi-channel audio detection unit 5 receives the output signals of the signal separation units 4-1 to 4-N and the signals that are determined not to be grouped by the channel selection unit 3 as being low in similarity, The voices of the plurality of speakers in the signal are detected on any one channel (step S5).
  • the signal directly input from the channel selector 3) is defined as y1 (t) to yK (t).
  • the multi-channel voice detection unit 5 detects the voices of a plurality of speakers in the signals of a plurality of channels from any one of the signals y1 (t) to yK (t). For example, assuming that different sounds are detected in channels 1 to P, signals in the sound section are expressed as follows.
  • the multi-channel sound detection unit 5 may use a conventional technique for detecting sound using a plurality of signals.
  • signal separation is not performed on all channels, but a unit for performing signal separation is reduced on the basis of the similarity between channels, and a signal separation unit 4 is used for channels that do not require signal separation. Do not input to -1 to 4-N. Therefore, signal separation can be performed more efficiently than when signal separation is performed on all channels. Then, the input signal of the channel with low similarity (the signal that is not input to the signal separation units 4-1 to 4-N but directly input from the channel selection unit 3) and the signal after the signal separation are input to the multi-channel audio. By performing the detection, the target voice can be efficiently detected.
  • FIG. 6 is a block diagram showing a configuration of a multi-channel acoustic signal processing system according to the second embodiment of the present invention. Comparing the second embodiment with the first embodiment shown in FIG. 3, in the second embodiment, the multi-channel detection unit 5 detects the second channel after the multi-channel detection unit 5. An overlap section detection unit 6 that detects an overlap section of voice sections of a plurality of speakers, and a second feature quantity calculation unit 7 that calculates a second feature quantity for each of a plurality of channels in which at least speech is detected.
  • the crosstalk amount estimating unit 8 that receives at least the second feature amounts of a plurality of channels in a voice section that does not include the overlap section and estimates the magnitude of the influence of the crosstalk, and has a large influence
  • a crosstalk removing unit 9 for removing crosstalk is added.
  • the first feature quantity calculation units 1-1 to 1-M, the similarity calculation unit 2, the channel selection unit 3, the signal separation units 4-1 to 4-N, and the multi-channel audio detection unit 5 Since the operation is the same as that of the first embodiment, in the following description, the overlap section detection unit 6, the second feature amount calculation units 7-1 to 7-P, the crosstalk amount estimation unit 8, Only the crosstalk removing unit 9 will be described.
  • FIG. 7 is a flowchart showing a processing procedure in the multi-channel acoustic signal processing system according to the second embodiment for carrying out the present invention. Details of the multi-channel acoustic signal processing system according to the second embodiment will be described below with reference to FIGS. 6 and 7.
  • the overlap section detection unit 6 receives the time information of the start and end of the voice sections detected in the channels 1 to P, and detects the overlap section (step S6).
  • the overlap section is a section in which the detected voice sections are common among the channels 1 to P. As shown in FIG. 8, ts1, ts2, ts3,... TsP and te1, te2, te3,. It can be detected from the magnitude relationship. For example, a section having a common voice section detected between channel 1 and channel P is tsP to te1, and this section is an overlap section. In addition, sections in which the voice sections detected between channel 2 and channel P are common are ts2 to teP, and this section is an overlap section. Further, a section in which the detected voice section is common between channel 2 and channel 3 is ts3 to te3, and this section is an overlap section. As described above, the overlap interval can be detected from the magnitude relationship among ts1, ts2, ts3,..., TsP and te1, te2, te3,.
  • the second feature amount calculation units 7-1 to 7-P calculate second feature amounts 1 to P from the signals y1 (t) to yP (t), respectively (step S7).
  • G1 (T) [g11 (T) g12 (T)... g1H (T)]... (2-1)
  • G2 (T) [g21 (T) g22 (T)... g2H (T)]... (2-2)
  • ⁇ ⁇ ⁇ GP (T) [gP1 (T) gP2 (T)... gPH (T)]... (2-P)
  • G1 (T) to GP (T) are the second feature amounts 1 to P calculated from the signals y1 (t) to yP (t).
  • the second feature values G1 (T) to GP (T) are elements of feature values in the H dimension (H is a value of 1 or more), respectively.
  • time waveform input signal
  • statistics such as average power, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for acoustic model, reliability to acoustic model ( Phoneme / syllable recognition results, etc.).
  • the second feature quantity is not only the feature quantity directly obtained from the input signals 1 to P as described above, but also the value for each channel with respect to a certain standard called an acoustic model can be used as the second feature quantity. It should be noted that the above feature amount is an example, and other feature amounts may be used.
  • the section for calculating the second feature value may be at least all of the voice sections of the plurality of channels in which the voice is detected. However, in order to reduce the calculation amount for calculating the second feature value, the following section is used. It is desirable to calculate the feature amount with
  • the first voice section detected in the first channel (2) the n-th voice section of the n-th channel having an overlap section in common with the first voice section (3) n-th channel Among the speech sections, an overlap section with the m-th speech section of the m-th channel other than the first speech section.
  • the second feature amount calculation section will be described with reference to FIG. 9 as an example.
  • the crosstalk amount estimating unit 8 performs crosstalk caused by the nth sound of the nth channel having the same overlap period as the first sound of the first channel, and the first talk of the first channel.
  • the magnitude of the influence on the voice is estimated (step S8).
  • FIG. 9 will be described as an example.
  • the first channel is channel 1
  • the influence of the crosstalk caused by the sound of channel P having the same overlap period as the sound detected by channel 1 sound period is ts1 to te1
  • the following methods can be considered as the estimation method.
  • ⁇ Estimation method 1> The feature quantity of channel 1 and the feature quantity of channel P are compared in sections te1 to ts2, which are voice sections that do not include an overlap section. If the feature amount is close, it is estimated that the influence of the sound of channel P on channel 1 is large.
  • the powers of channel 1 and channel P in the section te1 to ts2 are compared. If the power of channel P and the power of channel 1 are close, it is estimated that the influence of the sound of channel P on channel 1 is large. If the power of channel 1 is sufficiently larger than the power of channel P, it is estimated that the influence of the sound of channel P on channel 1 is small.
  • ⁇ Estimation method 3> The power ratio between channel 1 and channel P in intervals ts1 to tsP, which are voice intervals not including the overlap interval, is calculated. Next, the power ratio between the channel 1 and the channel P in the section te1 to ts2 which is a voice section not including the overlap section is calculated. Then, by solving the simultaneous equations using the above two power ratios, the power of channel 1 in the section tsP to te1 and the power of channel P, the voice of channel 1 and the channel P in the overlap section tsP to te1 Calculate the power of crosstalk by voice. If the sound power of channel 1 is close to the power of crosstalk, it is estimated that the influence of sound of channel P on channel 1 is large.
  • the influence of crosstalk is estimated by using a ratio, a correlation value, and a distance value based on feature quantities between channels using at least a voice section that does not include an overlap section.
  • the crosstalk amount estimation unit 8 may estimate the influence of the crosstalk by other methods.
  • 9 is included in the channel 2 audio segment, it is difficult to estimate the influence of the crosstalk caused by the channel 3 audio on the channel 2. If estimation is difficult in this way, a rule determined in advance (for example, determining that the influence is large) may be followed.
  • the crosstalk removing unit 9 receives the input signals of a plurality of channels that are estimated to have a large influence by the crosstalk in the crosstalk amount estimating unit 8 or a large influence as the crosstalk, and removes the crosstalk. (Step S9).
  • the signal separation filter used in the signal separation units 4-1 to 4-N can be used as the initial value of the filter for crosstalk removal in the crosstalk removal unit 9.
  • the section for removing the crosstalk may be at least an overlap section.
  • the section to be processed for crosstalk by the channel P The overlap section (tsP to te1) is set to one voice section (ts1 to te1), and the other sections are not subjected to crosstalk processing, but are simply removed. In this way, the number of crosstalk processing targets is reduced, and the burden of crosstalk processing can be reduced.
  • an overlap section of a plurality of speaker voice sections is detected, and at least a voice section that does not include the detected overlap section is used.
  • the channel to be subjected to the crosstalk removal process and its section are determined.
  • the magnitude of the influence of the crosstalk is estimated using at least the feature quantities of a plurality of channels in the voice section that does not include the overlap section, and the crosstalk having a large influence is removed. Therefore, it is possible to omit the calculation for removing the crosstalk having a small influence, and it is possible to efficiently remove the crosstalk.
  • the section is described as a section for time, but may be a section for frequency or a section for time / frequency.
  • an overlap section in the case of a section for time / frequency is a section in which voices overlap in a section having the same time and frequency.
  • the multi-channel audio detection unit 5, the overlap section detection unit 6, the second feature amount calculation units 7-1 to 7-P, the crosstalk amount estimation unit 8, and the crosstalk removal unit 9 are implemented by hardware. Although configured, all or part of them can be configured by an information processing apparatus that operates by a program.
  • a multi-channel acoustic signal processing method for processing input signals of a plurality of channels including voices of a plurality of speakers, Calculate the first feature value for each channel from the multi-channel input signal, Calculating the similarity between channels of the first feature amount for each channel; Select a plurality of channels with high similarity, Separate the signals using the input signals of multiple selected channels, A multi-channel acoustic signal processing method, wherein an input signal of a plurality of channels having low similarity and the signal after signal separation are input, and a voice section for each speaker or each channel is detected.
  • the first feature value calculated for each channel is the time waveform, statistic, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for the acoustic model, reliability for the acoustic model, and phoneme recognition result.
  • Appendix 7 Using at least a speech section that does not include the detected overlap section, estimating the influence of crosstalk, The multi-channel acoustic signal processing method according to appendix 6, wherein a channel having a large crosstalk effect and its section are targeted for crosstalk removal processing.
  • the section for calculating the second feature value is the voice section detected in the m-th channel and the voice of the n-th channel having an overlap section in common with the voice section of the m-th channel.
  • the multi-channel acoustic signal processing according to appendix 8 wherein the multi-channel acoustic signal processing is determined using a section and an overlap section of a voice section of a channel other than the mth voice section among the voice sections of the nth channel.
  • the second feature amount includes statistics, time waveform, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for acoustic model, reliability for acoustic model, phoneme recognition result, syllable recognition result.
  • a multi-channel acoustic signal processing system for processing input signals of a plurality of channels including voices of a plurality of speakers, A first feature amount calculation unit for calculating a feature amount for each channel from a multi-channel input signal; A similarity calculation unit that calculates the similarity between channels of the first feature amount for each channel; A channel selection unit for selecting a plurality of channels having a high degree of similarity; A signal separation unit that separates signals using input signals of a plurality of selected channels; A voice detection unit configured to input an input signal of a plurality of channels having low similarity and the signal after signal separation, and to detect a voice section for each speaker or each channel; Multi-channel acoustic signal processing system.
  • the first feature amount calculation unit includes a time waveform, a statistic, a frequency spectrum, a frequency log spectrum, a cepstrum, a mel cepstrum, a likelihood for an acoustic model, a reliability for an acoustic model, a phoneme recognition result, and a syllable recognition.
  • the multi-channel acoustic signal processing system according to appendix 12, wherein at least one of the speech section lengths is calculated as a feature amount.
  • Appendix 14 The multi-channel acoustic signal processing according to appendix 12 or appendix 13, wherein the similarity calculator calculates at least one of a correlation value and a distance value as an index representing the similarity. system.
  • the first feature amount calculation unit calculates a different first feature amount for each channel with different types of feature amounts, The multi-channel acoustic signal processing according to any one of appendix 12 to appendix 14, wherein the similarity calculation unit selects a channel a plurality of times using different first feature quantities and narrows down the channel to be selected. system.
  • An overlap section detection unit that detects an overlap section that is a section in which the detected speech section is common between channels;
  • a crosstalk processing target determining unit that determines a channel and a section of a crosstalk removal processing target using at least a voice section that does not include the detected overlap section;
  • the multi-channel acoustic signal processing system according to any one of appendix 12 to appendix 16, further comprising: a crosstalk removing unit that removes crosstalk in a section of the channel targeted for the crosstalk removal processing.
  • the crosstalk processing target determining unit estimates the influence of the crosstalk by using at least the voice section that does not include the detected overlap section, and determines the channel and the section where the influence of the crosstalk is large.
  • Item 18 The multichannel acoustic signal processing system according to appendix 17, which is a target for crosstalk removal processing.
  • the crosstalk processing target determination unit uses at least a second feature value calculated from an input signal of each channel or an input signal in an audio section that does not include the overlap section, or crosstalk. 19.
  • the crosstalk processing target determination unit determines a section for calculating the second feature amount for each channel, a voice section detected in the m-th channel, and a sound of the m-th channel. The determination is made using an audio section of the nth channel having an overlap section in common with the section, and an overlap section of the audio section of the channel other than the mth audio section among the audio sections of the nth channel.
  • the multi-channel acoustic signal processing system according to appendix 19, wherein
  • the second feature amount includes statistics, time waveform, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for acoustic model, reliability for acoustic model, phoneme recognition result, syllable recognition result.
  • the multi-channel acoustic signal processing system according to supplementary note 19 or supplementary note 20, which includes at least one of them.
  • the first feature amount calculation process includes time waveform, statistic, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for acoustic model, reliability for acoustic model, phoneme recognition result, syllable recognition. As a result, at least one of the speech section lengths is calculated as a feature amount.
  • Appendix 25 The program according to appendix 23 or appendix 24, wherein the similarity calculation process calculates at least one of a correlation value and a distance value as an index representing the similarity.
  • the first feature amount calculation process calculates a different first feature amount for each channel with a different feature amount type, 26.
  • the program according to any one of appendix 23 to appendix 25, wherein the similarity calculation process selects a channel a plurality of times using different first feature quantities and narrows down the channel to be selected.
  • An overlap section detection process for detecting an overlap section, which is a section in which the detected voice section is common between channels;
  • a crosstalk processing target determination process for determining a channel and a section of a crosstalk removal processing target using at least a voice section that does not include the detected overlap section; 29.
  • the crosstalk processing target determination process uses at least a second feature value calculated from an input signal of each channel or an input signal in an audio section that does not include the overlap section, or crosstalk.
  • the section for calculating the second feature value for each channel is divided into a voice section detected in the m-th channel and a voice in the m-th channel.
  • the determination is made using an audio section of the nth channel having an overlap section in common with the section, and an overlap section of the audio section of the channel other than the mth audio section among the audio sections of the nth channel.
  • the second feature amount includes statistics, time waveform, frequency spectrum, frequency logarithmic spectrum, cepstrum, mel cepstrum, likelihood for acoustic model, reliability for acoustic model, phoneme recognition result, syllable recognition result.
  • a multi-channel acoustic signal processing device and a multi-channel acoustic signal processing device that separates mixed acoustic signals of speech and noise of a plurality of speakers observed with a plurality of arbitrarily arranged microphones are realized in a computer. It can be applied to uses such as programs for

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

本発明は、複数の話者の音声を含む複数のチャンネルの入力信号を処理する多チャンネル音響信号処理方法であって、多チャンネルの入力信号からチャンネル毎に第１の特徴量を算出し、チャンネル毎の第１の特徴量のチャンネル間の類似度を計算し、類似度が高い複数のチャンネルを選択し、選択した複数のチャンネルの入力信号を用いて信号を分離し、類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、話者毎、又は、チャンネル毎の音声区間を検出することを特徴とする。

Description

多チャンネル音響信号処理方法、そのシステム及びプログラム
　本発明は、多チャンネル音響信号処理方法、そのシステム及びプログラムに関する。
　関連する多チャンネル音響信号処理システムの一例が、特許文献１に記載されている。この装置は、任意に配置された複数のマイクロホンで観測した複数の話者の音声および雑音の混合音響信号から目的外音声、背景雑音を除去することにより目的音声を抽出するシステムである。また、上記混合音響信号から目的音声を検出できるシステムでもある。
　図１０は、特許文献１に開示されている雑音除去システムの構成を示すブロック図であり、混合音響信号から目的音声を検出する箇所について構成および動作を概説する。複数のチャンネルの入力時系列信号を受けて分離する信号分離部１０１と、信号分離部１０１から出力される分離信号を受け強度比計算部１０６からの強度比に基づき雑音を推定する雑音推定部１０２と、信号分離部１０１から出力される分離信号と、雑音推定部１０２で推定された雑音成分と、強度比計算部１０６の出力を受けて雑音区間、音声区間を検出する雑音区間検出部１０３とを有する。
特開２００５－３０８７７１号公報
　上記で説明した特許文献１に記載の雑音除去システムは、任意に配置された複数のマイクロホンで観測した複数の話者の音声および雑音の混合音響信号から目的音声を検出、抽出することを意図したものであるが、下記の課題を有している。
　その課題は、混合音響信号から目的音声を効率的に検出、抽出することができない場合があることである。その理由は、複数のマイクロホンが任意に配置され、複数のマイクロホンからの信号（マイクロホン信号、図１０では入力時系列信号）を用いて、例えば目的音声を検出することを想定すると、マイクロホン信号によっては、信号分離が必要な場合と、不要な場合とがあるためである。すなわち、信号分離部１０１の後段の処理によって、信号分離が必要な度合いが異なるということである。信号分離が不要なマイクロホン信号が多数となると、信号分離部１０１は不要な処理に莫大な計算量を費やすことになり、非効率的である。
　また他の理由は、目的音声を抽出する信号分離部１０１の出力を用いて、雑音区間、音声区間を検出する構成となっているためである。例えば、図１のような話者Ａ、ＢとマイクロホンＡ、Ｂの配置を想定し、マイクロホンＡ、Ｂで収音した話者Ａ、Ｂの混合音響信号から話者Ａ、Ｂの音声をそれぞれ検出、抽出することを考える。マイクロホンＡと話者Ａとの間の距離は、マイクロホンＡと話者Ｂとの間の距離と近いため、マイクロホンＡには話者Ａと話者Ｂとの音声が近い割合で混入する（図２を参照）。
　しかし、マイクロホンＢと話者Ａとの間の距離は、マイクロホンＢと話者Ｂとの間の距離に比べて遠いため、マイクロホンＢに混入する話者Ａの音声は、話者Ｂの音声に比べて少ない（図２を参照）。すなわち、マイクロホンＡに含まれる話者Ａの音声とマイクロホンＢに含まれる話者Ｂの音声とを抽出するために、マイクロホンＡに混入する話者Ｂの音声（話者Ｂによるクロストーク）を除去する必要度は高い。しかし、マイクロホンＢに混入する話者Ａの音声（話者Ａによるクロストーク）を除去する必要度は低い。除去の必要度が異なる場合に、信号分離部１０１においてマイクロホンＡとマイクロホンＢとで収音した混合音響信号に対して同じ処理を行うことは非効率的であった。
　そこで、上記課題に鑑みて発明されたものであって、多チャンネルの入力信号から効率的に目的音声を検出できる多チャンネル音響信号処理システムを提供することにある。
　上記課題を解決する本発明は、複数の話者の音声を含む複数のチャンネルの入力信号を処理する多チャンネル音響信号処理方法であって、多チャンネルの入力信号からチャンネル毎に第１の特徴量を算出し、前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算し、前記類似度が高い複数のチャンネルを選択し、選択した複数のチャンネルの入力信号を用いて信号を分離し、前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出することを特徴とする多チャンネル音響信号処理方法である。
　上記課題を解決する本発明は、複数の話者の音声を含む複数のチャンネルの入力信号を処理する多チャンネル音響信号処理システムであって、多チャンネルの入力信号からチャンネル毎に特徴量を算出する第１の特徴量算出部と、前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算する類似度計算部と、前記類似度が高い複数のチャンネルを選択するチャンネル選択部と、選択した複数のチャンネルの入力信号を用いて信号を分離する信号分離部と、前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する音声検出部とを有することを特徴とする多チャンネル音響信号処理システムである。
　上記課題を解決する本発明は、複数の話者の音声を含む複数のチャンネルの入力信号を処理するプログラムであって、多チャンネルの入力信号からチャンネル毎に特徴量を算出する第１の特徴量算出処理と、前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算する類似度計算処理と、前記類似度が高い複数のチャンネルを選択するチャンネル選択処理と、選択した複数のチャンネルの入力信号を用いて信号を分離する信号分離処理と、前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する音声検出処理とを情報処理装置に実行させることを特徴とするプログラムである。
　本発明は、余計な計算を省くことができ、効率的に目的音声を検出することができる。
図１は本発明の課題を説明するためのマイクロホン、話者配置図である。 図２はクロストーク、オーバーラップ区間を説明する為の図である。 図３は本発明の第１の実施の形態の構成を示すブロック図である。 図４は本発明の第１の実施の形態の動作を示す流れ図である。 図５は多チャンネル音声検出部５で検出される音声区間とチャンネル間のクロストークとを示す図である。 図６は本発明の第２の形態の構成を示すブロック図である。 図７は本発明の第２の形態の動作を示す流れ図である。 図８はオーバーラップ区間検出部６で検出するオーバーラップ区間を示す図である。 図９は第２の特徴量算出部７－１～７－Ｐで特徴量を算出する区間を示す図である。 図１０は関連する雑音除去システムの構成を示すブロック図である。
　＜第１の実施の形態＞
　本発明の第１の実施の形態を説明する。
　図３は、第１の実施の形態の多チャンネル音響信号処理システムの構成例を示すブロック図である。図３に示す多チャンネル音響信号処理システムは、入力信号１～Ｍをそれぞれ受けてチャンネル毎の第１の特徴量を算出する第１の特徴量算出部１－１～１－Ｍと、第１の特徴量を受けてチャンネル間の類似度を計算する類似度計算部２と、チャンネル間の類似度を受けて類似度の高いチャンネルを選択するチャンネル選択部３と、選択された類似度が高いチャンネルの入力信号を受けて信号を分離する信号分離部４－１～４－Ｎと、信号分離後の信号分離部４－１～４－Ｎからの信号と類似度が低いチャンネルの入力信号とを入力信号として受けて、それら複数のチャンネルの入力信号における複数の各話者の音声を各々いずれか１つのチャンネルで検出する多チャンネル音声検出部５とを有する。
　図４は、第１の実施の形態に係る多チャンネル音響信号処理システムにおける処理手順を示す流れ図である。図３および図４を参照して、第１の実施の形態の多チャンネル音響信号処理システムの詳細について以下に説明する。
　入力信号１～Ｍをそれぞれx1(t)～xM(t)とする。ただし、tは時間のインデックスである。第１の特徴量算出部１－１～１－Ｍでは、入力信号１～Ｍから、それぞれ第１の特徴量１～Ｍを算出する（ステップＳ１）。
　F1(T) = [f11(T) f12(T) … f1L(T)] … (1-1)
　F2(T) = [f21(T) f22(T) … f2L(T)] … (1-2)
　・
　・
　・
　FM(T) = [fM1(T) fM2(T) … fML(T)] … (1-M)
　ただし、F1(T)～FM(T)は入力信号１～Ｍから算出した特徴量１～Ｍである。Tは時間のインデックスであり、複数のtを1つの区間とし、その時間区間におけるインデックスとしてTを用いてもよい。数式(1-1)～(1-M)に示すように、第１の特徴量F1(T)～FM(T)は、それぞれL次元（Lは1以上の値）の特徴量の要素を持つベクトルとして構成される。第１の特徴量の要素としては、例えば、時間波形（入力信号）、平均パワーなどの統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度（エントロピーを含む）、音素・音節認識結果、音声区間長等が考えられる。
　上述したように入力信号１～Ｍから直接求める特徴量だけでなく、音響モデルというある基準に対するチャンネル毎の値を第１の特徴量とすることもできる。尚、上記の特徴量は一例であり、その他の特徴量でも良いことはもちろんである。
　次に、類似度計算部２は、第１の特徴量１～Ｍを受けて、チャンネル間の類似度を計算する（ステップＳ２）。
　類似度の計算方法は、特徴量の要素によって異なる。相関値は、一般的に類似度を表す指標として適している。また、距離（差分）値は、小さいほど類似度が高いということを表す指標となる。また、第１の特徴量が音素・音節認識結果の場合は、文字列の比較となり、その類似度の計算にはＤＰマッチングなどを利用することもある。尚、上記の相関値、距離値などは一例であり、その他の指標で類似度を計算しても良いことはもちろんである。また、全チャンネルの全組み合わせの類似度を計算する必要はなく、Ｍチャンネルのうちのあるチャンネルを基準とし、そのチャンネルに対する類似度のみを計算してもよい。また、複数の時刻Tを１つの区間として、その時間区間における類似度を計算してもよい。また特徴量に音声区間長が含まれる場合は、音声区間が検出されないチャンネルに対しては、以後の処理を省略することも可能である。
　チャンネル選択部３は、類似度計算部２からのチャンネル間の類似度を受けて、類似度が高いチャンネルを選択し、グルーピングする（ステップＳ３）。
　選択方法としては、類似度を閾値と比較して、閾値より高い場合に、それらのチャンネルをグルーピングする、又は、相対的に類似度が高い場合にグルーピングするなど、クラスタリングの手法を用いればよい。その際、複数のグループに選択されるチャンネルがあってもよい、
　また、どのグループにも選択されないチャンネルがあってもよい。このような、いずれのチャンネルの入力信号にも類似度の低いチャンネルの入力信号はグルーピングされず、多チャンネル音声検出部５に出力される。
　尚、類似度算出部２とチャンネル選択部３は、異なる特徴量に対して、類似度を計算、チャンネルを選択、という処理を繰り返すことにより、選択するチャンネルを絞り込むように処理してもよい。
　信号分離部４－１～４－Ｎは、チャンネル選択部３で選択されたグループ毎に信号分離を行う（ステップＳ４）。
　信号分離は、独立成分分析に基づく手法や、２乗誤差最小化に基づく手法などを用いればよい。各信号分離部の出力は類似度が低いことが期待されるが、異なる信号分離部の出力には類似度が高いものが含まれる可能性がある。その場合には、類似している出力を取捨選択してもよい。
　多チャンネル音声検出部５は、信号分離部４－１～４－Ｎの出力信号と、チャンネル選択部３で類似度が低いと判定されてグルーピングされなかった信号とを入力とし、複数のチャンネルの信号における複数の各話者の音声を各々いずれか１つのチャンネルで検出する（ステップＳ５）。
　ここで、信号分離部４－１～４－Ｎの出力信号と、チャンネル選択部３で類似度が低いと判定されてグルーピングされなかった信号（信号分離部４－１～４－Ｎに入力されず、チャンネル選択部３から直接入力される信号）とを、y1(t)～yK(t)とする。多チャンネル音声検出部５では、信号y1(t)～yK(t)から、複数のチャンネルの信号における複数の各話者の音声を各々いずれか１つのチャンネルで検出する。例えば、チャンネル１～Ｐで異なる音声が検出されたとし、その音声区間の信号を以下のように表す。
　y1(ts1-te1)
　y2(ts2-te2)
　y3(ts3-te3)
　・
　・
　・
　yP(tsP-teP)
　ここで、ts1、ts2、ts3、…、tsPは、チャンネル１～Ｐで検出された音声区間の始端時刻であり、te1、te2、te3、…、tePは、チャンネル１～Ｐで検出された音声区間の終端時刻である（図５を参照）。尚、多チャンネル音声検出部５には複数の信号を用いて音声を検出する従来の手法を用いればよい。
　第１の実施の形態は、全チャンネルで信号分離を行うのではなく、チャンネル間の類似度に基づいて、信号分離を行う単位を小規模にし、また信号分離が不要なチャンネルは信号分離部４－１～４－Ｎに入力しない。そのため、全チャンネルで信号分離を行う場合に比べて、効率的に信号分離を行うことができる。そして、類似度の低いチャンネルの入力信号（信号分離部４－１～４－Ｎに入力されず、チャンネル選択部３から直接入力される信号）と信号分離後の信号とを入力として多チャンネル音声検出を行うことにより、効率的に目的音声を検出することが可能となる。
　＜第２の実施の形態＞
　第２の実施の形態を説明する。
　図６は、本発明の第２の実施の形態の多チャンネル音響信号処理システムの構成を示すブロック図である。第２の実施の形態を、図３に示した第１の実施の形態と比較すると、第２の実施の形態においては、多チャンネル検出部５の後段に、多チャンネル検出部５において検出された複数の話者の音声区間のオーバーラップ区間を検出するオーバーラップ区間検出部６と、少なくとも音声が検出された複数のチャンネル毎に第２の特徴量を算出する第２の特徴量算出部７－１～７－Ｐと、前記オーバーラップ区間を含まない音声区間における複数のチャンネルの第２の特徴量を少なくとも受けてクロストークの影響の大小を推定するクロストーク量推定部８と、影響が大きいクロストークを除去するクロストーク除去部９とが追加されている。
　尚、第１の特徴量算出部１－１～１－Ｍと、類似度計算部２と、チャンネル選択部３と、信号分離部４－１～４－Ｎと、多チャンネル音声検出部５の動作は第１の実施の形態と同様のものなので、以下の説明では、オーバーラップ区間検出部６と、第２の特徴量算出部７－１～７－Ｐと、クロストーク量推定部８と、クロストーク除去部９との説明のみを行う。
　図７は、本発明を実施するための第２の形態に係る多チャンネル音響信号処理システムにおける処理手順を示す流れ図である。図６および図７を参照して、第２の実施の形態の多チャンネル音響信号処理システムの詳細について以下に説明する。
　オーバーラップ区間検出部６は、チャンネル１～Ｐで検出された音声区間の始端、終端の時刻情報を受けて、オーバーラップ区間を検出する（ステップＳ６）。
　オーバーラップ区間は、チャンネル１～Ｐ間で、検出された音声区間が共通する区間であり、図８に示すようにts1、ts2、ts3、…、tsPおよびte1、te2、te3、…、tePの大小関係から検出できる。例えば、チャンネル１とチャンネルＰとの間で検出された音声区間が共通する区間は、tsP～te1であり、この区間がオーバーラップ区間である。また、チャンネル２とチャンネルＰとの間で検出された音声区間が共通する区間は、ts2～tePであり、この区間がオーバーラップ区間である。また、チャンネル２とチャンネル３との間で、検出された音声区間が共通する区間は、ts3～te3であり、この区間がオーバーラップ区間である。オーバーラップ区間は、上述の通り、ts1、ts2、ts3、…、tsPおよびte1、te2、te3、…、tePの大小関係から検出できる。
　次に、第２の特徴量算出部７－１～７－Ｐは、信号y1(t)～yP(t)から、それぞれ第２の特徴量１～Ｐを算出する（ステップＳ７）。
　G1(T) = [g11(T) g12(T) … g1H(T)] … (2-1)
　G2(T) = [g21(T) g22(T) … g2H(T)] … (2-2)
　・
　・
　・
　GP(T) = [gP1(T) gP2(T) … gPH(T)] … (2-P)
　ただし、G1(T)～GP(T)は信号y1(t)～yP(t)から算出した第２の特徴量１～Ｐである。数式(2-1)～(2-P)に示すように、第２の特徴量G1(T)～GP(T)は、それぞれH次元(Hは1以上の値)の特徴量の要素を持つベクトルとして構成される。第２の特徴量の要素としては、例えば、時間波形（入力信号）、平均パワーなどの統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度（エントロピーを含む）、音素・音節認識結果などが考えられる。
　上述のような入力信号１～Ｐから直接求める特徴量だけでなく、音響モデルというある基準に対するチャンネル毎の値を第２の特徴量とすることも可能である。尚、上記の特徴量は一例であり、その他の特徴量でも良いことはもちろんである。また第２の特徴量を算出する区間は、少なくとも音声が検出された複数のチャンネルの音声区間全てとしてもよいが、第２の特徴量算出のための計算量を削減するために、以下の区間で特徴量を算出することが望ましい。
　第１のチャンネルで特徴量を算出する場合、以下の（１）＋（２）－（３）の区間であることが望ましい。
（１）第１のチャンネルで検出された第１の音声区間
（２）その第１の音声区間と共通するオーバーラップ区間を有する、第ｎのチャンネルの第ｎの音声区間
（３）第ｎの音声区間のうち、第１の音声区間以外の第ｍのチャンネルの第ｍの音声区間とのオーバーラップ区間
　図９を例として参照し、上記第２の特徴量の算出区間について説明する。
＜チャンネル１が第１のチャンネルの場合＞
（１）チャンネル１の音声区間＝（ts1～te1）
（２）チャンネル１の音声区間と共通するオーバーラップ区間を有するチャンネルＰの音声区間＝（tsP～teP）
（３）チャンネルＰの音声区間のうち、チャンネル１の音声区間以外のチャンネル２の音声区間とのオーバーラップ区間＝（ts2～teP）
（１）＋（２）－（３）＝（ts1～ts2）の区間の第２の特徴量を算出する。
＜チャンネル２が第１のチャンネルの場合＞
（１）チャンネル２の音声区間＝（ts2～te2）
（２）チャンネル２の音声区間と共通するオーバーラップ区間を有するチャンネル３、Ｐの音声区間＝（ts3～te3、tsP～teP）
（３）チャンネル３、Ｐの音声区間のうち、チャンネル２の音声区間以外のチャンネル１の音声区間とのオーバーラップ区間＝（tsP～te1）
（１）＋（２）－（３）＝（te1～te2）の区間の第２の特徴量を算出する。
＜チャンネル３が第１のチャンネルの場合＞
（１）チャンネル３の音声区間＝（ts3～te3）
（２）チャンネル３の音声区間と共通するオーバーラップ区間を有するチャンネル２の音声区間＝（ts2～te2）
（３）チャンネル２の音声区間のうち、チャンネル３の音声区間以外のチャンネルＰの音声区間とのオーバーラップ区間＝（ts2～teP）
（１）＋（２）－（３）＝（teP～te2）の区間の第２の特徴量を算出する。
＜チャンネルＰが第１のチャンネルの場合＞
（１）チャンネルＰの音声区間＝（tsP～teP）
（２）チャンネルＰの音声区間と共通するオーバーラップ区間を有するチャンネル１、２の音声区間＝（ts1～te1、ts2～te2）
（３）チャンネル１、２の音声区間のうち、チャンネルＰの音声区間以外のチャンネル３の音声区間とのオーバーラップ区間＝（ts3～te3）
（１）＋（２）－（３）＝（ts1～ts3、te3～te2）の区間の第２の特徴量を算出する。
　尚、第１の特徴量と第２の特徴量との計算が重複する場合は、第２の特徴量の計算を省くことができるのはもちろんである。
　次に、クロストーク量推定部８は、第１のチャンネルの第１の音声と共通のオーバーラップ区間を有する第ｎのチャンネルの第ｎの音声によるクロストークが、第１のチャンネルの第１の音声に与える影響の大小を推定する（ステップＳ８）。図９を例とし、説明する。第１のチャンネルをチャンネル１とした場合、チャンネル１で検出された音声（音声区間はts1～te1）と共通のオーバーラップ区間を有するチャンネルＰの音声によるクロストークが、チャンネル１の音声に与える影響の大小を推定する。推定方法には以下のような方法が考えられる。
＜推定方法１＞
　オーバーラップ区間を含まない音声区間である区間te1～ts2におけるチャンネル１の特徴量とチャンネルＰの特徴量とを比較する。そして、特徴量が近ければ、チャンネルＰの音声がチャンネル１に与える影響が大きいと推定する。
　例えば、区間te1～ts2におけるチャンネル１とチャンネルＰとのパワーを比較する。そして、チャンネルＰのパワーとチャンネル１のパワーが近ければ、チャンネルＰの音声がチャンネル１に与える影響が大きいと推定する。また、チャンネル１のパワーがチャンネルＰのパワーより十分大きければ、チャンネルＰの音声がチャンネル１に与える影響が小さいと推定する。
＜推定方法２＞
　まず、区間tsP～te1におけるチャンネル１とチャンネルＰとの特徴量の差分を計算する。次に、オーバーラップ区間を含まない音声区間である区間te1～ts2におけるチャンネル１とチャンネルＰとの特徴量の差分を計算する。そして、上記２つの差分を比較し、差分の違いが少なければ、チャンネルＰの音声がチャンネル１に与える影響が大きいと推定する。
＜推定方法３＞
　オーバーラップ区間を含まない音声区間である区間ts1～tsPにおけるチャンネル１とチャンネルＰとのパワー比を計算する。次に、オーバーラップ区間を含まない音声区間である区間te1～ts2におけるチャンネル１とチャンネルＰとのパワー比を計算する。そして、上記２つのパワー比と、区間tsP～te1におけるチャンネル１のパワー、チャンネルＰのパワーを用いて、連立方程式を解くことにより、オーバーラップ区間tsP～te1における、チャンネル１の音声とチャンネルＰの音声によるクロストークのパワーを計算する。チャンネル１の音声のパワーとクロストークのパワーが近ければ、チャンネルＰの音声がチャンネル１に与える影響が大きいと推定する。
　以上の如く、オーバーラップ区間を含まない音声区間を少なくとも用いて、チャンネル間の特徴量に基づく比、相関値、距離値により、クロストークの影響を推定する。
　クロストーク量推定部８において、その他の方法によりクロストークの影響を推定してもよいことはもちろんである。尚、図９のチャンネル３の音声区間はチャンネル２の音声区間に包含されているため、チャンネル３の音声によるクロストークがチャンネル２に与える影響の大小を推定することは難しい。このように推定が困難な場合は、事前に決めたルール（例えば、影響が大きいと判定するなど）に従えばよい。
　クロストーク除去部９は、クロストーク量推定部８において、クロストークにより与えられる影響が大きい、またはクロストークとして与える影響が大きいと推定された複数のチャンネルの入力信号を受けて、クロストークを除去する（ステップＳ９）。
　クロストークの除去は、独立成分分析に基づく手法や、2乗誤差最小化に基づく手法などを適宜用いればよい。なお、信号分離部４－１～４－Ｎで使用した信号分離フィルタをクロストーク除去部９でクロストーク除去のためのフィルタの初期値として流用することが可能な場合もある。
　また、クロストークを除去する区間は、少なくともオーバーラップ区間であればよい。例えば、区間te1～ts2におけるチャンネル１とチャンネルＰとのパワーを比較し、チャンネルＰの音声がチャンネル１に与える影響が大きいと推定された場合、チャンネルＰによるクロストークの処理対象の区間を、チャンネル１の音声区間（ts1～te1）のうちオーバーラップ区間（tsP～te1）とし、他の区間に対してはクロストークの処理対象とはせず、単に音声を除去するようにする。このようにすれば、クロストークの処理対象が減り、クロストークの処理の負担が軽減できる。
　本発明の第２の実施の形態では、第１の実施の形態に加えて、複数の話者の音声区間のオーバーラップ区間を検出し、検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストーク除去処理対象のチャンネルとその区間を決定している。特に、前記オーバーラップ区間を含まない音声区間における複数のチャンネルの特徴量を少なくとも用いて、クロストークの影響の大小を推定し、影響が大きいクロストークを除去している。そのため、影響が小さいクロストークを除去するための計算を省くことができ、効率的にクロストークを除去することが可能となる。
　尚、上記実施の形態では、区間を時間に対する区間として説明したが、周波数に対する区間としてもよいし、時間・周波数に対する区間としてもよい。例えば、時間・周波数に対する区間とした場合におけるオーバーラップ区間とは、時間と周波数が同じ区間で音声がオーバーラップする区間となる。
　また、上述した実施の形態において、第１の特徴量算出部１－１～１－Ｍと、類似度計算部２と、チャンネル選択部３と、信号分離部４－１～４－Ｎと、多チャンネル音声検出部５と、オーバーラップ区間検出部６と、第２の特徴量算出部７－１～７－Ｐと、クロストーク量推定部８と、クロストーク除去部９とをハードウェアで構成したが、それらの全部又は一部をプログラムで動作する情報処理装置により構成することもできる。
　尚、上記の実施の形態の内容は、以下のようにも表現されうる。
　［付記１］　複数の話者の音声を含む複数のチャンネルの入力信号を処理する多チャンネル音響信号処理方法であって、
　多チャンネルの入力信号からチャンネル毎に第１の特徴量を算出し、
　前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算し、
　前記類似度が高い複数のチャンネルを選択し、
　選択した複数のチャンネルの入力信号を用いて信号を分離し、
　前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する
ことを特徴とする多チャンネル音響信号処理方法。
　［付記２］　前記チャンネル毎に算出する第１の特徴量は、時間波形、統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果、音声区間長のうち少なくとも１つを含むことを特徴とする付記１に記載の多チャンネル音響信号処理方法。
　［付記３］　前記類似度を表す指標として、相関値、距離値のうち少なくとも１つを含むことを特徴とする付記１又は付記２に記載の多チャンネル音響信号処理方法。
　［付記４］　前記チャンネル毎の類似度を計算して類似度が高い複数のチャンネルを選択することを、異なる特徴量を用いて複数回繰り返し、選択するチャンネルを絞ることを特徴とする付記１から付記３のいずれかに記載の多チャンネル音響信号処理方法。
　［付記５］　前記話者ごとの音声区間を、複数のチャンネルのうちのいずれか１つのチャンネルと対応づけて検出することを特徴とする付記１から付記４のいずれかに記載の多チャンネル音響信号処理方法。
　［付記６］　チャンネル間で前記検出された音声区間が共通する区間であるオーバーラップ区間を検出し、
　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストーク除去処理対象のチャンネルとその区間を決定し、
　前記クロストーク除去処理対象としたチャンネルの区間のクロストークを除去する
ことを特徴とする付記１から付記５のいずれかに記載の多チャンネル音響信号処理方法。
　［付記７］　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストークの影響を推定し、
　クロストークの影響が大きいチャンネルとその区間を、クロストーク除去処理対象とする
ことを特徴とする付記６に記載の多チャンネル音響信号処理方法。
　［付記８］　前記オーバーラップ区間を含まない音声区間における各チャンネルの入力信号、又は、その入力信号から計算される第２の特徴量を少なくとも用いて、クロストークの影響を判定することを特徴とする付記７に記載の多チャンネル音響信号処理方法。
　［付記９］　前記第２の特徴量を算出する区間を、第ｍのチャンネルで検出された音声区間と、前記第ｍのチャンネルの音声区間と共通のオーバーラップ区間を有する第ｎのチャンネルの音声区間と、前記第ｎのチャンネルの音声区間のうち第ｍの音声区間以外のチャンネルの音声区間とのオーバーラップ区間とを用いて決定することを特徴とする付記８に記載の多チャンネル音響信号処理方法。
　［付記１０］　前記第２の特徴量は、統計量、時間波形、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果のうち少なくとも１つを含むことを特徴とする付記８又は付記９に記載の多チャンネル音響信号処理方法。
　［付記１１］　前記クロストークの影響を表す指標が、比、相関値、距離値のうち少なくとも１つを含む付記７から付記１０のいずれかに記載の多チャンネル音響信号処理方法。
　［付記１２］　複数の話者の音声を含む複数のチャンネルの入力信号を処理する多チャンネル音響信号処理システムであって、
　多チャンネルの入力信号からチャンネル毎に特徴量を算出する第１の特徴量算出部と、
　前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算する類似度計算部と、
　前記類似度が高い複数のチャンネルを選択するチャンネル選択部と、
　選択した複数のチャンネルの入力信号を用いて信号を分離する信号分離部と、
　前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する音声検出部と
を有することを特徴とする多チャンネル音響信号処理システム。
　［付記１３］　前記第１の特徴量算出部は、時間波形、統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果、音声区間長のうち少なくとも１つを、特徴量として算出することを特徴とする付記１２に記載の多チャンネル音響信号処理システム。
　［付記１４］　前記類似度計算部は、相関値、距離値のうち少なくとも１つを、前記類似度を表す指標として算出することを特徴とする付記１２又は付記１３に記載の多チャンネル音響信号処理システム。
　［付記１５］　前記第１の特徴量算出部は、異なる特徴量の種類でチャンネル毎の異なる第１の特徴量を算出し、
　前記類似度計算部は、異なる第１の特徴量を用いて複数回チャンネルの選択を行い、選択するチャンネルを絞り込むことを特徴とする付記１２から付記１４のいずれかに記載の多チャンネル音響信号処理システム。
　［付記１６］　前記音声検出部は、前記話者ごとの音声区間を、複数のチャンネルのうちのいずれか１つのチャンネルと対応づけて検出することを特徴とする付記１２から付記１５のいずれかに記載の多チャンネル音響信号処理システム。
　［付記１７］　チャンネル間で前記検出された音声区間が共通する区間であるオーバーラップ区間を検出するオーバーラップ区間検出部と、
　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストーク除去処理対象のチャンネルとその区間を決定するクロストーク処理対象決定部と、
　前記クロストーク除去処理対象としたチャンネルの区間のクロストークを除去するクロストーク除去部と
を有することを特徴とする付記１２から付記１６のいずれかに記載の多チャンネル音響信号処理システム。
　［付記１８］　前記クロストーク処理対象決定部は、前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストークの影響を推定し、クロストークの影響が大きいチャンネルとその区間を、クロストーク除去処理対象とすることを特徴とする付記１７に記載の多チャンネル音響信号処理システム。
　［付記１９］　前記クロストーク処理対象決定部は、前記オーバーラップ区間を含まない音声区間における各チャンネルの入力信号、又は、その入力信号から計算される第２の特徴量を少なくとも用いて、クロストークの影響を判定することを特徴とする付記１８に記載の多チャンネル音響信号処理システム。
　［付記２０］　前記クロストーク処理対象決定部は、前記各チャンネルに対して前記第２の特徴量を算出する区間を、第ｍのチャンネルで検出された音声区間と、前記第ｍのチャンネルの音声区間と共通のオーバーラップ区間を有する第ｎのチャンネルの音声区間と、前記第ｎのチャンネルの音声区間のうち第ｍの音声区間以外のチャンネルの音声区間とのオーバーラップ区間とを用いて決定することを特徴とする付記１９に記載の多チャンネル音響信号処理システム。
　［付記２１］　前記第２の特徴量は、統計量、時間波形、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果のうち少なくとも１つを含むことを特徴とする付記１９又は付記２０に記載の多チャンネル音響信号処理システム。
　［付記２２］　前記クロストークの影響を表す指標が、比、相関値、距離値のうち少なくとも１つを含む付記１８から付記２１のいずれかに記載の多チャンネル音響信号処理システム。
　［付記２３］　複数の話者の音声を含む複数のチャンネルの入力信号を処理するプログラムであって、
　多チャンネルの入力信号からチャンネル毎に特徴量を算出する第１の特徴量算出処理と、
　前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算する類似度計算処理と、
　前記類似度が高い複数のチャンネルを選択するチャンネル選択処理と、
　選択した複数のチャンネルの入力信号を用いて信号を分離する信号分離処理と、
　前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する音声検出処理と
を情報処理装置に実行させることを特徴とするプログラム。
　［付記２４］　前記第１の特徴量算出処理は、時間波形、統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果、音声区間長のうち少なくとも１つを、特徴量として算出することを特徴とする付記２３に記載のプログラム。
　［付記２５］　前記類似度計算処理は、相関値、距離値のうち少なくとも１つを、前記類似度を表す指標として算出することを特徴とする付記２３又は付記２４に記載のプログラム。
　［付記２６］　前記第１の特徴量算出処理は、異なる特徴量の種類でチャンネル毎の異なる第１の特徴量を算出し、
　前記類似度計算処理は、異なる第１の特徴量を用いて複数回チャンネルの選択を行い、選択するチャンネルを絞り込むことを特徴とする付記２３から付記２５のいずれかに記載のプログラム。
　［付記２７］　前記音声検出処理は、前記話者ごとの音声区間を、複数のチャンネルのうちのいずれか１つのチャンネルと対応づけて検出することを特徴とする付記２３から付記２６のいずれかに記載のプログラム。
　［付記２８］　チャンネル間で前記検出された音声区間が共通する区間であるオーバーラップ区間を検出するオーバーラップ区間検出処理と、
　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストーク除去処理対象のチャンネルとその区間を決定するクロストーク処理対象決定処理と、
　前記クロストーク除去処理対象としたチャンネルの区間のクロストークを除去するクロストーク除去処理と
を有することを特徴とする付記２３から付記２７のいずれかに記載のプログラム。
　［付記２９］　前記クロストーク処理対象決定処理は、前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストークの影響を推定し、クロストークの影響が大きいチャンネルとその区間を、クロストーク除去処理対象とすることを特徴とする付記２８に記載のプログラム。
　［付記３０］　前記クロストーク処理対象決定処理は、前記オーバーラップ区間を含まない音声区間における各チャンネルの入力信号、又は、その入力信号から計算される第２の特徴量を少なくとも用いて、クロストークの影響を判定することを特徴とする付記２９に記載のプログラム。
　［付記３１］　前記クロストーク処理対象決定処理は、前記各チャンネルに対して前記第２の特徴量を算出する区間を、第ｍのチャンネルで検出された音声区間と、前記第ｍのチャンネルの音声区間と共通のオーバーラップ区間を有する第ｎのチャンネルの音声区間と、前記第ｎのチャンネルの音声区間のうち第ｍの音声区間以外のチャンネルの音声区間とのオーバーラップ区間とを用いて決定することを特徴とする付記３０に記載のプログラム。
　［付記３２］　前記第２の特徴量は、統計量、時間波形、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果のうち少なくとも１つを含むことを特徴とする付記３０又は付記３１に記載のプログラム。
　［付記３３］　前記クロストークの影響を表す指標が、比、相関値、距離値のうち少なくとも１つを含む付記２９から付記３２のいずれかに記載のプログラム。
　以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
　本出願は、２００９年２月１３日に出願された日本出願特願２００９－０３１１０９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、任意に配置された複数のマイクロホンで観測した複数の話者の音声および雑音の混合音響信号を分離する多チャンネル音響信号処理装置や、多チャンネル音響信号処理装置をコンピュータに実現するためのプログラムといった用途に適用できる。
１－１～１－Ｍ　　第１の特徴量算出部
２　　　　　　　　類似度計算部
３　　　　　　　　チャンネル選択部
４－１～４－Ｎ　　信号分離部
５　　　　　　　　多チャンネル音声検出部
６　　　　　　　　オーバーラップ区間検出部
７－１～７－Ｐ　　第２の特徴量算出部
８　　　　　　　　クロストーク量推定部
９　　　　　　　　クロストーク除去部
 

Claims (33)

  1. 　複数の話者の音声を含む複数のチャンネルの入力信号を処理する多チャンネル音響信号処理方法であって、
    　多チャンネルの入力信号からチャンネル毎に第１の特徴量を算出し、
    　前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算し、
    　前記類似度が高い複数のチャンネルを選択し、
    　選択した複数のチャンネルの入力信号を用いて信号を分離し、
    　前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する
    ことを特徴とする多チャンネル音響信号処理方法。
  2. 　前記チャンネル毎に算出する第１の特徴量は、時間波形、統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果、音声区間長のうち少なくとも１つを含むことを特徴とする請求項１に記載の多チャンネル音響信号処理方法。
  3. 　前記類似度を表す指標として、相関値、距離値のうち少なくとも１つを含むことを特徴とする請求項１又は請求項２に記載の多チャンネル音響信号処理方法。
  4. 　前記チャンネル毎の類似度を計算して類似度が高い複数のチャンネルを選択することを、異なる特徴量を用いて複数回繰り返し、選択するチャンネルを絞ることを特徴とする請求項１から請求項３のいずれかに記載の多チャンネル音響信号処理方法。
  5. 　前記話者ごとの音声区間を、複数のチャンネルのうちのいずれか１つのチャンネルと対応づけて検出することを特徴とする請求項１から請求項４のいずれかに記載の多チャンネル音響信号処理方法。
  6. 　チャンネル間で前記検出された音声区間が共通する区間であるオーバーラップ区間を検出し、
    　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストーク除去処理対象のチャンネルとその区間を決定し、
    　前記クロストーク除去処理対象としたチャンネルの区間のクロストークを除去する
    ことを特徴とする請求項１から請求項５のいずれかに記載の多チャンネル音響信号処理方法。
  7. 　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストークの影響を推定し、
    　クロストークの影響が大きいチャンネルとその区間を、クロストーク除去処理対象とする
    ことを特徴とする請求項６に記載の多チャンネル音響信号処理方法。
  8. 　前記オーバーラップ区間を含まない音声区間における各チャンネルの入力信号、又は、その入力信号から計算される第２の特徴量を少なくとも用いて、クロストークの影響を判定する
    ことを特徴とする請求項７に記載の多チャンネル音響信号処理方法。
  9. 　前記第２の特徴量を算出する区間を、第ｍのチャンネルで検出された音声区間と、前記第ｍのチャンネルの音声区間と共通のオーバーラップ区間を有する第ｎのチャンネルの音声区間と、前記第ｎのチャンネルの音声区間のうち第ｍの音声区間以外のチャンネルの音声区間とのオーバーラップ区間とを用いて決定することを特徴とする請求項８に記載の多チャンネル音響信号処理方法。
  10. 　前記第２の特徴量は、統計量、時間波形、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果のうち少なくとも１つを含むことを特徴とする請求項８又は請求項９に記載の多チャンネル音響信号処理方法。
  11. 　前記クロストークの影響を表す指標が、比、相関値、距離値のうち少なくとも１つを含む請求項７から請求項１０のいずれかに記載の多チャンネル音響信号処理方法。
  12. 　複数の話者の音声を含む複数のチャンネルの入力信号を処理する多チャンネル音響信号処理システムであって、
    　多チャンネルの入力信号からチャンネル毎に特徴量を算出する第１の特徴量算出部と、
    　前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算する類似度計算部と、
    　前記類似度が高い複数のチャンネルを選択するチャンネル選択部と、
    　選択した複数のチャンネルの入力信号を用いて信号を分離する信号分離部と、
    　前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する音声検出部と
    を有することを特徴とする多チャンネル音響信号処理システム。
  13. 　前記第１の特徴量算出部は、時間波形、統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果、音声区間長のうち少なくとも１つを、特徴量として算出することを特徴とする請求項１２に記載の多チャンネル音響信号処理システム。
  14. 　前記類似度計算部は、相関値、距離値のうち少なくとも１つを、前記類似度を表す指標として算出することを特徴とする請求項１２又は請求項１３に記載の多チャンネル音響信号処理システム。
  15. 　前記第１の特徴量算出部は、異なる特徴量の種類でチャンネル毎の異なる第１の特徴量を算出し、
    　前記類似度計算部は、異なる第１の特徴量を用いて複数回チャンネルの選択を行い、選択するチャンネルを絞り込むことを特徴とする請求項１２から請求項１４のいずれかに記載の多チャンネル音響信号処理システム。
  16. 　前記音声検出部は、前記話者ごとの音声区間を、複数のチャンネルのうちのいずれか１つのチャンネルと対応づけて検出することを特徴とする請求項１２から請求項１５のいずれかに記載の多チャンネル音響信号処理システム。
  17. 　チャンネル間で前記検出された音声区間が共通する区間であるオーバーラップ区間を検出するオーバーラップ区間検出部と、
    　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストーク除去処理対象のチャンネルとその区間を決定するクロストーク処理対象決定部と、
    　前記クロストーク除去処理対象としたチャンネルの区間のクロストークを除去するクロストーク除去部と
    を有することを特徴とする請求項１２から請求項１６のいずれかに記載の多チャンネル音響信号処理システム。
  18. 　前記クロストーク処理対象決定部は、前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストークの影響を推定し、クロストークの影響が大きいチャンネルとその区間を、クロストーク除去処理対象とすることを特徴とする請求項１７に記載の多チャンネル音響信号処理システム。
  19. 　前記クロストーク処理対象決定部は、前記オーバーラップ区間を含まない音声区間における各チャンネルの入力信号、又は、その入力信号から計算される第２の特徴量を少なくとも用いて、クロストークの影響を判定する
    ことを特徴とする請求項１８に記載の多チャンネル音響信号処理システム。
  20. 　前記クロストーク処理対象決定部は、前記各チャンネルに対して前記第２の特徴量を算出する区間を、第ｍのチャンネルで検出された音声区間と、前記第ｍのチャンネルの音声区間と共通のオーバーラップ区間を有する第ｎのチャンネルの音声区間と、前記第ｎのチャンネルの音声区間のうち第ｍの音声区間以外のチャンネルの音声区間とのオーバーラップ区間とを用いて決定することを特徴とする請求項１９に記載の多チャンネル音響信号処理システム。
  21. 　前記第２の特徴量は、統計量、時間波形、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果のうち少なくとも１つを含むことを特徴とする請求項１９又は請求項２０に記載の多チャンネル音響信号処理システム。
  22. 　前記クロストークの影響を表す指標が、比、相関値、距離値のうち少なくとも１つを含む請求項１８から請求項２１のいずれかに記載の多チャンネル音響信号処理システム。
  23. 　複数の話者の音声を含む複数のチャンネルの入力信号を処理するプログラムであって、
    　多チャンネルの入力信号からチャンネル毎に特徴量を算出する第１の特徴量算出処理と、
    　前記チャンネル毎の第１の特徴量のチャンネル間の類似度を計算する類似度計算処理と、
    　前記類似度が高い複数のチャンネルを選択するチャンネル選択処理と、
    　選択した複数のチャンネルの入力信号を用いて信号を分離する信号分離処理と、
    　前記類似度が低い複数のチャンネルの入力信号と前記信号分離後の信号とを入力とし、前記話者毎、又は、前記チャンネル毎の音声区間を検出する音声検出処理と
    を情報処理装置に実行させることを特徴とするプログラム。
  24. 　前記第１の特徴量算出処理は、時間波形、統計量、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果、音声区間長のうち少なくとも１つを、特徴量として算出することを特徴とする請求項２３に記載のプログラム。
  25. 　前記類似度計算処理は、相関値、距離値のうち少なくとも１つを、前記類似度を表す指標として算出することを特徴とする請求項２３又は請求項２４に記載のプログラム。
  26. 　前記第１の特徴量算出処理は、異なる特徴量の種類でチャンネル毎の異なる第１の特徴量を算出し、
    　前記類似度計算処理は、異なる第１の特徴量を用いて複数回チャンネルの選択を行い、選択するチャンネルを絞り込むことを特徴とする請求項２３から請求項２５のいずれかに記載のプログラム。
  27. 　前記音声検出処理は、前記話者ごとの音声区間を、複数のチャンネルのうちのいずれか１つのチャンネルと対応づけて検出することを特徴とする請求項２３から請求項２６のいずれかに記載のプログラム。
  28. 　チャンネル間で前記検出された音声区間が共通する区間であるオーバーラップ区間を検出するオーバーラップ区間検出処理と、
    　前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストーク除去処理対象のチャンネルとその区間を決定するクロストーク処理対象決定処理と、
    　前記クロストーク除去処理対象としたチャンネルの区間のクロストークを除去するクロストーク除去処理と
    を有することを特徴とする請求項２３から請求項２７のいずれかに記載のプログラム。
  29. 　前記クロストーク処理対象決定処理は、前記検出されたオーバーラップ区間を含まない音声区間を少なくとも用いて、クロストークの影響を推定し、クロストークの影響が大きいチャンネルとその区間を、クロストーク除去処理対象とすることを特徴とする請求項２８に記載のプログラム。
  30. 　前記クロストーク処理対象決定処理は、前記オーバーラップ区間を含まない音声区間における各チャンネルの入力信号、又は、その入力信号から計算される第２の特徴量を少なくとも用いて、クロストークの影響を判定する
    ことを特徴とする請求項２９に記載のプログラム。
  31. 　前記クロストーク処理対象決定処理は、前記各チャンネルに対して前記第２の特徴量を算出する区間を、第ｍのチャンネルで検出された音声区間と、前記第ｍのチャンネルの音声区間と共通のオーバーラップ区間を有する第ｎのチャンネルの音声区間と、前記第ｎのチャンネルの音声区間のうち第ｍの音声区間以外のチャンネルの音声区間とのオーバーラップ区間とを用いて決定することを特徴とする請求項３０に記載のプログラム。
  32. 　前記第２の特徴量は、統計量、時間波形、周波数スペクトル、周波数対数スペクトル、ケプストラム、メルケプストラム、音響モデルに対する尤度、音響モデルに対する信頼度、音素認識結果、音節認識結果のうち少なくとも１つを含むことを特徴とする請求項３０又は請求項３１に記載のプログラム。
  33. 　前記クロストークの影響を表す指標が、比、相関値、距離値のうち少なくとも１つを含む請求項２９から請求項３２のいずれかに記載のプログラム。
     
PCT/JP2010/051750 2009-02-13 2010-02-08 多チャンネル音響信号処理方法、そのシステム及びプログラム WO2010092913A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/201,389 US8954323B2 (en) 2009-02-13 2010-02-08 Method for processing multichannel acoustic signal, system thereof, and program
JP2010550498A JP5605573B2 (ja) 2009-02-13 2010-02-08 多チャンネル音響信号処理方法、そのシステム及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009031109 2009-02-13
JP2009-031109 2009-02-13

Publications (1)

Publication Number Publication Date
WO2010092913A1 true WO2010092913A1 (ja) 2010-08-19

Family

ID=42561755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/051750 WO2010092913A1 (ja) 2009-02-13 2010-02-08 多チャンネル音響信号処理方法、そのシステム及びプログラム

Country Status (3)

Country Link
US (1) US8954323B2 (ja)
JP (1) JP5605573B2 (ja)
WO (1) WO2010092913A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066079A (ja) * 2011-09-17 2013-04-11 Yamaha Corp かぶり音除去装置
JP2019197136A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 信号処理装置、信号処理方法、およびプログラム
WO2023276159A1 (ja) * 2021-07-02 2023-01-05 日本電信電話株式会社 信号処理装置、信号処理方法及び信号処理プログラム
US11551706B2 (en) * 2018-07-12 2023-01-10 Alibaba Group Holding Limited Crosstalk data detection method and electronic device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2539889B1 (en) * 2010-02-24 2016-08-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program
CN103617797A (zh) 2013-12-09 2014-03-05 腾讯科技（深圳）有限公司 一种语音处理方法，及装置
US9818427B2 (en) * 2015-12-22 2017-11-14 Intel Corporation Automatic self-utterance removal from multimedia files
KR20190133100A (ko) 2018-05-22 2019-12-02 삼성전자주식회사 어플리케이션을 이용하여 음성 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
JP7047626B2 (ja) * 2018-06-22 2022-04-05 コニカミノルタ株式会社 会議システム、会議サーバ及びプログラム
WO2021164001A1 (en) 2020-02-21 2021-08-26 Harman International Industries, Incorporated Method and system to improve voice separation by eliminating overlap

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005024788A1 (ja) * 2003-09-02 2005-03-17 Nippon Telegraph And Telephone Corporation 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP2006510069A (ja) * 2002-12-11 2006-03-23 ソフトマックス，インク 改良型独立成分分析を使用する音声処理ためのシステムおよび方法
JP2008092363A (ja) * 2006-10-03 2008-04-17 Sony Corp 信号分離装置及び方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424960B1 (en) * 1999-10-14 2002-07-23 The Salk Institute For Biological Studies Unsupervised adaptation and classification of multiple classes and sources in blind signal separation
JP3506138B2 (ja) * 2001-07-11 2004-03-15 ヤマハ株式会社 複数チャンネルエコーキャンセル方法、複数チャンネル音声伝送方法、ステレオエコーキャンセラ、ステレオ音声伝送装置および伝達関数演算装置
JP3812887B2 (ja) * 2001-12-21 2006-08-23 富士通株式会社 信号処理システムおよび方法
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
JP4543731B2 (ja) 2004-04-16 2010-09-15 日本電気株式会社 雑音除去方法、雑音除去装置とシステム及び雑音除去用プログラム
CN1942932B (zh) * 2005-02-08 2010-07-28 日本电信电话株式会社 信号分离装置和信号分离方法
JP4767247B2 (ja) * 2005-02-25 2011-09-07 パイオニア株式会社 音分離装置、音分離方法、音分離プログラムおよびコンピュータに読み取り可能な記録媒体
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
US20070135952A1 (en) * 2005-12-06 2007-06-14 Dts, Inc. Audio channel extraction using inter-channel amplitude spectra
DE102006027673A1 (de) * 2006-06-14 2007-12-20 Friedrich-Alexander-Universität Erlangen-Nürnberg Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm
US7664643B2 (en) * 2006-08-25 2010-02-16 International Business Machines Corporation System and method for speech separation and multi-talker speech recognition
US8738368B2 (en) * 2006-09-21 2014-05-27 GM Global Technology Operations LLC Speech processing responsive to a determined active communication zone in a vehicle
US20080228470A1 (en) * 2007-02-21 2008-09-18 Atsuo Hiroe Signal separating device, signal separating method, and computer program
KR20080082363A (ko) 2007-03-08 2008-09-11 강석환 건축물 외벽 시공용 갱폼
US8107321B2 (en) * 2007-06-01 2012-01-31 Technische Universitat Graz And Forschungsholding Tu Graz Gmbh Joint position-pitch estimation of acoustic sources for their tracking and separation
JP4469882B2 (ja) * 2007-08-16 2010-06-02 株式会社東芝 音響信号処理方法及び装置
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US8130978B2 (en) * 2008-10-15 2012-03-06 Microsoft Corporation Dynamic switching of microphone inputs for identification of a direction of a source of speech sounds

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006510069A (ja) * 2002-12-11 2006-03-23 ソフトマックス，インク 改良型独立成分分析を使用する音声処理ためのシステムおよび方法
WO2005024788A1 (ja) * 2003-09-02 2005-03-17 Nippon Telegraph And Telephone Corporation 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP2008092363A (ja) * 2006-10-03 2008-04-17 Sony Corp 信号分離装置及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066079A (ja) * 2011-09-17 2013-04-11 Yamaha Corp かぶり音除去装置
JP2019197136A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 信号処理装置、信号処理方法、およびプログラム
JP7140542B2 (ja) 2018-05-09 2022-09-21 キヤノン株式会社 信号処理装置、信号処理方法、およびプログラム
US11551706B2 (en) * 2018-07-12 2023-01-10 Alibaba Group Holding Limited Crosstalk data detection method and electronic device
WO2023276159A1 (ja) * 2021-07-02 2023-01-05 日本電信電話株式会社 信号処理装置、信号処理方法及び信号処理プログラム

Also Published As

Publication number Publication date
US8954323B2 (en) 2015-02-10
JPWO2010092913A1 (ja) 2012-08-16
JP5605573B2 (ja) 2014-10-15
US20120046940A1 (en) 2012-02-23

Similar Documents

Publication Publication Date Title
JP5605573B2 (ja) 多チャンネル音響信号処理方法、そのシステム及びプログラム
JP5605574B2 (ja) 多チャンネル音響信号処理方法、そのシステム及びプログラム
US8065115B2 (en) Method and system for identifying audible noise as wind noise in a hearing aid apparatus
EP2545552B1 (en) Method and system for scaling ducking of speech-relevant channels in multi-channel audio
US9418678B2 (en) Sound processing device, sound processing method, and program
US8364483B2 (en) Method for separating source signals and apparatus thereof
EP2731359B1 (en) Audio processing device, method and program
EP2881948A1 (en) Spectral comb voice activity detection
CN110970053A (zh) 一种基于深度聚类的多通道与说话人无关语音分离方法
JP5605575B2 (ja) 多チャンネル音響信号処理方法、そのシステム及びプログラム
Liu et al. Deep CASA for talker-independent monaural speech separation
US7996213B2 (en) Method and apparatus for estimating degree of similarity between voices
US20110029309A1 (en) Signal separating apparatus and signal separating method
Wang et al. Count and separate: Incorporating speaker counting for continuous speaker separation
Shoba et al. Adaptive energy threshold for monaural speech separation
KR101658001B1 (ko) 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법
JP2005308771A (ja) 雑音除去方法、雑音除去装置とシステム及び雑音除去用プログラム
KR20100056859A (ko) 음성 인식 장치 및 방법
Wu et al. SADDEL: Joint speech separation and denoising model based on multitask learning
CN115696140B (zh) 一种教室音频多通道回声消除方法
JP5672155B2 (ja) 話者判別装置、話者判別プログラム及び話者判別方法
EP2456184A1 (en) Method for playback of a telephone signal
JP6435133B2 (ja) 音素分割装置、音声処理システム、音素分割方法、および音素分割プログラム
Khazri et al. Multi-microphone recording speech enhancement approach based on pre-processing followed by multi-channel method
TW201627990A (zh) 基於時域運算之聲音事件偵測方法及相關裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10741190

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010550498

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13201389

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10741190

Country of ref document: EP

Kind code of ref document: A1