WO2018224739A1 - Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal - Google Patents

Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal Download PDF

Info

Publication number
WO2018224739A1
WO2018224739A1 PCT/FR2018/000139 FR2018000139W WO2018224739A1 WO 2018224739 A1 WO2018224739 A1 WO 2018224739A1 FR 2018000139 W FR2018000139 W FR 2018000139W WO 2018224739 A1 WO2018224739 A1 WO 2018224739A1
Authority
WO
WIPO (PCT)
Prior art keywords
components
descriptors
sources
sound
direct
Prior art date
Application number
PCT/FR2018/000139
Other languages
English (en)
Inventor
Mathieu BAQUÉ
Alexandre Guerin
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Priority to US16/620,314 priority Critical patent/US11081126B2/en
Priority to EP18737650.4A priority patent/EP3635718B1/fr
Priority to CN201880037758.9A priority patent/CN110709929B/zh
Publication of WO2018224739A1 publication Critical patent/WO2018224739A1/fr

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Definitions

  • the present invention relates to the field of audio or acoustic signal processing and more particularly to the processing of real multichannel sound contents to separate sound sources.
  • a blind separation of the sources consists, from a number M of observations from distributed sensors in this space E r to count and extract the number N of sources.
  • each observation is obtained using a sensor that records the signal up to a point in the space where the sensor is located.
  • the recorded signal then results from the mixing and propagation in the space E of the signals 5 / and is therefore affected by different disturbances specific to the medium traversed, such as for example noise, reverberation, interference, etc.
  • x is the vector of the M registered channels, s the vector of N sources and A a matrix called “mixing matrix" of dimension MxN the contributions of each source to each
  • matrix A can take different forms.
  • A is a simple matrix of gains.
  • the matrix A becomes a filter matrix.
  • we usually express the relation in the frequent domain x (f) As (f), where A is expressed as a matrix of complex coefficients,
  • the analysis ie, the identification of the number of sources and their positions
  • the decomposition of the scene into objects ie the sources
  • ACI independent component analysis algorithm
  • the preliminary step of estimating the dimension of the problem ie the estimation of the size of the separation matrix, ie the number of sources N, is conventionally done by calculating the rank of the observation covariance matrix, which is , in this case anechoic, equal to
  • An example of beamforming to extract three sources positioned at respectively 0 °, 90 ° and -120 ° of azimuth is illustrated in FIG. 1. Each of the directivities formed corresponds to the extraction of one of the sources of sys-
  • the total acoustic field can be modeled as the sum of the direct field of the sources of interest (represented in 1 in Figure 2), the first reflections (secondary sources, represented in 2 in Figure 2) and a diffuse field (represented in 3 in Figure 2).
  • the covariance matrix of the observations is then of full rank, regardless of the actual number of active sources in the mixture: this means that one can no longer use the rank of Co to estimate the number of sources.
  • the separation matrix B of size MxM is obtained, generating at output M sources in the place of the desired N, the last MN components essentially containing the reverberated field, by matricial topatlon:
  • each additional component induces constraints on the directivities formed and generally degrades the directivity factor with the consequence of raising the level of reverberation in the extracted signals.
  • the source / active is estimated as follows:
  • a representation in space of all couples is performed in the form of a histogram, the clustering is then performed on the maximum likelihood histogram, a function of the position of the zone and the assumed position of the associated source, assuming a Gaussian distribution of the estimated positions of the each area around the actual position of the sources.
  • the parsimony hypothesis of the sources in the time-frequency domain is often faulted, which constitutes a significant limitation of these approaches for the enumeration of sources, because the directions of arrival pointed for each zone then result from a combination of contributions from multiple sources and clustering is no longer working properly.
  • the presence of reverberation can on the one hand degrade the location of sources and on the other hand generate an over-estimation of the number of real sources when initial reflections reach a level sufficient energy to be perceived as secondary sources.
  • the present invention improves the situation.
  • the method is such that it comprises the following steps:
  • classification of the components of the set of M components according to two classes of components, a first class of N so-called direct components corresponding to the N direct sound sources and a second class of MN components referred to as reverberated, by a calculation of probability of belonging. to one of the two classes, a function of the sets of first and second descriptors.
  • the set of first bivariate descriptors makes it possible to determine, on the one hand, whether the components of a pair of the set of components obtained following the source separation step belong to the same class of components. or a different class while the set of second univariate descriptors allows to define for a component, if it has more probability to belong to such or such class. This makes it possible to determine the probability of membership of a component to one of the two classes and thus to determine the N direct sound sources corresponding to the N components classified in the first class.
  • calculating a bivariate descriptor comprises calculating a coherence score between two components. This descriptor calculation makes it possible to know whether a pair of components corresponds to two direct components (2 sources) or if at least one of the components comes from a reverberant effect.
  • determining a delay between the two components of the pair comprises determining a delay between the two components of the pair. This determination of the delay and the sign associated with this delay makes it possible to determine, for a pair of components, which component corresponds more probably to the direct signal and which component more probably corresponds to the reverberated signal.
  • the delay between two components is determined by taking into account the delay maximizing an inter-correlation function between the two components of the pair.
  • This method of obtaining the delay provides a determination of a reliable bi-varied descriptor.
  • the determination of the delay between two components of a pair is associated with an indicator of reliability of the sign of the delay, a function of the coherence between the components of the pair.
  • the determination of the delay between two components of a pair is associated with a reliability indicator of the sign of the retord, a function of the ratio of the maximum of an inter-correlation function for delays of opposite sign.
  • the calculation of a unvaried descriptor is a function of a mapping between mixing coefficients of a mixture matrix estimated from the source separation step and the characteristics of encoding a source of the type plane wave. This descriptor calculation allows for a single component, to estimate the probability that the component is direct or reverberated.
  • the classification of the components of the set of M components takes place by taking into account of the M components, and by calculating the
  • the most likely combination is calculated by determining a maximum of the likelihood values expressed as the product of the conditional probabilities associated with the descriptors / for the possible M classification combinations. components.
  • a step of pre-selecting the possible combinations is performed based on the only unl-varlated descriptors before the step of calculating the most probable combination.
  • a component pre-selection step is performed based on the only unl-varlated descriptors before the step of calculating the bivariate descriptors.
  • the multichannel signal is an ambisonic signal.
  • the invention also relates to a sound data processing device implemented to perform a separation processing of N sound sources of a multichannel sound signal picked up by a plurality of sensors in real environment.
  • the device is such that it comprises:
  • an input interface for receiving the signals picked up by a plurality of sensors, the multichannel sound signal
  • a processing circuit comprising a processor and able to implement:
  • a source separation processing module applied to the multichannel signal picked up to obtain a
  • a calculator able to compute a set of first descriptors called bhvariates, representative of statistical relations between the components of the pairs of the set of M components obtained and a set of second descriptors said uni-varied representative of encoding characteristics of the components of the set of M components obtained;
  • an output interface for delivering the classification information of the components.
  • the invention also applies to a computer program comprising code instructions for implementing the steps of the processing method as described above, when these instructions are executed by a processor and to a storage medium, readable by a processor, on which is recorded a computer program comprising code instructions for performing the steps of the processing method as described.
  • the device, program and storage medium have the same advantages as the method described above, which they implement. Other characteristics and advantages of the invention will appear more clearly on reading the following description, given solely for
  • FIG. 1 illustrates a channel formation for extracting three sources according to a method of source separation of the state of the art as described above;
  • FIG. 2 illustrates an impulse response with room effect as previously described
  • FIG. 3 illustrates, in flowchart form, the main steps of a processing method according to one embodiment of the invention
  • FIG. 4 illustrates, as a function of frequency, coherence functions representing bi-varied descriptors between two components according to one embodiment of the invention, and according to different pairs of components;
  • FIG. 5 illustrates the probability densities of the average coherences representing the bivariate descriptors according to one embodiment of the invention and for different pairs of components and different numbers of sources;
  • FIG. 6 illustrates inter-correlation functions between two different class components according to one embodiment of the invention and according to the number of sources;
  • FIG. 7 illustrates the probability densities of a plane wave criterion as a function of the class of the component, of the ambisonic order and of the number of sources, for a particular embodiment of the invention
  • FIG. 8 illustrates a hardware representation of a processing device according to one embodiment of the invention, implementing a processing method according to one embodiment of the invention.
  • FIG. 9 illustrates an exemplary probability law calculation for a criterion of coherence between a direct component and a reverberated component according to one embodiment of the invention.
  • FIG. 3 illustrates the main steps of a sound data processing method for a separation of N sound sources from a muitican sound signal captured in a real medium in one embodiment of the invention.
  • the method implements a step E310 blind separation of sound sources (SAS).
  • SAS blind separation of sound sources
  • the step of blind separation of sources can be implemented, for example using an independent component analysis algorithm (or "ACI"), or a component analysis algorithm. main.
  • ACI independent component analysis algorithm
  • Ambisia consists of a projection of the acoustic field on a basis of spherical harmonic functions, to obtain a spatial representation of the sound stage.
  • the function is the harmonic
  • a real ambisonic encoding is done from a network of sensors, generally distributed over a sphere.
  • the captured signals are combined to synthesize an ambisonic content whose channels respect the directivity of spherical harmonics.
  • the basic principles of ambisonic encoding are described below.
  • Ambisonic formalism initially limited to the representation of spherical harmonic functions of order 1, was later extended to higher orders.
  • Ambisonic formalism with a larger number of components is commonly referred to as “Higher Order Ambisonlcs” (or “HOA” hereinafter),
  • a content of order m contains a total of (m + 1) 2 channels (4 channels at order 1, 9 channels at order 2, 16 channels at order 3, and so on).
  • ambient components is understood to mean the ambisonic signal in each ambisonic channel, with reference to the “vector components” in a vector base that would be formed by each spherical harmonic function. For example, we can count:
  • step E310 The blind separation of sources is therefore performed in step E310 as explained above.
  • the components obtained at the output of the source separation step can be classified according to two classes of components: a first class of direct components corresponding to the sources direct sound and a second class of so-called reverberated components corresponding to the reflections of the sources.
  • step E32Q a computation of descriptors of the M components (si, S2, ... s M ) resulting from the source separation step is implemented, descriptors which will make it possible to associate with each component extracted the corresponding class: direct component or reverberated component.
  • bi-variant descriptors that involve pairs of components and univariate descriptors calculated for a component 3 ⁇ 4.
  • a set of first bi-variate descriptors is calculated. These descriptors are representative of statistical relations between the components of the pairs of the set of M components obtained.
  • an average coherence between two components is calculated here.
  • This type of descriptor represents a statistical relationship between the components of a couple and provides an indication of the presence of at least one reverberated component in a pair of components.
  • each direct component consists mainly of the direct field of a source, comparable to a plane wave, plus a residual reverberation whose energy contribution is lower than that of the direct field. Since the sources are statistically independent by nature, there is therefore a weak correlation between the extracted direct components.
  • each reverberated component consists of early reflections, delayed and filtered versions of the direct field (s), and late reverberation, so that the reverberated components exhibit a significant correlation with the direct components, and usually a group delay identifiable in relation to the direct components.
  • the coherence function informs about the existence of a correlation
  • Consistency is ideally zero when are the direct fields from independent sources but it takes a high value when are two contributions from the same source; the direct field and a first reflection or two reflections. such a coherence function indicates
  • the interspectres and aulospectres can be calculated by segmenting the extracted components in K frames (adjacent or overlapped), by applying a short-term Fourier transform to each frame k of these K frames to produce the instantaneous spectra and by means of observations on K fields;
  • the descriptor used for a broadband signal is the average over all the frequencies of the coherence function between two components, namely:
  • the coherence value dy is less than 0.3 while in the second case d y reaches 0.7 in the presence of a single active source.
  • step E330 of FIG. 3 a probability calculation is deduced from the descriptor thus described.
  • the probability densities of FIGS. 5 and 7 described below, and more generally all the probability densities of the descriptors, are learned in a statistical manner on databases comprising various acoustic (reverberant / masts) and different acoustic conditions.
  • sources male / female voice, French / English languages .
  • the components are classified informally: to each source is associated the extracted component closest spatially, the remaining being classified as reverberated components.
  • To calculate the position of the component we use the first 4 coefficients of its mixing vector from matrix A (ie, order 1), which is the inverse of the separation matrix 8. Assuming that this vector follows the rule of encoding of a plane wave is:
  • arctan2 is the arctangent function which makes it possible to remove the ambiguity of sign of the arctangent function.
  • FIG. 9 shows an example of law calculation for the criterion of coherence between a direct component and a reverberated component: the lognormal law has been selected from among ten laws because it minimizes the Kullback-Leibler divergence.
  • FIG. 5 represents the distributions (probability density or pdf for "Probability density function") associated with the value of the average coherence between two components.
  • the coherence estimators are degraded, whether it is the direct / reverberated or reverberated / reverberated pairs (in the presence of a single source, the direct / direct pair does not exist).
  • This descriptor is therefore relevant for detecting whether a pair of extracted components corresponds to two direct components (2 true sources) or if at least one of the two components originates from the room effect.
  • step E320 another type of bi-varied descriptor is calculated in step E320. Either this descriptor is calculated in place of the coherence type descriptor described above, or in addition to it.
  • This descriptor will make it possible to determine, for a pair (direct / reverberated) which component is more likely the direct signal and which corresponds to the reverberated signal, based on the simple assumption that the first reflections are delayed and attenuated versions of the signal. direct.
  • Delay is defined as the delay that maximizes the intercorrelation function
  • the average coherence between the components makes it possible to evaluate the pertinence of the reflected-reverberation pair as seen previously. If it is strong, we can hope that the group delay will be a reliable descriptor.
  • Figure 6 illustrates the emerging character of the autocorrelation peak between a direct component and a reverberated component.
  • the maximum inter-correlation clearly emerges from the inter-correlation remainder, reliably indicating that one of the components is lagging behind the other. It emerges in particular with respect to the values of the autocorrelation function for signs opposite to that of
  • a second indicator of reliability of the sign of the delay called emergence is defined, by calculating the ratio between the absolute value of the intercorrelation to and that of the maximum correlation for r's of sign opposite to that of :
  • This ratio which we call emergence, is an ad hoc criterion whose relevance is verified in practice: it takes values close to 1 for independent signals, l.e. 2 direct components, and higher values for correlated signals as a direct component and a reverberated component. In the aforementioned case of curve (1) of FIG. 6, the emergence value is 4.
  • this descriptor is sensitive to noise, and in particular to the presence of several simultaneous sources, as illustrated in curve (2) of FIG. 6: in the presence of two sources, even if the maximum correlation still emerges, its relative value - 2.6 - is less because of the presence of an interfering source which reduces the correlation between the extracted components.
  • the reliability of the sign of the delay will be measured as a function of the value of the emergence, which will be weighted by the number of sources to be detected a priori.
  • a probability of belonging to a first class of direct components or a second class of reverberant components for a pair of components is calculated in step E330.
  • Sj identified as being in advance on% the probability that 3 ⁇ 4 either direct and reverberated by a two-dimensional law.
  • the sign of delay is a reliable indicator when both consistency and emergence have medium or high values.
  • a weak emergence or a weak coherence will make the couples direct / reverberated or reverberated / direct equiprobables.
  • step E320 a set of second unidimensional descriptors representative of encoding characteristics of the components of the set of M components obtained is also calculated.
  • the encoding of a source coming from a given direction is done with mixing coefficients depending, among other things, on the directivity of the sensors.
  • the source can be considered as point and where the wavelengths are large compared to the size of the antenna, one can consider the source as a plane wave. This assumption is generally true in the case of an ambisonic microphone that is small, provided that the source is sufficiently far from the microphone (in practice, one meter is enough).
  • the j th column of the estimated mixing matrix A obtained by inverting the separation matrix B, will contain the mixture of coefficients associated therewith. If this component is direct, that is to say that it corresponds to a single source, the mixing coefficients of the column Aj will tend towards the characteristics of the microphone encoding for a plane wave. In the case of a reverberated component, the sum of several reflections and a diffuse field, the estimated mixing coefficients will be more random and not encoding a single source
  • N3D is carried out according to the formula:
  • plane wave criterion which illustrates the conformity between the estimated mixing coefficients and the theoretical equation of an encoded plane wave alone:
  • the criterion c op is by definition equal to 1 in the case of a plane wave.
  • the plane wave criterion will remain very close to the value 1, conversely, in the case of a reverberated component, the multitude of contributions (first reflections and late) with energy levels
  • the distribution associated and calculated in E330 knows a certain variability, according in particular according to the level of noise present in the extracted components.
  • This noise consists mainly of residual reverberation and contributions from interfering sources that have not been perfectly canceled.
  • the probability laws (probability density) associated with this descriptor can be observed in FIG. 7, as a function of the number of active sources simultaneously (1 or 2) and of the ambisonic order of the content analyzed (orders 1 to 2). According to the initial hypothesis, the value of the plane wave criterion is concentrated around the value 1 for the direct components. For reverberated components, the distribution is more uniform, but with a slightly asymmetrical shape, because of the descriptor itself, which is asymmetric, with a 1 / x form.
  • the distance between the distributions of the two classes allows a fairly reliable discrimination between the components of the flat wave type and those more diffuse.
  • the descriptors calculated in step E320 and exposed id are based on both the extracted component statistics (average coherence and group delay) and on the estimated mixing matrix (plane wave criterion). These make it possible to determine conditional probabilities of belonging of a component to one of the two classes C d or C r .
  • the problem is ultimately to choose from a total of 2 M potential configurations assumed equiprobable.
  • the rule of the posterior maximum is applied: knowing the likelihood of the configuration, the configuration chosen will be the one with the maximum likelihood, ie:
  • the chosen approach can be exhaustive and then consists in estimating the likelihood of all the possible configurations, from the descriptors determined in step E320 and the distributions associated with them which are calculated in step E330.
  • a pre-selection of the configurations can be performed to reduce the number of configurations to be tested, and therefore the complexity of the implementation of the solution.
  • This pre-selection can be done for example according to the plane wave criterion alone by classifying certain components in the category when the value of their criterion away from the theoretical value of a plane wave 1: in the case of ambisonic signals, we can see on the distributions of Figure 7 that we can, whatever the configuration (order or number of sources) and a priori without loss of robustness, classify in the category c T the components whose checks one of the following inequalities:
  • Another possibility for further reducing the complexity is to exclude the pre-classified components of the computation of the bi-varied descriptors and the likelihood calculation, which reduces the number of bi-varied criteria to be calculated and therefore even more complexity. treatment.
  • Likelihood is expressed as the product of the conditional probabilities associated with each of the K descriptors, assuming that they are independent: where d is the vector of the descriptors and C is a vector representing a configuration (ie the combination of the supposed classes of the M components), as defined above.
  • a number K1 of univariate descriptors is used for each of the components, while a number / type of bi-varied descriptors is used for each pair of components. Since the laws of descriptor probabilities are established according to the number of supposed sources and the number of channels (the index m represents the ambisonic order, in the case of a capture of this type), we formulate the final expression. likelihood:
  • - is the value of the bi-varied descriptor of index k for the components 3 ⁇ 4 and si;
  • Ci are the supposed classes of the components Jet /;
  • log-likelihood This equation is the one ultimately used to determine the most likely configuration in the Bayesian classifier described here for this embodiment.
  • Bayesian classifier presented here is only one example of implementation, it could be replaced, inter alia, by a carrier vector machine or a neural network.
  • the processing described here is performed in the time domain, but may also be, in an alternative embodiment, applied in a transformed domain.
  • the method as described with reference to FIG. 3 then being implemented by frequency subbands after passing through the transformed domain of the signals picked up.
  • the useful bandwidth can be reduced according to the potential imperfections of the captaBon system, in high frequencies (presence of spatial folding) or at low frequencies (impossibility to find the theoretical directivities of the microphonic encoding).
  • FIG. 8 represents here an embodiment of a processing device (DIS) according to an embodiment of the invention.
  • Sensors represented here in the form of a spherical microphone MIC make it possible to acquire, in a real medium, thus reverberant, M mixing signals from a multichannel signal.
  • sensors can be integrated in the DIS device or outside the device / the resulting signals are then transmitted to the processing device that receives them via its input interface 840. Alternatively, these signals can simply be obtained beforehand and imported. in memory of the DIS device.
  • This memory may include a computer program including code instructions for the implementation of steps of the processing method as described for example with reference to Figure 3 and in particular the steps of applying a source separation process to the multichannel signal captured and obtaining a set of M sound components, with M ⁇ N , calculating a set of first descriptors said bivariate, representative of statistical relations between the components of the pairs of the set of M components obtained and a set of second descriptors said uni-varied representative of encoding characteristics components of the set of M components obtained and of classification of the components of the set of M components, according to two classes of components, a p first class of N so-called direct components corresponding to the N direct sound sources and a second class of M-N components called reverberated, by a calculation of probability of belonging to one of the two classes, a function of the sets of first and second descriptors.
  • the device comprises a source separation processing module 810 applied to the multichannel signal picked up to obtain a set of M sound components. with M ⁇ N.
  • the M components are provided at the input of a calculator 820 capable of calculating a set of first so-called bi-varied descriptors, representative of statistical relations between the components of the pairs of the set of M components obtained and a set of second descriptors said to be uni -variés of encoding features of the compo
  • a classification module 830 or classifier able to classify components of the set of M components, according to two classes of components, a first class of N so-called direct components corresponding to N direct sound sources and a second class of MN components called reverberated.
  • the classification module comprises a module 831 for calculating the probability of belonging to one of the two classes of the components of the set M, which is a function of the sets of first and second descriptors.
  • the classifier uses descriptors related to the correlation between the components to determine which are direct signals (ie true sources) and which are reverb residues. It also uses descriptors related to SAS-estimated mixing coefficients, to evaluate the conformity between the theoretical encoding of a single source and the estimated encoding of each component. Some of the descriptors are therefore a function of a pair of components (for the correlation), and others are functions of a single component (for the conformity of the estimated microphonic encoding).
  • a likelihood calculation module 832 makes it possible to determine, in one embodiment, the most probable combination of the classifications of the M components by a calculation of likelihood values according to the probabilities calculated in module 831 and for the possible combinations.
  • the device comprises an output interface 850 for outputting the classification information of the components, for example to another processing device that can use this information to enhance the sound of the discriminated sources, to denoise them or to perform a mixing from several discriminated sources.
  • Another possible treatment may also be to analyze or locate the sources to optimize the processing of a voice command.
  • the device can also be integrated in a communication terminal capable of processing signals picked up by a plurality of integrated or remote sensors of the terminal.

Abstract

La présente invention se rapporte à un procédé de traitement de données sonores pour une séparation de N sources sonores d'un signal sonore multicanal capté en milieu réel. Le procédé comporte les étapes d'application (E310) d'un traitement de séparation de sources au signal multicanal capté et obtention d'une matrice de séparation et d'un ensemble de M composantes sonores, avec M≥N, de calcul (E320) d'un ensemble de premiers descripteurs dit bi-variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu, de calcul (E320) d'un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu et de classification (E340) des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul (E330) de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs. L'invention se rapporte également à un dispositif de traitement mettant en oeuvre le procédé tel que décrit.

Description

Figure imgf000003_0001
ement de données sonores pour une sépara
Figure imgf000003_0002
sonores dans un signal multicanal
La présente invention se rapporte au domaine du traitement de signal audio ou acoustique et plus particulièrement au traitement de contenus sonores multicanal réels pour séparer les sources sonores.
La séparation de sources dans un signal sonore multicanal permet de multiples applications. Elle peut par exemple être utilisée :
o Pour le divertissement (karaoké : suppression de la voix), o Pour la musique (mixage des sources séparées dans un contenu multicanal),
o Pour les télécommunications (rehaussement de la voix, débruitage),
o Pour la domotique (commande vocale),
o Pour le codage audio multicanal,
o Pour la localisation de sources et cartographie en Imagerie, Dans un espace E dans lequel un nombre N de sources émettent un signal s,-, une séparation aveugle des sources consiste, à partir d'un nombre M d'observations issues de capteurs répartis dans cet espace Er à dénombrer et extraire le nombre N de sources. En pratique, chaque observation est obtenue à l'aide d'un capteur qui enregistre le signai parvenu jusqu'en un point de l'espace où se situe le capteur. Le signal enregistré résulte alors du mélange et de la propagation dans l'espace E des signaux 5/ et se trouve donc affecté de différentes perturbations propres au milieu traversé comme par exemple le bruit, la réverbération, les interférences, etc...
La captation multicanal d'un nombre N de sources sonores Si se propageant en champ libre et considérées comme ponctuelles se formalise comme une opération matricielle :
Figure imgf000003_0003
Où x est le vecteur des M canaux enregistrés, s le vecteur des N sources et A une matrice dite « matrice de mélange » de dimension MxN
Figure imgf000004_0001
les contributions de chaque source à chaque
Figure imgf000004_0002
* symbolise la convoluOon linéaire. Selon le milieu de propagation et le format de l'antenne, la matrice A peut prendre différentes formes. Dans le cas d'une antenne coïncidente (tous les microphones de l'antenne sont concentrés en un même point de l'espace) en milieu anéchoïque, A est une simple matrice de gains. Dans le cas d'une antenne non coïncidente, en milieu anéchoïque ou réverbérant, la matrice A devient une matrice de filtre. Dans ce cas, on exprime généralement la relation dans le domaine fréquentïel x(f) = As(f), où A s'exprime comme une matrice de coefficients complexes,
Dans le cas où la captation du signal sonore se fait dans un environnement anéchoïque, et si l'on se place dans l'hypothèse où le nombre de sources N est inférieur au nombre d'observations M, l'analyse (i.e, l'identification du nombre de sources et de leurs positions) et la décomposition de la scène en objets, i.e. les sources, peuvent être facilement réalisées de manière conjointe par un algorithme d'analyse en composantes indépendantes (ou « ACI » ci-après). Ces algorithmes permettent d'identifier la matrice B de séparation de dimensions NxM, pseudo-inverse de A, qui permet de déduire les sources à partir des observations grâce à l'équation suivante :
Figure imgf000004_0003
L'étape préalable d'estimation de la dimension du problème, i.e. l'estimation de la taille de la matrice de séparation, soit du nombre de sources N, est classiquement fait en calculant le rang de la matrice de covariance des observations, qui est, dans ce cas anéchoïque, égal au
Figure imgf000004_0005
nombre de sources :
Figure imgf000004_0004
Quant à la localisation des sources, elle peut être déduite de la matrice d'encodage A = B-1 et de la connaissance des propriétés spatiales de l'antenne utilisée, notamment la distance entre les capteurs et leurs directivités.
Parmi les algorithmes les plus connus d'ACI, on peut citer JADE de j.F Cardoso et A. Souloumlac. ("ΒΙind beamforming for non-gaussian signals"
Figure imgf000005_0001
proœedings F - Radar and Signal Processing",
Figure imgf000005_0002
Dec. 1993) ou Infomax d'Amarl et. al. ("A new learnlng algoritfim for blind signal séparation, Advances" dans "neural information processing Systems", 1996).
En pratique, dans certaines conditions, l'étape de séparation s = Bx revient à faire de la formation de voies sous contrainte (ou « beamforming » ci-après) : la combinaison de différents canaux donnée par la matrice B consiste à appliquer un filtre spatial dont la directivité revient à imposer un gain unité dans la direction de la source que l'on veut extraire, et un gain nul dans la direction des sources interférentes. Un exemple de beamforming pour extraire trois sources positionnées à respectivement 0°, 90° et -120° d'azimuth est illustré à la figure 1. Chacune des directivités formées correspond à l'extraction d'une des sources de s-
En présence d'un mélange de sources capté dans des conditions réelles, l'effet de salle va générer un champ sonore dit réverbéré, noté xr , qui va s'ajouter aux champs directs des sources :
Figure imgf000005_0003
Le champ acoustique total peut être modélisé comme la somme du champ direct des sources d'intérêt (représenté en 1 sur la figure 2), des premières réflexions (sources secondaires, représentées en 2 sur la figure 2) et d'un champ diffus (représenté en 3 sur la figure 2). La matrice de covariance des observations est alors de rang plein, quel que soit le nombre réel de sources actives dans le mélange : cela signifie que l'on ne peut plus utiliser le rang de Co pour estimer le nombre de sources.
Ainsi, lorsqu'on utilise un algorithme de SAS pour séparer des sources en milieu réverbérant, la matrice de séparation B de taille MxM est obtenue, générant en sortie M sources
Figure imgf000005_0005
au Heu des N désirées, les M-N dernières composantes contenant essentiellement du champ réverbéré, par Topératlon matricielle :
Figure imgf000005_0004
Ces composantes supplémentaires posent plusieurs problèmes : pour l'ana|yse de scène : on ne sait pas a
Figure imgf000006_0002
composantes relatives aux sources et les composantes induites par l'effet de salle.
pour la séparation des sources par formation de voies : chaque composante supplémentaire induit des contraintes sur les directivités formées et dégrade généralement le facteur de directivité avec pour conséquence un rehaussement du niveau de réverbération dans les signaux extraits.
Les méthodes existantes de comptage de sources pour des contenus multicanal sont souvent basées sur une hypothèse de parcimonie dans le domaine temps-fréquence, c'est-à-dire sur le fait que pour chaque zone temps-fréquence, une seule source ou un nombre limité de sources va avoir une contribution énergétique non-négligeable. Pour la plupart d'entre-elles, une étape de localisation de la source la plus énergétique est effectuée pour chaque zone (ou « bin » en anglais), puis les zones sont agrégées (étape dite de « clusterlng » en anglais) pour reconstruire la contribution totale de chaque source.
L'approche DUET (Pour « Dégénérais Unmixing Estimation Technique ») décrite par exemple dans le document « Blind séparation of disjoint orthogonal signais: Demixing n sources from 2 mixtures.» des auteurs A, Jourjine, S. Rickard, et 0, Yilmaz, publié en 2000 dans ICASSPOO, permet de localiser et extraire N sources en conditions anéchoïques à partir de seulement deux observations non coïncidentes, en faisant l'hypothèse que les sources ont des supports fréquentiels disjoints, soit
Figure imgf000006_0003
pour tout f dès lors que
Figure imgf000006_0004
Après une décomposition des observations en sous-bandes fréquentielles, typiquement réalisée via une transformée de Fourier à court- terme, une amplitude a, et un retard ¾ sont estimés pour chaque sous-bande en se basant sur l'équation de mélange théorique :
Figure imgf000006_0001
Figure imgf000007_0002
chaque bande de fréquence f, un couple
Figure imgf000007_0003
la source /active est estimée de la façon suivante :
Figure imgf000007_0001
Une représentation dans l'espace de l'ensemble des couples
Figure imgf000007_0004
est effectuée sous forme d'histogramme, le « clustering » est alors effectuée sur l'histogramme par maximum de vraisemblance, fonction de la position de la zone et de la position supposée de la source associée, en supposant une distribution gaussienne des positions estimées de chaque zone autour de la position réelle des sources.
En pratique, l'hypothèse de parcimonie des sources dans le domaine temps-fréquence est souvent mise en défaut, ce qui constitue une limitation importante de ces approches pour le dénombrement de sources, car les directions d'arrivée pointées pour chaque zone résultent alors d'une combinaison des contributions de plusieurs sources et le « clustering » ne s'effectue plus correctement. De plus, pour l'analyse de contenus captés en conditions réelles, la présence de réverbération peut d'une part dégrader la localisation des sources et d'autre part engendrer une sur-estimation du nombre de sources réelles lorsque des premières réflexions atteignent un niveau énergétique suffisant pour être perçues comme des sources secondaires.
La présente invention vient améliorer la situation.
Elle propose à cet effet, un procédé de traitement de données sonores pour une séparation de N sources sonores d'un signal sonore multicanal capté en milieu réel. Le procédé est tel qu'il comporte les étapes suivantes :
- application d'un traitement de séparation de sources au signal multicanal capté et obtention d'une matrice de séparation et d'un ensemble de M composantes sonores, avec M≥N ;
calcul d'un ensemble de premiers descripteurs dit bi-variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu ;
Figure imgf000008_0001
représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu ;
- classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs.
Cette méthode permet donc de discriminer les composantes issues de sources directes et les composantes issues de réverbération des sources lorsque la captation du signal sonore multlcanal s'effectue dans un milieu réverbérant, c'est-à-dire avec effet de salle. Ainsi, l'ensemble de premiers descripteurs bi- variés permet de déterminer d'une part si les composantes d'un couple de l'ensemble de composantes obtenues suite à l'étape de séparation de sources font partie d'une même classe de composantes ou d'une classe différente alors que l'ensemble de seconds descripteurs uni-variés permet de définir pour une composante, si elle a plus de probabilité d'appartenir à telle ou telle classe. Ceci permet donc de déterminer la probabilité d'appartenance d'une composante à une des deux classes et ainsi de déterminer les N sources sonores directes correspondant aux N composantes classées dans la première classe.
Les différents modes particuliers de réalisation mentionnés ci-après peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, aux étapes du procédé de traitement défini ci-dessus.
Dans un mode de réalisation particulier, le calcul d'un descripteur bi- varié comporte le calcul d'un score de cohérence entre deux composantes. Ce calcul de descripteur permet de façon pertinente de savoir si un couple de composantes correspond à deux composantes directes (2 sources) ou si au moins une des composantes provient d'un effet réverbérant.
Figure imgf000009_0001
comporte la détermination d'un retard entre les deux composantes du couple. Cette détermination du retard et du signe associé à ce retard permet de déterminer, pour un couple de composantes, quelle composante correspond plus probablement au signal direct et quelle composante correspond plus probablement au signal réverbéré.
Selon une Implémentatlon possible de ce calcul de descripteur, le retard entre deux composantes est déterminé par la prise en compte du retard maximisant une fonction d'inter-corrélation entre les deux composantes du couple.
Cette méthode d'obtention du retard offre une détermination d'un descripteur bi-varié fiable.
Dans un mode de réalisation particulier, la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retard, fonction de la cohérence entre les composantes du couple.
Dans une variante de réalisation, la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retord, fonction du rapport du maximum d'une fonction d'inter-corrélation pour des retards de signe opposé.
Ces indicateurs de fiabilité permettent de rendre plus fiable la probabilité, pour un couple de composantes appartenant à une classe différente, que chaque composante du couple soit la composante directe ou la composante réverbérée.
Selon un mode de réalisation, le calcul d'un descripteur uni-varié est fonction d'une mise en correspondance entre des coefficients de mélange d'une matrice de mélange estimée à partir de l'étape de séparation de sources et des caractéristiques d'encodage d'une source de type onde plane. Ce calcul de descripteur permet pour une composante seule, d'estimer la probabilité que la composante soit directe ou réverbérée.
Dans un mode de réalisation, la classification des composantes de l'ensemble des M composantes s'effectue par la prise en compte de
Figure imgf000010_0001
des M composantes, et par le calcul de la
Figure imgf000010_0002
probable des classifications des M composantes.
Dans une implémentaGon possible de cette approche globale, le calcul de la combinaison la plus probable s'effectue par la détermination d'un maximum des valeurs de vraisemblance exprimées comme le produit des probabilités conditionnelles associées aux descripteurs/ pour les combinaisons possibles de classification des M composantes.
Dans un mode de réalisation particulier, une étape de pré-selection des combinaisons possibles est effectuée en se basant sur les seuls descripteurs unl-varlés avant l'étape de calcul de la combinaison la plus probable.
Cela diminue ainsi les calculs de vraisemblance à effectuer sur les combinaisons possibles puisque ce nombre de combinaisons est restreint par cette étape de pré-sélection.
Dans une variante de réalisation, une étape de pré-selection des composantes est effectuée en se basant sur les seuls descripteurs unl-varlés avant l'étape de calcul des descripteurs bi-variés.
Ainsi, le nombre de descripteurs bi-variés à calculer est restreint, ce qui diminue la complexité du procédé.
Dans un exemple de réalisation, le signal multicanai est un signal ambisonique.
Cette méthode de traitement ainsi décrite s'applique parfaitement à ce type de signaux.
L'invention se rapporte également à un dispositif de traitement de données sonores mis en œuvre pour effectuer un traitement de séparation de N sources sonores d'un signal sonore multicanai capté par une pluralité de capteurs en milieu réel. Le dispositif est tel qu'il comporte :
- une interface d'entrée pour recevoir les signaux captés par une pluralité de capteurs, du signal sonore multicanai;
- un circuit de traitement comportant un processeur et apte à mettre en œuvre:
o un module de traitement de séparation de sources appliqué au signal multicanai capté pour obtenir une
Figure imgf000011_0001
sonores, avec M≥N ;
o un calculateur apte à calculer un ensemble de premiers descripteurs dit bhvariés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu et un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu ;
o un module de classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs ;
- une interface de sortie pour délivrer l'information de classification des composantes.
L'invention s'applique également à un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de traitement tel que décrit précédemment, lorsque ces instructions sont exécutées par un processeur et à un support de stockage, lisible par un processeur, sur lequel est enregistré un programme informatique comprenant des instructions de code pour l'exécution des étapes du procédé de traitement tel que décrit.
Le dispositif, programme et support de stockage présentent les mêmes avantages que le procédé décrit précédemment, qu'ils mettent en œuvre. D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre
Figure imgf000012_0001
lesquels :
- la figure 1 illustre une formation de voie pour extraire trois sources selon une méthode de séparation de sources de l'état de l'art tel que décrit précédemment ;
- la figure 2 illustre une réponse impulsionnelle avec effet de salle tel que décrit précédemment ;
- la figure 3 illustre sous forme d'organigramme, les étapes principales d'un procédé de traitement selon un mode de réalisation de l'invention ;
- la figure 4 illustre en fonction de la fréquence, des fonctions de cohérence représentant des descripteurs bi-variés entre deux composantes selon un mode de réalisation de l'Invention, et selon différents couples de composantes ;
- la figure 5 illustre les densités de probabilités des cohérences moyennes représentants des descripteurs bi-variés selon un mode de réalisation de l'invention et pour différents couples de composantes et différents nombres de sources ;
la figure 6 illustre des fonctions d'inter-corrélation entre deux composantes de classe différentes selon un mode de réalisation de l'invention et selon le nombre de sources ;
- la figure 7 illustre les densités de probabilité d'un critère d'onde plane en fonction de la classe de la composante, de l'ordre ambisonique et du nombre de sources, pour un mode de réalisation particulier de l'invention ;
- la figure 8 illustre une représentation matérielle d'un dispositif de traitement selon un mode de réalisation de l'invention, mettant en œuvre un procédé de traitement selon un mode de réalisation de l'invention ; et
- La figure 9 illustre un exemple de calcul de loi de probabilité pour un critère de cohérence entre une composante directe et une composante réverbérée selon un mode de réalisation de l'invention. La figure 3 illustre les principales étapes d'un procédé de traitement de données sonores pour une séparation de N sources sonores d'un signal sonore muiticanal capté en milieu réel dans un mode de réalisation de l'invention.
Ainsi, à partir d'un signal muiticanal capté par une pluralité de capteurs placés dans un milieu réel, c'est-à-dire réverbérant, et délivrant un nombre M d'observations issues de ces capteurs (x (xv ...txM)), le procédé met en œuvre une étape E310 de séparation aveugle de sources sonores (SAS). On suppose ici, dans ce mode de réalisation que le nombre d'observations est égal ou supérieur au nombre de sources actives.
L'utilisation d'un algorithme de séparation aveugle de sources appliqué aux M observations, permet dans le cas d'un milieu réverbérant, d'extraire par formation de voies M composantes sonores associées à une matrice de mélange estimée AMXM, soit :
s = Bxavec x \e vecteur des M observations, B la matrice de séparation estimée par la séparation en aveugle de sources, de dimensions MxM et s le vecteur des M composantes sonores extraites. Parmi celles-ci se trouvent théoriquement N sources sonores et M-N composantes résiduelles correspondant à de la réverbération.
Pour obtenir la matrice B de séparation, l'étape de séparation aveugle de sources peut être mise en œuvre, par exemple en utilisant un algorithme d'analyse en composantes indépendantes (ou « ACI »), ou encore un algorithme d'analyse en composantes principales.
Dans un exemple de réalisation, on s'intéresse aux signaux muiticanal de type ambisonique.
L'ambisonie consiste en une projection du champ acoustique sur une base de fonctions harmoniques sphériques, pour obtenir une représentation spatialisée de la scène sonore. La fonction est l'harmonique
Figure imgf000013_0001
sphérique d'ordre m et d'indice net, dépendant des coordonnées sphériques (θ,ψ), définie avec la formule suivante :
Figure imgf000014_0001
où est une fonction polaire impliquant le polynôme de
Figure imgf000014_0002
Legendre :
Figure imgf000014_0003
pour n > 1
Figure imgf000014_0004
En pratique, un encodage ambisonique réel se fait à partir d'un réseau de capteurs, généralement répartis sur une sphère. Les signaux capturés sont combinés pour synthétiser un contenu ambisonique dont les canaux respectent au mieux les directivités des harmoniques sphériques. On décrit ci- après les principes de base de l'encodage ambisonique.
Le formalisme ambisonique, initialement limité à la représentation de fonctions harmoniques sphériques d'ordre 1, a par la suite été étendu aux ordres supérieurs. Le formalisme ambisonique avec un nombre de composantes plus important est communément nommé « Higher Order Ambisonlcs» (ou « HOA » ci-après),
A chaque ordre m correspondent 2m+l fonctions harmoniques sphériques. Ainsi, un contenu d'ordre m contient un total de (m+1)2 canaux (4 canaux à l'ordre 1, 9 canaux à l'ordre 2, 16 canaux à l'ordre 3, et ainsi de suite).
Oh entend ci-après par « composantes ambisonlques » le signal ambisonique dans chaque canal ambisonique, en référence aux « composantes vectorielles » dans une base vectorielle qui serait formée par chaque fonction harmonique sphérique. Ainsi par exemple, on peut compter :
- une composante ambisonique pour l'ordre m=0,
- trois composantes ambisoniques pour l'ordre m=1,
- cinq composantes ambisoniques pour l'ordre m=2,
- sept composantes ambisoniques pour l'ordre m=3, etc.
Figure imgf000015_0001
sont alors répartis sur un nombre M de canaux qui se déduit de l'ordre maximum m qu'il est prévu de capter dans la scène sonore. Par exemple, si une scène sonore est captée avec un microphone amblsonique à 20 capsules piézoélectriques, alors l'ordre amblsonique maximum capté est m=3, afin qu'il n'y ait pas plus de 20 canaux M=(m+1)2, le nombre de composantes amblsoniques considérées est 7+5+3+1 = 16 et le nombre M de canaux est M=16, donné par ailleurs par la relation M=(m+1)2, avec m=3.
Ainsi dans l'exemple dlmplémentation où le signal multicanal est un signal amblsonique, l'étape E310 reçoit les signaux x {x 1.,.. , x1... , xM\ captés par un microphone réel, en milieu réverbérant et qui reçoit des trames de contenus sonores ambisonlques sur M= (m+1)2 canaux et contenant N sources.
La séparation en aveugle de sources est donc effectuée à l'étape E310 comme expliqué précédemment.
Cette étape permet à la fois d'extraire M composantes et la matrice de mélange estimée- Les composantes obtenues en sortie de l'étape de séparation de sources peuvent être classées selon deux classes de composantes : une première classe de composantes dites directes correspondant aux sources sonores directes et une deuxième classe de composantes dites réverbérées correspondants aux réflexions des sources.
A l'étape E32Q, un calcul de descripteurs des M composantes (si, S2, ...sM) issues de l'étape de séparation des sources est mis en œuvre, descripteurs qui vont permettre d'associer à chaque composante extraite la classe qui lui correspond : composante directe ou composante réverbérée.
Deux types de descripteurs sont calculés ici : des descripteurs bi-varîés qui font intervenir des couples de composantes
Figure imgf000015_0002
et des descripteurs uni- variés calculés pour une composante ¾.
Ainsi, un ensemble de premiers descripteurs bi-varîés est calculé. Ces descripteurs sont représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu.
Figure imgf000016_0001
respectives des composantes :
- Les deux composantes sont des champs directs,
- L'une des deux composantes est directe et l'autre est réverbérée,
- Les deux composantes sont réverbérées.
Selon un mode de réalisation, on calcule ici une cohérence moyenne entre deux composantes. Ce type de descripteur représente une relation statistique entre les composantes d'un couple et fournit une indication sur la présence d'au moins une composante réverbérée dans un couple de composantes.
En effet, chaque composante directe est principalement constituée du champ direct d'une source, assimilable à une onde plane, auquel s'ajoute une réverbération résiduelle dont la contribution énergétique est inférieure à celle du champ direct. Les sources étant par nature statistiquement indépendantes, il y a donc une faible corrélation entre les composantes directes extraites.
A (Inverse, chaque composante réverbérée est constituée de premières réflexions, versions retardées et filtrées du ou des champs directs, et d'une réverbération tardive. Ainsi, les composantes réverbérées présentent une corrélation significative avec les composantes directes, et généralement un retard de groupe identifiable par rapport aux composantes directes.
La fonction de cohérence renseigne sur l'existence d'une corrélation
Figure imgf000016_0005
entre deux signaux
Figure imgf000016_0007
et s'exprime suivant la formule :
Figure imgf000016_0002
où est l'interspectre entre sj et si et sont les autospectres
Figure imgf000016_0004
Figure imgf000016_0003
respectifs de
Figure imgf000016_0006
La cohérence est idéalement nulle lorsque
Figure imgf000016_0008
sont les champs directs de sources indépendantes mais elle prend une valeur élevée lorsque
Figure imgf000016_0009
sont deux contributions d'une même source ; le champ direct et une première réflexion ou bien deux réflexions.
Figure imgf000017_0001
telle fonction de cohérenœ indique donc
Figure imgf000017_0002
deux composantes directes ou deux contributions d'une même source (directe/réverbérée ou première réflexion/réflexions ultérieures).
En pratique, les interspectres et aulospectres pourront être calculés en segmentant les composantes extraites en K trames (adjacentes ou avec recouvrement), en appliquant une transformée à Fourier à court-terme à chaque trame k de ces K trames pour produire les spectres instantanés et en moyennant les observations sur les K trames ;
Figure imgf000017_0005
Figure imgf000017_0003
Le descripteur utilisé pour un signal large bande est la moyenne sur l'ensemble des fréquences de la fonction de cohérence entre deux composantes, soit :
Figure imgf000017_0004
La cohérence étant bornée entre 0 et 1, la cohérence moyenne sera également comprise dans cet intervalle, tendant vers 0 pour des signaux parfaitement indépendants et vers 1 pour des signaux fortement corrélés. La figure 4 donne un aperçu des valeurs de cohérence en fonction de la fréquence pour les cas suivants :
- Cas N°1 où les valeurs de cohérence sont obtenues pour deux composantes directes issues de 2 sources distinctes.
- Cas N°2 où les valeurs de cohérence sont obtenues pour un couple de composantes directes et réverbérée pour une seule source active.
- Cas N°3 où les valeurs de cohérence sont obtenues pour un couple de composantes directe et réverbérée mais lorsque deux sources sont actives simultanément.
On remarque que dans le premier cas, la valeur de cohérence dy est inférieur à 0.3 alors que dans le second cas dy atteint 0,7 en présence d'une seule source active. Ces valeurs reflètent bien à la fois l'indépendance des signaux directs et la relation liant un signal direct et le même signal réverbéré, en l'absence d'interférences. Cependant en incorporant une seconde source active dans le mélange initial (Cas N°3), la cohérence
Figure imgf000018_0001
du œs direct/réverbéré descend à 0.55 et
Figure imgf000018_0002
dépendante du contenu spectral et du niveau énergétique des différentes sources, Ici, la concurrence des différentes sources lait chuter la cohérence en basses fréquences, tandis que les valeurs sont plus élevées au-dessus de 5500 Hz en raison d'une plus faible contribution de la source interférante.
On remarque donc que la détermination d'une probabilité d'appartenance à une même classe ou à une classe différente pour un couple de composante, peut dépendre du nombre de sources a priori actives. Pour l'étape de classification E340 décrite ultérieurement, ce paramètre pourra être pris en compte dans un mode particulier de réalisation,
A l'étape E330 de la figure 3, un calcul de probabilité est déduit du descripteur ainsi décrit
En pratique, les densités de probabilités des figures 5 et 7 décrites ci- après, et plus généralement toutes les densités de probabilité des descripteurs, sont apprises de manière statistique sur des bases de données comprenant des conditions acoustiques variées (réverbérantes/mâtes) et différentes sources (voix d'homme/femme, langues française/anglaise/...). Les composantes sont classées de manière informée : à chaque source est associée la composante extraite la plus proche spatialement, les restantes étant classées comme composantes réverbérées. Pour calculer la position de la composante, on utilise les 4 premiers coefficients de son vecteur de mélange issu de la matrice A (soit Tordre 1), inverse de la matrice de séparation 8. En faisant l'hypothèse que ce vecteur suit la règle d'encodage d'une onde plane soit :
Figure imgf000018_0003
où (θ,φ) représentent les coordonnées sphériques, azimuth/élévation, de la source, il est possible de déduire par simple calcul trigonométriques la position de la composantes extraite par le jeu d'équations suivant :
Figure imgf000019_0001
où arctan2 est la fonction arctangente qui permet de lever l'ambiguïté de signe de la fonction arctangente.
Une fois les signaux classés, les différents descripteurs sont calculés. Du nuage de points - issus de la base de données - pour une classe donnée est extrait un histogramme de valeurs du descripteur à partir duquel une densité de probabilité est choisie parmi une collection de densités de probabilité, sur la base d'une distance, généralement la divergence de Kullback-Leibler. La figure 9 montre un exemple de calcul de loi pour le critère de cohérence entre une composante directe et une composante réverbérée : la loi log- normale a été sélectionnée parmi une dizaine de lois car elle minimise la divergence de Kullback-Leibler.
Pour l'exemple d'un signal ambisonique, la figure 5 représente les distributions (densité de probabilité ou pdf pour « Probability density function » en anglais) associées à la valeur de la cohérence moyenne entre deux composantes.
Les lois de probabilité représentées ici sont présentées pour une captation microphonique ambisonique à 4 canaux (ambisonie ordre 1) ou 9 canaux (ambisonie d'ordre 2), dans le cas d'une ou deux sources actives simultanément. On observe tout d'abord que la cohérence moyenne d? prend des valeurs nettement plus faibles pour des couples de composantes directes par rapport aux cas où au moins une des composantes est réverbérée, et cette observation est d'autant plus marquée que l'ordre ambisonique est élevé. Cela est dû à une meilleure sélectivité de la formation de voies lorsque le nombre de canaux est plus important, et donc à une meilleure séparation des composantes extraites.
On constate également qu'en présence de deux sources actives, lés estimateurs de cohérence se dégradent, que ce soient les couples direct/réverbéré ou réverbéré/réverbéré (en présence d'une seule source, le couple direct/direct n'existe pas).
Figure imgf000020_0001
du nombre de sources dans le mélange, et du nombre de capteurs à disposition.
Ce descripteur est donc pertinent pour détecter si un couple de composantes extraites correspond à deux composantes directes (2 vraies sources) ou si au moins l'une des deux composantes provient de l'effet de salle.
Dans un mode de réalisation de l'invention, un autre type de descripteur bi-varié est calculé à l'étape E320. Soit ce descripteur est calculé à la place du descripteur de type cohérence décrit précédemment, soit en complément de celui-ci .
Ce descripteur va permettre de déterminer, pour un couple (direct/réverbéré) quelle composante est plus probablement le signal direct et laquelle correspond au signal réverbéré, en se basant sur l'hypothèse simple que les premières réflexions sont des versions retardées et atténuées du signal direct.
Ce descripteur est basé sur une autre relation statistique entre les composantes, le retard entre les deux composantes du couple. On définit le retard comme le retard qui maximise la fonction d'intercorrélatlon
Figure imgf000020_0002
entre les composantes d'un couple de composantes
Figure imgf000020_0003
Figure imgf000020_0004
:
Figure imgf000020_0005
Lorsque ¾ est un signal direct et ¾ une réflexion associée, le tracé de la fonction d'intercorrélatlon fera généralement apparaître un négatif.
Figure imgf000020_0006
Ainsi, si l'on sait que l'on est en présence d'un couple de composantes direct/réverbéré, on peut ainsi théoriquement attribuer la dasse à chacune des composantes grâce au signe de
Figure imgf000020_0007
En pratique, l'estimation du signe de est souvent très.bruitée,
Figure imgf000020_0008
voire même parfois inversée :
- Lorsque la scène est constituée d'une seule source, il n'y a pas forcément de délai de groupe qui émerge distinctement si le champ
Figure imgf000021_0001
tardive. De plus les composantes directes extraites par SAS contiennent toujours un résidu d'effet de salle plus ou moins important, qui va bruiter la mesure du délai.
- Lorsque plusieurs sources sont présentes, les interférences viennent perturber la mesure, à plus forte raison si les trames d'analyse sont courtes et que tous les champs directs n'ont pas été parfaitement séparés.
Pour ces raisons, on peut choisir de fiabiliser le signe de utilisé
Figure imgf000021_0008
comme descripteur, grâce à un indicateur de robustesse ou de fiabilité.
La cohérence moyenne entre les composantes permet d'évaluer la pertinence du couple dlrectyréverbéré comme vu précédemment. Si celle-ci est forte, on peut espérer que le délai de groupe sera un descripteur fiable.
D'autre part, la valeur relative du pic d'ïntercorrélation aux
Figure imgf000021_0007
autres valeurs de la fonction d'ïntercorrélation renseigne également sur
Figure imgf000021_0009
la fiabilité du délai de groupe. La figure 6 illustre le caractère émergent du pic d'autocorrélation entre une composante directe et une composante réverbérée. Sur la partie haute (1) de la figure 6 où une seule source est présente, le maximum dlntercorrélation émerge clairement du reste de llntercorrélation, indiquant de manière fiable que l'une des composantes est en retard par rapport à l'autre. Il émerge notamment par rapport aux valeurs de la fonction d'autocorrélation pour des signes opposés à celui de
Figure imgf000021_0006
(celle des r positifs sur la figure 6) qui sont très faibles, quelle que soit la valeur de r.
Dans une réalisation particulière, on définit un second indicateur de fiabilité du signe du retard appelé émergence, en calculant le rapport entre la valeur absolue de l'intercorrélatlon à
Figure imgf000021_0005
et celle du maximum de corrélation pour des r de signe opposé à celui de
Figure imgf000021_0004
:
Figure imgf000021_0002
où est défini par :
Figure imgf000021_0003
Figure imgf000022_0001
Ce ratio, que l'on nomme émergence, est un critère ad hoc dont la pertinence se vérifie en pratique : il prend des valeurs proches de 1 pour des signaux indépendants, l.e. 2 composantes directes, et des valeurs plus élevées pour des signaux corrélées comme une composante directe et une composante réverbérée. Dans le cas précité de la courbe (1) de la figure 6, la valeur d'émergence est de 4.
On a donc un descripteur
Figure imgf000022_0007
qui détermine, pour chaque couple supposé direct/réverbéré, la probabilité pour chaque composante du couple d'être la composante directe ou la composante réverbérée. Ce descripteur est fonction du signe de de la cohérence moyenne entre les composantes
Figure imgf000022_0006
et de l'émergence du maximum d'intercorrélation.
Il faut noter que ce descripteur est sensible au bruit, et notamment à la présence de plusieurs sources simultanées, comme illustré sur la courbe (2) de la figure 6 : en présence de 2 sources, même si le maximum de corrélation émerge toujours, sa valeur relative - 2.6 - est moindre du fait de la présence d'une source interférente qui réduit la corrélation entre les composantes extraites. Dans une réalisation particulière, on mesurera la fiabilité du signe du retard en fonction de la valeur de l'émergence, que l'on pondérera par le nombre a priori de sources à détecter.
Avec ce descripteur, on calcule à l'étape E330 une probabilité d'appartenance à une première classe de composantes directes ou une seconde classe de composants réverbérées pour un couple de composantes, Pour Sj identifiée comme étant en avance sur % on estime la probabilité que ¾ soit directe et si réverbérée par une loi à deux dimensions.
Logiquement, on estime alors la probabilité que Sj soit réverbérée et
Figure imgf000022_0005
directe alors même que sj est en avance de phase comme le complément à 1 du cas direct/réverbéré :
Figure imgf000022_0002
où
Figure imgf000022_0003
sont les classes respectives des composantes
Figure imgf000022_0004
étant la première classe de composantes dites directes correspondant aux N
Figure imgf000023_0002
sonores directes et Cr, la deuxième classe de M
Figure imgf000023_0003
réverbérées.
Ce descripteur n'est utilisable que pour les couples direct/réverbéré. Les couples direct/direct et réverbéré/réverbéré ne sont pas concernés par ce descripteur, on les considère donc comme équiprobables :
Figure imgf000023_0001
Le signe du retard est un indicateur fiable lorsqu'à la fois la cohérence et l'émergence ont des valeurs moyennes ou élevées. Une émergence faible ou une cohérence faible vont rendre les couples direct/réverbéré ou réverbéré/direct équiprobables.
A l'étape E320, est également calculé un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu.
Connaissant le système de captation utilisé, l'encodage d'une source provenant d'une direction donnée s'effectue avec des coefficients de mélange dépendant, entre autres, de la directivité des capteurs. Dans le cas où la source peut être considérée comme ponctuelle et où les longueurs d'onde sont grandes par rapport à la taille de l'antenne, on peut considérer la source comme une onde plane. Cette hypothèse se vérifie généralement dans le cas d'un microphone ambisonique qui est de petite taille, pour peu que la source soit suffisamment éloignée du microphone (en pratique, un mètre suffit).
Pour une composante Sj extraite par SAS, la jème colonne de la matrice de mélange estimée A, obtenue par inversion de la matrice de séparation B, va contenir les coefficients de mélange associés à celle-ci. Si cette composante est directe, c'est-à-dire qu'elle correspond à une seule source, les coefficients de mélange de la colonne Aj vont tendre vers les caractéristiques de l'encodage microphoniques pour une onde plane. Dans le cas d'une composante réverbérée, somme de plusieurs réflexions et d'un champ diffus, les coefficients de mélange estimés seront plus aléatoires et ne pas à l'encodage d'une seule source
Figure imgf000024_0003
Figure imgf000024_0004
d'arrivée précise.
On peut donc se servir de la conformité entre les coefficients de mélange estimés et les coefficients de mélange théoriques pour une source seule pour estimer une probabilité que la composante soit directe ou réverbérée.
Dans le cas d'une captatlon microphonique ambisonique d'ordre 1, l'encodage d'une onde plane Sj d'incidence au format ambisonique dit
Figure imgf000024_0006
N3D s'effectue suivant la formule :
Figure imgf000024_0002
Où
Figure imgf000024_0001
Il existe en effet plusieurs formats ambisoniques, qui se différencient notamment par la normalisation des différentes composantes regroupées en ordre. On considère ici le format connu N3D. Les différents formats sont par exemple décrits au lien suivant :
https://en.wikipedia.org/wiki/Ambisonic data exchange formats. On peut ainsi déduire des coefficients d'encodage d'une source un critère, nommé critère onde plane, qui illustre la conformité entre les coefficients de mélange estimés et l'équation théorique d'une onde plane encodée seule :
Figure imgf000024_0005
Le critère cop est par définition égal à 1 dans le cas d'une onde plane. En présence d'un champ direct correctement identifié, le critère onde plane restera très proche de la valeur 1, A l'inverse, dans le cas d'une composante réverbérée, la multitude des contributions (premières réflexions et
Figure imgf000025_0001
tardive) avec des niveaux énergétjque
Figure imgf000025_0002
généralement éloigner le critère onde plane de sa valeur idéale.
Pour ce descripteur comme pour les autres, la distribution associée et calculé en E330, connaît une certaine variabilité, en fonction notamment du niveau de bruit présent dans les composantes extraites. Ce bruit est constitué principalement de la réverbération résiduelle et des contributions des sources Interférantes qui n'auront pas été parfaitement annulées. On peut donc choisir, pour affiner l'analyse, d'estimer la distribution des descripteurs en fonction :
- Du nombre de canaux utilisés (donc ici de l'ordre ambisonlque), qui influe sur la sélectivité du « beamforming » et donc sur le niveau de bruit résiduel,
- du nombre de sources contenues dans le mélange (comme pour les descripteurs précédents), dont l'augmentation entraine mécaniquement une hausse du niveau de bruit et une plus grande variance dans l'estimation de la matrice de séparation B, donc de A,
On peut observer sur la figure 7 les lois de probabilités (densité de probabilité) associées à ce descripteur, en fonction du nombre de sources actives simultanément (1 ou 2) et de l'ordre ambisonique du contenu analysé (ordres l à 2). Conformément à l'hypothèse initiale, la valeur du critère onde plane est concentrée autour de la valeur 1 pour les composantes directes. Pour les composantes réverbérées, la distribution est plus uniforme, avec cependant une forme légèrement asymétrique, à cause du descripteur lui- même qui est asymétrique, avec une forme en 1/x.
La distance entre les distributions des deux classes permet une discrimination assez fiable entre les composantes de type ondes planes et celles plus diffuses.
Ainsi, les descripteurs calculés à l'étape E320 et exposés id sont basés à la fois sur les statistiques des composantes extraites (cohérence moyenne et retard de groupe) et sur la matrice de mélange estimée (critère onde plane). Ceux-ci permettent de déterminer des probabilités conditionnelles d'appartenance d'une composante à une des deux classes Cd ou Cr.
Figure imgf000026_0002
E340 de déterminer une classification des composantes de l'ensemble des M composantes, selon les deux classes.
Pour une composante sj, on note Cj la classe correspondante. S'agissant de classer l'ensemble des M composantes extraites, on nomme "configuration" le vecteur des classes C de dimension lxM tel que :
Figure imgf000026_0003
Sachant qu'il existe deux classes possibles pour chaque composante, le problème revient finalement à choisir parmi un total de 2M configurations potentielles supposées équiprobables. Pour ce faire, la règle du maximum a posteriori est appliquée : connaissant
Figure imgf000026_0009
la vraisemblance de la
Figure imgf000026_0005
configuration, la configuration retenue sera celle possédant la vraisemblance maximale, c'est-à-dire :
Figure imgf000026_0004
L'approche choisie peut être exhaustive et consiste alors à estimer la vraisemblance de toutes les configurations possibles, à partir des descripteurs déterminés à l'étape E320 et des distributions qui leur sont associées et qui sont calculés à l'étape E330.
Selon une autre approche, une pré-sélection des configurations peut être effectuée pour réduire le nombre de configuration è tester, et donc la complexité de la mise en œuvre de la solution. Cette pré-sélection peut se faire par exemple selon le critère onde plane seul en classant certaines composantes dans la catégorie
Figure imgf000026_0006
dès lors que la valeur de leur critère
Figure imgf000026_0007
s'éloigne trop de la valeur théorique d'une onde plane 1 : dans le cas de signaux ambisoniques, on peut voir sur les distributions de la figure 7 que l'on peut, quelle que soit la configuration (ordre ou nombre de sources) et a priori sans perte de robustesse, classer dans la catégorie cT les composantes dont le
Figure imgf000026_0008
vérifie l'une des Inégalités suivantes :
Figure imgf000026_0001
Figure imgf000027_0001
tester en pré-classant certaines composantes, en excluant les configurations qui impose la classe cd à ces composantes pré-classées.
Une autre possibilité pour réduire plus encore la complexité est d'exclure les composantes pré-classées du calcul des descripteurs bi-variés et du calcul de la vraisemblance, ce qui réduit le nombre de critères bi-variés à calculer et donc encore plus ia complexité de traitement.
Pour estimer la vraisemblance de chaque configuration à l'aide des descripteurs calculés, une approche naïve bayésienne peut être utilisée. Dans ce type d'approche, on se donne un ensemble de descripteurs du pour chaque composante sj .Pour chaque descripteur, on formule la probabilité pour la composante sj d'appartenir à la classe
Figure imgf000027_0003
grâce à la loi de Bayes :
Figure imgf000027_0002
Les deux classes
Figure imgf000027_0004
étant supposées équi probables, il en découle
Figure imgf000027_0005
ainsi que
Figure imgf000027_0006
On obtient alors :
Figure imgf000027_0007
où le terme
Figure imgf000027_0008
est abrégé en
Figure imgf000027_0009
pour alléger les notations, S'agissant ici de rechercher le maximum de vraisemblance, le terme au dénominateur de chaque probabilité conditionnelle est constant quelle que soit la configuration évaluée. Aussi, on peut par la suite en simplifier l'expression:
Figure imgf000027_0010
un descripteur bi-varié (comme par exemple
Figure imgf000028_0003
Figure imgf000028_0004
intervenir deux composantes sj et sl et leurs classes respectives supposées, on étend l'expression précédente:
Figure imgf000028_0005
et ainsi de suite.
La vraisemblance s'exprime comme le produit des probabilités conditionnelles associées à chacun des K descripteurs, si l'on suppose que ceux-ci sont indépendants :
Figure imgf000028_0006
où d est le vecteur des descripteurs et C un vecteur représentant une configuration (c'est à dire la combinaison des classes supposées des M composantes), comme définit ci-dessus.
Plus précisément, un nombre K1 de descripteurs uni-variés est mis à profit pour chacune des composantes, tandis qu'un nombre /fede descripteurs bi-variés est utilisé pour chaque paire de composantes. Les lois de probabilités des descripteurs étant établies en fonction du nombre de sources supposé et du nombre de canaux (l'indice m représente l'ordre ambisonique, dans le cas d'une captation de ce type), on formule alors l'expression finale de la vraisemblance :
Figure imgf000028_0001
où
-
Figure imgf000028_0007
est la valeur du descripteur d'indice k pour la composante Sj ;
-
Figure imgf000028_0008
est la valeur du descripteur bi-varié d'indice k pour les composantes ¾ et si ;
- C) et Ci sont les classes supposées des composantes Jet /;
- /Vest le nombre de sources actives associé à la configuration évaluée :
Figure imgf000028_0002
Pour des raisons calculatoires, on préfère à la vraisemblance sa version logarithmique (log-vraisemblance) :
Figure imgf000029_0001
Cette équation est celle utilisée en définitive pour déterminer la configuration la plus vraisemblable dans le classificateur bayésien décrit ici pour ce mode de réalisation.
Le classificateur bayésien présenté ici n'est qu'un exemple dlmplémentation, il pourrait être remplacé, entre autres, par une machine à vecteurs de support ou un réseau de neurones.
Au final, la configuration présentant le maximum de vraisemblance est retenue, indiquant la classe directe ou réverbérée associée à chacune des M composantes
Figure imgf000029_0002
De cette combinaison, il est donc déduit les N composantes correspondant aux N sources directes actives.
Le traitement décrit ici est effectué dans le domaine temporel, mais peut aussi être, dans une variante de réalisation, appliqué dans un domaine transformé.
Le procédé tel que décrit en référence à la figure 3 étant alors mis en œuvre par sous-bandes de fréquence après passage dans le domaine transformé des signaux captés.
Par ailleurs, la bande passante utile peut être réduite en fonction des imperfections potentielles du système de captaBon, en hautes fréquences (présence de repliement spatial) ou en basses fréquences (impossibilité de retrouver les directivités théoriques de l'encodage microphonique).
La figure 8 représente ici une forme de réalisation d'un dispositif (DIS) de traitement selon un mode de réalisation de l'Invention.
Des capteurs
Figure imgf000029_0004
représentés ici sous la forme d'un microphone sphérique MIC permettent d'acquérir, dans un milieu réel, donc réverbérant, M signaux de mélange à partir d'un signal multicanal.
Figure imgf000029_0003
Figure imgf000030_0001
entendu, d'autres formes de microphones ou
Figure imgf000030_0002
être prévues. Ces capteurs peuvent être intégrés au dispositif DIS ou bien en dehors du dispositif/ les signaux en résultant étant alors transmis au dispositif de traitement qui les reçoit via son interface d'entrée 840, Dans une variante, ces signaux peuvent simplement être obtenus préalablement et importés en mémoire du dispositif DIS.
Ces M signaux sont alors traités par un circuit de traitement et des moyens informatiques tels qu'un processeur PROC en 860 et une mémoire de travail MEM en 870. Cette mémoire peut comporter un programme Informatique comportant les instructions de code pour la mise en œuvre des étapes du procédé de traitement tel que décrit par exemple en référence à la figure 3 et notamment les étapes d'application d'un traitement de séparation de sources au signal multicanal capté et obtention d'un ensemble de M composantes sonores, avec M≥N, de calcul d'un ensemble de premiers descripteurs dit bi-variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu et d'un ensemble de seconds descripteurs dit uni-variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu et de classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs.
Ainsi, le dispositif comporte un module 810 de traitement de séparation de sources appliqué au signal multicanal capté pour obtenir un ensemble de M composantes sonores
Figure imgf000030_0003
avec M≥N. Les M composantes sont fournies en entrée d'un calculateur 820 apte à calculer un ensemble de premiers descripteurs dit bi-variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu et un ensemble de seconds descripteurs dit uni-variés
Figure imgf000031_0001
de caractéristiques d'encodage des compo
Figure imgf000031_0002
des M composantes obtenu.
Ces descripteurs sont utilisés par un module de classification 830 ou classificateur, apte à classer des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées.
Pour cela, le module de classification comporte un module 831 de calcul de probabilité d'appartenance à une des deux classes des composantes de l'ensemble M, fonction des ensembles de premiers et seconds descripteurs.
Le classificateur utilise des descripteurs liés à la corrélation entre les composantes pour déterminer lesquelles sont des signaux directs (c'est à dire des vraies sources) et lesquelles sont des résidus de réverbération. Ii utilise également des descripteurs liés aux coefficients de mélange estimés par SAS, pour évaluer la conformité entre l'encodage théorique d'une source seule et l'encodage estimé de chaque composante. Certains des descripteurs sont donc fonction d'un couple de composantes (pour la corrélation), et d'autres sont fonctions d'une composante seule (pour la conformité de l'encodage microphonique estimé).
Un module 832 de calcul de vraisemblance permet de déterminer, dans un mode de réalisation, la combinaison le plus probable des classifications des M composantes par un calcul de valeurs de vraisemblance fonction des probabilités calculées au module 831 et pour les combinaisons possibles.
Enfin, le dispositif comporte une interface de sortie 850 pour délivrer l'information de classification des composantes, par exemple à un autre dispositif de traitement qui peut utiliser cette information pour rehausser le son des sources discriminés, pour les débruiter ou bien pour effectuer un mixage de plusieurs sources discriminées. Un autre traitement possible peut également être d'analyser ou de localiser les sources pour optimiser le traitement d'une commande vocale.
Bien d'autres applications utilisant (Information de classification ainsi déterminée, sont alors possibles.
Figure imgf000032_0001
pour effectuer par exemple des captatlons de scènes sonores ou pour une prise de son de commande vocale. Le dispositif peut également être intégré dans un terminal de communication apte à traiter des signaux captés par une pluralité de capteurs intégrés ou déportés du terminal.

Claims

REVENDICATIONS
1. Procédé de traitement de données sonores pour une séparation de N sources sonores d'un signal sonore multicanal capté en milieu réel, caractérisé en ce qu'il comporte les étapes suivantes :
- application (E310) d'un traitement de séparation de sources au signal multicanal capté et obtention d'une matrice de séparation et d'un ensemble de M composantes sonores, avec M>N ;
- calcul (E320) d'un ensemble de premiers descripteurs dit bi- variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu ;
- calcul (E320) d'un ensemble de seconds descripteurs dit uni- variés représentatifs de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu ;
- classification (E340) des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul (E330) de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs.
2. Procédé selon la revendication 1, dans lequel le calcul d'un descripteur bi-varié comporte le calcul d'un score de cohérence entre deux composantes.
3. Procédé selon l'une des revendications 1 à 2, dans lequel le calcul d'un descripteur bi-varié comporte la détermination d'un retard entre les deux composantes du couple.
4. procédé selon la revendication 3, dans lequel
Figure imgf000034_0001
composantes est déterminé par la prise en compte du retard maximisant une fonction d'inter-corrélation entre les deux composants du couple.
5. Procédé selon l'une des revendications 3 ou 4, dans lequel la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retard, fonction de la cohérence entre les composantes du couple.
6. Procédé selon l'une des revendications 3 ou 5, dans lequel la détermination du retard entre deux composantes d'un couple est associée à un indicateur de fiabilité du signe du retard, fonction du rapport du maximum d'une fonction d'inter-corrélation pour des retards de signe opposé.
7. Procédé selon l'une des revendications 1 à 6, dans lequel le calcul d'un descripteur uni-varié est fonction d'une mise en correspondance entre des coefficients de mélange d'une matrice de mélange estimée à partir de l'étape de séparation de sources et des caractéristiques d'encodage d'une source de type onde plane.
8. Procédé selon l'une des revendications 1 à 7, dans lequel la classification des composantes de l'ensemble des M composantes s'effectue par la prise en compte de l'ensemble des M composantes, et par le calcul de la combinaison la plus probable des classifications des M composantes.
9. Procédé selon la revendication 8, dans lequel le calcul de la combinaison la plus probable s'effectue par la détermination d'un maximum des valeurs de vraisemblance exprimées comme le produjt des probabilités conditionnelles associé
Figure imgf000035_0001
pour les combinaisons possibles de classification des M composantes.
10. Procédé selon la revendication 8, dans lequel une étape de présélection des combinaisons possibles est effectuée en se basant sur les seuls descripteurs uni-variés avant l'étape de calcul de la combinaison la plus probable.
11. Procédé selon l'une des revendications précédentes, dans lequel une étape de pré-sélection des composantes est effectuée en se basant sur les seuls descripteurs uni-variés avant l'étape de calcul des descripteurs bi-variés.
12. Procédé selon l'une des revendications précédentes, dans lequel le signal multicanal est un signal ambisonique.
13. Dispositif de traitement de données sonores mis en œuvre pour effectuer un traitement de séparation de N sources sonores d'un signal sonore multicanal capté par une pluralité de capteurs en milieu réel, caractérisé en ce qu'il comporte :
- une interface d'entrée pour recevoir les signaux captés par une pluralité de capteurs, du signal sonore multicanal;
- un circuit de traitement comportant un processeur et apte à contrôler:
o un module de traitement de séparation de sources appliqué au signal multicanal capté pour obtenir une matrice de séparation et un ensemble de M composantes sonores, avec M≥N ;
o un calculateur apte à calculer un ensemble de premiers descripteurs dit bi-variés, représentatifs de relations statistiques entre les composantes des couples de l'ensemble des M composantes obtenu et un ensemble de seconds descripteurs dit uni-varié
Figure imgf000036_0001
de caractéristiques d'encodage des composantes de l'ensemble des M composantes obtenu ;
o un module de classification des composantes de l'ensemble des M composantes, selon deux classes de composantes, une première classe de N composantes dites directes correspondant aux N sources sonores directes et une deuxième classe de M-N composantes dites réverbérées, par un calcul de probabilité d'appartenance à une des deux classes, fonction des ensembles de premiers et seconds descripteurs ;
- une interface de sortie pour délivrer l'information de classification des composantes,
14. Programme informatique comportant des instructions de code pour la mise en œuvre des étapes du procédé de traitement selon l'une des revendications 1 à 12, lorsque ces Instructions sont exécutées par un processeur.
15. Support de stockage, lisible par un processeur, sur lequel est enregistré un programme informatique comprenant des instructions de code pour l'exécution des étapes du procédé de traitement selon l'un des revendications 1 à 12,
PCT/FR2018/000139 2017-06-09 2018-05-24 Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal WO2018224739A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/620,314 US11081126B2 (en) 2017-06-09 2018-05-24 Processing of sound data for separating sound sources in a multichannel signal
EP18737650.4A EP3635718B1 (fr) 2017-06-09 2018-05-24 Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal
CN201880037758.9A CN110709929B (zh) 2017-06-09 2018-05-24 处理声音数据以分离多声道信号中的声源

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1755183A FR3067511A1 (fr) 2017-06-09 2017-06-09 Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal
FR1755183 2017-06-09

Publications (1)

Publication Number Publication Date
WO2018224739A1 true WO2018224739A1 (fr) 2018-12-13

Family

ID=59746081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/000139 WO2018224739A1 (fr) 2017-06-09 2018-05-24 Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal

Country Status (5)

Country Link
US (1) US11081126B2 (fr)
EP (1) EP3635718B1 (fr)
CN (1) CN110709929B (fr)
FR (1) FR3067511A1 (fr)
WO (1) WO2018224739A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473566A (zh) * 2019-07-25 2019-11-19 深圳壹账通智能科技有限公司 音频分离方法、装置、电子设备及计算机可读存储介质
FR3116348A1 (fr) * 2020-11-19 2022-05-20 Orange Localisation perfectionnée d’une source acoustique

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4107723A4 (fr) * 2020-02-21 2023-08-23 Harman International Industries, Incorporated Procédé et système permettant d'améliorer la séparation de la voix par élimination du chevauchement
CN113450823B (zh) * 2020-03-24 2022-10-28 海信视像科技股份有限公司 基于音频的场景识别方法、装置、设备及存储介质
CN112599144B (zh) * 2020-12-03 2023-06-06 Oppo（重庆）智能科技有限公司 音频数据处理方法、音频数据处理装置、介质与电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060142A1 (en) * 2003-09-12 2005-03-17 Erik Visser Separation of target acoustic signals in a multi-transducer arrangement
US20100111290A1 (en) * 2008-11-04 2010-05-06 Ryuichi Namba Call Voice Processing Apparatus, Call Voice Processing Method and Program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879952B2 (en) * 2000-04-26 2005-04-12 Microsoft Corporation Sound source separation using convolutional mixing and a priori sound source knowledge
US20040086130A1 (en) * 2002-05-03 2004-05-06 Eid Bradley F. Multi-channel sound processing systems
US7809145B2 (en) * 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
KR100647286B1 (ko) * 2004-08-14 2006-11-23 삼성전자주식회사 교차채널 간섭을 제거하기 위한 후처리장치 및 방법과이를 이용한 다채널 음원 분리장치 및 방법
KR101277041B1 (ko) * 2005-09-01 2013-06-24 파나소닉 주식회사 멀티 채널 음향 신호 처리 장치 및 방법
JP2009529699A (ja) * 2006-03-01 2009-08-20 ソフトマックス，インコーポレイテッド 分離信号を生成するシステムおよび方法
FR2899424A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
EP2115743A1 (fr) * 2007-02-26 2009-11-11 QUALCOMM Incorporated Systèmes, procédés et dispositifs pour une séparation de signal
US8639498B2 (en) * 2007-03-30 2014-01-28 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
US8131542B2 (en) * 2007-06-08 2012-03-06 Honda Motor Co., Ltd. Sound source separation system which converges a separation matrix using a dynamic update amount based on a cost function
GB0720473D0 (en) * 2007-10-19 2007-11-28 Univ Surrey Accoustic source separation
JP5195652B2 (ja) * 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
US20110058676A1 (en) * 2009-09-07 2011-03-10 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dereverberation of multichannel signal
KR101567461B1 (ko) * 2009-11-16 2015-11-09 삼성전자주식회사 다채널 사운드 신호 생성 장치
US9165565B2 (en) * 2011-09-09 2015-10-20 Adobe Systems Incorporated Sound mixture recognition
US9654894B2 (en) * 2013-10-31 2017-05-16 Conexant Systems, Inc. Selective audio source enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060142A1 (en) * 2003-09-12 2005-03-17 Erik Visser Separation of target acoustic signals in a multi-transducer arrangement
US20100111290A1 (en) * 2008-11-04 2010-05-06 Ryuichi Namba Call Voice Processing Apparatus, Call Voice Processing Method and Program

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. JOURJINE; S. RICKARD; O. YILMAZ: "Blind séparation of disjoint orthogonal signais: Demixing n sources from 2 mixtures", ICASSP'00, 2000
AMARI: "Ç'A new learning algorithm for blind signal separation, Advances", NEURAL INFORMATION PROCESSING SYSTEMS, 1996
BAQUÉ MATHIEU ET AL: "Separation of Direct Sounds from Early Reflections Using the Entropy Rate Bound Minimization Algorithm", CONFERENCE: 60TH INTERNATIONAL CONFERENCE: DREAMS (DEREVERBERATION AND REVERBERATION OF AUDIO, MUSIC, AND SPEECH); JANUARY 2016, AES, 60 EAST 42ND STREET, ROOM 2520 NEW YORK 10165-2520, USA, 27 January 2016 (2016-01-27), XP040680602 *
J.F CARDOSO; A. SOULOUMIAC: "Blind beamforming for non-gaussian signals", IEE PROCEEDINGS F - RADAR AND SIGNAL PROCESSING, vol. 140, no. 6, December 1993 (1993-12-01), XP000605067
JOURJINE A ET AL: "BLIND SEPARATION OF DISJOINT ORTHOGONAL SIGNALS: DEMIXING N SOURCESFROM 2 MIXTURES", 2000 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS. (ICASSP). ISTANBUL, TURKEY, JUNE 5-9, 2000; [IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING (ICASSP)], NEW YORK, NY : IEEE, US, 5 June 2000 (2000-06-05), pages 2985 - 2988, XP001035813, ISBN: 978-0-7803-6294-9 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473566A (zh) * 2019-07-25 2019-11-19 深圳壹账通智能科技有限公司 音频分离方法、装置、电子设备及计算机可读存储介质
FR3116348A1 (fr) * 2020-11-19 2022-05-20 Orange Localisation perfectionnée d’une source acoustique
WO2022106765A1 (fr) * 2020-11-19 2022-05-27 Orange Localisation perfectionnée d'une source acoustique

Also Published As

Publication number Publication date
CN110709929B (zh) 2023-08-15
CN110709929A (zh) 2020-01-17
US20200152222A1 (en) 2020-05-14
EP3635718A1 (fr) 2020-04-15
FR3067511A1 (fr) 2018-12-14
US11081126B2 (en) 2021-08-03
EP3635718B1 (fr) 2023-06-28

Similar Documents

Publication Publication Date Title
EP3635718B1 (fr) Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal
EP3807669B1 (fr) Localisation de sources sonores dans un environnement acoustique donné
JP4406428B2 (ja) 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体
EP2898707B1 (fr) Calibration optimisee d'un systeme de restitution sonore multi haut-parleurs
EP3281026B1 (fr) Procédé de séparation de sources pour signaux parcimonieux
US10078785B2 (en) Video-based sound source separation
EP2517037A1 (fr) Procede pour estimer le nombre de sources incidentes a un reseau de capteurs par estimation de la statistique du bruit
CN113409771B (zh) 一种伪造音频的检测方法及其检测系统和存储介质
EP4046390A1 (fr) Localisation perfectionnee d'une source acoustique
EP3559947B1 (fr) Traitement en sous-bandes d'un contenu ambisonique réel pour un décodage perfectionné
Cobos et al. Two-microphone separation of speech mixtures based on interclass variance maximization
WO2022106765A1 (fr) Localisation perfectionnée d'une source acoustique
Kressner et al. Outcome measures based on classification performance fail to predict the intelligibility of binary-masked speech
Zohny et al. Modelling interaural level and phase cues with Student's t-distribution for robust clustering in MESSL
EP4323806A1 (fr) Système et procédé pour estimation de direction d'arrivée et de retards de premières réflexions de pièce
EP3385899A1 (fr) Procédé de détection en temps réel d'une scène par un appareil et appareil correspondant
FR3011086A1 (fr) Procede realisant conjointement la synchronisation, l'identification, la mesure, l'estimation du filtre de propagation et la localisation d'emetteurs utiles et interferants
EP1359685A1 (fr) Séparation des sources pour des signaux cyclostationnaires
EP2452293A1 (fr) Localisation de sources
US20230296767A1 (en) Acoustic-environment mismatch and proximity detection with a novel set of acoustic relative features and adaptive filtering
EP1949548A1 (fr) Procede de detection de trajets en transmission impulsionnelle et dispositif correspondant
WO2022207994A1 (fr) Estimation d'un masque optimise pour le traitement de donnees sonores acquises
JP2023122018A (ja) 信号処理装置、信号処理プログラム及び信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18737650

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018737650

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018737650

Country of ref document: EP

Effective date: 20200109