WO2017217412A1 - 信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体 - Google Patents

信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体 Download PDF

Info

Publication number
WO2017217412A1
WO2017217412A1 PCT/JP2017/021826 JP2017021826W WO2017217412A1 WO 2017217412 A1 WO2017217412 A1 WO 2017217412A1 JP 2017021826 W JP2017021826 W JP 2017021826W WO 2017217412 A1 WO2017217412 A1 WO 2017217412A1
Authority
WO
WIPO (PCT)
Prior art keywords
base
acoustic
spectrogram
spectrum
group
Prior art date
Application number
PCT/JP2017/021826
Other languages
English (en)
French (fr)
Inventor
達也 小松
玲史 近藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018523934A priority Critical patent/JP7006592B2/ja
Priority to US16/309,521 priority patent/US10817719B2/en
Publication of WO2017217412A1 publication Critical patent/WO2017217412A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22—Source localisation; Inverse modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Definitions

  • the present invention relates to a signal processing apparatus, a signal processing method, and a computer-readable recording medium for processing an acoustic signal.
  • the acoustic event is an acoustic signal pattern corresponding to the physical event, and is a correspondence between the physical state caused by the physical event and the acoustic signal pattern of the corresponding section. For example, when it is desired to define an acoustic event “glass breakage” as a detection target, the acoustic event associates an acoustic signal pattern generated when the glass is broken with a physical state “glass break”.
  • Non-Patent Document 1 calculates the expression level of a base matrix of an acoustic event from a spectrogram of an acoustic signal using nonnegative matrix factorization (NMF) and includes it as a feature amount in the acoustic signal.
  • NMF nonnegative matrix factorization
  • a method for detecting a sound event is described. More specifically, the method described in Non-Patent Document 1 uses each spectrum base included in the base matrix using NMF with a base matrix calculated from learning data in advance as a teacher base for a spectrogram of an acoustic signal. The degree of expression is calculated. And this method detects an acoustic event by identifying whether a specific acoustic event is contained in an acoustic signal based on the combination of the calculated expression degree.
  • NMF is also often used for sound source separation for acoustic signals including sound from a plurality of sound sources.
  • the spectrum of the acoustic signal to be separated using NMF is separated into a base matrix that represents the spectrum base of each sound source and an activation matrix that represents the degree of expression. Thereby, the spectrum for every sound source is obtained.
  • an acoustic signal from a predetermined sound source can also be specified as an acoustic event to be detected. That is, the acoustic event includes an acoustic signal pattern corresponding to a physical event of sound generation from a predetermined sound source.
  • Non-Patent Document 1 has a problem that the identification accuracy of acoustic events is not sufficient.
  • the method described in Non-Patent Document 1 when there is an unknown sound that cannot be expressed by a basis matrix created from learning data in an unknown environment, an unknown sound that is not originally detected is also detected. There was a problem that it was mistakenly identified as an acoustic event. Further, for example, in the method described in Non-Patent Document 1, there are many local solutions in the NMF solution for generating the basis matrix. For this reason, the method described in Non-Patent Document 1 has a problem in that the basis matrix cannot be accurately estimated from the learning data and the extraction of the accurate basis matrix fails.
  • an object of the present invention is to provide a signal detection device capable of improving the accuracy of acoustic event identification, a signal processing device therefor, a signal processing method, and a computer-readable recording medium.
  • the signal processing apparatus includes a base storage unit that stores a group of acoustic event bases that are a set of spectrum bases of acoustic events to be detected, and expression of the spectrum base of the acoustic event in the time interval of the spectrogram of the acoustic signal.
  • a model storage means for storing an identification model for identifying an acoustic event included in an acoustic signal using a combination of degrees as a feature amount and a spectrogram of the identifying acoustic signal are input, an acoustic event base group is input to the spectrogram.
  • An identification signal analyzing unit for calculating the expression level of the toll base, and a signal identifying unit for identifying an acoustic event included in the identification acoustic signal using an identification model based on the combination of the calculated expression levels. It is characterized by that.
  • the spectrogram when a spectrogram of an acoustic signal for identification is input, the spectrogram is set as a detection target for an acoustic event base group that is a set of spectrum bases of acoustic events to be detected.
  • a spectrum base set is added to the unknown acoustic event, which is an acoustic event other than the acoustic event, and the source is separated by learning only the unknown spectral basis.
  • the combination of the expression level of each spectrum base included in the acoustic event base group in the time interval of the spectrogram of the acoustic signal is a feature amount Identify acoustic events contained in acoustic signals as That using the identification model, and wherein the identifying sound events in the identification acoustic signal.
  • the computer-readable recording medium When a spectrogram of an acoustic signal for identification is input to a computer, the computer-readable recording medium according to the present invention has an acoustic event base group that is a set of spectrum bases of acoustic events to be detected with respect to the spectrogram. Uses a spectrum base set to which a spectrum base corresponding to an unknown acoustic event that is an acoustic event other than the acoustic event to be detected is added, and learns only the unknown spectrum base and performs sound source separation for identification.
  • each spectral base included in the acoustic event base group in the time interval of the spectrogram of the acoustic signal A combination of expression levels
  • a signal processing program for executing processing for identifying an acoustic event included in an acoustic signal for identification is stored non-temporarily using an identification model for identifying an acoustic event included in the acoustic signal as a collection amount. .
  • acoustic event identification accuracy can be improved.
  • the NMF converts the spectrogram V of the input acoustic signal into a K-row R-column basis matrix W (k, r) and an R-row J-column activation matrix H (r, R, as shown in the following equation (1).
  • This is a matrix decomposition method that approximates with the product of j).
  • the spectrogram V of the acoustic signal input to the NMF is, for example, a matrix V (k, K) that is obtained by performing a short-time Fourier transform on the acoustic time-series signal x (t) and composed of intensity numerical data of K rows and J columns. j).
  • the acoustic time series signal x (t) may be, for example, a digital signal obtained by AD conversion (Analog Digital) Convert) of an analog signal recorded by a microphone or the like.
  • t represents a time index.
  • K represents the number of frequency bins, and k represents an index of frequency bins.
  • J represents the number of time frames at the time of the short-time Fourier transform, and j represents the index of the time frame at the time of the short-time Fourier transform. The same applies to other matrix notations.
  • R represents a base number
  • r represents a base index
  • the spectrum basis matrix W (k, r) can be interpreted as a combination of R spectrum bases expressed as vectors representing the spectrum shape in the column direction.
  • the activation matrix H (r, j) can be interpreted as a combination of R activations representing the degree of expression corresponding to each spectrum base in the row direction. The same applies to other matrix notations.
  • size) of each spectrum base and the expression level of each spectrum base is not limited to said example.
  • W and H may be simply expressed as a base W and an activation H.
  • the base W and activation H are required to minimize the required cost function.
  • a generalized KL divergence Kullback-Leibler divergence as shown in the following equation (2) is used for the cost function.
  • the fractional notation represents division for each element of the matrix.
  • the base W and the activation H for updating the cost function (D KL shown in the formula (2)) below the predetermined threshold or the predetermined number of times are, for example, alternately the following formulas (3) and (4) Calculate repeatedly.
  • AT represents the transpose of the matrix A.
  • the matrix O represents a matrix having the same form as V and having all elements of 1.
  • the initial values of the base W and the activation H are generally generated using random numbers. The above two formulas are updated until the cost function falls below the threshold or the set number of repetitions is reached.
  • only the activation H is updated assuming that the base W has already been obtained.
  • Non-Patent Document 1 For example, in the acoustic event detection method described in Non-Patent Document 1, as preprocessing, NMF is performed on a spectrogram obtained by connecting acoustic signals including an acoustic event to be detected, and a spectrum base group corresponding to each acoustic event ( A base W) is generated. Then, supervised NMF using the base W is performed on the spectrogram of the unknown acoustic signal, and the expression level (activation H) of each spectrum base is calculated. The acoustic event is detected by identifying whether or not the acoustic event to be detected is included in the unknown acoustic signal from the combination of the expression levels of the spectrum bases.
  • the base W obtained by decomposing the spectrogram of the acoustic event to be detected by NMF is considered to represent the spectrum of the sound corresponding to the physical element constituting the acoustic event.
  • an acoustic event labeled “Sound of glass breaking” includes the impact sound of the moment when the glass breaks and the sound of glass fragments splattering
  • the spectrogram of the acoustic event is decomposed by NMF and the glass breaks. It is considered that a base W representing a spectrum of sound corresponding to elements corresponding to two physical phenomena, that is, an instantaneous impact sound and a sound in which broken pieces of broken glass are scattered is obtained.
  • the activation (expression level) of the spectral bases corresponding to the above two physical phenomena is predetermined.
  • a pre-learned pattern is indicated for the label “sound that breaks glass”, such as when a large value is displayed at the timing of, the acoustic signal is identified as including an acoustic event “sound that breaks glass” Is done.
  • FIG. 1 is a block diagram illustrating a configuration example of the signal processing device 110 according to the first embodiment.
  • the signal processing apparatus 110 illustrated in FIG. 1 receives an acoustic spectrogram V that is a spectrogram of an acoustic signal to be detected as an input, and outputs an acoustic event label that indicates an acoustic event identification result included in the spectrogram V. It is a device that functions as an identification device. If no acoustic event is included, an identification result indicating that fact is output.
  • the signal processing device 110 includes a base storage unit 111, an identification signal analysis unit 112, a model storage unit 113, and a signal identification unit 114.
  • the base storage unit 111 stores a spectrum base group (a base W e described later) indicating a frequency pattern of an acoustic event to be detected.
  • the model storage unit 113 stores an identification model for identifying an acoustic event based on an activation (activation H e described later) that is an expression level of each spectrum base included in the base W e .
  • the identification model are not particularly limited, but examples include a support vector machine (SVM), a hidden Markov model, a mixed Gaussian model, and a neural network.
  • SVM support vector machine
  • the model storage unit 113 a matrix A e and the intercept vector b e representing the identification surface is stored.
  • Identification signal analyzing unit 112 inputs the identification spectrogram V, performs half-supervised NMF with basal W e stored in the base storage section 111 as a teacher base, weight for each spectral basis included the basal W e calculating the activation H e representing the expression degree by.
  • the semi-supervised NMF used by the identification signal analysis unit 112 is not only a spectrum base corresponding to an acoustic event defined as a detection target as a spectrum base used for sound source decomposition, but also a sound source other than an unknown, ie, predefined acoustic event.
  • the spectral basis corresponding to is used. More specifically, in place of the basis matrix W, the basis matrix W e, corresponding to a predefined sound event, the basis matrix plus basis matrix W u corresponding to the unknown acoustic event W semi [W e W u ].
  • an activation matrix H semi [H e H u ] obtained by adding an activation matrix H u corresponding to the base W u to the activation matrix H e corresponding to the base W e is used.
  • the W e acoustic event base an unknown event base of the W u, the H e acoustic event activation, the H u that unknown event activation.
  • the acoustic event base W e is represented by a matrix of K rows R e columns
  • the unknown event base W u is K rows R u columns.
  • the base W semi is represented by a matrix of K rows (R e + R u ) columns.
  • activation H e is represented by a matrix of R e rows and J columns
  • activation H u is represented by a matrix of R u rows and J columns
  • activation H semi is (R e + R u ) rows and J columns. Represented by an activation matrix.
  • the identification signal analysis unit 112 converts the input identification spectrogram V into W semi [W e W u ] and H semi [H e H] as shown in the following equation (a-1). by approximating the product of u], we calculate the acoustic event activation H e in V.
  • the values of W u , H semi [H e H u ] are optimized according to the input spectrogram V.
  • the identification signal analysis unit 112 updates the values of W u , H semi [H e H u ] so as to match the input spectrogram V. More specifically, the identification signal analysis unit 112 updates H semi and W u alternately in the semi-supervised NMF as shown in the following equations (a-2) and (a-3).
  • the optimum W u , H e , and H u are calculated.
  • the initial values of W u , H e and H u are not particularly limited, but generally random numbers are used.
  • the unknown event basal W u in the spectrum components contained in the spectrogram V, is learned as a basis to represent the components that can not be expressed in the acoustic event basis W e.
  • the acoustic event basis W e may be any set of spectral basis to represent the frequency pattern corresponding to the frequency components corresponding to each acoustic event which is previously defined, representation is not limited to the above.
  • the unknown event base W u may be a set of spectrum bases expressing frequency patterns corresponding to frequency components other than the frequency components corresponding to known acoustic events, and the expression method is not limited to the above.
  • the acoustic event activation H e is in V, as long as it expresses the expression degree of the spectral basis included in W e, representation is not limited to the above.
  • the unknown event activation H u only needs to express the expression level of each spectrum base included in W u in V, and the expression method is not limited to the above.
  • the number of bases R u in an unknown event basal W u may be a fixed value or may be a variable value that will increase in the course of the update process after having first given an initial value .
  • Signal identification section 114 based on the acoustic event activation H e output from the identification signal analyzing unit 112, by using the identification model stored in the model storage unit 113, an acoustic event included in the input spectrogram V Identify.
  • FIG. 2 is a flowchart showing an example of the operation of the present embodiment.
  • the spectrogram V for identification is input to the signal processing device 110 (step S11).
  • the identification signal analyzing unit 112 When identification spectrogram V is inputted, the identification signal analyzing unit 112, with respect to V, to implement semi-supervised NMF using acoustic event basis W e stored in the base storage section 111 to the teacher base ( Step S12).
  • step S12 the identification signal analysis unit 112 first applies V to an approximate expression expressed by the product of W semi [W e W u ] and H semi [H e H u ] (step S121).
  • step S121 the identification signal analysis unit 112 determines whether the update of W u and H semi is greater than or equal to a predetermined number of updates or the cost function is equal to or less than a predetermined threshold (step S122).
  • the identification signal analysis unit 112 updates one or both of W u and H semi ( Step S123).
  • the identification signal analyzing unit 112 outputs the activation H e in the approximate expression (step S124).
  • the signal discrimination unit 114 After activation H e for V is output, the signal discrimination unit 114, the based on the activation H e, using the identification model stored in the model storage unit 113, identifies the acoustic events in the V (Step S13).
  • the present embodiment it is possible to accurately identify an acoustic event included in a spectrogram (identification spectrogram V) even in an acoustic signal collected in an environment where an unknown sound exists.
  • identity spectrogram V identity spectrogram
  • W semi including an unknown event base W u that represents an unknown sound is newly introduced as a base for decomposing the input spectrogram V into spectral units, and the W u is updated appropriately in the semi-supervised NMF. it makes it because only a can be calculated accurately component corresponding to the acoustic event basis W e.
  • the V decomposed using only basal W e. Therefore, in the V, if it contains an unknown spectrum as not included in the base W e, the input to the discriminator as a feature amount activation H e is incorrect will have allowed unexpected value anticipated V There was a risk of being.
  • V is decomposed using the base W semi [W e W u ]. This makes it possible to undertake basal W e all basement W u components that can not be represented among the spectral components contained in V, it is possible to calculate the activation H e of V with high accuracy. Therefore, by inputting the identifier that way the activation H e obtained as the feature amount, can be identified accurately acoustic events contained in V.
  • FIG. 3 is a block diagram illustrating a configuration example of the signal processing device 200 according to the second embodiment.
  • the signal processing device 200 illustrated in FIG. 3 further includes a base generation unit 10, a learning data analysis unit 12, and a model learning unit 13 in addition to the configuration of the signal processing device 110 of the first embodiment.
  • FIG. 3 shows an example in which the signal processing apparatus 200 includes each element (reference numerals 111 to 114) included in the signal processing apparatus 110 of the first embodiment as each element of the acoustic event identification unit 11. Yes.
  • the signal processing apparatus 200 of the present embodiment by entering the base generation spectrogram V base to generate an acoustic event basis W e, learns the identification model to input labeled spectrogram V lbl, enter the identification spectrogram V Then, the acoustic event included in the spectrogram V for identification is identified, and the acoustic event is detected.
  • Base generator 10 the base product for spectrogram V base is inputted, generates an acoustic event basis W e, stored in the base storage section 111.
  • the method of generating the acoustic event base W e is not particularly limited.
  • Base generator 10 for example, as a spectrogram V base for the base product, to enter the spectrogram obtained by connecting the acoustic signal containing the acoustic events are detected subject, with respect to the V base, the following formula (b- by performing the NMF by approximate expressions shown in 1), may be obtained acoustic event basis W e.
  • the base generator 10 the W e and H e optimizing (updating).
  • the NMF is, V in the general NMF shown by the formula (1), the W and H, was only replaced by the V base, W e and H e, also as described above for the cost function and the update equation It is.
  • the base generation spectrogram V base is not limited to the above example as long as it can extract the spectrum corresponding to each acoustic event included in the learning data from the actual signal.
  • the learning data analysis unit 12 may be configured to refer to the acoustic event basis W e stored in the base storage section 111. In this case, output to the learning data analysis unit 12 is omitted.
  • Learning data analysis unit 12 is input with labeled spectrogram V lbl, based on the acoustic event basis W e generated by the base generator 10 calculates an acoustic event activation H e to be associated with the acoustic event label.
  • the spectrogram with labels V lbl is learning data in which a label representing an acoustic event (acoustic event label) is added to the spectrogram of a certain acoustic event.
  • the labeled spectrogram V lbl may be, for example, a spectrogram to which acoustic event labels corresponding to all of the E acoustic event spectrograms to be detected are assigned .
  • the spectrogram of scream with an acoustic event label corresponding to “scream” and the sound corresponding to “sound of glass” The spectrogram of the sound of the broken glass with the event label is input as a labeled spectrogram V lbl .
  • One labeled spectrogram V lbl may be a matrix V lbl (k, j) with K rows and J lbl columns.
  • each acoustic event to include just proportion acoustic signal pattern (for example, in the case of "breaking glass sound” acoustic event, the moment of impact breaking glass It starts with the sound and ends with the sound of debris scattering.
  • one base generation spectrogram V base is a spectrogram for generating a frequency pattern constituting an acoustic event to be detected as a base , and therefore preferably includes the frequency patterns of all the acoustic events to be detected.
  • the time frame number J base in the basal generation spectrogram V base is a sum of the time frame number J lbl in labeled spectrogram V lbl.
  • Learning data analysis unit 12 for example, with respect to the inputted labeled spectrogram V lbl, an acoustic event basis W e generated by the base generator 10 performs supervised NMF was used as a teacher base, the acoustic event label it may be calculated associating acoustic event activation H e.
  • the following equation (c-1) is an approximate equation used in the supervised NMF.
  • the following equation (c-2) is an example of an update equation used in the supervised NMF.
  • the learning data analyzer 12 only the optimization acoustic event activation H e (updated).
  • Model learning unit 13 a feature amount acoustic event activation H e calculated by the learning data analysis unit 12 learns the identity model representing the relationship between the acoustic event activation H e and acoustic event label.
  • the identification model learned by the model learning unit 13 is stored in the model storage unit 113.
  • FIG. 4 is a flowchart showing an example of the overall operation of this embodiment.
  • the operation of the present embodiment is broadly divided into a base generation process (step S21), a model learning process (step S22), and an acoustic event identification process (step S23).
  • FIG. 5 is a flowchart showing an example of the processing flow of the base generation processing of this embodiment.
  • a base generation spectrogram V base is input to the signal processing apparatus 200 (step S211).
  • the base generation unit 10 When the base generation spectrogram V base is input, the base generation unit 10 performs NMF on the V base (step S212).
  • step S212 the base generation unit 10 first applies the V base to an approximate expression that is expressed by the product of W e and H e (step S2121). Then, the base generator 10, W e and H e update number of times or more or cost function updates the predetermined determines whether less than a predetermined threshold value (step S2122). Here, not a predetermined update number of times or more, and if the cost function is not below a predetermined threshold value (No in step S2122), the base generation unit 10 updates the one or both of W e and H e (step S2123).
  • the base generation unit 10 outputs the base W e in the approximate expression is stored in the base storage section 111 ( Step S2124, Step S213).
  • FIG. 6 is a flowchart illustrating an example of a process flow of the model learning process of the present embodiment.
  • the model learning process is started.
  • a labeled spectrogram V lbl is input to the signal processing apparatus 200 (step S221).
  • the learning data analysis section 12 When labeled spectrogram V lbl inputted, the learning data analysis section 12, with respect to V lbl, implementing the supervised NMF using acoustic event basis W e stored in the base storage section 111 to the teacher basal (Step S222).
  • step S222 the learning data analysis unit 12 first applies the V lbl approximate expression that is expressed by the product of W e and H e (step S2221). Then, the learning data analysis unit 12 updates the H e is the predetermined update times or more or cost function determines whether less than a predetermined threshold value (step S2222). Here, not a predetermined update number of times or more, and if the cost function is not below a predetermined threshold value (No in step S2222), the learning data analyzer 12 updates the H e (step S2223).
  • step S2222 the learning data analysis unit 12, an acoustic event activation H e in approximate expression, were subjected to V lbl It outputs to the model learning part 13 with a label (step S2224).
  • the model learning unit 13 a feature amount acoustic event activation H e of the output for each label, to learn the identification model representing the relationship between the acoustic event activation H e and the acoustic event label (step S223) .
  • the model learning unit 13 stores the identification model obtained as a result of learning in the model storage unit 113 (step S224).
  • the acoustic event identification process of the present embodiment may be the same as the acoustic event identification process of the first embodiment (steps S11 to S13 in FIG. 2).
  • the acoustic event is identified with respect to the spectrogram V for identification after generating the base and learning the identification model in accordance with the acoustic event to be detected. For this reason, an acoustic event included in the spectrogram (identification spectrogram V) can be accurately identified even if it is an acoustic signal collected in an environment in which an unknown sound exists, targeting any acoustic event. it can.
  • FIG. 7 is a block diagram illustrating a configuration example of the signal processing device 100 according to the third embodiment.
  • the signal processing apparatus 100 illustrated in FIG. 7 functions as a base generation apparatus that receives a base generation spectrogram V base and generates a spectrum base matrix W constituting the V base with a pre-distribution W 0 held in advance as a constraint. It is a function to do.
  • the signal processing apparatus 100 includes a prior distribution storage unit 101 and a base signal analysis unit 102.
  • the prior distribution storage unit 101 stores the prior distribution W 0 used as a constraint so that the NMF for base generation performed by the subsequent base signal analysis unit 102 does not fall into a local solution.
  • the NMF update formula has a problem of a local solution, and a desired spectrum basis is not always obtained.
  • a prior distribution W 0 is introduced in order to avoid a local solution and obtain a desired spectrum basis.
  • the prior distribution W 0 is such that the base W learned by the NMF for base generation performed by the subsequent base signal analysis unit 102 has a high similarity to the prior distribution W 0 (becomes a predetermined threshold or more). Used as a constraint parameter. For this reason, the basis W generated by the basis signal analysis unit 102 is more restricted as the similarity with the prior distribution W 0 is lower, and does not fall into an unexpected local solution.
  • the prior distribution W 0 it is possible to control what base W is learned.
  • the prior distribution W 0 only needs to be constrained to obtain two types of spectrum bases, a flat frequency structure and a frequency structure having a sharp peak.
  • R main spectral components representing the spectrum shape that is manually based may be extracted and stored in the prior distribution storage unit 101, or prepared in advance.
  • R spectrum components may be extracted from the distribution generation spectrogram V 0 by the following method. That is, it may be extracted by performing R class clustering using the k-means method, or only R major spectral components having a high contribution ratio may be acquired using principal component analysis.
  • the prior distribution W 0 may be, for example, a matrix of K rows and R columns of the same type as the base W to be generated.
  • the distribution generation spectrogram V 0 may indicate a representative spectrum of the base W to be generated.
  • Distribution generation spectrogram V 0, for example, may be the same as the basis for generating spectrograms V base, or may be obtained by extracting the representative spectrogram from the base generation spectrogram V base.
  • the base signal analysis unit 102 receives the base generation spectrogram V base and generates a base W representing a spectrum base constituting the V base .
  • the basis signal analysis unit 102 performs constrained NMF on the basis generation spectrogram V base using the prior distribution W 0 stored in the prior distribution storage unit 101 as a parameter of the constraint term, and generates a base W.
  • the form of the base generation spectrogram V base is not particularly limited, but includes a spectrum to be extracted as a base.
  • W e can be input spectrograms including frequency patterns of all the acoustic events to be detected.
  • the base signal analysis unit 102 applies V base to the approximate expression shown in the following expression (d-1), and shows the following expressions (d-2) and (d-3). Using the update formula, the base W and the activation H are alternately updated and optimized.
  • the second term of the above cost function is a constraint term that gives a penalty as the distance between the prior distribution W 0 and the base W increases.
  • the basis W has a spectral structure similar to the prior distribution W 0 without falling into a local solution by the second term. be able to.
  • ⁇ is a parameter for controlling the second term, and takes a scalar value such as 0.1 or 10, for example.
  • FIG. 8 is a flowchart showing an example of the operation of the present embodiment.
  • the base generation spectrogram V base is input to the signal processing apparatus 100 (step S01).
  • the base signal analysis unit 102 reads the prior distribution W 0 stored in the prior distribution storage unit 101 (step S02). Then, the base signal analysis unit 102 performs constrained NMF on the V base using the prior distribution W 0 as a constraint (step S03).
  • step S03 the base signal analysis unit 102 first applies V base to an approximate expression expressed by the product of W and H (step S031).
  • the basis signal analysis unit 102 determines whether the update of W and H is greater than or equal to a predetermined number of updates or the cost function is equal to or less than a predetermined threshold (step S032).
  • the base signal analysis unit 102 updates either or both of W and H (step S033).
  • the update formula for W includes a constraint term using W 0 .
  • the base signal analysis unit 102 outputs the base W in the approximate expression (Step S034).
  • a desired base W in the NMF at the time of base generation, can be obtained without falling into a local solution by using a constraint such that the base W is close to the pre-distribution W 0 prepared in advance. Can be generated.
  • a high-accuracy acoustic event that does not fall into a local solution can be obtained by inputting a spectrogram including frequency patterns of all acoustic events to be detected as the base generation spectrogram V base.
  • the base W e can be generated.
  • the signal processing apparatus 100 of the present embodiment in place of the base generator 10, it can be estimated accurately activation H e corresponding to the acoustic event, sound events Identification accuracy can be improved.
  • FIG. 9 is a block diagram illustrating a configuration example of the signal processing device 400 according to the fourth embodiment.
  • a signal processing device 400 illustrated in FIG. 9 includes a base generation unit 40 instead of the base generation unit 10 in the configuration of the second embodiment.
  • the configuration of the base generation unit 40 is the same as the configuration of the signal processing device 100 according to the third embodiment shown in FIG.
  • the signal processing apparatus 400 inputs a distribution generation spectrogram V 0 to generate a prior distribution W 0 , inputs a basis generation spectrogram V base , and an acoustic event base having the prior distribution W 0 as a constraint. generates W e, after having learned the identification model by entering the labeled spectrogram V lbl, enter the identification spectrogram V, it identifies the acoustic events included in V, to detect the acoustic event.
  • the prior distribution storage unit 101 stores the prior distribution W 0 used as a constraint so that the NMF for base generation performed by the subsequent base signal analysis unit 102 does not fall into a local solution.
  • the prior distribution storage unit 101 of the present embodiment stores the prior distribution W 0 that is a constraint on each spectrum basis of the acoustic event generated by the distribution analysis unit 103.
  • the base signal analysis unit 102 receives the base generation spectrogram V base and generates a base W representing a spectrum base constituting the V base .
  • a constrained NMF using the prior distribution W 0 stored in the prior distribution storage unit 101 as a parameter of the constraint term is used as in the third embodiment.
  • the base signal analysis unit 102 of the present embodiment by entering the base generation spectrogram V base including a frequency pattern of all the acoustic events to be detected, generates an acoustic event basis W e.
  • Distribution analysis unit 103 and enter the distribution generation spectrogram V 0, to generate a pre-distribution W 0 of the acoustic event base W e.
  • the distribution analysis unit 103 may generate a matrix W 0 (k, r) of K rows and R e columns having the same shape as the acoustic event base W e as a prior distribution.
  • the distribution analysis unit 103 may generate the prior distribution W 0 by performing R class clustering on the distribution generation spectrogram V 0 using the k-means method, for example. Also, distribution analysis unit 103, for example, performs principal component analysis on V 0, may be obtained prior distribution W 0 by extracting only a high R-number of major spectral components contribution ratio.
  • FIG. 10 is a flowchart showing an example of the overall operation of this embodiment.
  • the operation of the present embodiment includes a prior distribution generation process (step S40), a base generation process (step S41), a model learning process (step S22), and an acoustic event identification process (step S23). It is roughly divided into
  • the distribution analysis unit 103 generates a prior distribution W 0 from the distribution generation spectrogram V 0, and stores in advance the distribution storage unit 101.
  • the basis signal analysis unit 102 performs the same process as the basis generation process (steps S01 to S034) of the third embodiment shown in FIG. stored in the base storage section 111 as an event basis W e.
  • step S22 The model learning process (step S22) and the acoustic event identification process (step S23) may be the same as those in the second embodiment.
  • the signal processing device 400 of the present embodiment it is possible to produce a highly accurate acoustic event basis W e not fall into a local solution, the activation H e corresponding to acoustic events in the learning phase can be accurately estimated.
  • the signal processing device 400 of the present embodiment even if the sound signal is collected in an environment where an unknown sound exists, erroneous detection of an acoustic event that is not a detection target is suppressed, and the spectrogram (identification) The acoustic events contained in the spectrogram V) can be accurately identified.
  • FIG. 11 is a block diagram illustrating a configuration example of the signal processing device 500 of the present embodiment.
  • a signal processing device 500 illustrated in FIG. 11 includes a base generation unit 50, a learning data analysis unit 52, a model learning unit 53, and an acoustic event identification unit 51.
  • the base generation unit 50 includes a distribution analysis unit 503, a prior distribution storage unit 501, and a base signal analysis unit 502.
  • the acoustic event identification unit 51 includes a base storage unit 511, an identification signal analysis unit 512, a model storage unit 513, and a signal identification unit 514.
  • the input / output of the signal processing device 500 of this embodiment is the same as that of the signal processing device of the fourth embodiment.
  • the distribution analysis unit 503, the prior distribution storage unit 501, the model learning unit 53, the model storage unit 513, and the signal identification unit 514 are the distribution analysis unit 103, the prior distribution storage unit 101, and the model learning unit 13 of the fourth embodiment.
  • the model storage unit 113 and the signal identification unit 114 are the same. Hereinafter, parts different from the fourth embodiment will be mainly described.
  • the base signal analysis unit 502 receives the spectrogram V base for base generation as input, and the spectrum base constituting the V base is determined by the constrained NMF using the prior distribution W 0 stored in the prior distribution storage unit 501 as a constraint term. A base W g expressed as a group is generated.
  • w 0 (r) represents the r-th column vector of the prior distribution W 0 , that is, the constraint on the r-th spectrum basis.
  • W (r) (k, gr) represents a group (spectral basis matrix) composed of G spectrum bases generated with w 0 (r) as a constraint.
  • gr is an index indicating the g-th spectrum base among the G spectrum bases in the base group designated by r.
  • the number of spectrum bases (number of elements in the group) G included in each base group may be variable.
  • h j (r) is an activation corresponding to the basis matrix W (r) of the group r, and is a column vector representing the expression level at the time index j of each spectrum basis of W (r) .
  • Equation (e-3) above is a sparse constraint for the activation h j (r) of the basis matrix W (r) of the group r.
  • the constraint is the value of the large h j (r) is easy to take a larger value as the update value of small h j (r) is a smaller restriction As is renewed, more characteristic W ( r) can be extracted.
  • one spectral basis w (r) corresponds to one prior distribution w 0 (r).
  • a plurality of (G) spectrum bases w g (r) are grouped and associated with one prior distribution w 0 (r).
  • the basis matrix W g (k, gr) generated by the basis signal analysis unit 502 may be referred to as a group basis Wg.
  • the impact sound at the moment when the glass breaks and the sound from which broken pieces of glass are scattered are each one spectral basis.
  • variations and fluctuations can be expressed as a group for each sound.
  • the base generation spectrogram V base is preferably a spectrogram that includes two or more variations or includes fluctuations in the frequency patterns of all acoustic events to be detected.
  • the group base W g generated by the base signal analysis unit 502 is stored in the base storage unit 511.
  • the learning data analysis unit 52 receives the labeled spectrogram V lbl and calculates an activation H g corresponding to the group base W g for each label.
  • the learning data analysis unit 52 uses the group basis W g (k, gr) generated by the basis signal analysis unit 502 as a teacher basis.
  • supervised performed NMF used as, by approximating the V lbl the product of W g and H g, may calculate the group acoustic event activation H g to be associated to the acoustic event label.
  • the group base W g (k, gr) is a matrix of K rows (G ⁇ R) columns
  • the group acoustic event activation H g (gr, j) is a matrix of (G ⁇ R) rows J columns. It becomes.
  • the learning data analysis unit 52 Since carried out in the learning data analysis unit 52 is the NMF supervised, as shown in the following formula (f-1), it performs only updates to H g. However, also in the update of the H g, the sparse constraint shown in the above equation (e-3) is applied to each h j (r) . For example, the learning data analysis unit 52 alternately updates the two formulas (f-1) and (e-3).
  • Model learning unit 53 learning the learning data analysis unit 52 calculates the activation H g as a feature associated with the acoustic event label, the identification model representing the relationship between the activation H g and an acoustic event label To do. Note that the number of rows in the activation matrix is different, and the learning method of the identification model may be the same as that of the model learning unit 13.
  • the identification signal analysis unit 512 receives the spectrogram V for identification, performs semi-supervised NMF using the group base W g stored in the base storage unit 511 as a teacher base, and weights each spectrum base of the group base W g calculating the activation H g representing the expression degree by.
  • Identification signal analyzing unit 512 for example, as a spectral basis for use in a sound source decomposition, to a group basis matrix W g corresponding to a predefined sound of each sound source were as isolated target, a group basis matrix W corresponding to the sound of an unknown sound source
  • a semi-supervised NMF using a base matrix W gsemi [W g W u ] to which u is added may be used.
  • the semi-supervised NMF method is basically the same as the method by the identification signal analysis unit 112 of the first embodiment.
  • the semi-supervised NMF method is Basically, it may be the same as the identification signal analysis unit 112.
  • the sparse constraint shown in the above equation (e-3) is applied to each h j (r) of H g .
  • the identification signal analysis unit 512 calculates H g , H u, and W u by alternately updating the three formulas (a-2), (a-3), and (e-3), for example. To do.
  • the identification signal analysis unit 512 may calculate H g by performing normal supervised NMF using only W g without using W u , but an acoustic signal collected in an unknown environment from the case of detecting an acoustic event, it is preferable to use a semi-supervised NMF using W u.
  • a spectrogram for identification it is possible to decompose a spectrogram for identification using a basis matrix that represents variations and fluctuations of elements constituting a sound by grouping spectrum bases. For this reason, even if the frequency pattern constituting the acoustic event included in the identification spectrogram is slightly different or includes fluctuations, the components constituting the identification spectrogram can be calculated with higher accuracy.
  • FIG. 12 is a block diagram illustrating a configuration example of the signal processing device 600 of the present embodiment.
  • a signal processing apparatus 600 illustrated in FIG. 12 includes a distribution analysis unit 61, a prior distribution storage unit 62, a sound source separation unit 63, and a sound source reconstruction unit 64.
  • the signal processing apparatus 600 generates a prior distribution using the distribution generation spectrogram V 0 of each sound source to be separated as an input, and inputs the sound source separation spectrogram V mix as an input to the NMF with the generated prior distribution as a constraint.
  • This is a device that functions as a sound source separation device that performs sound source separation.
  • the distribution generation spectrogram V 0 of this embodiment is a spectrogram created from an acoustic signal including only the sound source to be separated.
  • a spectrogram V 0_S audio signal a spectrogram V 0_N environmental noise signal spectrogram V 0 [V 0_s V 0_n] .
  • the sound source separation spectrogram V mix is a spectrogram calculated from an acoustic signal in which voice and environmental noise are mixed.
  • Distribution analyzing section 61 is input with the distribution generation spectrogram V 0, to generate a prior distribution W of spectral basis constituting the V 0 0 [W 0_s W 0_n ], and stores in advance the distribution storage unit 62.
  • Distribution analyzing section 61 for example, prior distribution by performing clustering predetermined number of classes using a k-means method to each of the V 0_S and V 0_N included in the distribution generation spectrogram V 0 W 0_s and W 0_n may be generated. Also, distribution analysis unit 103, for example, the principal component analysis is performed for each of the V 0_S and V 0_N, also acquire priors W 0_S and W 0_N by extracting high contribution ratio principal spectral component Good.
  • W 0 is a matrix W 0_S of K rows R s columns
  • W 0_N of K rows R n columns May be a matrix of K rows (R s + R n ) columns connected in the column direction.
  • the sound source separation unit 63 inputs the source separation spectrogram V mix, use is stored in the prior distribution storage unit 62, the prior distribution W 0 corresponding to each sound source which is separated target [W 0_s W 0_n] as a constraint
  • the constrained NMF is performed, and V mix is decomposed into W sepa [W s W n ] and its activation H sepa [H s H n ].
  • Expression (g-1) is an approximate expression of V mix in the constrained NMF in the above example.
  • W sepa is a K matrix (R s + R n ) column basis matrix in which the basis W s of the audio signal and the basis W n of the environmental noise signal are connected in the column direction.
  • Each column index of W sepa is, the one corresponding to the index of W 0 [W 0_s W 0_n] .
  • H SEPA is an activation H s which corresponds to the bases W activation corresponding to s Deployment H s and bases W s were ligated in the row direction (R s + R n) rows J mix column activation matrix is there.
  • Each row index of H sepa corresponds to a column index of W sepa .
  • the base W s in this example is a matrix with K rows and R s columns, and W n is a matrix with K rows and R n columns.
  • the activation H s is a matrix of R s rows and J mix columns, and H n is a matrix of R s rows and J mix columns.
  • J mix is the number of time indexes of the spectrogram V mix for sound source separation.
  • the NMF with constraints used in the basis signal analysis unit 102 of the third embodiment or the NMF with constraints used in the basis signal analysis unit 502 of the fifth embodiment can be used.
  • V base , W and H in the above formulas (d-2) and (d-3) may be replaced with V mix , W sepa and H sepa .
  • the basis matrix W i learned for the prior distribution corresponding to each sound source i and its activation H i become the group basis matrix W (r) and its activation H (r) .
  • the index gr corresponding to grouping is used for the column vector of W sepa for the index r of the column vector of W 0. Good.
  • the sound source separation unit 63 performs the constrained NMF using the prior distribution as a constraint, so that the base of each sound source and its activation can be obtained without falling into a local solution that becomes a problem when an NMF without a normal constraint is used. Can be calculated.
  • the sound source separation unit 63 may perform constrained semi-supervised NMF to which a base corresponding to an unknown sound source is further added during sound source separation. In that case, the spectral base corresponding to the sound source to be separated is trained using the prior distribution as a constraint, and the spectral base corresponding to the unknown sound source is trained without constraint, and the sound source separation is performed. Also good.
  • the sound source separation unit 63 outputs W sepa [W s W n ] and H sepa [H s H n ] thus obtained.
  • the sound source separation unit 63 may output a base matrix and an activation matrix obtained by decomposing W sepa and H sepa for each sound source.
  • the sound source reconstruction unit 64 receives the base matrix W sepa including the spectrum base corresponding to each sound source output from the sound source separation unit 63 and the activation matrix H sepa as input, and the product of the part corresponding to the base index of each sound source
  • the spectrogram of each sound source included in V mix is estimated. For example, as shown in the following equations (g-2) and (g-3), the sound source reconstruction unit 64 uses the spectrogram V s of the audio signal as an estimated value of the spectrogram of each sound source included in V mix.
  • the spectrogram V n of the environmental noise signal is calculated.
  • V s W s H s (g-2)
  • V n W n H n (g-3)
  • W s in W sepa represents the spectral component of the speech signal
  • H s in H sepa represents the degree of expression of each spectral component of the speech signal in each time index, so only the components of W s and H s are included.
  • V s corresponding to only the component of the audio signal in V mix can be extracted by taking the product using it.
  • the estimated value of the spectrogram of each sound source estimated in this way may be expressed as V sepa_i .
  • i is a sound source identifier.
  • the sound source reconstruction unit 64 generates a separated signal x i (t) by performing inverse Fourier transform on the estimated spectrogram V sepa_i of each sound source to obtain a time-series acoustic signal.
  • the prior distribution W 0 , the base matrix W sepa , and the activation matrix H sepa may be connected to elements corresponding to each sound source in accordance with the number of sound sources. More specifically, the prior distribution W 0, it is sufficient to connect the pre-distribution W 0_i of each sound source in the column direction. Also, the basis matrix W SEPA can be connected spectral basis matrix W i of each sound source in the column direction.
  • the activation matrix H sepa may be obtained by connecting the activation matrix H i corresponding to the spectrum basis matrix W i of each sound source in the row direction.
  • the separation signal as described above, the basis matrix W i corresponding to each sound source and by taking the product of the activation matrix H i, is obtained.
  • FIG. 13 is a flowchart showing an example of the operation of the present embodiment.
  • first distribution analyzing portion 61 an input distribution generation spectrogram V 0, prior distribution W of spectral basis of each sound source constituting the V 0 0 [W 0_1,. . . , W 0 — i,. . . ] Is generated and stored in the prior distribution storage unit 62 (step S60).
  • the sound source separation unit 63 performs constrained NMF on the sound source separation spectrogram V mix using the prior distribution W 0 corresponding to each sound source as a restriction, and V mix is expressed as W sepa [W 1 ,. . . , Wi ,. . . ] And its activation H sepa [H 1 ,. . . , H i,. . . ] (Step S61).
  • the sound source reconstruction unit 64 generates a separated signal that is a time-series sound signal of only the sound source using the spectrum base W j of the designated sound source in W sepa and its activation H j (step S62).
  • the distribution generation spectrogram V 0 is input and the distribution analysis unit 61 generates a prior distribution corresponding to the spectrum base of each sound source. It may be stored in the prior distribution storage unit 62. In that case, the distribution analysis unit 61 is omitted.
  • each of the above embodiments can be implemented not only by a single device but also by a system composed of a plurality of devices. Further, each of the above embodiments may be realized by supplying an information processing program for realizing the functions of each embodiment directly or remotely to a system or apparatus. Therefore, in order to realize the functions of the above embodiments with a computer, a program installed in the computer, a medium storing the program, a WWW (World Wide Web) server that downloads the program, and the like fall within the scope of the present invention. include. In particular, at least a non-transitory computer readable medium storing a program that causes a computer to execute the processing steps included in each of the above embodiments is included in the scope of the present invention.
  • Basis storage means for example, base storage units 111 and 511) for storing acoustic event base groups, which are a set of spectrum bases of acoustic events to be detected, and acoustic in the time interval of the spectrogram of the acoustic signal
  • Model storage means for example, model storage units 113 and 513 for storing an identification model for identifying an acoustic event included in the acoustic signal using a combination of the expression levels of the spectrum base of the event as a feature amount, and a spectrogram of the acoustic signal for identification Is input to the spectrogram using a spectrum basis set obtained by adding a spectrum basis corresponding to an unknown acoustic event that is an acoustic event other than the acoustic event to be detected to the acoustic event basis group, and
  • the sound source separation is performed by learning only the unknown spectral basis of Using an identification model based on the combination of the identification signal analysis means
  • the identification signal analysis means adds a second basis matrix representing a spectrum basis group of an unknown acoustic event to a first basis matrix of a predetermined format representing an acoustic event basis group, to the spectrogram of the acoustic signal for identification.
  • the second basis matrix of the third basis matrix and the activation matrix representing the degree of expression of each spectrum basis of the third basis matrix are learned, and the spectrogram is obtained for each of the third basis matrix and the third basis matrix.
  • a first activation matrix representing the expression level of each spectrum basis of the first basis matrix is calculated, and the signal identifying means calculates the calculated first activation matrix.
  • signal processing apparatus identifies the acoustic events in the identification acoustic signal.
  • Model learning means (for example, the learning data analysis unit 12 and the model) that learns the identification model by calculating the degree of expression of the spectrum base of the acoustic event from the labeled spectrogram using the acoustic event base group generated by the base generation means.
  • the signal processing apparatus according to Supplementary Note 1 or Supplementary Note 2, comprising a learning unit 13).
  • Pre-distribution storage means for example, prior distribution storage units 101 and 501 that stores a prior distribution group that is a set of prior distributions representing representative spectrum shapes of the spectrum base of an acoustic event to be detected.
  • the basis generation means uses each prior distribution included in the prior distribution group as a constraint of the spectrum basis of the corresponding acoustic event, performs sound source separation on the spectrogram for base generation, and generates an acoustic event base group
  • the signal processing apparatus according to appendix 3.
  • the acoustic event base group is any one of supplementary notes 1 to 4 that is a set of sub-sets in which two or more spectral bases are grouped for each representative spectral shape of the sound constituting the acoustic event.
  • a signal processing device according to 1.
  • the acoustic event base group is a set of sub-sets in which two or more spectral bases are grouped for each representative spectral shape of the sound constituting the acoustic event.
  • the acoustic event base group is a set of sub-sets in which two or more spectral bases are grouped for each representative spectral shape of the sound constituting the acoustic event.
  • the signal processing apparatus which learns an identification model using a combination of expression levels of spectrum bases included in an acoustic event base group in a time interval of a spectrogram of an acoustic signal for identification indicated by an activation matrix as a feature amount .
  • the acoustic event base group is a set of sub-sets in which two or more spectral bases are grouped for each representative spectral shape of the sound constituting the acoustic event.
  • an activation group representing the set of expression levels of the spectrum basis contained in that group.
  • For the spectrogram for base generation use a sparse constraint such that if the pre-update value is large when updating, the post-update value is large, and if the pre-update value is small, the post-update value is also small.
  • the signal processing apparatus according to appendix 4, which performs sound source separation and generates an acoustic event base group.
  • the sub-set for each acoustic event included in the acoustic event base group includes two or more spectral bases in which different variations or fluctuations are expressed with respect to the representative spectral shape of the sound constituting the acoustic event.
  • the signal processing device according to any one of appendix 5 to appendix 7 included.
  • the acoustic event base group that is a set of spectrum bases of the acoustic event to be detected with respect to the spectrogram is other than the acoustic event to be detected.
  • the spectrum of the acoustic event in the spectrogram of the acoustic signal for identification is obtained by using the spectrum basis set to which the spectrum basis corresponding to the unknown acoustic event that is an acoustic event is added, and learning only the unknown spectrum basis, and performing sound source separation.
  • the combination of the expression levels of the spectrum bases included in the acoustic event base group in the time interval of the spectrogram of the acoustic signal is used as a feature amount to the acoustic signal.
  • the spectrogram of the acoustic signal for identification is input into the computer, the sound to be detected by the acoustic event base group which is a set of spectrum bases of the acoustic event to be detected is detected with respect to the spectrogram.
  • the acoustic in the spectrogram of the acoustic signal for identification Based on the combination of the calculated expression level and the processing for calculating the expression level of the spectrum basis of the event, the combination of the expression level of each spectrum base included in the acoustic event base group in the time interval of the spectrogram of the acoustic signal is characterized Acoustic signal included in the acoustic signal as a quantity Cement using the identification model identifies the computer-readable recording medium storing a signal processing program for executing processing for identifying the acoustic events in the identification acoustic signal.
  • a signal processing apparatus characterized by generating a sound event base group by performing sound source separation on a base generation spectrogram as a constraint.
  • the acoustic event base group is a set of sub-sets in which two or more spectral bases are grouped for each representative spectral shape of the sound constituting the acoustic event.
  • an activation group representing the set of expression levels of the spectrum basis contained in the group.
  • the sub-set for each acoustic event included in the acoustic event base group includes two or more spectral bases in which different variations or fluctuations are expressed with respect to the representative spectral shape of the sound constituting the acoustic event.
  • the acoustic event to be detected is the occurrence of sound of a specific sound source
  • the distribution storage means calculates a prior distribution group that is a set of prior distributions representing representative spectrum shapes of the spectrum base of the specific sound source.
  • the first basis matrix representing the acoustic event basis group generated by the means is used, and the first basis matrix is trained using each of the prior distributions included in the prior distribution group as a constraint of the spectrum basis of the corresponding specific sound source.
  • signal processing according to any one of supplementary note 11 to supplementary note 13 comprising sound source reconstructing means for generating a signal of only the sound of the specific sound source from the sound signal for sound source separation based on the expression level of the spectrum base apparatus.
  • An acoustic event base group is a set of sub-sets in which two or more spectral bases are grouped for each representative spectral shape of sound constituting an acoustic event.
  • an activation group representing the set of expression levels of the spectrum basis contained in that group.
  • For the spectrogram for base generation use a sparse constraint such that if the pre-update value is large when updating, the post-update value is large, and if the pre-update value is small, the post-update value is also small.
  • Sound source separation is performed to generate an acoustic event base group, and the sound source separation means converts the spectrogram of the sound signal for sound source separation into the acoustic event base group.
  • the sound source separation means converts the spectrogram of the sound signal for sound source separation into the acoustic event base group.
  • a set of expression levels of spectrum bases included in the group The activation group to be represented is decomposed by imposing a sparse constraint such that if the value before the update is large, the value after the update is large, and if the value before the update is small, the value after the update is small.
  • the sound source separation means uses a spectrum base set obtained by adding a spectrum base corresponding to a sound other than the specific sound source to the sound event base group for the spectrogram of the sound signal for sound source separation, and the sound event base of the set
  • the signal processing apparatus according to appendix 14 or appendix 15, wherein the spectrum base of the group is trained by using each prior distribution included in the prior distribution group as a constraint, and the unknown spectrum base is trained without constraint to perform sound source separation.
  • a spectrogram for generating a basis corresponds to each prior distribution included in a prior distribution group that is a set of prior distributions indicating a representative spectrum shape of a spectrum base of an acoustic event to be detected. It is used as a constraint of the spectrum base of the acoustic event to be performed, and the sound source separation is performed on the spectrogram for generating the base to generate an acoustic event base group that is a set of spectrum bases of the acoustic event to be detected. Signal processing method.
  • each prior distribution included in a prior distribution group that is a set of prior distributions indicating a representative spectrum shape of a spectrum base of an acoustic event to be detected.
  • Processing that generates a sound event base group that is a set of spectrum bases of sound events to be detected by performing sound source separation on the spectrogram for base generation using the distribution as a spectrum base constraint of the corresponding sound event The computer-readable recording medium which stored the signal processing program for performing this.
  • a prior distribution group that is a set of prior distributions representing representative spectrum shapes of the spectrum base of the specific sound source is generated, and a spectrogram for generating a base Is input
  • the sound source separation is performed on the spectrogram for generating the base using each prior distribution included in the prior distribution group as a constraint of the spectrum base of the corresponding specific sound source, and a set of spectrum bases of the specific sound source is obtained.
  • the first basis matrix representing the acoustic event base group is used for the spectrogram, and each prior group included in the prior distribution group is used.
  • a signal processing method characterized by generating only a sound of a specific sound source from a sound source separation acoustic signal.
  • the present invention can also be suitably applied to uses for detecting the occurrence of a predetermined physical event that accompanies the generation of sound, and for separating a sound of a predetermined sound source from a sound source signal collected in an unknown environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

音響イベントの識別精度を向上させる。　信号処理装置は、音響イベント基底群を格納する基底格納手段と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量とする識別モデルを格納するモデル格納手段と、識別用音響信号のスペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、算出された発現度合いの組み合わせを基に、識別モデルを用いて識別用音響信号に含まれる音響イベントを識別する信号識別手段とを備える。

Description

信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体
　本発明は、音響信号を処理する信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体に関する。
　音響信号から予め定めた音響イベントを検知したり、音響信号を音源別の信号に分離する技術がある。ここで、音響イベントは、物理イベントに対応する音響信号のパターンであり、物理イベントが引き起こす物理状態と対応する区間の音響信号パターンとを対応づけたものである。例えば、検知対象として「ガラスの破砕」という音響イベントを定義したい場合、該音響イベントは、ガラスが割れた際に生じる音響信号パターンと「ガラスが割れる」という物理状態を対応づけたものである。
　例えば、非特許文献１には、非負値行列因子分解（ＮＭＦ：Nonnegative Matrix Factorization）を用いて音響信号のスペクトログラムから音響イベントの基底行列の発現度合いを算出し、それを特徴量として音響信号に含まれる音響イベントを検知する方法が記載されている。非特許文献１に記載の方法は、より具体的には、音響信号のスペクトログラムに対して、あらかじめ学習データから算出した基底行列を教師基底とするＮＭＦを用いて該基底行列に含まれる各スペクトル基底の発現度合いを算出する。そして、該方法は、算出された発現度合いの組み合わせを基に音響信号に特定の音響イベントが含まれるか否かを識別することにより、音響イベントを検知する。
　また、ＮＭＦは、複数の音源からの音を含む音響信号に対する音源分離にも多く用いられている。例えば、ＮＭＦを用いて分離対象とされる音響信号のスペクトルを、各音源のスペクトル基底を表す基底行列とその発現度合いを表すアクティベーション行列とに分離する。これにより、音源ごとのスペクトルが得られる。非特許文献１に記載の方法では、所定の音源による音響信号も、検知対象の音響イベントとして指定可能とする。すなわち、音響イベントには、所定音源からの音の発生という物理イベントに対応する音響信号のパターンも含まれるものとする。
特開２０１６－０４５２２１号公報 特開２０１４－１６４１２６号公報
Courtenay V. Cotton and Daniel P. W. Ellis, ‘SPECTRAL VS. SPECTRO-TEMPORAL FEATURES FOR ACOUSTIC EVENT DETECTION’, 2011 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics.
　しかし、非特許文献１に記載の方法は、音響イベントの識別精度が十分でないという問題があった。例えば、非特許文献１に記載の方法は、未知の環境下などにおいて、学習データから作成した基底行列では表現できないような未知の音が存在する場合、本来検知対象でない未知の音も検知対象の音響イベントとして誤って識別してしまうという問題があった。また、例えば、非特許文献１に記載の方法では、基底行列を生成するためのＮＭＦの解に多くの局所解が存在する。このため、非特許文献１に記載の方法は、学習データから基底行列を精度よく推定できず、正確な基底行列の抽出に失敗してしまうという問題があった。正確な基底行列が抽出されない場合、音響イベントを精度よく検知すること困難である。なお、音源分離の場合も、検知対象とされる音源のスペクトル基底を表す基底行列をＮＭＦにより得る際に、上記と同様、局所解の問題が生じる。
　そこで、本発明は、音響イベントの識別精度を向上できる信号検知装置、そのための信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体を提供することを目的とする。
　本発明による信号処理装置は、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段とを備えたことを特徴とする。
　本発明による信号処理方法は、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする。
　本発明によるコンピュータ読み取り可能記録媒体は、コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させる信号処理プログラムを非一時的に格納することを特徴とする。
　本発明によれば、音響イベントの識別精度を向上できる。
第１の実施形態の信号処理装置１１０の構成例を示すブロック図である。 第１の実施形態の動作の一例を示すフローチャートである。 第２の実施形態の信号処理装置２００の構成例を示すブロック図である。 第２の実施形態の全体動作の一例を示すフローチャートである。 第２の実施形態の基底生成処理の処理フローの一例を示すフローチャートである。 第２の実施形態のモデル学習処理の処理フローの一例を示すフローチャートである。 第３の実施形態の信号処理装置１００の構成例を示すブロック図である。 第３の実施形態の動作の一例を示すフローチャートである。 第４の実施形態の信号処理装置４００の構成例を示すブロック図である。 第４の実施形態の全体動作の一例を示すフローチャートである。 第５の実施形態の信号処理装置５００の構成例を示すブロック図である。 第６の実施形態の信号処理装置６００の構成例を示すブロック図である。 第６の実施形態の動作の一例を示すフローチャートである。
　以下、本発明の実施形態を、図面を参照して説明する。
　まず、本発明の前提となる技術であるＮＭＦによる音源分離動作について簡単に説明する。
　ＮＭＦは、入力された音響信号のスペクトログラムＶを、以下の式（１）に示すように、Ｋ行Ｒ列の基底行列Ｗ（ｋ，ｒ）とＲ行Ｊ列のアクティベーション行列Ｈ（ｒ，ｊ）の積で近似を行う行列分解手法である。
Ｖ≒ＷＨ　・・・（１）
　ＮＭＦに入力される音響信号のスペクトログラムＶは、例えば、音響時系列信号ｘ（ｔ）に対して短時間フーリエ変換を行って得られる、Ｋ行Ｊ列の強度数値データからなる行列Ｖ（ｋ，ｊ）であってもよい。音響時系列信号ｘ（ｔ）は、例えば、マイクロフォン等で収録したアナログ信号をＡＤ変換（Analog Digital Convert）して得られるデジタル信号であってもよい。
　ここで、ｔは時間のインデックスを表す。また、Ｋは周波数ビン数を表し、ｋは周波数ビンのインデックスを表す。また、Ｊは短時間フーリエ変換時の時間フレーム数を表し、ｊは短時間フーリエ変換時の時間フレームのインデックスを表す。以下、他の行列表記においても同様とする。
　また、Ｒは基底数を表し、ｒは基底のインデックスを表す。スペクトル基底行列Ｗ（ｋ，ｒ）は、スペクトル形状を表すベクトルとして表現されるスペクトル基底を列方向にＲ個結合したものとして解釈できる。同様に、アクティベーション行列Ｈ（ｒ，ｊ）は、各スペクトル基底に対応する発現度合いを表すアクティベーションを行方向にＲ個結合したものとして解釈できる。以下、他の行列表記においても同様とする。なお、各スペクトル基底および各スペクトル基底の発現度合い（発現タイミングとその大きさ）の表現方法は上記の例に限定されない。以下、ＷとＨとを、簡便に基底ＷとアクティベーションＨと表現する場合がある。
　基底ＷおよびアクティベーションＨは、所要のコスト関数を最小化するように求められる。以下の実施形態では、コスト関数に、以下の式（２）で示されるような一般化ＫＬダイバージェンス（Kullback-Leibler divergence）を用いた場合を例に説明する。
Figure JPOXMLDOC01-appb-M000001
　ここで、○記号は行列の要素ごとの積を表す。また、分数表記は行列の要素ごとの除算を表す。
　コスト関数（式（２）に示すＤＫＬ）を所定の閾値以下の回数、又は所定の回数更新する基底ＷおよびアクティベーションＨは、例えば、以下の式（３）と式（４）を交互に繰り返し用いて算出する。
Figure JPOXMLDOC01-appb-M000002
　ここで、ＡＴは行列Ａの転置を表す。また、行列ＯはＶと同じ形で要素がすべて１の行列を表す。また、基底ＷおよびアクティベーションＨの初期値には、一般に乱数で生成したものが用いられる。上記の２式を、コスト関数が閾値以下になる、または設定した繰り返し回数に達するまで更新する。なお、学習データから識別モデルに用いる特徴量としてのアクティベーションＨを得る場合などに用いられる教師有りＮＭＦの場合、基底Ｗは既に得られているものとして、アクティベーションＨのみを更新する。
　例えば、非特許文献１に記載の音響イベントの検知方法は、前処理として、検知したい音響イベントを含む音響信号をつなぎ合わせたスペクトログラムに対してＮＭＦを行い、各音響イベントに対応したスペクトル基底群（基底Ｗ）を生成する。そして、未知の音響信号のスペクトログラムに対して、基底Ｗを用いた教師有りＮＭＦを行い、各スペクトル基底の発現度合い（アクティベーションＨ）を算出する。そして、各スペクトル基底の発現度合いの組み合わせから、未知の音響信号に検知対象の音響イベントが含まれているか否かを識別することで、音響イベントを検知している。
　ところで、検知対象とされる音響イベントのスペクトログラムをＮＭＦにより分解することで得られる基底Ｗは、当該音響イベントを構成する物理的要素に対応する音のスペクトルを表すと考えられる。例えば、「ガラスが割れる音」とラベル付けされた音響イベントが、ガラスが割れる瞬間の衝撃音とガラスの破片が飛び散る音とを含む場合、該音響イベントのスペクトログラムをＮＭＦにより分解すると、ガラスが割れる瞬間の衝撃音と割れたガラスの破片が飛び散る音の２つの物理現象に対応する要素に対応する音のスペクトルを表す基底Ｗが得られると考えられる。
　このため、未知の音響信号のスペクトログラムを、そのようなスペクトル基底の組み合わせを用いた教師有りＮＭＦにより分解した結果、上記の２つの物理現象に対応するスペクトル基底のアクティベーション（発現度合い）が、所定のタイミングで大きい値を示すなど、ラベル「ガラスが割れる音」に対して予め学習されたパターンを示した場合には、該音響信号は「ガラスが割れる音」という音響イベントを含んでいると識別される。
実施形態１．
　次に、本発明の第１の実施形態を説明する。図１は、第１の実施形態の信号処理装置１１０の構成例を示すブロック図である。図１に示す信号処理装置１１０は、検知対象とされる音響信号のスペクトログラムである識別用スペクトログラムＶを入力とし、該スペクトログラムＶに含まれる音響イベントの識別結果を示す音響イベントラベルを出力する音響イベント識別装置として機能する装置である。なお、いずれの音響イベントも含まれていない場合は、その旨を示す識別結果が出力される。
　図１に示すように、信号処理装置１１０は、基底格納部１１１と、識別信号分析部１１２と、モデル格納部１１３と、信号識別部１１４とを備える。
　基底格納部１１１は、検知対象とされる音響イベントの周波数パターンを示すスペクトル基底群（後述する基底Ｗｅ）を格納する。
　モデル格納部１１３は、基底Ｗｅに含まれる各スペクトル基底の発現度合いであるアクティベーション（後述するアクティベーションＨｅ）を基に音響イベントを識別するための識別モデルを記憶する。識別モデルの詳細は特に限定されないが、サポートベクトルマシン（ＳＶＭ）や、隠れマルコフモデルや混合ガウシアンモデルやニューラルネットワークなどが一例として挙げられる。例えば、識別モデルとしてＳＶＭを用いる場合、モデル格納部１１３には、識別面を表す行列Ａｅと切片ベクトルｂｅとが格納される。
　識別信号分析部１１２は、識別用スペクトログラムＶを入力とし、基底格納部１１１に格納された基底Ｗｅを教師基底として用いた半教師有りＮＭＦを行い、基底Ｗｅに含まれる各スペクトル基底に対する重みにより発現度合いを表すアクティベーションＨｅを算出する。
　識別信号分析部１１２が用いる半教師有りＮＭＦは、音源分解に用いるスペクトル基底として、検知対象として予め定義された音響イベントに対応するスペクトル基底だけでなく、未知すなわち予め定義された音響イベント以外の音源に対応するスペクトル基底を用いる。より具体的には、上記の基底行列Ｗに代えて、予め定義された音響イベントに対応する基底行列Ｗｅに、未知の音響イベントに対応する基底行列Ｗｕを加えた基底行列Ｗｓｅｍｉ［Ｗｅ　Ｗｕ］を用いる。また、それに伴って、基底Ｗｅに対応するアクティベーション行列Ｈｅに、基底Ｗｕに対応するアクティベーション行列Ｈｕを加えたアクティベーション行列Ｈｓｅｍｉ［Ｈｅ　Ｈｕ］を用いる。以下、Ｗｅを音響イベント基底、Ｗｕを未知イベント基底、Ｈｅを音響イベントアクティベーション、Ｈｕを未知イベントアクティベーションという場合がある。
　例えば、ＲｅをＷｅの基底数、ＲｕをＷｕの基底数とすると、音響イベント基底ＷｅはＫ行Ｒｅ列の行列で表され、未知イベント基底ＷｕはＫ行Ｒｕ列の行列で表され、基底ＷｓｅｍｉはＫ行（Ｒｅ＋Ｒｕ）列の行列で表される。同様に、アクティベーションＨｅはＲｅ行Ｊ列の行列で表され、アクティベーションＨｕはＲｕ行Ｊ列の行列で表され、アクティベーションＨｓｅｍｉは（Ｒｅ＋Ｒｕ）行Ｊ列のアクティベーション行列で表される。
　識別信号分析部１１２は、半教師有りＮＭＦにおいて、以下の式（ａ－１）に示すように、入力される識別用スペクトログラムＶを、Ｗｓｅｍｉ［Ｗｅ　Ｗｕ］とＨｓｅｍｉ［Ｈｅ　Ｈｕ］の積で近似することにより、Ｖにおける音響イベントアクティベーションＨｅを算出する。
Ｖ≒ＷｓｅｍｉＨｓｅｍｉ　・・・（ａ－１）
　半教師有りＮＭＦでは、入力されたスペクトログラムＶに応じて、Ｗｕ，Ｈｓｅｍｉ［Ｈｅ　Ｈｕ］の値が最適化される。換言すると、識別信号分析部１１２は、入力されたスペクトログラムＶにマッチするように、Ｗｕ，Ｈｓｅｍｉ［Ｈｅ　Ｈｕ］の値を更新する。より具体的には、識別信号分析部１１２は、半教師有りＮＭＦにおいて、下記の式（ａ－２）および式（ａ－３）に示すように、ＨｓｅｍｉとＷｕを交互に更新することで、最適なＷｕ，Ｈｅ，Ｈｕを算出する。Ｗｕ，Ｈｅ，Ｈｕの初期値は特に問わないが、一般には乱数が用いられる。
Figure JPOXMLDOC01-appb-M000003
　このような更新処理により、未知イベント基底Ｗｕは、スペクトログラムＶに含まれるスペクトル成分のうち、音響イベント基底Ｗｅでは表現できないような成分を表す基底として学習される。
　なお、音響イベント基底Ｗｅは、予め定義された各音響イベントに対応する周波数成分に対応する周波数パターンを表現するスペクトル基底の集合であればよく、表現方法は上記に限定されない。同様に、未知イベント基底Ｗｕは、既知の音響イベントに対応する周波数成分以外の周波数成分に対応する周波数パターンを表現するスペクトル基底の集合であればよく、表現方法は上記に限定されない。また、音響イベントアクティベーションＨｅは、Ｖ中の、Ｗｅに含まれる各スペクトル基底の発現度合いを表現するものであればよく、表現方法は上記に限定されない。同様に、未知イベントアクティベーションＨｕは、Ｖ中の、Ｗｕに含まれる各スペクトル基底の発現度合いを表現するものであればよく、表現方法は上記に限定されない。
　このとき、未知イベント基底Ｗｕにおける基底数Ｒｕは、固定値であってもよいし、最初に初期値を与えた上で更新処理の過程で増えていくような可変値であってもよい。
　信号識別部１１４は、識別信号分析部１１２から出力される音響イベントアクティベーションＨｅを基に、モデル格納部１１３に格納された識別モデルを用いて、入力されたスペクトログラムＶに含まれる音響イベントを識別する。
　次に、本実施形態の動作を説明する。図２は、本実施形態の動作の一例を示すフローチャートである。本例では、まず信号処理装置１１０に識別用スペクトログラムＶが入力される（ステップＳ１１）。
　識別用スペクトログラムＶが入力されると、識別信号分析部１１２が、Ｖに対して、基底格納部１１１に格納されている音響イベント基底Ｗｅを教師基底に用いた半教師有りＮＭＦを実施する（ステップＳ１２）。
　ステップＳ１２において、識別信号分析部１１２は、まずＶをＷｓｅｍｉ［Ｗｅ　Ｗｕ］とＨｓｅｍｉ［Ｈｅ　Ｈｕ］の積で表現される近似式に適用する（ステップＳ１２１）。次いで、識別信号分析部１１２は、ＷｕおよびＨｓｅｍｉの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ１２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ１２２のＮｏ）、識別信号分析部１１２は、ＷｕとＨｓｅｍｉのいずれかまたは両方の更新を行う（ステップＳ１２３）。
　一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ１２２のＹｅｓ）、識別信号分析部１１２は、近似式中のアクティベーションＨｅを出力する（ステップＳ１２４）。
　ＶについてのアクティベーションＨｅが出力されると、信号識別部１１４が、該アクティベーションＨｅを基に、モデル格納部１１３に格納された識別モデルを用いて、Ｖに含まれる音響イベントを識別する（ステップＳ１３）。
　以上のように、本実施形態によれば、未知の音が存在する環境下で採取された音響信号であっても、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。なぜなら、入力されたスペクトログラムＶをスペクトル単位に分解する際の基底として未知の音を表現する未知イベント基底Ｗｕを含むＷｓｅｍｉを新たに導入し、半教師有りＮＭＦにおいて該Ｗｕを適宜更新することにより、音響イベント基底Ｗｅに対応する成分のみを正確に算出できるからである。すなわち、本実施形態では、スペクトログラムＶから物理現象に対応したスペクトルを抽出する特徴抽出の際に半教師有りＮＭＦを用いることにより、既知の基底では分解できない要素をその場で学習することができるので、未知の音源の存在に頑健な特徴抽出ができる。
　例えば、基底Ｗｕを導入せずに基底Ｗｅのみを用いた教師有りＮＭＦの場合、Ｖを、基底Ｗｅのみを用いて分解する。このため、Ｖ中に、基底Ｗｅに含まれないような未知のスペクトルが含まれている場合、ＶのアクティベーションＨｅが予期せぬ値を持ってしまい誤った特徴量として識別器に入力されるおそれがあった。一方、基底Ｗｕを導入した半教師有りＮＭＦの場合、Ｖを、基底Ｗｓｅｍｉ［Ｗｅ　Ｗｕ］を用いて分解する。これにより、Ｖに含まれるスペクトル成分のうち基底Ｗｅで表現できないような成分をすべて基底Ｗｕが請け負うことができるので、ＶのアクティベーションＨｅを高精度に算出することができる。したがって、そのようにして得られたアクティベーションＨｅを特徴量として識別器に入力することで、Ｖ中に含まれる音響イベントを精度よく識別できる。
実施形態２．
　次に、本発明の第２の実施形態について説明する。図３は、第２の実施形態の信号処理装置２００の構成例を示すブロック図である。図３に示す信号処理装置２００は、第１の実施形態の信号処理装置１１０の構成に加えて、基底生成部１０と、学習データ分析部１２と、モデル学習部１３とをさらに備えている。なお、図３には、信号処理装置２００が、第１の実施形態の信号処理装置１１０が備える各要素（符号１１１～１１４）を、音響イベント識別部１１の各要素として含む例が示されている。
　本実施形態の信号処理装置２００は、基底生成用スペクトログラムＶｂａｓｅを入力して音響イベント基底Ｗｅを生成し、ラベル付きスペクトログラムＶｌｂｌを入力して識別モデルを学習し、識別用スペクトログラムＶを入力して、該識別用スペクトログラムＶに含まれている音響イベントを識別して、音響イベントを検知する。
　基底生成部１０は、基底生成用スペクトログラムＶｂａｓｅが入力されると、音響イベント基底Ｗｅを生成して、基底格納部１１１に格納する。音響イベント基底Ｗｅの生成方法は特に問わない。基底生成部１０は、例えば、基底生成用のスペクトログラムＶｂａｓｅとして、検知対象とされる音響イベントを含む音響信号をつなぎ合わせたスペクトログラムを入力させ、該Ｖｂａｓｅに対して、以下の式（ｂ－１）で示す近似式によるＮＭＦを行うことにより、音響イベント基底Ｗｅを得てもよい。該ＮＭＦにおいて、基底生成部１０は、ＷｅおよびＨｅを最適化（更新）する。
Ｖｂａｓｅ≒ＷｅＨｅ　・・・（ｂ－１）
　該ＮＭＦは、上記の式（１）で示した一般的なＮＭＦにおけるＶ，ＷおよびＨを、Ｖｂａｓｅ，ＷｅおよびＨｅに置き換えただけであり、コスト関数および更新式についても上記と同様である。
　なお、基底生成用スペクトログラムＶｂａｓｅは、実際の信号から学習データに含まれる各音響イベントに対応したスペクトルを抽出できるものであればよく、上記の例に限られない。
　基底生成部１０により生成された音響イベント基底Ｗｅは基底格納部１１１に格納されるとともに、後段の学習データ分析部１２に出力される。なお、学習データ分析部１２が基底格納部１１１に格納されている音響イベント基底Ｗｅを参照する構成であってもよい。その場合、学習データ分析部１２への出力は省略される。
　学習データ分析部１２は、ラベル付きスペクトログラムＶｌｂｌを入力として、基底生成部１０により生成された音響イベント基底Ｗｅを基に、音響イベントラベルに対応づける音響イベントアクティベーションＨｅを算出する。ここで、ラベル付きスペクトログラムＶｌｂｌは、ある音響イベントのスペクトログラムに、該音響イベントを表すラベル（音響イベントラベル）が付与された学習データである。
　ラベル付きスペクトログラムＶｌｂｌは、例えば、検知対象の全Ｅ個の音響イベントのスペクトログラムのそれぞれに対応する音響イベントラベルが付与されたスペクトログラムであってもよい。
　例えば、「悲鳴」と「ガラスが割れた音」とを検知対象とする場合、「悲鳴」に対応する音響イベントラベルがつけられた悲鳴のスペクトログラムと、「ガラスが割れた音」に対応する音響イベントラベルがつけられたガラスが割れた音のスペクトログラムとを、それぞれラベル付きスペクトログラムＶｌｂｌとして入力する。なお、１つのラベル付きスペクトログラムＶｌｂｌは、Ｋ行Ｊｌｂｌ列の行列Ｖｌｂｌ（ｋ，ｊ）であればよい。
　ここで、ラベル付きスペクトログラムＶｌｂｌにおける時間フレーム数Ｊｌｂｌは、各音響イベントの音響信号パターンを過不足なく含むような（例えば、「ガラスが割れる音」音響イベントの場合、ガラスが割れる瞬間の衝撃音から始まり、破片が飛び散る音で終わるとして、それらの音を過不足なく含む）長さで設定される。
　なお、一方の基底生成用スペクトログラムＶｂａｓｅは、検知したい音響イベントを構成する周波数パターンを基底として生成するためのスペクトログラムであるので、検知したい全ての音響イベントの周波数パターンを含んでいることが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ行の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１（ｋ，ｊ），Ｖｌｂｌ_２（ｋ，ｊ），・・・，Ｖｌｂｌ_Ｅ（ｋ，ｊ）］であってもよい。この場合、基底生成用スペクトログラムＶｂａｓｅにおける時間フレーム数Ｊｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌにおける時間フレーム数Ｊｌｂｌの総和となる。
　学習データ分析部１２は、例えば、入力されたラベル付きスペクトログラムＶｌｂｌに対して、基底生成部１０により生成された音響イベント基底Ｗｅを教師基底として用いた教師有りＮＭＦを行い、音響イベントラベルに対応づける音響イベントアクティベーションＨｅを算出してもよい。以下の式（ｃ－１）は、当該教師有りＮＭＦで用いる近似式である。また、以下の式（ｃ－２）は、当該教師有りＮＭＦで用いる更新式の例である。教師有りＮＭＦでは、学習データ分析部１２は、音響イベントアクティベーションＨｅのみを最適化（更新）する。
Ｖｌｂｌ≒ＷｅＨｅ　・・・（ｃ－１）
Figure JPOXMLDOC01-appb-M000004
　モデル学習部１３は、学習データ分析部１２により算出された音響イベントアクティベーションＨｅを特徴量として、音響イベントアクティベーションＨｅと音響イベントラベルとの関係を表す識別モデルを学習する。モデル学習部１３により学習された識別モデルは、モデル格納部１１３に格納される。
　他の点に関しては第１の実施形態と同様である。
　次に、本実施形態の動作を説明する。図４～図６は、本実施形態の動作の一例を示すフローチャートである。なお、図４は、本実施形態の全体動作の一例を示すフローチャートである。図４に示すように、本実施形態の動作は、基底生成処理（ステップＳ２１）と、モデル学習処理（ステップＳ２２）と、音響イベント識別処理（ステップＳ２３）とに大別される。
　図５は、本実施形態の基底生成処理の処理フローの一例を示すフローチャートである。
本例の基底生成処理では、まず信号処理装置２００に基底生成用スペクトログラムＶｂａｓｅが入力される（ステップＳ２１１）。
　基底生成用スペクトログラムＶｂａｓｅが入力されると、基底生成部１０が、Ｖｂａｓｅに対してＮＭＦを実施する（ステップＳ２１２）。
　ステップＳ２１２において、基底生成部１０は、まずＶｂａｓｅをＷｅとＨｅの積で表現される近似式に適用する（ステップＳ２１２１）。次いで、基底生成部１０は、ＷｅおよびＨｅの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ２１２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ２１２２のＮｏ）、基底生成部１０は、ＷｅおよびＨｅのいずれかまたは両方の更新を行う（ステップＳ２１２３）。
　一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ２１２２のＹｅｓ）、基底生成部１０は、近似式中の基底Ｗｅを出力し、基底格納部１１１に格納する（ステップＳ２１２４，ステップＳ２１３）。
　また、図６は、本実施形態のモデル学習処理の処理フローの一例を示すフローチャートである。基底生成処理が終了すると、モデル学習処理が開始される。本例のモデル学習処理では、まず、信号処理装置２００にラベル付きスペクトログラムＶｌｂｌが入力される（ステップＳ２２１）。
　ラベル付きスペクトログラムＶｌｂｌが入力されると、学習データ分析部１２が、Ｖｌｂｌに対して、基底格納部１１１に格納されている音響イベント基底Ｗｅを教師基底に用いた教師有りＮＭＦを実施する（ステップＳ２２２）。
　ステップＳ２２２において、学習データ分析部１２は、まずＶｌｂｌをＷｅとＨｅの積で表現される近似式に適用する（ステップＳ２２２１）。次いで、学習データ分析部１２は、Ｈｅの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ２２２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ２２２２のＮｏ）、学習データ分析部１２は、Ｈｅの更新を行う（ステップＳ２２２３）。
　一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ２２２２のＹｅｓ）、学習データ分析部１２は、近似式中のアクティベーションＨｅを、Ｖｌｂｌに付された音響イベントラベルとともにモデル学習部１３に出力する（ステップＳ２２２４）。
　次に、モデル学習部１３は、出力されたラベル毎の音響イベントアクティベーションＨｅを特徴量として、音響イベントアクティベーションＨｅと音響イベントラベルとの関係を表す識別モデルを学習する（ステップＳ２２３）。そして、モデル学習部１３は、学習の結果得られた識別モデルを、モデル格納部１１３に格納する（ステップＳ２２４）。
　モデル学習処理が終了すると、音響イベント識別処理が開始される。本実施形態の音響イベント識別処理は、第１の実施形態の音響イベント識別処理（図２のステップＳ１１～ステップＳ１３）と同様でよい。
　以上のように、本実施形態では、検知対象とされる音響イベントに合わせて基底の生成および識別モデルの学習を行った上で、識別用スペクトログラムＶに対して音響イベントの識別を行う。このため、任意の音響イベントを検知対象にして、未知の音が存在する環境下で採取された音響信号であっても、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。
実施形態３．
　次に、本発明の第３の実施形態について説明する。図７は、第３の実施形態の信号処理装置１００の構成例を示すブロック図である。図７に示す信号処理装置１００は、基底生成用スペクトログラムＶｂａｓｅを入力とし、予め保持されている事前分布Ｗ０を制約として、Ｖｂａｓｅを構成するスペクトル基底行列Ｗを生成する基底生成装置として機能する機能である。
　図７に示すように、信号処理装置１００は、事前分布格納部１０１と、基底信号分析部１０２とを備える。
　事前分布格納部１０１は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦが局所解に陥らないような制約として用いられる事前分布Ｗ０を格納する。
　例えば「ガラスの割れる音」という音響イベントを考える。ガラスが割れた瞬間はパルス性の強い衝撃音が発生し、続いて割れた破片が飛び散る純音に近い音が発生する。このとき、衝撃音はフラットな周波数構造になり、破片の飛び散る音は周波数のピークが鋭いような周波数構造になると考えられる。
　したがって、基底生成処理で、そのようなフラットな周波数構造を持つスペクトル基底と鋭いピークを持つ基底の２つのスペクトル基底が得られるのが好ましい。しかし、ＮＭＦの更新式には局所解という問題があり、必ずしも所望のスペクトル基底が得られるとは限らない。
　そこで、本実施形態では、局所解を避けて所望のスペクトル基底を得るために、事前分布Ｗ０を導入する。事前分布Ｗ０は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦで学習される基底Ｗが、当該事前分布Ｗ０との類似度が高くなる（所定の閾値以上となる）ような制約のパラメータとして用いる。このため、基底信号分析部１０２により生成される基底Ｗは、事前分布Ｗ０との類似度が低いほど制約が強まり、予期せぬ局所解に陥ることがなくなる。このような事前分布Ｗ０の導入により、どのような基底Ｗを学習するかをコントロールすることができる。上記の例の場合、事前分布Ｗ０は、フラットな周波数構造と鋭いピークを持つ周波数構造の２種のスペクトル基底が得られるような制約となればよい。
　事前分布Ｗ０の生成方法としては、手作業で基底とされるスペクトル形状を表すＲ個の主要なスペクトル成分を抽出し、事前分布格納部１０１に格納してもよいし、予め用意しておいた分布生成用スペクトログラムＶ０に対して、以下に示すような方法でＲ個のスペクトル成分を抽出してもよい。すなわち、ｋ－ｍｅａｎｓ法を用いてＲクラスのクラスタリングを行うことによって抽出してもよいし、主成分分析を用いて寄与率の高いＲ個の主要なスペクトル成分のみを取得してもよい。
　事前分布Ｗ０は、例えば、生成したい基底Ｗと同じ型のＫ行Ｒ列の行列であってもよい。
　分布生成用スペクトログラムＶ０は、生成したい基底Ｗの代表的なスペクトルを示すものであってもよい。分布生成用スペクトログラムＶ０は、例えば、基底生成用スペクトログラムＶｂａｓｅと同じであってもよいし、基底生成用スペクトログラムＶｂａｓｅから代表的なスペクトログラムを抽出したものであってもよい。
　基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅを入力して、Ｖｂａｓｅを構成するスペクトル基底を表す基底Ｗを生成する。基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅに対して、事前分布格納部１０１に格納された事前分布Ｗ０を制約項のパラメータとして用いた制約付きＮＭＦを行い、基底Ｗを生成する。
　基底生成用スペクトログラムＶｂａｓｅの形式は特に問わないが、基底として取り出したいスペクトルを含むものとする。なお、音響イベント基底Ｗｅを生成する場合には、検知したい全ての音響イベントの周波数パターンを含むスペクトログラムを入力すればよい。
　制約付きＮＭＦで、基底信号分析部１０２は、例えば、Ｖｂａｓｅを以下の式（ｄ－１）に示す近似式に適用させ、以下の式（ｄ－２）および式（ｄ－３）に示す更新式を用いて、基底ＷとアクティベーションＨを交互に更新して最適化する。
Ｖｂａｓｅ≒ＷＨ　・・・（ｄ－１）
Figure JPOXMLDOC01-appb-M000005
　ここで、上記の２つの更新式は、入力されたスペクトログラムＶｂａｓｅに対して、以下の式（ｄ－４）に示すコスト関数を最小化するような基底ＷとアクティベーションＨを求めるものとして導出したものである。
Ｄ（Ｖ，Ｗ，Ｈ，Ｗ０）＝Ｄｋｌ（Ｖ，ＷＨ）＋ηＤｋｌ（Ｗ０，Ｗ）　・・・（ｄ－４）
　上記のコスト関数の第２項は、事前分布Ｗ０と基底Ｗとの距離が離れるほど罰則を与える制約項である。当該コスト関数によれば、第１項によりＶｂａｓｅとＷＨの間のコスト関数を最小化しつつも、第２項により、基底Ｗは局所解に陥らず事前分布Ｗ０と似たスペクトル構造を持つことができる。
　ここで、ηは、第２項を制御するパラメータであり、例えば、０．１や１０などのスカラー値をとる。
　次に、本実施形態の動作を説明する。図８は、本実施形態の動作の一例を示すフローチャートである。本例では、まず信号処理装置１００に基底生成用スペクトログラムＶｂａｓｅが入力される（ステップＳ０１）。
　基底生成用スペクトログラムＶｂａｓｅが入力されると、基底信号分析部１０２は、事前分布格納部１０１に格納された事前分布Ｗ０を読み出す（ステップＳ０２）。そして、基底信号分析部１０２は、Ｖｂａｓｅに対して、事前分布Ｗ０を制約として用いた制約付きＮＭＦを実施する（ステップＳ０３）。
　ステップＳ０３において、基底信号分析部１０２は、まずＶｂａｓｅをＷとＨの積で表現される近似式に適用する（ステップＳ０３１）。次いで、基底信号分析部１０２は、ＷおよびＨの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ０３２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ０３２のＮｏ）、基底信号分析部１０２は、ＷおよびＨのいずれかまたは両方の更新を行う（ステップＳ０３３）。なお、Ｗの更新式にはＷ０を用いた制約項が含まれている。
　一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ０３２のＹｅｓ）、基底信号分析部１０２は、近似式中の基底Ｗを出力する（ステップＳ０３４）。
　以上のように、本実施形態によれば、基底生成時のＮＭＦにおいて、基底Ｗがあらかじめ用意した事前分布Ｗ０に近くなるような制約を用いることで、局所解に陥らずに所望の基底Ｗを生成することができる。
　例えば、本実施形態の信号処理装置１００によれば、基底生成用スペクトログラムＶｂａｓｅとして、検知したい全ての音響イベントの周波数パターンを含むスペクトログラムを入力することにより、局所解に陥らない高精度な音響イベント基底Ｗｅを生成できる。
したがって、例えば、第２の実施形態の構成において、基底生成部１０に代えて本実施形態の信号処理装置１００を用いれば、音響イベントに対応するアクティベーションＨｅを精度よく推定でき、音響イベントの識別精度を向上できる。
実施形態４．
　次に、本発明の第４の実施形態について説明する。図９は、第４の実施形態の信号処理装置４００の構成例を示すブロック図である。図９に示す信号処理装置４００は、第２の実施形態の構成における基底生成部１０に代えて、基底生成部４０を含む。なお、基底生成部４０の構成は、図７に示す第３の実施形態の信号処理装置１００の構成に、さらに分布解析部１０３を加えたものと同様である。
　本実施形態の信号処理装置４００は、分布生成用スペクトログラムＶ０を入力して事前分布Ｗ０を生成し、基底生成用スペクトログラムＶｂａｓｅを入力して、事前分布Ｗ０を制約とする音響イベント基底Ｗｅを生成し、ラベル付きスペクトログラムＶｌｂｌを入力して識別モデルを学習した上で、識別用スペクトログラムＶを入力して、Ｖに含まれる音響イベントを識別して、音響イベントを検知する。
　以下、第２の実施形態と異なる部分を主に説明する。
　事前分布格納部１０１は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦが局所解に陥らないような制約として用いられる事前分布Ｗ０を格納する。本実施形態の事前分布格納部１０１は、分布解析部１０３が生成した音響イベントの各スペクトル基底の制約とされる事前分布Ｗ０を格納する。
　基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅを入力して、Ｖｂａｓｅを構成するスペクトル基底を表す基底Ｗを生成する。基底の生成方法としては、第３の実施形態と同様、事前分布格納部１０１に格納された事前分布Ｗ０を制約項のパラメータとして用いた制約付きＮＭＦを用いる。
　なお、本実施形態の基底信号分析部１０２は、検知したい全ての音響イベントの周波数パターンを含む基底生成用スペクトログラムＶｂａｓｅを入力して、音響イベント基底Ｗｅを生成する。
　分布解析部１０３は、分布生成用スペクトログラムＶ０を入力とし、音響イベント基底Ｗｅの事前分布Ｗ０を生成する。分布解析部１０３は、例えば、音響イベント基底Ｗｅと同じ形のＫ行Ｒｅ列の行列Ｗ０（ｋ，ｒ）を事前分布として生成してもよい。
　分布解析部１０３は、例えば、分布生成用スペクトログラムＶ０に対してｋ－ｍｅａｎｓ法を用いてＲクラスのクラスタリングを行うことによって事前分布Ｗ０を生成してもよい。また、分布解析部１０３は、例えば、Ｖ０に対して主成分分析を行い、寄与率の高いＲ個の主要なスペクトル成分のみを取り出すことにより事前分布Ｗ０を取得してもよい。
　次に、本実施形態の動作を説明する。図１０は、本実施形態の全体動作の一例を示すフローチャートである。図１０に示すように、本実施形態の動作は、事前分布生成処理（ステップＳ４０）と、基底生成処理（ステップＳ４１）と、モデル学習処理（ステップＳ２２）と、音響イベント識別処理（ステップＳ２３）とに大別される。
　ステップＳ４０の事前分布生成処理では、分布解析部１０３が、分布生成用スペクトログラムＶ０から事前分布Ｗ０を生成して、事前分布格納部１０１に格納する。
　ステップＳ４１の基底生成処理では、基底信号分析部１０２が、図８に示した第３の実施形態の基底生成処理（ステップＳ０１～ステップＳ０３４）と同様の処理を行い、生成された基底Ｗを音響イベント基底Ｗｅとして基底格納部１１１に格納する。
　なお、モデル学習処理（ステップＳ２２）と音響イベント識別処理（ステップＳ２３）とは、第２の実施形態と同様でよい。
　本実施形態の信号処理装置４００によれば、局所解に陥らない高精度な音響イベント基底Ｗｅを生成できるので、学習フェーズで音響イベントに対応するアクティベーションＨｅを精度よく推定できる。加えて、本実施形態の信号処理装置４００によれば、未知の音が存在する環境下で採取された音響信号であっても、検知対象でない音響イベントの誤検知を抑制し、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。
実施形態５．
　次に、本発明の第５の実施形態を説明する。図１１は、本実施形態の信号処理装置５００の構成例を示すブロック図である。図１１に示す信号処理装置５００は、基底生成部５０と、学習データ分析部５２と、モデル学習部５３と、音響イベント識別部５１とを備える。
　また、基底生成部５０は、分布解析部５０３と、事前分布格納部５０１と、基底信号分析部５０２とを含む。また、音響イベント識別部５１は、基底格納部５１１と、識別信号分析部５１２と、モデル格納部５１３と、信号識別部５１４とを含む。
　なお、本実施形態の信号処理装置５００の入出力は、第４の実施形態の信号処理装置と同様である。また、分布解析部５０３、事前分布格納部５０１、モデル学習部５３、モデル格納部５１３および信号識別部５１４は、第４の実施形態の分布解析部１０３、事前分布格納部１０１、モデル学習部１３、モデル格納部１１３および信号識別部１１４と同様である。以下、第４の実施形態と異なる部分を主に説明する。
　基底信号分析部５０２は、基底生成用スペクトログラムＶｂａｓｅを入力とし、事前分布格納部５０１に格納されている事前分布Ｗ０を制約項に用いた制約付きＮＭＦにより、Ｖｂａｓｅを構成するスペクトル基底がグループ化されて表現される基底Ｗｇを生成する。
　基底信号分析部５０２は、例えば、ＶｂａｓｅとしてＫ行Ｊｂａｓｅ列のスペクトル行列が入力されると、Ｋ行Ｒ列の行列である事前分布Ｗ０（ｋ，ｒ）＝［ｗ０（１），．．．，ｗ０（ｒ），．．．，ｗ０（Ｒ）］を制約項のパラメータとして用いた制約付きＮＭＦにより、Ｋ行（Ｇ×Ｒ）列の基底行列Ｗｇ（ｋ，ｒ）＝［Ｗ（１）（ｋ，ｇ），．．．，Ｗ（ｒ）（ｋ，ｇ），．．．，Ｗ（Ｒ）（ｋ，ｇ）］を算出してもよい。
　ここで、ｗ０（ｒ）は事前分布Ｗ０のｒ番目の列ベクトル、すなわちｒ番目のスペクトル基底の制約を表している。また、Ｗ（ｒ）（ｋ，ｇｒ）は、ｗ０（ｒ）を制約として生成されるＧ個のスペクトル基底からなるグループ（スペクトル基底行列）を表わす。また、ｇｒは、ｒで指定される基底グループ内のＧ個のスペクトル基底のうちｇ番目のスペクトル基底を示すインデックスである。なお、基底グループごとに含まれるスペクトル基底の数（グループ内要素数）Ｇは可変であってもよい。
　当該制約付きＮＭＦで、基底信号分析部５０２は、Ｗ（ｒ）（ｋ，ｇ）に対応するアクティベーション行列Ｈ（ｒ）（ｇ，ｊ）＝［ｈ１ （ｒ），．．．，ｈｊ （ｒ），．．．，ｈＪ （ｒ）］として、以下の式（ｅ－１）、式（ｅ－２）および式（ｅ－３）を、１回の更新によるＷ（ｒ）およびＨ（ｒ）の変化量が閾値以下となる、または設定した繰り返し回数に達するまで順番に繰り返すことで同時に最適化を行う。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｈｊ （ｒ）は、グループｒの基底行列Ｗ（ｒ）に対応するアクティベーションであり、Ｗ（ｒ）の各スペクトル基底の時間インデックスｊにおける発現度合いを表す列ベクトルである。
　上記の式（ｅ－３）は、グループｒの基底行列Ｗ（ｒ）のアクティベーションｈｊ （ｒ）に対するスパース制約である。当該制約は、値の大きなｈｊ （ｒ）は更新するにつれ大きな値を取りやすく，値の小さなｈｊ （ｒ）は更新していくにつれ小さくなる制約となっており、より特徴的なＷ（ｒ）を抽出できるようになっている。
　第３および第４の実施形態では、一つの事前分布ｗ０（ｒ）に対して一つのスペクトル基底ｗ（ｒ）が対応していた。本実施形態では、一つの事前分布ｗ０（ｒ）に対して複数の（Ｇ個の）スペクトル基底ｗｇ（ｒ）がグループ化されて対応づけられる。
　以下、基底信号分析部５０２が生成する基底行列Ｗｇ（ｋ、ｇｒ）をグループ基底Ｗｇと呼ぶ場合がある。
　これは、例えば「ガラスの割れる音」の音響イベントを考えた時に、第３および第４の実施形態では、ガラスが割れる瞬間の衝撃音および割れたガラスの破片が飛び散る音をそれぞれ１つのスペクトル基底で表現していたのに対し、本実施形態では、各音についてバリエーションや揺らぎをグループとして表現することができる。このように表現されたグループ基底Ｗｇを用いてＮＭＦを行うことにより、より高い精度での音源分解が可能となる。
　本実施形態では、基底生成用スペクトログラムＶｂａｓｅは、検知したい全ての音響イベントの周波数パターンについて２以上のバリエーションを含む、または揺らぎを含むようなスペクトログラムが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、音響イベントごとに複数のサンプルから得たラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ行の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１１（ｋ，ｊ），Ｖｌｂｌ_１２（ｋ，ｊ），．．．，Ｖｌｂｌ_１Ｇ（ｋ，ｊ），Ｖｌｂｌ_２１（ｋ，ｊ），．．．，Ｖｌｂｌ_ＥＧ（ｋ，ｊ）］であってもよい。
　基底信号分析部５０２により生成されたグループ基底Ｗｇは、基底格納部５１１に格納される。
　学習データ分析部５２は、ラベル付きスペクトログラムＶｌｂｌを入力とし、ラベル毎にグループ基底Ｗｇに対応するアクティベーションＨｇを算出する。
　学習データ分析部５２は、例えば、ラベル付きスペクトログラムＶｌｂｌとして、Ｋ行Ｊｌｂｌ列の行列が入力されると、基底信号分析部５０２により生成されたグループ基底Ｗｇ（ｋ，ｇｒ）を教師基底として用いた教師有りＮＭＦを行い、ＶｌｂｌをＷｇとＨｇの積で近似させることにより、音響イベントラベルに対応づけられるグループ音響イベントアクティベーションＨｇを算出してもよい。
　例えば、グループ基底Ｗｇ（ｋ，ｇｒ）が、Ｋ行（Ｇ×Ｒ）列の行列の場合、グループ音響イベントアクティベーションＨｇ（ｇｒ，ｊ）は、（Ｇ×Ｒ）行Ｊ列の行列となる。
ここで、Ｈｇ（ｇｒ，ｊ）の列ベクトルｈｊは、ｈｊ （ｒ）におけるｒ＝１～Ｒとして各ｈｊ （ｒ）を列方向に連結したものに相当する。
　学習データ分析部５２で行うのは教師有りＮＭＦであるので、以下の式（ｆ－１）に示すように、Ｈｇに対してのみ更新を行う。ただし、当該Ｈｇの更新においても、各ｈｊ （ｒ）に対して上述した式（ｅ－３）に示すスパース制約が適用される。学習データ分析部５２は、例えば、式（ｆ－１）と式（ｅ－３）の２式を交互に更新する。
Figure JPOXMLDOC01-appb-M000007
　モデル学習部５３は、学習データ分析部５２が算出した、音響イベントラベルに対応づけられたアクティベーションＨｇを特徴量として、該アクティベーションＨｇと音響イベントラベルとの関係を表す識別モデルを学習する。なお、アクティベーション行列の行数が異なるだけであり、識別モデルの学習方法はモデル学習部１３と同様でよい。
　識別信号分析部５１２は、識別用スペクトログラムＶを入力とし、基底格納部５１１に格納されたグループ基底Ｗｇを教師基底として用いて半教師有りＮＭＦを行い、グループ基底Ｗｇの各スペクトル基底に対する重みにより発現度合いを表すアクティベーションＨｇを算出する。
　識別信号分析部５１２は、例えば、音源分解に用いるスペクトル基底として、分離対象として予め定義された各音源の音に対応するグループ基底行列Ｗｇに、未知の音源の音に対応するグループ基底行列Ｗｕを加えた基底行列Ｗｇｓｅｍｉ［Ｗｇ　Ｗｕ］を用いた半教師有りＮＭＦを用いてもよい。半教師有りＮＭＦの方法は第１の実施形態の識別信号分析部１１２による方法と基本的に同様である。すなわち、Ｗｓｅｍｉ［Ｗｅ　Ｗｕ］およびＨｓｅｍｉ［Ｈｅ　Ｈｕ］がＷｇｓｅｍｉ［Ｗｇ　Ｗｕ］およびＨｇｓｅｍｉ［Ｈｇ　Ｈｕ］に代わっているだけで、半教師有りＮＭＦの方法は基本的に識別信号分析部１１２と同様でよい。ただし、Ｈｇｓｅｍｉの更新において、Ｈｇの各ｈｊ （ｒ）に対して上記の式（ｅ－３）に示すスパース制約が適用される。識別信号分析部５１２は、例えば、式（ａ－２）、式（ａ－３）および式（ｅ－３）の３式を交互に更新することにより、Ｈｇ、ＨｕおよびＷｕを算出する。
　なお、識別信号分析部５１２は、Ｗｕを用いずに、Ｗｇだけを用いて通常の教師有りＮＭＦを行ってＨｇを算出してもよいが、未知の環境下で採取された音響信号から音響イベントを検知する場合には、Ｗｕを用いた半教師有りＮＭＦを用いるのが好ましい。
　以上のように、本実施形態によれば、スペクトル基底をグループ化することにより、音を構成する要素のバリエーションや揺らぎを表現した基底行列を用いて識別用スペクトログラムを分解することができる。このため、識別用スペクトログラムに含まれる音響イベントを構成する周波数パターンが少し異なっていたり揺らぎを含んでいる場合であっても、より高い精度で識別用スペクトログラムを構成する成分を算出することができる。
実施形態６．
　次に、本発明の第６の実施形態を説明する。図１２は、本実施形態の信号処理装置６００の構成例を示すブロック図である。図１２に示す信号処理装置６００は、分布解析部６１と、事前分布格納部６２と、音源分離部６３と、音源再構築部６４とを備える。
　本実施形態の信号処理装置６００は、分離したい各音源の分布生成用スペクトログラムＶ０を入力として事前分布を生成し、音源分離用スペクトログラムＶｍｉｘを入力として、生成された事前分布を制約としたＮＭＦにより音源分離を行う音源分離装置として機能する装置である。
　以下では、音声と環境雑音とが混ざった音響信号を、音声のみの信号である音声信号と環境雑音のみの信号である雑音信号とに分離する場合を例に説明する。
　本実施形態の分布生成用スペクトログラムＶ０は、分離対象の音源のみを含む音響信号から作られたスペクトログラムである。例えば、音響信号を音声信号と環境雑音信号とに分離する場合には、音声信号のスペクトログラムＶ０＿ｓと、環境雑音信号のスペクトログラムＶ０＿ｎとで構成されるスペクトログラムＶ０［Ｖ０＿ｓ　Ｖ０＿ｎ］である。
　一方、音源分離用スペクトログラムＶｍｉｘは，音声と環境雑音とが混ざった音響信号から算出されたスペクトログラムである。
　分布解析部６１は、分布生成用スペクトログラムＶ０を入力として、Ｖ０を構成しているスペクトル基底の事前分布Ｗ０［Ｗ０＿ｓ　Ｗ０＿ｎ］を生成し、事前分布格納部６２に格納する。
　分布解析部６１は、例えば、分布生成用スペクトログラムＶ０に含まれるＶ０＿ｓおよびＶ０＿ｎのそれぞれに対してｋ－ｍｅａｎｓ法を用いて所定個のクラスのクラスタリングを行うことによって事前分布Ｗ０＿ｓおよびＷ０＿ｎを生成してもよい。また、分布解析部１０３は、例えば、Ｖ０＿ｓおよびＶ０＿ｎのそれぞれに対して主成分分析を行い、寄与率の高い主要なスペクトル成分を取り出すことにより事前分布Ｗ０＿ｓおよびＷ０＿ｎを取得してもよい。
　ここで、Ｒｓを音声信号の基底数とし、Ｒｎを環境雑音信号の基底数とすると、Ｗ０は、Ｋ行Ｒｓ列の行列Ｗ０＿ｓと、Ｋ行Ｒｎ列の行列Ｗ０＿ｎとを列方向に連結したＫ行（Ｒｓ＋Ｒｎ）列の行列であってもよい。
　音源分離部６３は、音源分離用スペクトログラムＶｍｉｘを入力とし、事前分布格納部６２に格納された、分離対象とされる各音源に対応する事前分布Ｗ０［Ｗ０＿ｓ　Ｗ０＿ｎ］を制約として用いた制約付きＮＭＦを行い、Ｖｍｉｘを、Ｗｓｅｐａ［Ｗｓ　Ｗｎ］とそのアクティベーションＨｓｅｐａ［Ｈｓ　Ｈｎ］に分解する。
Ｖｍｉｘ≒ＷｓｅｐａＨｓｅｐａ　・・・（ｇ－１）
　式（ｇ－１）は、上記の例の制約付きＮＭＦにおけるＶｍｉｘの近似式である。ここで、Ｗｓｅｐａは、音声信号の基底Ｗｓと環境雑音信号の基底Ｗｎとを列方向に連結させたＫ行（Ｒｓ＋Ｒｎ）列の基底行列である。Ｗｓｅｐａの各列インデックスは、Ｗ０［Ｗ０＿ｓ　Ｗ０＿ｎ］のインデックスに対応したものとなる。また、Ｈｓｅｐａは、基底Ｗｓに対応するアクティベーションＨｓと基底Ｗｓに対応するアクティベーションＨｓとを行方向に連結させた（Ｒｓ＋Ｒｎ）行Ｊｍｉｘ列のアクティベーション行列である。Ｈｓｅｐａの各行インデックスは、Ｗｓｅｐａの列インデックスに対応したものとなる。
　本例の基底ＷｓはＫ行Ｒｓ列の行列であり、ＷｎはＫ行Ｒｎ列の行列である。また、アクティベーションＨｓはＲｓ行Ｊｍｉｘ列の行列であり、ＨｎはＲｓ行Ｊｍｉｘ列の行列である。ここで、Ｊｍｉｘは、音源分離用スペクトログラムＶｍｉｘの時間インデックス数である。
　制約付きＮＭＦには、第３の実施形態の基底信号分析部１０２で用いた制約付きＮＭＦや、第５の実施形態の基底信号分析部５０２で用いた制約付きＮＭＦを用いることができる。
　前者の場合、上記の式（ｄ－２）および式（ｄ－３）におけるＶｂａｓｅ，ＷおよびＨを、Ｖｍｉｘ，ＷｓｅｐａおよびＨｓｅｐａに置き換えればよい。後者の場合、各音源ｉに対応する事前分布に対して学習される基底行列ＷｉおよびそのアクティベーションＨｉが、グループ基底行列Ｗ（ｒ）およびそのアクティベーションＨ（ｒ）となる。このとき、Ｗ０とＷｓｅｐａの間の各音源の基底インデックスの対応付けとして、Ｗ０の列ベクトルのインデックスｒに対して、Ｗｓｅｐａの列ベクトルにはグループ化に対応したインデックスｇｒを用いればよい。
　音源分離部６３は、事前分布を制約として用いた制約付きＮＭＦを行うことにより、通常の制約がないＮＭＦを用いた際に問題となる局所解に陥ることなく、各音源の基底とそのアクティベーションを算出することができる。なお、音源分離部６３は、音源分離の際に、未知の音源に対応する基底をさらに追加した制約付き半教師有りＮＭＦを行ってもよい。その場合、分離対象の音源に対応するスペクトル基底に対しては事前分布を制約として用いて学習させ、未知の音源に対応するスペクトル基底に対しては制約なしで学習させて、音源分離を行ってもよい。
　音源分離部６３は、このようにして得られたＷｓｅｐａ［Ｗｓ　Ｗｎ］、Ｈｓｅｐａ［Ｈｓ　Ｈｎ］を出力する。なお、音源分離部６３は、ＷｓｅｐａおよびＨｓｅｐａをそれぞれ音源ごとに分解した基底行列およびアクティベーション行列を出力してもよい。
　音源再構築部６４は、音源分離部６３から出力される各音源に対応するスペクトル基底を含む基底行列Ｗｓｅｐａとアクティベーション行列Ｈｓｅｐａとを入力とし、各音源の基底インデックスに対応する部分の積をとることで、Ｖｍｉｘに含まれる各音源のスペクトログラムを推定する。音源再構築部６４は、例えば、以下の式（ｇ－２）および式（ｇ－３）に示すように、Ｖｍｉｘに含まれる各音源のスペクトログラムの推定値として、音声信号のスペクトログラムＶｓと、環境雑音信号のスペクトログラムＶｎを算出する。
Ｖｓ＝ＷｓＨｓ　・・・（ｇ－２）
Ｖｎ＝ＷｎＨｎ　・・・（ｇ－３）
　これは、Ｗｓｅｐａ中のＷｓが音声信号のスペクトル成分を表し、Ｈｓｅｐａ中のＨｓが音声信号のスペクトル成分の各時間インデックスにおける発現度合いを表すため、ＷｓとＨｓの成分のみを用いて積をとることで、Ｖｍｉｘのうち音声信号の成分のみに対応するスペクトログラムＶｓを抽出することができるからである。なお、環境雑音信号のスペクトログラムについても同様である。以下、このようにして推定された各音源のスペクトログラムの推定値を、Ｖｓｅｐａ＿ｉと表現する場合がある。ここで、ｉは音源の識別子である。
　音源再構築部６４は、推定された各音源のスペクトログラムＶｓｅｐａ＿ｉをそれぞれ逆フーリエ変換して時系列音響信号とすることにより、分離信号ｘｉ（ｔ）を生成する。
　なお、今回の例では、音声と環境雑音の２種の音源を分離する場合を例に用いて説明したが、例えば、音声と環境雑音と背景音楽など、２種以上の所望の音源に分離することも可能である。その場合、事前分布Ｗ０、基底行列Ｗｓｅｐａ、アクティベーション行列Ｈｓｅｐａは、音源数に応じて各音源に対応する要素を連結させればよい。より具体的には、事前分布Ｗ０は、各音源の事前分布Ｗ０＿ｉを列方向に連結すればよい。また、基底行列Ｗｓｅｐａは、各音源のスペクトル基底行列Ｗｉを列方向に連結すればよい。また、アクティベーション行列Ｈｓｅｐａは、各音源のスペクトル基底行列Ｗｉに対応するアクティベーション行列Ｈｉを行方向に連結すればよい。なお、分離信号は、上述したように、各音源に対応する基底行列Ｗｉとそのアクティベーション行列Ｈｉの積を取ることにより、得られる。
　図１３は、本実施形態の動作の一例を示すフローチャートである。図１３に示す例では、まず分布解析部６１が、分布生成用スペクトログラムＶ０を入力として、Ｖ０を構成している各音源のスペクトル基底の事前分布Ｗ０［Ｗ０＿１，．．．，Ｗ０＿ｉ，．．．］を生成し、事前分布格納部６２に格納する（ステップＳ６０）。
　次いで、音源分離部６３が、音源分離用スペクトログラムＶｍｉｘに対して、各音源に対応する事前分布Ｗ０を制約として用いた制約付きＮＭＦを行い、Ｖｍｉｘを、Ｗｓｅｐａ［Ｗ１，．．．，Ｗｉ，．．．］とそのアクティベーションＨｓｅｐａ［Ｈ１，．．．，Ｈｉ，．．．］に分解する（ステップＳ６１）。
　次いで、音源再構築部６４が、Ｗｓｅｐａ中の指定された音源のスペクトル基底ＷｊとそのアクティベーションＨｊとを用いて、該音源のみの時系列音響信号である分離信号を生成する（ステップＳ６２）。
　以上のように、本実施形態によれば、ＮＭＦで各音源に対応する基底行列Ｗｉを学習する際に、別途入力される分布生成用スペクトログラムＶ０から求まる事前分布Ｗ０＿ｉに近づくような制約を用いることにより、局所解に陥らずに所望の基底行列Ｗ０＿ｉを算出することができる。そのため，より高精度に音源分離ができる。 
　なお、図１２および図１３の例では、分布生成用スペクトログラムＶ０を入力して、分布解析部６１が各音源のスペクトル基底に対応する事前分布を生成する例を示したが、事前分布は予め事前分布格納部６２に格納されていてもよい。その場合、分布解析部６１は省略される。
　なお、上記の各実施形態では、ＮＭＦにおいてすべて基底は時間幅を考えないものとして説明したが、Ｃｏｎｖｏｌｕｔｉｖｅ－ＮＭＦを用いて時間構造を含んだ基底を作ることもできる。
　また、上記の各実施形態は、単体の装置により実現されるだけでなく、複数の機器から構成されるシステムによって実装することも可能である。さらに、上記の各実施形態は、各実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給されることによって実現されてもよい。したがって、上記の各実施形態の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバ等も本発明の範疇に含まれる。特に、少なくとも、上記の各実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
　なお、上記の各実施形態は以下の付記のようにも記載できる。
　（付記１）検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段（例えば、基底格納部１１１，５１１）と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段（例えば、モデル格納部１１３，５１３）と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段（例えば、識別信号分析部１１２，５１２）と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段（例えば、信号識別部１１４，５１４）とを備えたことを特徴とする信号処理装置。
　（付記２）識別信号分析手段は、識別用音響信号のスペクトログラムに対して、音響イベント基底群を表す所定形式の第１基底行列に未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの第２基底行列と、第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とを学習させて、当該スペクトログラムを第３基底行列と第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解することにより、第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出し、信号識別手段は、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する付記１に記載の信号処理装置。
　（付記３）基底生成用のスペクトログラムを入力として音響イベント基底群を生成する基底生成手段（例えば、信号識別部１１４，５１４）と、対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、基底生成手段によって生成された音響イベント基底群を用いて、ラベル付きスペクトログラムから音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段（例えば、学習データ分析部１２およびモデル学習部１３）とを備えた付記１または付記２に記載の信号処理装置。
　（付記４）検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段（例えば、事前分布格納部１０１，５０１）を備え、基底生成手段は、事前分布群に含まれる各事前分布を、対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記３に記載の信号処理装置。
　（付記５）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合である付記１から付記４のうちのいずれかに記載の信号処理装置。
　（付記６）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、モデル学習手段は、対応する音響イベントを示すラベル付きスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解することにより、第１アクティベーション行列を算出して、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として、識別モデルを学習する付記３に記載の信号処理装置。
　（付記７）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記４に記載の信号処理装置。
　（付記８）音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる付記５から付記７のうちのいずれかに記載の信号処理装置。
　（付記９）識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする信号処理方法。
　（付記１０）コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
　（付記１１）検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段と、基底生成用のスペクトログラムを入力として、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する基底生成手段とを備え、基底生成手段は、事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成することを特徴とする信号処理装置。
　（付記１２）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記１１に記載の信号処理装置。
　（付記１３）音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる付記１１に記載の信号処理装置。
　（付記１４）検知対象とされる音響イベントが、特定音源の音の発生であり、分布格納手段は、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納し、特定音源の音のみを含む音響信号のスペクトログラムを入力として、事前分布群を生成する分布解析手段と、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、基底生成手段によって生成された音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行う音源分離手段と、音源分離の結果得られる、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する音源再構築手段とを備えた付記１１から付記１３のうちのいずれかに記載の信号処理装置。
　（付記１５）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成し、音源分離手段は、音源分離用音響信号のスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解する付記１４に記載の信号処理装置。
　（付記１６）音源分離手段は、音源分離用音響信号のスペクトログラムに対して、音響イベント基底群に特定音源以外の音に対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの音響イベント基底群のスペクトル基底は事前分布群に含まれる各事前分布を制約として用いて学習させ、未知のスペクトル基底は制約なしで学習させて音源分離を行う付記１４または付記１５に記載の信号処理装置。
　（付記１７）基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成することを特徴とする信号処理方法。
　（付記１８）コンピュータに、基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
　（付記１９）特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成し、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成し、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出し、算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成することを特徴とする信号処理方法。
　（付記２０）コンピュータに、特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成する処理、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成する処理、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出する処理、および算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
　以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１６年６月１６日に出願された日本出願特願２０１６－１２０１２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、音の発生を伴う所定の物理イベントの発生を検知する用途や、未知の環境下において採取された音源信号から所定の音源の音を分離する用途にも好適に適用可能である。
　１００、１１０、２００、４００、５００、６００　信号処理装置
　１０、４０、５０　基底生成部
　１０１、５０１　事前分布格納部
　１０２、５０２　基底信号分析部
　１０３、５０３　分布解析部
　１１、５１　音響イベント識別部
　１１１、５１１　基底格納部
　１１２、５１２　識別信号分析部
　１１３、５１３　モデル格納部
　１１４、５１４　信号識別部
　１２、５２　学習データ分析部
　１３、５３　モデル学習部
　６１　分布解析部
　６２　事前分布格納部
　６３　音源分離部
　６４　音源再構築部

Claims (20)

  1. 検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段とを備えたことを特徴とする信号処理装置。
  2. 識別信号分析手段は、識別用音響信号のスペクトログラムに対して、音響イベント基底群を表す所定形式の第１基底行列に未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの第２基底行列と、第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とを学習させて、当該スペクトログラムを第３基底行列と第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解することにより、第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出し、信号識別手段は、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する請求項１に記載の信号処理装置。
  3. 基底生成用のスペクトログラムを入力として音響イベント基底群を生成する基底生成手段と、対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、基底生成手段によって生成された音響イベント基底群を用いて、ラベル付きスペクトログラムから音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段とを備えた請求項１または２に記載の信号処理装置。
  4. 検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段を備え、基底生成手段は、事前分布群に含まれる各事前分布を、対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項３に記載の信号処理装置。
  5. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合である請求項１から４のうちのいずれかに記載の信号処理装置。
  6. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、モデル学習手段は、対応する音響イベントを示すラベル付きスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解することにより、第１アクティベーション行列を算出して、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として、識別モデルを学習する請求項３に記載の信号処理装置。
  7. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項４に記載の信号処理装置。
  8. 音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる請求項５から７のうちのいずれかに記載の信号処理装置。
  9. 識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする信号処理方法。
  10. コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
  11. 検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段と、基底生成用のスペクトログラムを入力として、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する基底生成手段とを備え、基底生成手段は、事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成することを特徴とする信号処理装置。
  12. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項１１に記載の信号処理装置。
  13. 音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる請求項１１に記載の信号処理装置。
  14. 検知対象とされる音響イベントが、特定音源の音の発生であり、分布格納手段は、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納し、特定音源の音のみを含む音響信号のスペクトログラムを入力として、事前分布群を生成する分布解析手段と、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、基底生成手段によって生成された音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行う音源分離手段と、音源分離の結果得られる、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する音源再構築手段とを備えた請求項１１から１３のうちのいずれかに記載の信号処理装置。
  15. 音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成し、音源分離手段は、音源分離用音響信号のスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解する請求項１４に記載の信号処理装置。
  16. 音源分離手段は、音源分離用音響信号のスペクトログラムに対して、音響イベント基底群に特定音源以外の音に対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの音響イベント基底群のスペクトル基底は事前分布群に含まれる各事前分布を制約として用いて学習させ、未知のスペクトル基底は制約なしで学習させて音源分離を行う請求項１４または１５に記載の信号処理装置。
  17. 基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成することを特徴とする信号処理方法。
  18. コンピュータに、基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
  19. 特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成し、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成し、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出し、算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成することを特徴とする信号処理方法。
  20. コンピュータに、特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成する処理、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成する処理、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出する処理、および算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
PCT/JP2017/021826 2016-06-16 2017-06-13 信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体 WO2017217412A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018523934A JP7006592B2 (ja) 2016-06-16 2017-06-13 信号処理装置、信号処理方法および信号処理プログラム
US16/309,521 US10817719B2 (en) 2016-06-16 2017-06-13 Signal processing device, signal processing method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016120126 2016-06-16
JP2016-120126 2016-06-16

Publications (1)

Publication Number Publication Date
WO2017217412A1 true WO2017217412A1 (ja) 2017-12-21

Family

ID=60664612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021826 WO2017217412A1 (ja) 2016-06-16 2017-06-13 信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体

Country Status (3)

Country Link
US (1) US10817719B2 (ja)
JP (1) JP7006592B2 (ja)
WO (1) WO2017217412A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199749A (zh) * 2018-11-20 2020-05-26 松下电器（美国）知识产权公司 行为识别方法、装置，机器学习方法、装置以及记录介质
CN111356508A (zh) * 2018-10-31 2020-06-30 深圳市大疆创新科技有限公司 撞击物识别方法、系统及存储介质
CN111933113A (zh) * 2020-09-29 2020-11-13 北京捷通华声科技股份有限公司 一种语音识别的方法、装置、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11798564B2 (en) * 2019-06-28 2023-10-24 Nec Corporation Spoofing detection apparatus, spoofing detection method, and computer-readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163918A (ja) * 2011-02-09 2012-08-30 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム
JP2013142870A (ja) * 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 特定状況モデルデータベース作成装置とその方法と、特定要素音モデルデータベース作成装置と状況推定装置と発呼適否通知装置とプログラム
WO2014079484A1 (en) * 2012-11-21 2014-05-30 Huawei Technologies Co., Ltd. Method for determining a dictionary of base components from an audio signal

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8694306B1 (en) * 2012-05-04 2014-04-08 Kaonyx Labs LLC Systems and methods for source signal separation
US10497381B2 (en) * 2012-05-04 2019-12-03 Xmos Inc. Methods and systems for improved measurement, entity and parameter estimation, and path propagation effect measurement and mitigation in source signal separation
US9183849B2 (en) * 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
JP2014164126A (ja) 2013-02-25 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> 音響信号分析方法、装置、及びプログラム
JP6085538B2 (ja) * 2013-09-02 2017-02-22 本田技研工業株式会社 音響認識装置、音響認識方法、及び音響認識プログラム
JP6195548B2 (ja) 2014-08-19 2017-09-13 日本電信電話株式会社 信号解析装置、方法、及びプログラム
EP3093846A1 (en) * 2015-05-12 2016-11-16 Nxp B.V. Accoustic context recognition using local binary pattern method and apparatus
US9805739B2 (en) * 2015-05-15 2017-10-31 Google Inc. Sound event detection
US9368110B1 (en) * 2015-07-07 2016-06-14 Mitsubishi Electric Research Laboratories, Inc. Method for distinguishing components of an acoustic signal
JP6747447B2 (ja) * 2015-09-16 2020-08-26 日本電気株式会社 信号検知装置、信号検知方法、および信号検知プログラム
US10014003B2 (en) * 2015-10-12 2018-07-03 Gwangju Institute Of Science And Technology Sound detection method for recognizing hazard situation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012163918A (ja) * 2011-02-09 2012-08-30 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム
JP2013142870A (ja) * 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 特定状況モデルデータベース作成装置とその方法と、特定要素音モデルデータベース作成装置と状況推定装置と発呼適否通知装置とプログラム
WO2014079484A1 (en) * 2012-11-21 2014-05-30 Huawei Technologies Co., Ltd. Method for determining a dictionary of base components from an audio signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TATSUYA KOMATSU ET AL.: "ACOUSTIC EVENT DETECTION BASED ON NON-NEGATIVE MATRIX FACTORIZATION WITH MIXTURES OF LOCAL DICTIONARIES AND ACTIVATION AGGREGATION", PROC. ICASSP 2016, IEEE, March 2016 (2016-03-01), pages 2259 - 2263, XP032901005 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111356508A (zh) * 2018-10-31 2020-06-30 深圳市大疆创新科技有限公司 撞击物识别方法、系统及存储介质
CN111199749A (zh) * 2018-11-20 2020-05-26 松下电器（美国）知识产权公司 行为识别方法、装置，机器学习方法、装置以及记录介质
JP2020086023A (ja) * 2018-11-20 2020-06-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラム
US11501209B2 (en) 2018-11-20 2022-11-15 Panasonic Intellectual Property Corporation Of America Behavior identification method, behavior identification device, non-transitory computer-readable recording medium recording therein behavior identification program, machine learning method, machine learning device, and non-transitory computer-readable recording medium recording therein machine learning program
JP7266390B2 (ja) 2018-11-20 2023-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラム
CN111199749B (zh) * 2018-11-20 2024-05-24 松下电器（美国）知识产权公司 行为识别方法、装置，机器学习方法、装置以及记录介质
CN111933113A (zh) * 2020-09-29 2020-11-13 北京捷通华声科技股份有限公司 一种语音识别的方法、装置、设备及介质

Also Published As

Publication number Publication date
JP7006592B2 (ja) 2022-01-24
US10817719B2 (en) 2020-10-27
JPWO2017217412A1 (ja) 2019-04-18
US20190188468A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
WO2017217412A1 (ja) 信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体
US10832685B2 (en) Speech processing device, speech processing method, and computer program product
Benetos et al. Detection of overlapping acoustic events using a temporally-constrained probabilistic model
WO2017217396A1 (ja) 信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体
CN110349597B (zh) 一种语音检测方法及装置
JP6747447B2 (ja) 信号検知装置、信号検知方法、および信号検知プログラム
CN102362282A (zh) 信号识别方法及信号识别装置
EP3267438B1 (en) Speaker authentication with artificial neural networks
US10431191B2 (en) Method and apparatus for analyzing characteristics of music information
CN111488486A (zh) 一种基于多音源分离的电子音乐分类方法及系统
Yang et al. Highlighting root notes in chord recognition using cepstral features and multi-task learning
CN111724810A (zh) 一种音频分类方法和装置
JP6499095B2 (ja) 信号処理方法、信号処理装置及び信号処理プログラム
CN113380268A (zh) 模型训练的方法、装置和语音信号的处理方法、装置
US11200882B2 (en) Signal processing device, signal processing method, and storage medium for storing program
JP2021197164A (ja) 情報処理装置、情報処理方法及びコンピュータ可読記憶媒体
US20210224580A1 (en) Signal processing device, signal processing method, and storage medium for storing program
CN111522750A (zh) 一种功能测试问题的处理方法及系统
Xie et al. Acoustic features for multi-level classification of Australian frogs
Jadhav et al. Transfer Learning for Audio Waveform to Guitar Chord Spectrograms Using the Convolution Neural Network
CN117975994B (zh) 嗓音数据的质量分类方法、装置以及计算机设备
Grigore et al. Self-organizing maps for identifying impaired speech
JP2010197596A (ja) 信号解析装置、信号解析方法、プログラム、及び記録媒体
JP2019008640A (ja) 類似度計算装置及び類似度計算方法
US20240202216A1 (en) Extraction machine learning framework

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17813308

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018523934

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17813308

Country of ref document: EP

Kind code of ref document: A1