WO2021192433A1 - コンピュータにより実現される方法、処理システム、及び記憶媒体 - Google Patents

コンピュータにより実現される方法、処理システム、及び記憶媒体 Download PDF

Info

Publication number
WO2021192433A1
WO2021192433A1 PCT/JP2020/045672 JP2020045672W WO2021192433A1 WO 2021192433 A1 WO2021192433 A1 WO 2021192433A1 JP 2020045672 W JP2020045672 W JP 2020045672W WO 2021192433 A1 WO2021192433 A1 WO 2021192433A1
Authority
WO
WIPO (PCT)
Prior art keywords
convolution
spectrogram
data
feature data
sound
Prior art date
Application number
PCT/JP2020/045672
Other languages
English (en)
French (fr)
Inventor
祐 高橋
徹郎 大竹
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2021192433A1 publication Critical patent/WO2021192433A1/ja
Priority to US17/949,717 priority Critical patent/US20230016242A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Definitions

  • the present invention relates to a method, a processing system, and a storage medium realized by a computer.
  • Non-Patent Document 1 describes a technique for obtaining two-dimensional feature data by repeatedly performing two-dimensional convolution on a spectrogram of a sound signal in which a plurality of sounds are mixed.
  • a mask for separating a predetermined sound from a mixed sound of a plurality of sounds is generated based on two-dimensional feature data.
  • Non-Patent Document 1 only the local information of the spectrogram is considered at the time of convolution. For example, since a voice having a harmonic structure up to a high frequency has characteristic information in a wide range in the frequency direction, it is not possible to accurately obtain the characteristic data of the voice even if only the local information is considered.
  • Features that efficiently represent the features of the spectrogram because it is necessary to deepen the layer of the training model or use a large filter in order to obtain accurate feature data in consideration of the features distributed throughout the spectrogram. I can't get the data.
  • the present invention has been made in view of the above problems, and an object of the present invention is to obtain feature data that efficiently expresses the features of a spectrogram of a sound signal.
  • a method realized by a computer acquires a spectrogram of a sound signal, performs a first convolution on the spectrogram at a predetermined width on a frequency axis or a time axis, and then performs a first convolution.
  • the results of the first convolution performed for each predetermined width are combined to obtain one-dimensional first feature data, and the first feature data is subjected to at least one second convolution.
  • the processing system is a processing system including one or more processors and one or more memories, and by executing a program stored in the one or more memories, the one or more processors can be used.
  • a spectrogram of a sound signal is acquired, the spectrogram is first convoluted for each predetermined width on the frequency axis or the time axis, and the results of the first convolution performed for each predetermined width are combined to form a one-dimensional data.
  • the first feature data of the above is obtained, and the first feature data is subjected to at least one second convolution to obtain a one-dimensional second feature data showing the features of the spectrogram.
  • the storage medium according to the present invention is one or more storage media for storing a program that can be read by a computer, and the program acquires a spectrogram of a sound signal from one or more processors and has a frequency with respect to the spectrogram.
  • the first convolution is performed for each predetermined width on the axis or the time axis, and the results of the first convolution performed for each predetermined width are combined to obtain one-dimensional first feature data, and the first feature data is obtained.
  • the second convolution is performed at least once to obtain the one-dimensional second feature data indicating the feature of the spectrogram, and the operation is performed.
  • FIG. 1 is a diagram showing an example of a processing device according to an embodiment.
  • the processing device 10 is a digital mixer, a signal processing engine, an audio device, an electronic musical instrument, an effector, a personal computer, a smartphone, or a tablet terminal.
  • the processing device 10 is connected to the CPU 11, the non-volatile memory 12, the RAM 13, the operation unit 14, the display unit 15, the input unit 16, and the speaker 17.
  • the CPU 11 includes at least one processor. It is not limited to a plurality of processors in one chip, and may be a plurality of processors distributed in a plurality of devices connected by a network or the like.
  • the CPU 11 executes a predetermined process based on the program and data stored in the non-volatile memory 12.
  • the non-volatile memory 12 is a memory such as a ROM, EEPROM, a flash memory, or a hard disk.
  • the RAM 13 is an example of a volatile memory.
  • the operation unit 14 is an input device such as a touch panel, a keyboard, a mouse, a button, or a lever.
  • the display unit 15 is a display such as a liquid crystal display or an organic EL display.
  • the input unit 16 acquires a sound signal.
  • a sound signal is a signal indicating sound.
  • An acoustic signal or an audio signal is a type of sound signal. Sound is not limited to human voice.
  • the sound signal may be any sound.
  • the sound signal may represent the sound of a non-human animal, music, sound contained in a moving image, sound of a machine, sound of a vehicle, sound of a natural phenomenon, or a sound obtained by mixing at least two of these.
  • the sound signal is a digital signal will be described.
  • the sound signal may be an analog signal.
  • the input unit 16 converts a digital sound signal into an analog sound signal and inputs it to the speaker 17.
  • the speaker 17 outputs a sound corresponding to the input analog sound signal.
  • obtaining means obtaining as a result of processing.
  • the processing device 10 since the feature data described later is obtained as a result of processing by the learning model described later, the processing device 10 "obtains” the feature data.
  • Get can also be rephrased as creating, defining, or generating.
  • acquire means to receive.
  • the processing device 10 since the spectrogram of the sound signal is received from the non-volatile memory 12, the processing device 10 acquires the spectrogram.
  • Acquire can be paraphrased as receiving. In this embodiment, “obtain” and “acquire” are used properly in this way.
  • the hardware configuration of the processing device 10 is not limited to the above example.
  • the processing device 10 may include a communication interface for wired communication or wireless communication.
  • the processing device 10 may include a reading device (for example, an optical disk drive or a memory card slot) that reads a computer-readable information storage medium.
  • the processing device 10 may include an input / output terminal (for example, a USB port) for inputting / outputting data.
  • the programs and data described as being stored in the non-volatile memory 12 in the present embodiment may be supplied to the processing device 10 via a communication interface, a reading device, or an input / output terminal.
  • FIG. 2 is a block diagram showing an example of the functions realized by the processing device 10.
  • the function realized by the processing device 10 will be described by taking a process of separating sounds as an example.
  • the processing device 10 may execute a process other than the process of separating sounds.
  • the data storage unit 100, the first acquisition unit 101, the first convolution unit 102, the synthesis unit 103, the second convolution unit 104, the deconvolution unit 105, the separation unit 106, and the adjustment unit Part 107 is realized.
  • the data storage unit 100 is mainly realized by the non-volatile memory 12, and each of the other functions is mainly realized by the CPU 11.
  • the data storage unit 100 stores data necessary for executing the process described in this embodiment.
  • a spectrogram of a sound signal, training data, and a learning model will be described as an example of this data.
  • FIG. 3 is a diagram showing an example of a spectrogram of a sound signal.
  • the spectrogram SG is obtained by converting a sound signal in the time domain into a frequency domain by using a short-time Fourier transform, a bandpass filter, or the like.
  • the spectrogram to be processed for sound separation is designated by the symbol "SG”.
  • Spectrograms and the like included in the training data are not marked with "SG".
  • the spectrogram SG is two-dimensional data.
  • the horizontal axis is the time axis.
  • the vertical axis is the frequency axis.
  • the spectrogram SG is represented in a two-dimensional format.
  • the data in the two-dimensional format may be image data.
  • Each value of the spectrogram SG indicates the intensity (amplitude) of each frequency component in the corresponding frame.
  • the color of each pixel is schematically represented by the density of halftone dots.
  • the brightness of a pixel color indicates the strength of a sound signal having a frequency at a time corresponding to the pixel.
  • the intensity of color and frequency is not limited to this relationship, and may have any relationship.
  • the size of the data used for one processing of the spectrogram SG is 100 ⁇ 2000, but this size (number of bins and number of frames) may be arbitrary.
  • "X x Y" (X and Y are natural numbers) is described in this embodiment, this description represents the size of the data. For example, X is the number of data on the frequency axis and Y is the number of data on the time axis.
  • the spectrogram SG is not limited to the example shown in FIG.
  • the spectrogram SG may be in any form.
  • the spectrogram SG may be on a logarithmic scale instead of a linear scale.
  • the spectrogram SG of the present embodiment is calculated from a sound signal in which a plurality of sounds including a predetermined sound are mixed.
  • the predetermined sound is a sound to be separated.
  • the predetermined sound may be a single sound (solo signal) or a plurality of sounds (mixed signal).
  • a predetermined sound may be a human voice and other sounds may be the sound of a musical instrument.
  • the spectrogram SG shows a sound signal in which human voice and musical instrument sound are mixed.
  • the data storage unit 100 stores training data in machine learning or deep learning.
  • Machine learning or deep learning itself can utilize various techniques in image and audio processing.
  • a convolutional neural network is taken as an example.
  • a method called U-Net for extracting a specific region from an image, or a method of Non-Patent Document 1 using U-net may be used.
  • the method of the present embodiment has a slightly similar framework as compared with the conventional method, but the specific processing is fundamentally different.
  • the training data is used to train the learning model (adjustment of variables).
  • Training data is a pair of input and output (correct answer).
  • the training data is a pair of data in the same format as the data input to the learning model and the data that is the correct answer to be output by the learning model.
  • the training data means one pair.
  • the data storage unit 100 stores a plurality of training data having different contents from each other.
  • the training data includes a spectrogram of a sound signal in which a plurality of sounds are mixed as an input, and a spectrogram of a predetermined sound signal included in the plurality of sounds as an output.
  • This spectrogram has the same format as the spectrogram SG (spectrogram SG to be separated) input to the learning model.
  • This predetermined sound is expressed in the same format as the data output by the learning model.
  • the spectrogram of the sound signal included in the training data is two-dimensional data.
  • one axis is the frequency axis and the other axis is the time axis.
  • the training data is prepared by the user of the processing device 10.
  • the user records a predetermined sound to be separated and another sound separately.
  • the user mixes a predetermined sound recorded with another sound, obtains a mixed sound, and converts the mixed sound into data in the frequency domain to obtain a spectrogram.
  • the user creates a pair in which this spectrogram is used as an input and a predetermined sound recorded first is output (correct answer) as training data.
  • the user performs the same work for various sounds and creates a plurality of training data (data sets).
  • the data storage unit 100 stores the learning model.
  • the learning model is trained by supervised learning.
  • the learning model includes a multi-layer encoder and a multi-layer decoder.
  • the encoder and the decoder of the same layer are skip-connected will be described, but the skip connection may be omitted.
  • the encoder includes a plurality of convolution layers and one or more pooling layers.
  • the decoder includes a plurality of deconvolution layers and one or more upsampling layers corresponding to each layer of the encoder. These layers are convolutional neural networks.
  • the learning model contains variables such as the convolution coefficient. Filter coefficients and biases are examples of variables.
  • the data storage unit 100 stores the learning model before learning.
  • the learning model before learning is a learning model before variables are adjusted by the adjustment unit 107 described later.
  • the learning model in which the variables are adjusted is stored in the data storage unit 100 as a learned model.
  • the variables of the trained model are updated by the additional training.
  • FIG. 4 is a diagram showing the overall flow of processing executed by the learning model.
  • FIG. 5 is a diagram showing a process of processing a sliced two-dimensional spectrogram to obtain one-dimensional data.
  • FIG. 6 is a diagram showing a process of processing one-dimensional data to obtain two-dimensional data.
  • the first convolution unit 102 to the second convolution unit 104 are encoders, and the deconvolution unit 105 is a decoder.
  • the first acquisition unit 101 acquires the spectrogram SG of the sound signal. If the sound signal is longer than 2000 frames, it is divided into spectrograms every 2000 frames and the processing is executed. In this case, multiple spectrograms may be used to train the learning model for the separation of the same sound signal.
  • the processing device 10 calculates the frequency spectrum of the sound signal based on a known algorithm to generate the spectrogram SG.
  • the sound signal is stored in the data storage unit 100, an external device, or an external information storage medium.
  • the processing device 10 may convert the sound signal input from the input unit 16 into digital data to generate the spectrogram SG.
  • the first convolution unit 102 performs the first convolution of the spectrogram SG by a filter having the same width for each predetermined width on the frequency axis or the time axis.
  • the predetermined width is a width having a certain length on the frequency axis or the time axis.
  • the predetermined width may match the resolution of the frequency axis or the time axis, or may be a width that is an integral multiple of the resolution.
  • the spectrogram SG is expressed in a two-dimensional format, and the predetermined width is a width of at least one resolution.
  • the predetermined width and the number of dimensions of the first feature data (result of convolution) described later are mutually independent values.
  • the first convolution unit 102 performs the first convolution with respect to the spectrogram SG at each predetermined width on the frequency axis.
  • the predetermined width is the width of one frequency bin.
  • One frequency bin is the resolution of the frequency in the spectrogram SG.
  • the first convolution unit 102 may perform the first convolution every two frequency bins or every three frequency bins.
  • the first convolution is the convolution performed in the first convolution layer (first stage convolution layer) in the encoder.
  • the first convolution and the synthesis immediately after that are performed for, for example, 48 channels.
  • the second convolution which will be described later, is a convolution performed by a plurality of convolution layers after the convolution layer of the first convolution. These convolutions are part of the processing performed by the learning model.
  • a filter having a length in the time axis direction longer than the width in the frequency axis direction is used.
  • a 1x100 size filter is used.
  • the filter may have other sizes, for example, the width on the time axis may be tens to hundreds times or more the length on the frequency axis.
  • the number of filters may be any number. For example, the same number of filters as the number of components (for example, the number of bins) of the spectrogram SG are prepared.
  • the two-dimensional spectrogram SG is regarded as a group of signals having a predetermined width in which signals having a predetermined width (for example, 1 bin) exist by the number of data divided by the predetermined width (for example, the total number of frequency bins / 1).
  • signals having a predetermined width for example, 1 bin
  • the spectrogram SG is sliced by a predetermined width in the frequency direction.
  • each one-dimensional signal is indicated by a code of sg1 to sg100.
  • the first convolution unit 102 performs the first convolution on the spectrogram SG for a plurality of channels with a filter having a predetermined width and a predetermined length (for example, 100 frames) for each predetermined width (for example, 1 bin). That is, the width at which the spectrogram SG is sliced and the width of the filter are the same. In the present embodiment, filters are independently prepared for each width of a predetermined length. The first convolution unit 102 convolves the spectrogram SG with a corresponding filter for each width of a predetermined length.
  • the first convolution unit 102 convolves a one-dimensional filter for each of the one-dimensional signals sg1 to sg100.
  • the one-dimensional signal in the first row is first convolved with a 1 ⁇ 100 filter for the first row.
  • the first convolution of the one-dimensional signal in the second row is performed by the 1 ⁇ 100 filter for the second row.
  • the filters in each column have their own coefficients.
  • the compositing unit 103 which will be described later, combines the convolution results to obtain 1 ⁇ 2000 data d1.
  • the stride width of the filter is 1.
  • the filter is not prepared for each one-dimensional signal (one frequency bin), but may be common to a plurality of one-dimensional signals. For example, one filter common to all one-dimensional signals may be prepared.
  • the synthesizing unit 103 obtains one-dimensional first feature data D1 by combining a number of data obtained by dividing the total width obtained by the first convolution performed for each predetermined width by a predetermined width. ..
  • each 1 ⁇ 2000 data in which each of the one-dimensional signals sg1 to sg100 is convolved by a 1 ⁇ 100 filter is the result of the first convolution.
  • Combining the results of the first convolution means combining the individual results into a single piece of data.
  • combining the results of the first convolution means combining, synthesizing, or accumulating individual 1x2000 data to obtain one data of the same size.
  • the above 100 pieces of data (data having a size of 1 ⁇ 2000) are added and combined to obtain the first feature data D1 of 1 ⁇ 2000 by combining the results of the first convolution.
  • the above 100 pieces of data data having a size of 1 ⁇ 2000
  • the one-dimensional first feature data D1 is feature data having one number of data on the frequency axis or the time axis. For example, the first convolution is performed for each frequency bin, and one-dimensional data corresponding to the number of data on the time axis is obtained.
  • the feature data is data showing the features of the sound signal indicated by the spectrogram SG.
  • the feature data is the data obtained by at least one convolution.
  • the first feature data D1 has a size of 1 ⁇ 1000
  • the first feature data D1 includes 1000 feature quantities.
  • the feature data is sometimes called a feature map in the case of mainly two-dimensional data.
  • the features between frequency bins are combined into one.
  • first feature data D1 having a size of 1 ⁇ 2000 are obtained.
  • the second convolution unit 104 which will be described later, convolves a one-dimensional filter with the first feature data D1, obtains the second feature data D2-1 (size is 1 ⁇ 2000) for 48 channels, pools the data, and performs 48 channels.
  • the second feature data D2-2 of 1 ⁇ 1000 is obtained.
  • the synthesis unit 103 calculates the sum of the results of the first convolution to obtain the first feature data D1.
  • the first feature data D1 may be a sum given a predetermined weight, not a simple sum of the results of the first convolution.
  • the first feature data D1 may be obtained by substituting the result of the first convolution into a calculation formula including a formula other than the sum.
  • the second convolution unit 104 performs at least one second convolution on the first feature data D1 to encode the first feature data D1 and obtains the one-dimensional second feature data D2 showing the features of the spectrogram SG. obtain.
  • the second feature data D2 any of data D2-1 to data D2-6 obtained in each layer of the second convolution may be used.
  • the second feature data D2 may be synthesized from the data obtained in any two or more layers.
  • the second convolution is a convolution performed after the first convolution. In this embodiment, it is assumed that the second convolution has padding and the data size is maintained before and after the convolution. There is no particular padding, and the size may be reduced to some extent.
  • the second convolution is a one-dimensional convolution with respect to the one-dimensional data.
  • the second convolution unit 104 performs at least one second convolution and pooling on the first feature data D1 to obtain the second feature data D2 (any of the data D2-1 to D2-6). obtain.
  • the pooling is a pooling performed by a pooling layer arranged immediately after a predetermined convolution layer in the second convolution.
  • the second convolution unit 104 performs the second convolution of 48 channels in the first layer with respect to the first feature data D1 of 1 ⁇ 1000 for 48 channels, and 48 channels.
  • the data D2-1 of 1 / ⁇ 2000 is obtained, the size of the data D2-1 is reduced by pooling, and the data D2-2 of 1 ⁇ 1000 of 48 channels is obtained.
  • the second convolution unit 104 performs the second convolution in the second layer with respect to the data D2-2 to obtain data D2-3 of 1 ⁇ 1000 for 96 channels.
  • the second convolution unit 104 performs the second convolution in the third layer with respect to the data D2-3 to obtain 1 ⁇ 1000 data D2-4 for 96 channels.
  • the second convolution unit 104 reduces the size of the data D2-4 by pooling to obtain data D2-5 of 1 ⁇ 500 for 96 channels.
  • the second convolution unit 104 performs the second convolution in the fourth layer with respect to the data D2-5 to obtain 1 ⁇ 500 data D2-6 for 192 channels.
  • the second convolution unit 104 since the second convolution is performed by the one-dimensional filter, the second convolution unit 104 performs at least one second convolution and pooling with the one-dimensional filter on the first feature data D1.
  • the second feature data D2 is obtained.
  • a filter of any size can be used.
  • a filter long in the time axis direction (a filter having a longer time axis width than a frequency axis width) is used.
  • a 1x100 size filter is used.
  • the number of channels may be any number.
  • the deconvolution unit 105 performs deconvolution at least once with respect to the second feature data D2 to obtain a mask M for separating a predetermined sound.
  • Deconvolution is a process performed in the deconvolution layer in a convolutional neural network. It is assumed that the deconvolution layer exists in a one-to-one correspondence with the convolution layer of the encoder. For example, Ta D2-6 is used as the second feature data.
  • the skip connection from the second convolution of the first layer and the skip connection from the second convolution of the third layer in FIG. 4 may be regarded as the second feature data.
  • the deconvolution unit 105 performs deconvolution corresponding to the second convolution of the fourth layer on the data D2-6 for 192 channels, and data D3 of 1 ⁇ 500 for 192 channels. Get -6.
  • the deconvolution unit 105 simultaneously performs upsampling to obtain 1 ⁇ 1000 data D3-5 for 192 channels. Upsampling is realized by the stride at the time of deconvolution in the immediately preceding stage, and is also called amplifiering.
  • the deconvolution unit 105 performs deconvolution corresponding to the second convolution of the third layer with respect to the data D3-5 for 192 channels, and obtains 1 ⁇ 1000 data D3-4 for 96 channels.
  • the deconvolution unit 105 performs deconvolution corresponding to the second convolution of the second layer on the data D3-4 for 96 channels to obtain the data D3-3.
  • the deconvolution unit 105 simultaneously performs upsampling in the calculation process of the data D3-3 to obtain 1 ⁇ 2000 data D3-2 for 96 channels.
  • the deconvolution unit 105 performs deconvolution corresponding to the second convolution of the first layer with respect to the data D3-2 for 96 channels to obtain 1 ⁇ 2000 data D3-1 for 48 channels.
  • the deconvolution unit 105 uses a filter for each frequency bin (size is, for example, 100 ⁇ 100) for each of the 48 channels of data D3-1 to perform 1D / 2D conversion.
  • the convolution is performed to obtain the data D4, and the conversion operation is further performed to obtain the mask M.
  • This conversion operation may be a full combination or a convolution. Alternatively, weighting for each individual data may be used.
  • the mask M is data that can identify the sound to be separated.
  • the mask M can also be regarded as a time-varying filter for acoustic signal processing.
  • the data D4 and the mask M are data of the same size as the spectrogram SG.
  • the sound to be separated (sound to be transmitted) is expressed by the color of each data in the mask M.
  • the sound to be separated is a component of the predetermined sound described above.
  • the sounds that should not be separated are the other sounds mentioned above.
  • black may mean a sound that should be separated
  • white may mean a sound that should not be separated.
  • the degree of separation may be represented by color. The degree of separation is the probability or probability that the sound should be separated. For example, when the mask M has 256 steps, if the probability that a certain bin at a certain time is a predetermined sound component is 50%, the value is expressed by an intermediate value such as 128.
  • the deconvolution may be performed by adding the data obtained in the corresponding convolution layer to the input data of each layer.
  • the skip connection used in U-Net, RESNET, and the like is used. Either concatenation or summation may be used for this skip connection.
  • the skip connection feeds the result of the second convolution of one layer to the input of the deconvolution of the same layer.
  • information lost in processing below a layer of the encoder can be recovered and used in that layer of the decoder.
  • the output D2-1 of the second convolution of the first layer is skip-connected to the input of the deconvolution of the first layer.
  • the output D2-4 of the second convolution of the third layer is skip-connected to the input of the deconvolution of the third layer.
  • the output D1 of the first convolution and composition (2D / 1D conversion) is skip-connected to the input of the deconvolution that also serves as 1D / 2D conversion.
  • the separation unit 106 applies the mask M to the spectrogram SG to separate the predetermined sound from the plurality of sounds. Applying the mask M means using the mask M to separate the sounds.
  • the separation unit 106 uses the mask M to separate a part of the plurality of sound components shown in the spectrogram SG as a predetermined sound. For example, the separation unit 106 separates a predetermined sound from the mixed sounds of a plurality of sounds by multiplying the spectrogram SG by the mask M.
  • the separated sounds are represented as spectrogram PS.
  • the spectrogram PS obtained by the separation unit 106 is converted into a sound signal and recorded in the data storage unit 100.
  • the adjusting unit 107 adjusts the variables used for the first convolution, the second convolution, and the deconvolution by a machine learning method. These variables are variables determined by iteratively adjusting so that the specific sound of the training data is separated from the spectrogram SG of the training data by the method described in this embodiment.
  • the adjustment unit 107 adjusts the variables of the training model before training so that the relationship between the input and the output included in the training data can be obtained. For example, the details of the processing of the adjusting unit 107 are the processing of FIG. 7 which will be described later.
  • FIG. 7 is a flow chart showing an example of the adjustment process. This adjustment process (training) using one or more pairs is repeated until the loss of the learning model clears a predetermined criterion. As shown in FIG. 7, the CPU 11 acquires a pair of a spectrogram of a mixed signal and a spectrogram of a solo signal from a data set of training data stored in the non-volatile memory 12 (S100). When a plurality of pairs are stored in the non-volatile memory 12, the CPU 11 sequentially acquires the plurality of pairs.
  • the CPU 11 inputs the spectrogram of the mixed signal included in the pair acquired in S100 into the current learning model (learning model before adjusting the variables) to estimate the mask M (S101).
  • the spectrogram of the mixed signal is input to the learning model, a series of processes described with reference to FIG. 4 (processes similar to the separation process described later) are executed.
  • the training model performs the first convolution to obtain the first feature data D1 of the spectrogram of the mixed signal.
  • the learning model performs at least one second convolution on the first feature data D1 to obtain the second feature data D2 of the spectrogram of the mixed signal.
  • the learning model estimates the mask M by performing at least one deconvolution on the second feature data D2.
  • the CPU 11 applies the mask M to the spectrogram of the mixed signal to obtain the spectrogram of the separated signal (S102).
  • the spectrogram of the separation signal obtained in S102 is a spectrogram obtained by the current learning model. This spectrogram is used to evaluate the performance of the current learning model in the subsequent processing of S103.
  • the CPU 11 compares the spectrogram of the separated signal with the spectrogram of the solo signal to obtain the loss of the learning model (S103).
  • the loss the L1 norm may be used as in Non-Patent Document 1, or another L2 norm or the like may be used.
  • the loss is information that is an index of the performance of the learning model. In other words, the loss is information that corresponds to the difference between the spectrogram of the separated signal and the spectrogram of the solo signal. The larger the loss, the lower the performance of the current learning model and the larger the variables need to be changed.
  • the CPU 11 adjusts the variables of the learning model based on the loss obtained in S103 (S104).
  • the variable adjustment itself may be performed by general error back propagation. After that, the processes of S100 to S104 are repeated until the loss becomes sufficiently small, and the training of the learning model is completed.
  • FIG. 8 is a flow chart showing an example of the separation process.
  • the CPU 11 acquires the spectrogram SG of the mixed signal stored in the non-volatile memory 12 (S200).
  • the spectrogram SG acquired in S200 is the spectrogram SG that is the target of sound separation.
  • the CPU 11 performs the first convolution for each frequency bin width with respect to the spectrogram SG of the mixed signal (S201).
  • the CPU 11 regards the spectrogram SG (for example, 100 ⁇ 2000) of the mixed signal as a one-dimensional signal (for example, 1 ⁇ 2000 ⁇ 100) for each width of one frequency bin, and filters corresponding to each frequency bin (for example, 1 ⁇ 2000 ⁇ 100). For example, 1 ⁇ 100 ⁇ 100 ⁇ 48) is used for the first convolution.
  • the CPU 11 calculates the sum of 100 pieces as a result of the first convolution performed in S201 to obtain one-dimensional first feature data D1 (for example, 1 ⁇ 2000 ⁇ 48) (S202).
  • first feature data D1 for example, 1 ⁇ 2000 ⁇ 48
  • the first feature data D1 is obtained by the processing of S202.
  • the CPU 11 performs at least one second convolution with a one-dimensional filter on the first feature data D1 and pooling as necessary to obtain the second feature data D2 (various sizes) (S203).
  • the data D2-1 to D2-6 are obtained by the processing of S203, and here, the data D2-6 is used as the second feature data D2.
  • the processing from S201 to S203 is the encoding processing.
  • the CPU 11 performs a decoding process including at least one deconvolution on the second feature data D2 to obtain a mask M (S204).
  • the processing of S204 obtains data D3-6 to D3-1, data D4, and mask M.
  • the CPU 11 applies the mask M to the spectrogram SG of the mixed signal, and separates a predetermined sound from the mixed sounds of the plurality of sounds (S205).
  • the CPU 11 separates the spectrogram of a predetermined sound from the spectrogram of the mixed sound by multiplying the spectrogram SG of the mixed signal by the mask M.
  • the CPU 11 converts the separated sound spectrogram PS from the frequency domain to the time domain by using an inverse short-time Fourier transform or the like, and obtains digital data of the separated predetermined sound signal. This digital data is recorded in the non-volatile memory 12.
  • the CPU 11 outputs a predetermined sound separated from the speaker 17 (S206), and this process ends.
  • the CPU 11 reproduces the digital data recorded in S205 and outputs the separated predetermined sound.
  • the processing device 10 of the present embodiment efficiently expresses the features of the spectrogram SG of the sound signal by obtaining the one-dimensional first feature data D1 by combining the results of the first convolution performed for each predetermined width.
  • Characteristic data can be obtained. For example, in the case of a sound having characteristic information in a wide range in the frequency direction (a sound whose characteristic in the time axis direction is a local sound), the first convolution is performed for each predetermined width in the time axis to make the sound in the frequency direction.
  • One-dimensional data in the frequency direction (for example, 100 ⁇ 1) representing a wide range of information can be obtained.
  • the first convolution is performed for each predetermined width on the frequency axis, so that the sound has a wide range in the time direction.
  • One-dimensional data (for example, 1 ⁇ 2000) in the time axis direction representing various information can be obtained.
  • the processing device 10 since all the processes after the first feature data D1 is obtained in the encoding process are the one-dimensional data, the feature data can be efficiently obtained. As a result, the process of obtaining feature data can be speeded up. The processing load of the processing device 10 can also be reduced.
  • the processing device 10 combines the results of the first convolution to obtain the first feature data D1.
  • the processing device 10 performs at least one second convolution and pooling on the first feature data D1 to obtain the second feature data D2.
  • the size of the feature data is reduced by pooling, and the feature data can be obtained more efficiently.
  • the data obtained in the corresponding convolution layer is added to the input data of each layer to perform deconvolution, so that the accuracy of deconvolution is improved.
  • the accuracy of the mask M is improved, and the accuracy of sound separation can also be improved.
  • the case where pooling is executed after convolution has been described, but it is not necessary to reduce the data size without executing pooling in particular.
  • the case where the first convolution using the one-dimensional filter is executed has been described, it suffices if the first feature data D1 becomes one-dimensional, and the two-dimensional filter may be used for the first convolution.
  • the processing device 10 can be used in any other situation.
  • the processing device 10 may be used for voiceprint identification.
  • voiceprint appraisal that determines whether or not it is a specific human voice
  • the variables of the training model are adjusted based on the training data including (information indicating whether or not).
  • the processing device 10 inputs the spectrogram SG, which is the target of the voiceprint test, into the learning model.
  • the learning model performs the first convolution and the second convolution as described in the embodiment to obtain the one-dimensional second feature data D2.
  • the learning model outputs the appraisal information according to the second feature data D2.
  • This appraisal information indicates the probability that the voice is a specific human voice that has been learned, and if this value is larger than the threshold value, it is determined that the voice is a specific human voice. In the case of voiceprint appraisal, deconvolution is not performed.
  • the processing device 10 inputs the spectrogram SG, which is the target of the voiceprint test, into the learning model.
  • the learning model performs the first convolution and the second convolution as described in the embodiment to obtain the one-dimensional second feature data D2.
  • the learning model outputs a label ID corresponding to the second feature data D2.
  • the processing device 10 can be used in any situation such as music genre estimation or noise removal in a sound signal.
  • the processing system is not limited to one processing device 10.
  • the processing system may include a plurality of devices connected by a network or a serial bus.

Abstract

処理装置（１０）は、音信号のスペクトログラムを取得する。処理装置（１０）は、スペクトログラムに対し、周波数軸又は時間軸における所定幅ごとに第１の畳み込みを行う。処理装置（１０）は、所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データを得る。処理装置（１０）は、第１特徴データに対し、少なくとも１回の第２の畳み込みを行って、スペクトログラムの特徴を示す１次元の第２特徴データを得る。

Description

コンピュータにより実現される方法、処理システム、及び記憶媒体
　本発明は、コンピュータにより実現される方法、処理システム、及び記憶媒体に関する。
　近年、学習モデルを利用して、音信号のスペクトログラムを解析する技術が検討されている。例えば、非特許文献１には、複数の音が混合された音信号のスペクトログラムに対し、２次元の畳み込みを繰り返し行って、２次元の特徴データを得る技術が記載されている。この技術では、２次元の特徴データに基づいて、複数の音の混合音の中から所定の音を分離するためのマスクが生成される。
ＩＳＭＩＲ　２０１７，「ＳＩＮＧＩＮＧ　ＶＯＩＣＥ　ＳＥＰＡＲＡＴＩＯＮ　ＷＩＴＨ　ＤＥＥＰ　Ｕ－ＮＥＴ　ＣＯＮＶＯＬＵＴＩＯＮＡＬ　ＮＥＴＷＯＲＫＳ」，Ａｎｄｒｅａｓ　Ｊａｎｓｓｏｎ，Ｅｒｉｃ　Ｈｕｍｐｈｒｅｙ，Ｎｉｃｏｌａ　Ｍｏｎｔｅｃｃｈｉｏ，Ｒａｃｈｅｌ　Ｂｉｔｔｎｅｒ，Ａｐａｒｎａ　Ｋｕｍａｒ，Ｔｉｌｌｍａｎ　Ｗｅｙｄｅ１
　しかしながら、非特許文献１のように２次元の特徴データを得る技術では、畳み込みの際にスペクトログラムの局所的な情報しか考慮されない。例えば、高域まで調波構造を有する音声は、周波数方向に広範囲に特徴的な情報を有するので、局所的な情報だけを考慮しても、音声の特徴データを精度良く得ることができない。スペクトログラム全体に分散された特徴量を考慮して精度の良い特徴データを得るには、学習モデルの層を深くする必要又は大きなフィルタを利用する必要があるので、スペクトログラムの特徴を効率良く表現する特徴データを得られない。
　本発明は上記課題を鑑みてなされたものであって、その目的は、音信号のスペクトログラムの特徴を効率良く表現する特徴データを得ることである。
　上記課題を解決するために、本発明に係るコンピュータにより実現される方法は、音信号のスペクトログラムを取得し、前記スペクトログラムに対し、周波数軸又は時間軸における所定幅ごとに第１の畳み込みを行い、前記所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データを得て、前記第１特徴データに対し、少なくとも１回の第２の畳み込みを行って、前記スペクトログラムの特徴を示す１次元の第２特徴データを得る。
　本発明に係る処理システムは、１以上のプロセッサと１以上のメモリとを具備する処理システムであって、前記１以上のメモリに記憶されたプログラムを実行することにより、前記１以上のプロセッサが、音信号のスペクトログラムを取得し、前記スペクトログラムに対し、周波数軸又は時間軸における所定幅ごとに第１の畳み込みを行い、前記所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データを得て、前記第１特徴データに対し、少なくとも１回の第２の畳み込みを行って、前記スペクトログラムの特徴を示す１次元の第２特徴データを得る。
　本発明に係る記憶媒体は、コンピュータが読み出せるプログラムを記憶する１以上の記憶媒体であって、前記プログラムは１以上のプロセッサに、に、音信号のスペクトログラムを取得し、前記スペクトログラムに対し、周波数軸又は時間軸における所定幅ごとに第１の畳み込みを行い、前記所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データを得て、前記第１特徴データに対し、少なくとも１回の第２の畳み込みを行って、前記スペクトログラムの特徴を示す１次元の第２特徴データを得る、動作を行わせる。
　本発明によれば、音信号のスペクトログラムの特徴を効率良く表現する特徴データを得ることができる。
実施形態に係る処理装置の一例を示す図である。 処理装置で実現される機能の一例を示すブロック図である。 音信号のスペクトログラムの一例を示す図である。 学習モデルにより実行される処理の全体的な流れを示す図である。 ２次元のスペクトログラムが１次元の信号にみなされる様子を示す図である。 １次元の信号が畳み込まれる処理を示す図である。 調整処理の一例を示すフロー図である。 分離処理の一例を示すフロー図である。
［１．処理装置のハードウェア構成］
　以下、本発明に係る実施形態の一例を図面に基づいて説明する。図１は、実施形態に係る処理装置の一例を示す図である。例えば、処理装置１０は、デジタルミキサ、信号処理エンジン、オーディオ装置、電子楽器、エフェクタ、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。図１に示すように、処理装置１０は、ＣＰＵ１１、不揮発メモリ１２、ＲＡＭ１３、操作部１４、表示部１５、入力部１６、及びスピーカ１７に接続される。
　ＣＰＵ１１は、少なくとも１つのプロセッサを含む。１チップの中の複数プロセッサに限られず、ネットワーク等で接続された複数の装置に分散された複数のプロセッサであってもよい。ＣＰＵ１１は、不揮発メモリ１２に記憶されたプログラム及びデータに基づいて、所定の処理を実行する。不揮発メモリ１２は、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はハードディスク等のメモリである。ＲＡＭ１３は、揮発メモリの一例である。操作部１４は、タッチパネル、キーボード、マウス、ボタン、又はレバー等の入力デバイスである。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等のディスプレイである。
　入力部１６は、音信号を取得する。音信号は、音を示す信号である。音響信号又は音声信号は、音信号の一種である。音は、人間が発する音声に限られない。音信号は、任意の音を示せばよい。例えば、音信号は、人間以外の動物の音声、音楽、動画に含まれる音、機械の音、乗り物の音、自然現象の音、又はこれらの少なくとも２つが混合された音を示してもよい。本実施形態では、音信号がデジタルの信号である場合を説明する。音信号は、アナログの信号であってもよい。入力部１６は、デジタルの音信号をアナログの音信号に変換し、スピーカ１７に入力する。スピーカ１７は、入力されたアナログの音信号に応じた音を出力する。
　本実施形態では、「得る」は、処理の結果として得ることを意味する。例えば、後述する特徴データは、後述する学習モデルによる処理の結果として得られるので、処理装置１０は、特徴データを「得る」。「得る」は、作成する、定義する、又は生成すると言い換えることもできる。一方、「取得する」は、受け取ることを意味する。例えば、本実施形態では、音信号のスペクトログラムは、不揮発メモリ１２から受け取るものなので、処理装置１０は、スペクトログラムを取得する。「取得する」は、受信すると言い換えることもできる。本実施形態では、このようにして「得る」と「取得する」を使い分ける。
　なお、処理装置１０のハードウェア構成は、上記の例に限られない。例えば、処理装置１０は、有線通信又は無線通信用の通信インタフェースを含んでもよい。また例えば、処理装置１０は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取装置（例えば、光ディスクドライブ又はメモリカードスロット）を含んでもよい。また例えば、処理装置１０は、データの入出力をするための入出力端子（例えば、ＵＳＢポート）を含んでもよい。本実施形態で不揮発メモリ１２に記憶されるものとして説明するプログラム及びデータは、通信インタフェース、読取装置、又は入出力端子を介して処理装置１０に供給されてもよい。
［２．処理装置で実現される機能］
　図２は、処理装置１０で実現される機能の一例を示すブロック図である。本実施形態では、音を分離する処理を例に挙げて、処理装置１０で実現される機能を説明する。後述する変形例のように、処理装置１０は、音を分離する処理以外の他の処理を実行してもよい。図２に示すように、処理装置１０では、データ記憶部１００、第１取得部１０１、第１畳み込み部１０２、合成部１０３、第２畳み込み部１０４、逆畳み込み部１０５、分離部１０６、及び調整部１０７が実現される。データ記憶部１００は、不揮発メモリ１２を主として実現され、他の各機能は、ＣＰＵ１１を主として実現される。
［２－１．データ記憶部］
　データ記憶部１００は、本実施形態で説明する処理を実行するために必要なデータを記憶する。本実施形態では、このデータの一例として、音信号のスペクトログラム、訓練データ、及び学習モデルを説明する。
　図３は、音信号のスペクトログラムの一例を示す図である。スペクトログラムＳＧは、短時間フーリエ変換やバンドパスフィルタ等を用いて、時間領域の音信号を周波数領域に変換して得られる。本実施形態では、音分離の処理対象となるスペクトログラムに「ＳＧ」の符号を付す。訓練データに含まれるスペクトログラム等については、「ＳＧ」の符号を付さない。
　例えば、スペクトログラムＳＧは、２次元のデータである。横軸は、時間軸である。縦軸は、周波数軸である。例えば、スペクトログラムＳＧは、２次元形式で表現される。この２次元形式のデータは、画像データであってもよい。
　スペクトログラムＳＧの各値は、対応するフレームにおける各周波数成分の強さ（振幅）を示す。図３の例では、各画素の色を、模式的に網点の濃さで表現する。例えば、画素の色が明るさは、その画素に対応する時間における周波数の音信号が強さを示す。色と周波数の強さは、この関係に限られず、任意の関係にあってよい。本実施形態では、スペクトログラムＳＧのうち１回の処理に用いるデータのサイズを１００×２０００とするが、このサイズ（ビン数およびフレーム数）は、任意であってよい。なお、本実施形態で「Ｘ×Ｙ」（ＸとＹは自然数）と記載した場合、この記載はデータのサイズを表す。例えば、Ｘは周波数軸におけるデータ数であり、Ｙは時間軸におけるデータ数である。
　なお、スペクトログラムＳＧは、図３の例に限られない。スペクトログラムＳＧは、任意の形式であってよい。スペクトログラムＳＧは、リニアスケールではなく、対数スケールであってもよい。
　本実施形態のスペクトログラムＳＧは、所定の音を含む複数の音が混合された音信号から算出される。所定の音とは、分離の対象となる音である。所定の音は、単一の音（ソロ信号）でもよいし、複数の音（混合信号）でもよい。
　例えば、所定の音が人間の音声であり、他の音が楽器の音であってもよい。この場合、スペクトログラムＳＧは、人間の音声と楽器の音が混合された音信号を示す。本実施形態の処理により、この音信号から人間の音声が分離される。
　データ記憶部１００は、機械学習又は深層学習における訓練データを記憶する。機械学習又は深層学習自体は、画像や音声の処理における種々の手法を利用可能である。本実施形態では、畳み込みニューラルネットワークを例に挙げる。畳み込みニューラルネットワークの具体例としては、画像から特定の領域を抽出するＵ－Ｎｅｔと呼ばれる手法、又は、Ｕ－ｎｅｔを利用した非特許文献１の手法であってもよい。本実施形態の手法は、従来の手法と比較して、大まかな枠組みはやや似ているが、具体的な処理が根本的に異なる。
　訓練データは、学習モデルを訓練するため（変数の調整）に用いられる。訓練データは、入力と出力（正解）のペアである。別の言い方をすれば、訓練データは、学習モデルに入力されるデータと同じ形式のデータと、学習モデルが出力すべき正解となるデータと、のペアである。本実施形態では、訓練データは、１つのペアを意味する。例えば、データ記憶部１００は、互いに異なる内容の複数の訓練データを記憶する。
　本実施形態では、訓練データは、入力としての、複数の音が混合された音信号のスペクトログラムと、出力としての、当該複数の音に含まれる所定の音信号のスペクトログラムと、を含む。このスペクトログラムは、学習モデルに入力されるスペクトログラムＳＧ（分離の対象となるスペクトログラムＳＧ）と同じ形式である。この所定の音は、学習モデルが出力するデータの形式と同じ形式で表現される。
　例えば、訓練データに含まれる音信号のスペクトログラムは、２次元形式のデータである。このスペクトログラムは、１つの軸が周波数軸であり、もう１つの軸が時間軸である。
　例えば、訓練データは、処理装置１０のユーザによって用意される。ユーザは、分離の対象となる所定の音と他の音とを別々に録音する。ユーザは、録音した所定の音と他の音を混合し、混合音を得、その混合音を周波数領域のデータに変換してスペクトログラムを得る。ユーザは、このスペクトログラムを入力とし、最初に録音した所定の音を出力（正解）とするペアを訓練データとして作成する。ユーザは、種々の音について同様の作業を行い、複数の訓練データ（データセット）を作成する。
　データ記憶部１００は、学習モデルを記憶する。本実施形態では、学習モデルは、教師あり学習により訓練される。例えば、学習モデルは、複数層からなるエンコーダと、複数層からなるデコーダと、を含む。本実施形態では、同じ階層のエンコーダとデコーダがスキップ接続される場合を説明するが、スキップ接続は省略してよい。
　エンコーダは、複数の畳み込み層と１以上のプーリング層を含む。デコーダは、エンコーダの各層に対応する、複数の逆畳み込み層と１以上のアップサンプリング層を含む。これらの層は、畳み込みニューラルネットワークである。例えば、学習モデルは、畳み込み係数などの変数を含む。フィルタの係数やバイアスが変数の一例である。
　例えば、データ記憶部１００は、学習前の学習モデルを記憶する。学習前の学習モデルは、後述する調整部１０７により変数が調整される前の学習モデルである。変数が調整された学習モデルは、学習済みのモデルとしてデータ記憶部１００に記憶される。追加学習が実行される場合には、学習済みのモデルの変数が追加学習によって更新される。
　図４は、学習モデルにより実行される処理の全体的な流れを示す図である。図５は、スライスされた２次元のスペクトログラムを処理して１次元のデータを得る処理を示す図である。図６は、１次元のデータを処理して２次元のデータを得る処理を示す図である。第１畳み込み部１０２から第２畳み込み部１０４がエンコーダであり、逆畳み込み部１０５がデコーダである。以降、図４－図６を参照し、これら各機能の詳細を説明する。
［２－２．第１取得部］
　第１取得部１０１は、音信号のスペクトログラムＳＧを取得する。音信号が２０００フレームより長い場合には、２０００フレームごとのスペクトログラムに分割されて処理が実行される。この場合、同じ音信号の分離について学習モデルを訓練するために、複数のスペクトログラムが用いられてもよい。
　例えば、処理装置１０は、公知のアルゴリズムに基づいて、音信号の周波数スペクトルを計算して、スペクトログラムＳＧを生成する。音信号は、データ記憶部１００、外部の装置、又は外部の情報記憶媒体に記憶される。処理装置１０は、入力部１６から入力された音信号をデジタルデータに変換し、スペクトログラムＳＧを生成してもよい。
［２－３．第１畳み込み部］
　第１畳み込み部１０２は、スペクトログラムＳＧに対し、周波数軸又は時間軸における所定幅ごとに同幅のフィルタによる第１の畳み込みを行う。所定幅とは、周波数軸又は時間軸における一定の長さの幅である。所定幅は、周波数軸又は時間軸の分解能と一致してもよいし、分解能の整数倍の幅であってもよい。
　本実施形態では、スペクトログラムＳＧが２次元形式で表現され、所定幅は、少なくとも１分解能の幅である。所定幅と、後述する第１特徴データ（畳み込みの結果）の次元数と、は相互に独立な値である。本実施形態では、第１畳み込み部１０２は、スペクトログラムＳＧに対し、周波数軸における所定幅ごとに第１の畳み込みを行う。
　本実施形態では、所定幅は、１周波数ビンの幅である。１周波数ビンとは、スペクトログラムＳＧにおける周波数の分解能である。なお、第１畳み込み部１０２は、２周波数ビンごと又は３周波数ビンごとに第１の畳み込みを行ってもよい。
　第１の畳み込みは、エンコーダにおける最初の畳み込み層（１段階目の畳み込み層）で行われる畳み込みである。第１の畳み込みとその直後の合成は、例えば４８チャンネル分行われる。後述する第２の畳み込みは、第１の畳み込みの畳み込み層の後の複数の畳み込み層で行われる畳み込みである。これらの畳み込みは、学習モデルにより実行される処理の一部である。
　第１の畳み込みにおけるフィルタは、周波数軸方向の幅よりも、時間軸方向の長さが長いフィルタが利用される。例えば、１×１００のサイズのフィルタが用いられる。フィルタは、他のサイズであってもよく、例えば、時間軸における幅が周波数軸における長さの数十倍～数百倍又はそれ以上であってもよい。フィルタの数も、任意の数であってよい。例えば、スペクトログラムＳＧの成分数（例えばビン数）と同じ数のフィルタが用意される。
　２次元のスペクトログラムＳＧは、所定幅（例えば１ビン）の信号がデータ数をその所定幅で割った数（例えば、全周波数ビン数／１）だけ存在する所定幅の信号の集団とみなされる。例えば、スペクトログラムＳＧが１００×２０００の２次元データの場合、幅が１で長さが１０００の１次元の信号が１００個あるものとみなされる。別の言い方をすれば、スペクトログラムＳＧは、周波数方向に所定幅ずつスライスされる。図５では、個々の１次元の信号をｓｇ１～ｓｇ１００の符号で示す。
　第１畳み込み部１０２は、スペクトログラムＳＧに対し、所定幅（例えば１ビン）ごとに、所定幅で所定長（例えば１００フレーム）のフィルタで第１の畳み込みを複数チャンネル分行う。即ち、スペクトログラムＳＧがスライスされる幅と、フィルタの幅と、は同じである。本実施形態では、所定長の幅ごとに、独立にフィルタが用意されている。第１畳み込み部１０２は、スペクトログラムＳＧに対し、所定長の幅ごとに、対応するフィルタで畳み込みを行う。
　図５に示すように、第１畳み込み部１０２は、１次元の信号ｓｇ１～ｓｇ１００の各々に対し、１次元のフィルタを畳み込む。例えば、１列目の１次元信号は、１列目用の１×１００のフィルタで第１の畳み込みが行われる。２列目の１次元信号は、２列目用の１×１００のフィルタで第１の畳み込みが行われる。３列目以降も同様である。各列のフィルタは、独自の係数を有する。第１の畳み込みでは、時間軸方向の前後にそれぞれ５０のパディングがあり、データサイズが維持される。特にパディングがなく、多少のデータサイズの縮小が許容されてもよい。後述する合成部１０３により、畳み込みの結果が合わせられて、１×２０００のデータｄ１が得られる。
　なお、フィルタのストライド幅は、１である。フィルタは、１次元の信号（１周波数ビン）ごとに用意されるのではなく、複数の１次元の信号で共通であってもよい。例えば、全ての１次元の信号に共通の１つのフィルタが用意されていてもよい。
［２－４．合成部］
　合成部１０３は、各チャンネルについて、所定幅ごとに行われた第１の畳み込みにより得られた全部の幅を所定幅で除算した数のデータを合わせて、１次元の第１特徴データＤ１を得る。図５の例であれば、１次元の信号ｓｇ１～ｓｇ１００の各々が１×１００のフィルタによって畳み込まれた個々の１×２０００のデータは、第１の畳み込みの結果である。
　第１の畳み込みの結果を合わせるとは、個々の結果を１つのデータとしてまとめることである。別の言い方をすれば、第１の畳み込みの結果を合わせるとは、個々の１×２０００のデータを、結合、合成、又は累積して同じサイズの１つのデータを得ることである。図５の例であれば、上記１００個のデータ（１×２０００のサイズのデータ）を加算合成し、１×２０００の第１特徴データＤ１を得ることは、第１の畳み込みの結果を合わせることに相当する。
　１次元の第１特徴データＤ１は、周波数軸又は時間軸におけるデータ数が１の特徴データである。例えば、周波数ビンごとに第１の畳み込みが行われ、時間軸のデータ数分の１次元データが得られる。
　特徴データとは、スペクトログラムＳＧが示す音信号の特徴を示すデータである。別の言い方をすれば、特徴データは、少なくとも１回の畳み込みによって得られたデータである。第１特徴データＤ１が１×１０００のサイズである場合、第１特徴データＤ１は、１０００個の特徴量を含む。なお、特徴データは、主に２次元データの場合には特徴マップと呼ばれることもある。第１特徴データＤ１は、周波数ビン間の特徴が１つにまとめられている。
　図４に示すように、第１の畳み込みと合成の結果として、サイズが１×２０００の第１特徴データＤ１が４８チャンネル分得られる。後述する第２畳み込み部１０４は、第１特徴データＤ１に１次元フィルタを畳み込み、４８チャンネル分の第２特徴データＤ２－１（サイズは１×２０００）を得、プーリングを行って、４８チャンネル分の１×１０００の第２特徴データＤ２－２を得る。
　例えば、合成部１０３は、第１の畳み込みの結果の和を計算して、第１特徴データＤ１を得る。第１特徴データＤ１は、第１の畳み込みの結果の単純な和ではなく、所定の重み付けがなされた和であってもよい。第１特徴データＤ１は、第１の畳み込みの結果を、和以外の数式を含む計算式に代入して得てもよい。
［２－５．第２畳み込み部］
　第２畳み込み部１０４は、第１特徴データＤ１に対し、少なくとも１回の第２の畳み込みを行って第１特徴データＤ１をエンコードし、スペクトログラムＳＧの特徴を示す１次元の第２特徴データＤ２を得る。第２特徴データＤ２として、第２の畳み込みの各層で得られたデータＤ２－１からデータＤ２－６までの何れを用いてもよい。何れか２以上の層で得られたデータから、第２特徴データＤ２を合成してもよい。第２の畳み込みは、第１の畳み込みよりも後に行われる畳み込みである。本実施形態では、第２の畳み込みにパディングがあり、データサイズが畳み込みの前後で維持されるものとする。特にパディングがなく、多少サイズが縮小してもよい。
　第１特徴データＤ１は１次元なので、第２の畳み込みは、１次元データに対する１次元の畳み込みとなる。例えば、第２畳み込み部１０４は、第１特徴データＤ１に対し、少なくとも１回の第２の畳み込みとプーリングを行って、第２特徴データＤ２（データＤ２－１からＤ２－６の何れか）を得る。プーリングは、第２の畳み込みのうちの所定の畳み込み層の直後に配置されたプーリング層によって行われるプーリングである。
　図４の例であれば、第２畳み込み部１０４は、４８チャンネル分の１×１０００の第１特徴データＤ１に対し、第１層目において、４８チャンネルの第２の畳み込みを行って、４８チャンネル分の１×２０００のデータＤ２－１を得、プーリングによりデータＤ２－１のサイズを縮小し、４８チャンネル分の１×１０００のデータＤ２－２を得る。
　第２畳み込み部１０４は、データＤ２－２に対し、第２層における第２の畳み込みを行って、９６チャンネル分の１×１０００のデータＤ２－３を得る。第２畳み込み部１０４は、データＤ２－３に対し、第３層における第２の畳み込みを行って、９６チャンネル分の１×１０００のデータＤ２－４を得る。第２畳み込み部１０４は、プーリングによりデータＤ２－４のサイズを縮小し、９６チャンネル分の１×５００のデータＤ２－５を得る。第２畳み込み部１０４は、データＤ２－５に対し、第４層における第２の畳み込みを行って、１９２チャンネル分の１×５００のデータＤ２－６を得る。
　本実施形態では、第２の畳み込みは１次元のフィルタで行われるので、第２畳み込み部１０４は、第１特徴データＤ１に対し、１次元のフィルタで少なくとも１回の第２の畳み込みとプーリングを行って、第２特徴データＤ２を得る。第２の畳み込みのフィルタは、任意のサイズのフィルタを利用可能である。本実施形態では、時間軸方向に長いフィルタ（周波数軸の幅よりも時間軸の幅の方が長いフィルタ）が利用される。例えば、１×１００のサイズのフィルタが用いられる。チャンネル数は、任意の数であってよい。
［２－６．逆畳み込み部］
　逆畳み込み部１０５は、第２特徴データＤ２に対し、少なくとも１回の逆畳み込みを行って、所定の音を分離するマスクＭを得る。逆畳み込みは、畳み込みニューラルネットワークにおける逆畳み込み層で行われる処理である。逆畳み込み層は、エンコーダの畳み込み層と１対１に対応して存在するものとする。例えば、タＤ２－６が第２特徴データとして用いられる。図４における第１層の第２畳み込みからのスキップ接続や、第３層の第２畳み込みからのスキップ接続を、第２特徴データと見做してもよい。
　図４に示すように、逆畳み込み部１０５は、１９２チャンネル分のデータＤ２－６に対し、第４層の第２畳み込みに対応する逆畳み込みを行って、１９２チャンネル分の１×５００のデータＤ３－６を得る。逆畳み込み部１０５は、１９２チャンネル分のデータＤ３－６の算出過程の中で、同時に、アップサンプリングを行って、１９２チャンネル分の１×１０００のデータＤ３－５を得る。アップサンプリングは、直前段の逆畳み込み時のストライドにより実現され、アンプーリングとも呼ばれる。
　逆畳み込み部１０５は、１９２チャンネル分のデータＤ３－５に対し、第３層の第２畳み込みに対応する逆畳み込みを行って、９６チャンネル分の１×１０００のデータＤ３－４を得る。逆畳み込み部１０５は、９６チャンネル分のデータＤ３－４に対し、第２層の第２畳み込みに対応する逆畳み込みを行って、データＤ３－３を得る。逆畳み込み部１０５は、データＤ３－３の算出過程の中で、同時に、アップサンプリングを行って、９６チャンネル分の１×２０００のデータＤ３－２を得る。逆畳み込み部１０５は、９６チャンネル分のデータＤ３－２に対し、第１層の第２畳み込みに対応する逆畳み込みを行って、４８チャンネル分の１×２０００のデータＤ３－１を得る。
　図６に示すように、逆畳み込み部１０５は、４８チャンネル分のデータＤ３－１の各々に対し、１周波数ビンごとのフィルタ（サイズは、例えば１００×１００）で１Ｄ／２Ｄ変換を兼ねた逆畳み込みを行い、データＤ４を得、さらに変換演算を行ってマスクＭを得る。この変換演算は、全結合でもよいし、畳み込みでもよい。或いは、個々のデータごとの重み付けでもよい。マスクＭは、分離すべき音を特定可能なデータである。マスクＭは、音響信号処理用の時間変化するフィルタとも見做せる。
　例えば、データＤ４及びマスクＭは、スペクトログラムＳＧと同じサイズのデータである。図６の例では、マスクＭにおける各データの色によって、分離すべき音（透過すべき音）が表現される。
　例えば、マスクＭのある時刻のあるビンが白なら、その時刻にそのビンの周波数の音は透過し、黒なら、そのビンの周波数の音は阻止（除去）される。分離すべき音は、先述した所定の音の成分である。分離すべきではない音は、先述した他の音である。なお、黒が分離すべき音を意味し、白が分離すべきではない音を意味してもよい。分離の度合いが色によって表現されてもよい。分離の度合いとは、分離すべき音である確率又は蓋然性である。例えば、マスクＭが２５６段階である場合、ある時刻のあるビンが所定の音の成分である確率が５０％であれば、その値は１２８といったような中間値で表現される。
　なお、少なくとも１回の逆畳み込みでは、各層の入力データに対し、対応する畳み込み層で得られたデータを付加して、逆畳み込みが行われてもよい。このデータの付加は、例えば、Ｕ－ＮｅｔやＲＥＳＮＥＴなどで使われているスキップ接続を用いる。このスキップ接続には、concatenationとsummationの何れを用いてもよい。スキップ接続は、ある層の第２畳み込みの結果を、同じ層の逆畳み込みの入力に供給する。スキップ接続によれば、エンコーダのある層よりより下層の処理で失われる情報を、デコーダのその層で回復して用いることができる。図４の例であれば、第１層の第２畳み込みの出力Ｄ２－１が、第１層の逆畳み込みの入力にスキップ接続される。第３層の第２畳み込みの出力Ｄ２－４が、第３層の逆畳み込みの入力にスキップ接続される。第１の畳み込み及び合成（２Ｄ／１Ｄ変換）の出力Ｄ１が、１Ｄ／２Ｄ変換を兼ねた逆畳み込みの入力にスキップ接続される。
［２－７．分離部］
　所定の音の分離が訓練された後であれば、分離部１０６は、スペクトログラムＳＧにマスクＭを適用し、複数の音の中から所定の音を分離する。マスクＭを適用するとは、マスクＭを利用して音を分離することである。分離部１０６は、マスクＭを利用して、スペクトログラムＳＧに示された複数の音の成分のうちの一部を、所定の音として分離する。例えば、分離部１０６は、スペクトログラムＳＧに対し、マスクＭを乗算することによって、複数の音の混合音の中から所定の音を分離する。例えば、分離された音は、スペクトログラムＰＳとして表現される。
　分離部１０６によって得られたスペクトログラムＰＳは、音信号に変換され、データ記憶部１００に記録される。
［２－８．調整部］
　調整部１０７は、機械学習の手法により第１の畳み込み、第２の畳み込み、及び逆畳み込みに用いられる変数を調整する。これらの変数は、訓練データのスペクトログラムＳＧから、本実施形態で説明する方法により訓練データの特定の音が分離されるように、繰り返し調整して決定された変数である。調整部１０７は、訓練データに含まれる入力と出力の関係が得られるように、学習前の学習モデルの変数を調整する。例えば、調整部１０７の処理の詳細は、後述する図７の処理である。
［３．処理装置が実行する処理］
　本実施形態では、処理装置１０が実行する処理の一例として、学習モデルの変数を調整するための調整処理と、混合信号から所定の音信号を分離するための分離処理と、を説明する。調整処理と分離処理の各々は、ＣＰＵ１１が不揮発メモリ１２に記憶されたプログラムに従って動作することによって実行される。調整処理と分離処理の各々は、図２に示す機能ブロックにより実行される処理の一例である。
［３－１．調整処理］
　図７は、調整処理の一例を示すフロー図である。１ないし複数のペアを用いた、この調整処理（訓練）が、学習モデルの損失が所定の基準をクリアするまで繰り返し行われる。図７に示すように、ＣＰＵ１１は、不揮発メモリ１２に記憶された訓練データのデータセットから、混合信号のスペクトログラムと、ソロ信号のスペクトログラムと、のペアを取得する（Ｓ１００）。不揮発メモリ１２に複数のペアが記憶されている場合には、ＣＰＵ１１は、これら複数のペアを順次取得する。
　ＣＰＵ１１は、Ｓ１００で取得したペアに含まれる混合信号のスペクトログラムを、現状の学習モデル（変数を調整する前の学習モデル）に入力して、マスクＭを推定する（Ｓ１０１）。混合信号のスペクトログラムが学習モデルに入力されると、図４を参照して説明した一連の処理（後述する分離処理と同様の処理）が実行される。学習モデルは、第１の畳み込みを行って、混合信号のスペクトログラムの第１特徴データＤ１を得る。学習モデルは、第１特徴データＤ１に対し、少なくとも１回の第２の畳み込みを行って、混合信号のスペクトログラムの第２特徴データＤ２を得る。学習モデルは、第２特徴データＤ２に対し、少なくとも１回の逆畳み込みを行って、マスクＭを推定する。
　ＣＰＵ１１は、マスクＭを混合信号のスペクトログラムに適用して、分離信号のスペクトログラムを得る（Ｓ１０２）。Ｓ１０２において得られる分離信号のスペクトログラムは、現状の学習モデルによって得られるスペクトログラムである。このスペクトログラムは、続くＳ１０３の処理において、現状の学習モデルの性能を評価するために用いられる。
　ＣＰＵ１１は、分離信号のスペクトログラムと、ソロ信号のスペクトログラムと、を比較して、学習モデルの損失を得る（Ｓ１０３）。損失としては、非特許文献１と同じようにＬ１ノルムを用いてもよいし、その他のＬ２ノルムなどを用いてもよい。損失は、学習モデルの性能の指標となる情報である。別の言い方をすれば、損失は、分離信号のスペクトログラムと、ソロ信号のスペクトログラムと、の差異に相当する情報である。損失が大きいほど、現状の学習モデルの性能が低く変数を大幅に変更する必要がある。
　ＣＰＵ１１は、Ｓ１０３で得られた損失に基づいて、学習モデルの変数を調整する（Ｓ１０４）。変数の調整自体は、一般的な誤差逆伝搬で行えばよい。以降、損失が十分小さくなるまで、Ｓ１００～Ｓ１０４の処理が繰り返され、学習モデルの訓練が完了する。
［３－２．分離処理］
　図８は、分離処理の一例を示すフロー図である。図８に示すように、ＣＰＵ１１は、不揮発メモリ１２に記憶された混合信号のスペクトログラムＳＧを取得する（Ｓ２００）。Ｓ２００において取得されるスペクトログラムＳＧは、音分離の対象となるスペクトログラムＳＧである。
　ＣＰＵ１１は、混合信号のスペクトログラムＳＧに対し、１周波数ビンの幅ごとに第１の畳み込みを行う（Ｓ２０１）。Ｓ２０１においては、ＣＰＵ１１は、混合信号のスペクトログラムＳＧ（例えば１００×２０００）を、１周波数ビンの幅ごとの１次元の信号（例えば１×２０００×１００）とみなし、各周波数ビンに対応するフィルタ（例えば１×１００×１００×４８）で第１の畳み込みを行う。
　ＣＰＵ１１は、Ｓ２０１で行われた第１の畳み込みの結果１００個の和を計算して、１次元の第１特徴データＤ１（例えば１×２０００×４８）を得る（Ｓ２０２）。図４の例であれば、Ｓ２０２の処理により、第１特徴データＤ１が得られる。
　ＣＰＵ１１は、第１特徴データＤ１に対し、１次元のフィルタで少なくとも１回の第２の畳み込みと必要に応じてプーリングを行って、第２特徴データＤ２（サイズは様々）を得る（Ｓ２０３）。図４の例であれば、Ｓ２０３の処理により、データＤ２－１からＤ２－６が得られ、ここでは、データＤ２－６が第２特徴データＤ２として用いられる。Ｓ２０１からＳ２０３までの処理が、エンコード処理である。
　ＣＰＵ１１は、第２特徴データＤ２に対し、少なくとも１回の逆畳み込みを含むデコード処理を行って、マスクＭを得る（Ｓ２０４）。図４の例であれば、Ｓ２０４の処理により、データＤ３－６からＤ３－１と、データＤ４と、マスクＭと、が得られる。
　ＣＰＵ１１は、混合信号のスペクトログラムＳＧにマスクＭを適用し、複数の音の混合音の中から所定の音を分離する（Ｓ２０５）。Ｓ２０５においては、ＣＰＵ１１は、混合信号のスペクトログラムＳＧに対し、マスクＭを乗算することによって、混合音のスペクトログラムから所定の音のスペクトログラムを分離する。ＣＰＵ１１は、分離された音のスペクトログラムＰＳを、逆短時間フーリエ変換等を用いて、周波数領域から時間領域へ変換し、分離された所定の音信号のデジタルデータを得る。このデジタルデータは、不揮発メモリ１２に記録される。
　ＣＰＵ１１は、スピーカ１７から、分離された所定の音を出力し（Ｓ２０６）、本処理は終了する。Ｓ２０６においては、ＣＰＵ１１は、Ｓ２０５において記録されたデジタルデータを再生し、分離された所定の音を出力する。
　本実施形態の処理装置１０は、所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データＤ１を得ることによって、音信号のスペクトログラムＳＧの特徴を効率良く表現する特徴データを得ることができる。例えば、周波数方向に広範囲に特徴的な情報を有する音（時間軸方向の特徴が局所的な音）の場合には、時間軸における所定幅ごとに第１の畳み込みを行うことで、周波数方向に広範囲な情報を表す、周波数方向の１次元データ（例えば１００×１）が得られる。例えば、時間方向に広範囲に特徴的な情報を有する音（周波数方向の特徴が局所的な音）の場合には、周波数軸における所定幅ごとに第１の畳み込みを行うことで、時間方向に広範囲な情報を表す、時間軸方向の１次元データ（例えば１×２０００）が得られる。処理装置１０によれば、エンコード処理のうち、第１特徴データＤ１を得た以降の処理は、全て１次元データが対象の処理なので、効率良く特徴データを得ることができる。その結果、特徴データを得る処理を高速化できる。処理装置１０の処理負荷も軽減できる。時間軸方向の１次元データを用いる場合、同じデータ量及び演算量であれば、時間方向により長いフィルタを実現でき、その点でも効率的に時間方向の情報を加味できる。波形のスペクトル時系列をある軸方向の１次元データに変換して推論を行い、他方の軸方向の成分間で変数が融通されるので、同じ規模の学習モデルにより効率的に推論を行うことができる。
　処理装置１０は、第１の畳み込みの結果を合わせて、第１特徴データＤ１を得る。処理装置１０は、第１特徴データＤ１に対し、少なくとも１回の第２の畳み込みとプーリングを行って、第２特徴データＤ２を得る。プーリングにより特徴データのサイズが縮小され、より効率良く特徴データを得ることができる。
　処理装置１０では、少なくとも１回の逆畳み込みでは、各層の入力データに対し、対応する畳み込み層で得られたデータを付加して、逆畳み込みが行われるので、逆畳み込みの精度が向上する。マスクＭの精度が高まり、音分離の精度も高めることができる。
［４．変形例］
　なお、本発明は、以上に説明した実施形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
　例えば、畳み込みの後にプーリングが実行される場合を説明したが、特にプーリングを実行せずにデータサイズを縮小しなくてもよい。１次元のフィルタを利用した第１の畳み込みが実行される場合を説明したが、第１特徴データＤ１が１次元になればよく、第１の畳み込みは２次元のフィルタが利用されてもよい。
　実施形態では、処理装置１０を音声分離に利用する場合を説明したが、処理装置１０は、他の任意の場面に利用可能である。例えば、処理装置１０を声紋鑑定に利用してもよい。ある特定の人間の声であるか否かを鑑定する声紋鑑定であれば、人間の声を示す音信号のスペクトログラムＳＧと、この人間であるか否かを示す情報（正例であるか負例であるかを示す情報）と、を含む訓練データに基づいて、学習モデルの変数が調整される。処理装置１０は、声紋鑑定の対象となるスペクトログラムＳＧを学習モデルに入力する。学習モデルは、実施形態で説明したような第１の畳み込みと第２の畳み込みを行って、１次元の第２特徴データＤ２を得る。学習モデルは、第２特徴データＤ２に応じた鑑定情報を出力する。この鑑定情報は、学習済みの特定の人間の声である確率を示し、この値が閾値より大きければ、「特定の人間の声である」と判定される。声紋鑑定の場合、逆畳み込みは行われない。
　複数の人間の中から発声者を特定する声紋鑑定であれば、人間の声を示す音信号のスペクトログラムＳＧと、この人間を識別する識別情報（例えば、人間を一意に識別するラベルＩＤ）と、を含む訓練データに基づいて、学習モデルの変数が調整される。処理装置１０は、声紋鑑定の対象となるスペクトログラムＳＧを学習モデルに入力する。学習モデルは、実施形態で説明したような第１の畳み込みと第２の畳み込みを行って、１次元の第２特徴データＤ２を得る。学習モデルは、第２特徴データＤ２に応じたラベルＩＤを出力する。音声分離及び声紋鑑定以外にも、楽曲のジャンル推定又は音信号におけるノイズ除去といった任意の場面に処理装置１０を利用可能である。なお、処理システムは、１台の処理装置１０に限られない。処理システムは、ネットワーク又はシリアルバスで接続された複数台の装置を含んでもよい。

 

Claims (12)

  1. 　音信号のスペクトログラムを取得し、
    　前記スペクトログラムに対し、周波数軸又は時間軸における所定幅ごとに第１の畳み込みを行い、
    　前記所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データを得て、
    　前記第１特徴データに対し、少なくとも１回の第２の畳み込みを行って、前記スペクトログラムの特徴を示す１次元の第２特徴データを得る、
    　コンピュータにより実現される方法。
  2. 　前記第１の畳み込みの結果を合わせて、前記第１特徴データを得て、
    　前記第１特徴データに対し、少なくとも１回の前記第２の畳み込みとプーリングを行って、前記第２特徴データを得る、
    　請求項１に記載の方法。
  3. 　前記スペクトログラムに対し、前記所定幅ごとに、前記所定幅で所定長のフィルタで前記第１の畳み込みを行い、
    　前記第１特徴データに対し、１次元のフィルタで少なくとも１回の前記第２の畳み込みを行って、前記第２特徴データを得る、
    　請求項１又は２に記載の方法。
  4. 　前記所定幅は、周波数軸における幅である、
    　請求項１～３の何れかに記載の方法。
  5. 　前記所定幅は、１周波数ビンの幅である、
    　請求項４に記載の方法。
  6. 　前記第１の畳み込みの結果の和を計算して、前記第１特徴データを得る、
    　請求項１～５の何れかに記載の方法。
  7. 　前記所定長の幅ごとに、独立にフィルタが用意されており、
    　前記スペクトログラムに対し、前記所定長の幅ごとに、対応するフィルタで畳み込みを行う、
    　請求項１～６の何れかに記載の方法。
  8. 　前記スペクトログラムは、所定の音を含む複数の音が混合された音信号を示し、
    　前記第２特徴データに対し、少なくとも１回の逆畳み込みを行って、前記所定の音を分離するマスクを得て、
    　前記スペクトログラムに前記マスクを適用し、前記複数の音の中から前記所定の音を分離する、
    　請求項１～７の何れかに記載の方法。
  9. 　前記少なくとも１回の逆畳み込みでは、各層の入力データに対し、対応する畳み込み層で得られたデータを付加して、逆畳み込みが行われる、
    　請求項８に記載の方法。
  10. 　前記第１の畳み込み、前記第２の畳み込み、及び前記逆畳み込みに用いられる変数は、
    　複数の音が混合された音信号のスペクトログラムと、当該複数の音に含まれる前記所定の音と、を含む訓練データのスペクトログラムから、前記方法により前記訓練データの特定の音が分離されるように、繰り返し調整して決定された変数である、
    　請求項８又は９に記載の方法。
  11. 　１以上のプロセッサと１以上のメモリとを具備する処理システムであって、
    　前記１以上のメモリに記憶されたプログラムを実行することにより、
    　前記１以上のプロセッサが、
    　音信号のスペクトログラムを取得し、
    　前記スペクトログラムに対し、周波数軸又は時間軸における所定幅ごとに第１の畳み込みを行い、
    　前記所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データを得て、
    　前記第１特徴データに対し、少なくとも１回の第２の畳み込みを行って、前記スペクトログラムの特徴を示す１次元の第２特徴データを得る、
    　処理システム。
  12. 　コンピュータが読み出せるプログラムを記憶する１以上の記憶媒体であって、前記プログラムは１以上のプロセッサに、
    　音信号のスペクトログラムを取得し、
    　前記スペクトログラムに対し、周波数軸又は時間軸における所定幅ごとに第１の畳み込みを行い、
    　前記所定幅ごとに行われた第１の畳み込みの結果を合わせて、１次元の第１特徴データを得て、
    　前記第１特徴データに対し、少なくとも１回の第２の畳み込みを行って、前記スペクトログラムの特徴を示す１次元の第２特徴データを得る、
    　動作を行わせる記憶媒体。

     
PCT/JP2020/045672 2020-03-23 2020-12-08 コンピュータにより実現される方法、処理システム、及び記憶媒体 WO2021192433A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/949,717 US20230016242A1 (en) 2020-03-23 2022-09-21 Processing Apparatus, Processing Method, and Storage Medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-051019 2020-03-23
JP2020051019A JP7472575B2 (ja) 2020-03-23 2020-03-23 処理方法、処理装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/949,717 Continuation US20230016242A1 (en) 2020-03-23 2022-09-21 Processing Apparatus, Processing Method, and Storage Medium

Publications (1)

Publication Number Publication Date
WO2021192433A1 true WO2021192433A1 (ja) 2021-09-30

Family

ID=77849054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045672 WO2021192433A1 (ja) 2020-03-23 2020-12-08 コンピュータにより実現される方法、処理システム、及び記憶媒体

Country Status (3)

Country Link
US (1) US20230016242A1 (ja)
JP (1) JP7472575B2 (ja)
WO (1) WO2021192433A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019144511A (ja) * 2018-02-23 2019-08-29 日本電信電話株式会社 音響信号モデル学習装置、音響信号解析装置、方法、及びプログラム
JP2019191558A (ja) * 2018-04-23 2019-10-31 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 音声を増幅する方法及び装置
US20190355347A1 (en) * 2018-05-18 2019-11-21 Baidu Usa Llc Spectrogram to waveform synthesis using convolutional networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140260A1 (en) 2015-11-17 2017-05-18 RCRDCLUB Corporation Content filtering with convolutional neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019144511A (ja) * 2018-02-23 2019-08-29 日本電信電話株式会社 音響信号モデル学習装置、音響信号解析装置、方法、及びプログラム
JP2019191558A (ja) * 2018-04-23 2019-10-31 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 音声を増幅する方法及び装置
US20190355347A1 (en) * 2018-05-18 2019-11-21 Baidu Usa Llc Spectrogram to waveform synthesis using convolutional networks

Also Published As

Publication number Publication date
JP7472575B2 (ja) 2024-04-23
JP2021149784A (ja) 2021-09-27
US20230016242A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
Stoller et al. Wave-u-net: A multi-scale neural network for end-to-end audio source separation
CN103996401B (zh) 解码设备和解码方法
JP4374448B2 (ja) 多チャネル信号符号化方法、その復号化方法、これらの装置、プログラム及びその記録媒体
EP3511937A1 (en) Device and method for sound source separation, and program
RU2007104933A (ru) Устройство и способ для формирования многоканального выходного сигнала
CN103811023A (zh) 音频处理装置以及音频处理方法
JP6482173B2 (ja) 音響信号処理装置およびその方法
JP6099032B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
KR20220020351A (ko) 사운드 분리 방법 및 장치, 전자 기기
WO2021192433A1 (ja) コンピュータにより実現される方法、処理システム、及び記憶媒体
CN115116469B (zh) 特征表示的提取方法、装置、设备、介质及程序产品
Lordelo et al. Investigating kernel shapes and skip connections for deep learning-based harmonic-percussive separation
WO2020162048A1 (ja) 信号変換システム、機械学習システムおよび信号変換プログラム
US9398387B2 (en) Sound processing device, sound processing method, and program
CN116959468A (zh) 一种基于dcctn网络模型的语音增强方法、系统及设备
CN112086085B (zh) 音频信号的和声处理方法、装置、电子设备和存储介质
EP4131257A1 (en) Signal processing device and method, and program
US20210089926A1 (en) Machine learning method and machine learning apparatus
CN115019824A (zh) 视频处理方法、装置、计算机设备及可读存储介质
Yu et al. Monaural Music Source Separation Using Deep Convolutional Neural Network Embedded with Feature Extraction Module
EP3726464A1 (en) Learning device, learning method and storage medium
EP3726463A1 (en) Learning device, learning method, sorting method, and storage medium
WO2013145578A1 (ja) 音声処理装置、音声処理方法および音声処理プログラム
CN112837670B (zh) 语音合成方法、装置及电子设备
Hanssian Music Demixing with the Sliced Constant-Q Transform

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928006

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20928006

Country of ref document: EP

Kind code of ref document: A1