WO2025224928A1 - 音声認識推定装置、音声認識システム、音声認識推定方法、音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム - Google Patents

音声認識推定装置、音声認識システム、音声認識推定方法、音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム

Info

Publication number
WO2025224928A1
WO2025224928A1 PCT/JP2024/016258 JP2024016258W WO2025224928A1 WO 2025224928 A1 WO2025224928 A1 WO 2025224928A1 JP 2024016258 W JP2024016258 W JP 2024016258W WO 2025224928 A1 WO2025224928 A1 WO 2025224928A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
speaker
speech recognition
unit
nth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/016258
Other languages
English (en)
French (fr)
Inventor
崇史 森谷
亮 増村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/016258 priority Critical patent/WO2025224928A1/ja
Publication of WO2025224928A1 publication Critical patent/WO2025224928A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems

Definitions

  • the present disclosure relates to a speech recognition technology that directly outputs an arbitrary character string (phoneme, character, subword, or word) representing the content of an utterance by a target speaker from among speeches of multiple people.
  • the present disclosure also relates to a speech recognition technology that outputs, from among the speeches of multiple speakers, any character string (phonemes, characters, subwords, or words) that represents the content of each speaker's speech.
  • FIG. 1 shows the training method for an end-to-end speech recognition system that outputs any character sequence directly from these acoustic features.
  • Non-Patent Document 1 A method for training a neural network for speech recognition using this Recurrent Neural Network Transducer (RNN-T) training method is described in the "Recurrent Neural Network Transducer" section of Non-Patent Document 1.
  • RNN-T Recurrent Neural Network Transducer
  • Non-Patent Document 1 cannot recognize the speech of each of a plurality of people in a situation such as a conference. Therefore, the present disclosure has been made to solve the above problem, and aims to provide a technology that enables real-time recognition of the voice of each speaker from a mixed voice containing speech from multiple speakers while suppressing an increase in the amount of delay.
  • the speech recognition estimation device for solving the above problem includes a speech conversion unit and an estimation unit.
  • the speech conversion unit converts the input speech information into intermediate speech features, assuming that the speaker of the utterance included in the input speech information is the Nth speaker in speaking order.
  • the estimation unit generates the Nth speech recognition result indicating the content of the Nth speaker's utterance from the intermediate speech features, based on the Nth identification information corresponding to the Nth speaker's speaking order.
  • the speech conversion unit and estimation unit perform processing based on a pre-trained model.
  • the speech recognition model training device includes a speech conversion unit, a language information conversion unit, an estimation unit, and a model update unit.
  • the speech conversion unit converts training input speech information containing speech from multiple speakers into intermediate speech features.
  • the speaker of the utterance included in the learning input speech information is designated as the Nth speaker in the order of utterance
  • the language information conversion unit converts the Nth correct speech recognition result indicating the content of the utterance of the Nth speaker into the Nth intermediate language feature.
  • the estimation unit receives as input the Nth identification information corresponding to the speaking order of the Nth speaker, the intermediate speech features, and the Nth intermediate language features, and generates the Nth speech recognition result.
  • the model update unit receives the Nth speech recognition result and the Nth correct speech recognition result as input, and updates the model parameters of the speech conversion unit, language information conversion unit, and estimation unit, which perform processing based on a predetermined model.
  • FIG. 1 is a diagram for explaining the first technique.
  • FIG. 2 is a diagram for explaining the second technique.
  • FIG. 3 is a diagram for explaining Technique 3.
  • FIG. 4 is a diagram showing an example of the functional configuration of the speech recognition model training device according to the first embodiment.
  • FIG. 5 is a diagram showing an example of a processing flow of the speech recognition model training method according to the first embodiment.
  • FIG. 6 is a conceptual diagram for explaining the relationship between the mixed sound feature XM , the first symbol sequence c'1, and the second symbol sequence c'2.
  • FIG. 7 is a conceptual diagram for explaining the maximum likelihood path in the RNN-T.
  • FIG. 8 is a diagram showing an example of the functional configuration of a speech recognition model training device according to a modified example of the first embodiment.
  • FIG. 8 is a diagram showing an example of the functional configuration of a speech recognition model training device according to a modified example of the first embodiment.
  • FIG. 9 is a diagram showing an example of a processing flow of a speech recognition model training method according to a modified example of the first embodiment.
  • FIG. 10 is a diagram showing an example of the functional configuration of a speech recognition estimation device according to the second embodiment.
  • FIG. 11 is a diagram showing an example of a processing flow of the speech recognition estimation device according to the second embodiment.
  • FIG. 12 is a diagram showing an example of the functional configuration of a speech recognition estimation device according to a first modified example of the second embodiment.
  • FIG. 13 is a diagram showing an example of a processing flow of a speech recognition estimation device according to a first modified example of the second embodiment.
  • FIG. 14 is a diagram showing an example of the functional configuration of a speech recognition estimation device according to a second modification of the second embodiment.
  • FIG. 10 is a diagram showing an example of the functional configuration of a speech recognition estimation device according to the second embodiment.
  • FIG. 11 is a diagram showing an example of a processing flow of the speech recognition estimation device according to the second embodiment
  • FIG. 15 is a diagram showing an example of a processing flow of a speech recognition estimation device according to a second modification of the second embodiment.
  • FIG. 16 is a diagram showing an example of the functional configuration of a speech recognition estimation device according to a third modification of the second embodiment.
  • FIG. 17 is a diagram showing an example of a processing flow of a speech recognition estimation device according to the third modified example of the second embodiment.
  • FIG. 18 is a conceptual diagram for explaining the assignment of a time stamp.
  • FIG. 19 is a diagram showing an example of the functional configuration of a speech recognition estimation device according to the fourth modification of the second embodiment.
  • FIG. 20 is a diagram showing an example of a processing flow of a speech recognition estimation device according to the fourth modification of the second embodiment.
  • FIG. 10 is a functional block diagram showing an example of the configuration of a speech recognition model training device according to a third embodiment.
  • FIG. 11 is a flowchart illustrating the operation of the speech recognition model training device according to the third embodiment.
  • FIG. 10 is a functional block diagram showing an example of the configuration of a speech recognition estimation device according to a third embodiment.
  • FIG. 11 is a flowchart illustrating the operation of a speech recognition estimation device according to a third embodiment.
  • FIG. 13 is a functional block diagram showing an example of the configuration of a speech recognition estimation device according to a first modified example of the third embodiment.
  • FIG. 13 is a flowchart illustrating the operation of the speech recognition estimation device according to the first modification of the third embodiment.
  • FIG. 13 is a functional block diagram showing an example of the configuration of a voice recognition system according to a second modification of the third embodiment.
  • FIG. 13 is a flowchart illustrating the operation of the voice recognition system according to the second modification of the third embodiment.
  • FIG. 13 is a functional block diagram showing an example of the configuration of a voice recognition system according to a third modification of the third embodiment.
  • FIG. 13 is a functional block diagram showing an example of the configuration of a voice recognition system according to a fourth modification of the third embodiment.
  • FIG. 13 is a flowchart illustrating the operation of the voice recognition system according to the fourth modification of the third embodiment.
  • FIG. 32 is a diagram illustrating an example of the functional configuration of a computer.
  • An embodiment of the present disclosure is a technology that enables real-time recognition of a target speaker's voice from a mixed voice containing utterances from multiple speakers by providing a function within a speech recognition model to convert a distributed representation sequence of the voice corresponding to target speaker extraction (fourth variant of the first to second embodiments).
  • Another embodiment of the present disclosure is a technology that enables simultaneous recognition of the speech of all speakers in real time from a mixed speech containing speech from multiple speakers by introducing a framework for learning by adding a tag to the beginning of each correct answer label in order to distinguish the speech content of each speaker (third embodiment to fourth variant of the third embodiment).
  • Non-Patent Document 1 The "Recurrent Neural Network Transducer (RNN-T)" described in Non-Patent Document 1 is known as a method for training an acoustic model using a general neural network training method (hereinafter, this method will also be referred to as "Technology 1").
  • Figure 1 shows a functional configuration diagram of a speech recognition model training device that uses this method.
  • Acoustic feature X which is a sequence of speech features
  • a speech conversion unit 101 having a multi-layer neural network function resulting in intermediate speech feature H, which is a sequence of acoustic features used for estimating speech recognition.
  • a symbol sequence c of length U which is a sequence of symbols corresponding to acoustic feature X
  • symbol conversion unit 102 having a multi-layer neural network function resulting in intermediate character feature C, which is a sequence of corresponding continuous-value features. It can also be said that symbol sequence c corresponds to the text of the speech recognition result.
  • the intermediate speech features H and intermediate character features C are input to an estimation unit 103 with neural network functionality, which calculates an output probability distribution Y, which corresponds to label estimation, which is speech recognition.
  • the calculated output probability distribution Y is input to a loss calculation unit 104 together with a correct symbol c of length U or T, which is a sequence of correct symbols, and a loss L RNN-T is calculated using a predetermined calculation formula.
  • the calculated loss L RNN-T is used to update the model parameters of the speech conversion unit 101, the symbol conversion unit 102, and the estimation unit 103. By repeating the above-described model parameter updates, learning is performed to enable more accurate speech recognition.
  • “SpeakerBeam” (Reference 1) is a known method for extracting the speech of a target speaker from a mixture of speech from multiple speakers (hereinafter, this method will also be referred to as "Technology 2").
  • Figure 2 shows the functional configuration of a target speaker speech extraction training device that uses this method.
  • Auxiliary speech A which is a pre-recorded speech waveform of the target speaker and is used as speech that serves as a clue for extracting the target speaker, is input to the auxiliary feature extraction unit 201, which has a multi-layer neural network function, and converted into auxiliary intermediate feature A', which is an acoustic feature used to extract the target speaker.
  • the mixed speech M which is a speech waveform composed of speech from multiple people
  • the auxiliary intermediate feature A' are input to the target speaker extraction unit 202, which has a multi-layer neural network function.
  • the target speaker extraction unit 202 uses the auxiliary intermediate feature A' as a clue to extract the target speaker speech ⁇ S, which is the speech of the target speaker, from the mixed speech M.
  • the extracted target speaker speech ⁇ S is input to the loss calculation unit 203 together with the target speaker speech S, which is the correct target speaker speech waveform, and the loss L TSE is calculated using these from a predetermined formula.
  • the calculated loss L TSE is used to update the model parameters of the auxiliary feature extraction unit 201 and the target speaker extraction unit 202. By repeating the above-mentioned model parameter updates, training is performed to more accurately extract the target speaker's speech from the mixed speech.
  • FIG. 3 shows a functional configuration diagram of a target speaker's voice extraction and training device that uses this method.
  • the first speech conversion unit 301 converts auxiliary features XA into auxiliary intermediate features HA using a first multi-layer neural network.
  • the second speech conversion unit 302 receives the auxiliary intermediate features HA and the mixed sound features XM as input and converts them into target speaker intermediate features HS using a second multi-layer neural network.
  • the symbol conversion unit 102 converts the symbol sequence c into intermediate character features C using a third multi-layer neural network.
  • the estimation unit 103 receives the target speaker intermediate features HS and the intermediate character features C as input and calculates an output probability distribution Y using a neural network.
  • the loss calculation unit 104 receives the intermediate character features C, which are correct symbols, and the output probability distribution Y as input and calculates a loss L RNN-T . Furthermore, the loss calculation unit 104 updates the model parameters of the first speech conversion unit 301, the second speech conversion unit 302, the symbol conversion unit 102, and the estimation unit 103 using the loss L RNN-T .
  • auxiliary features X A serving as clues are input and auxiliary intermediate features H A are extracted by the first speech conversion unit 301.
  • the extracted auxiliary intermediate features H A are embedded as part of the parameters of the second speech conversion unit 302.
  • the auxiliary intermediate features H A are vectors of the same size as the output dimensions of the encoder and have almost no effect on the calculation speed of the second speech conversion unit 302 during inference. Therefore, similar to Technology 1 (RNN-T), which is a normal speech recognition system, it is possible to quickly recognize only the speech of a target speaker who is a speaker registered in advance.
  • RNN-T Technology 1
  • Technology 3 uses a single model to recognize the target speaker's voice from mixed sounds. In other words, the process for extracting the target speaker's voice from mixed sounds and the speech recognition process are combined into a single model. This means that an end-to-end system is achieved, making it possible to implement a lighter model than before within the speech recognition device. This makes high-speed, real-time speech recognition possible.
  • speech recognition estimation device A speech recognition estimation device A
  • a trained model shown in the second embodiment described below by registering the user's voice in advance, it becomes possible to recognize the voice of a pre-registered speaker (target speaker) from a mixture of sounds including interfering speakers and background noise at a speed equivalent to that of speech recognition when recognizing voice containing the speech of a normal single speaker (RNN-T technology 1 shown in Figure 1).
  • the speech recognition model training device 1A includes a first speech conversion unit 301, a speech recognition unit 10, and a model update unit 20.
  • the speech recognition model training device 1A as a whole configures a multi-stage, multi-layered neural network.
  • the speech recognition unit 10 receives as input auxiliary intermediate features H A , mixed sound features X M , a first symbol sequence c′1 that is a symbol sequence with identification information of a target speaker, and a second symbol sequence c′2 that is a symbol sequence with identification information of a non-target speaker, and outputs a first output probability distribution Y1 that is an output probability distribution of the target speaker and a second output probability distribution Y2 that is an output probability distribution of a non-target speaker.
  • the speech recognition unit 10 includes, for example, a second speech conversion unit 302, a language information conversion unit 102A, and an estimation unit 103A.
  • the model updating unit 20 receives as input a first symbol sequence c'1 corresponding to correct data, a second symbol sequence c'2 corresponding to correct data, a first output probability distribution Y1, and a second output probability distribution Y2, and updates each model parameter used in the first speech conversion unit 301, the second speech conversion unit 302, the language information conversion unit 102A, and the estimation unit 103A.
  • the model parameters are stored in, for example, a model parameter D2, which is a storage unit.
  • the model updating unit 20 includes, for example, a first loss calculation unit 104A, a second loss calculation unit 402, and a loss integration unit 403.
  • the speech recognition model training device 1A performs the speech recognition model training method of this embodiment by implementing the processing flow illustrated in FIG. 5.
  • the first speech conversion unit 301 is a target speaker information extraction-type speech distributed representation sequence conversion unit.
  • the first speech conversion unit 301 has the same function as the first speech conversion unit 301 in FIG. 3 . That is, the first speech conversion unit 301 uses a multilayer neural network (first multilayer neural network) to convert auxiliary features XA , which are a sequence of features of the target speaker's speech, into auxiliary intermediate features HA, which are intermediate acoustic features of the target speaker information (step S301).
  • auxiliary features XA which are a sequence of features of the target speaker's speech
  • auxiliary intermediate features HA which are intermediate acoustic features of the target speaker information
  • the auxiliary features XA are a sequence of acoustic features extracted from a pre-recorded speech of the target speaker, and are a sequence of acoustic features of speech used as a clue for extracting the target speaker (this speech is also referred to as "target speaker information"). That is, unlike the auxiliary feature extraction unit 201 that inputs a speech waveform in Technique 2, the first speech conversion unit 301 plays the role of an encoder that converts a sequence of acoustic features of the target speaker extracted for speech recognition into intermediate acoustic features of the target speaker information by inputting them into a multilayer neural network.
  • the first audio conversion unit 301 performs the conversion using a mathematical formula equivalent to the following formula:
  • H target′ is an auxiliary intermediate feature sequence of length T that is the source of the auxiliary intermediate feature H A
  • f Spk-Enc′ ( ⁇ ) is a speaker encoder (the first multilayer neural network described above)
  • f FE ( ⁇ ) is a feature extraction function
  • a clue is the auxiliary audio A described in Technique 2
  • ⁇ Spk-Enc′ is a trainable (updatable) parameter in the first audio conversion unit 301
  • h target′ is the auxiliary intermediate feature H A
  • h t target′ is the auxiliary intermediate feature at time t.
  • Step S301 may be configured to acquire information about the target speaker and a speech embedding sequence for the target speaker, for example, by repeatedly pronouncing a specific term (word) a predetermined number of times on an arbitrary mobile terminal.
  • step S301 is performed once for each auxiliary feature XA (each sample) that serves as training data. Note that step S301 may be performed once for each speaker.
  • the first speech conversion unit 301 may also be configured to receive a speech waveform as input, convert the speech waveform into an auxiliary feature XA , and then use the auxiliary feature XA to convert into an auxiliary intermediate feature H A. Therefore, it can be said that the first speech conversion unit 301 converts the speech information of the target speaker into an auxiliary feature XA .
  • the converted auxiliary intermediate feature H A is sent to the second speech conversion unit 302 .
  • the second speech conversion unit 302 is a target speaker speech extraction type speech distributed representation sequence conversion unit. That is, using a multi-layer neural network (second multi-layer neural network), the second speech conversion unit 302 receives as input auxiliary intermediate features H A and mixed sound features X M , which are a feature sequence of speech from a target speaker and a non-target speaker (a speaker different from the target speaker), and converts them into intermediate speech features Hs′, which are a sequence of features commonly used by the target speaker and the non-target speaker (step S302).
  • the mixed sound features X M may be a mixture of speech from multiple speakers, may not include speech from the target speaker, or may include only speech from the target speaker. However, for convenience of explaining the processing of the present disclosure, hereinafter, the mixed sound features X M will be described as a feature sequence related to a mixture of speech from two speakers, a target speaker, and a non-target speaker, unless otherwise specified.
  • the second speech conversion unit 302 converts a mixed speech feature XM , which is a series of acoustic features of a mixed speech containing multiple speakers extracted for voice recognition, into an intermediate speech feature Hs' using a multi-layer neural network separate from the first speech conversion unit 301.
  • a speech recognition training function can be provided that estimates the symbol sequence of the target speaker using the intermediate speech feature Hs', similar to the processing by the symbol conversion unit 102, estimation unit 103, and loss calculation unit 104 described in Technology 1.
  • the second speech conversion unit 302 performs the conversion using a mathematical formula equivalent to the following formula:
  • h t ASR′ is the intermediate speech feature Hs′
  • f ASR-Enc′ is the encoder of the second speech conversion unit 302 (the second multilayer network described above)
  • f FE ( ⁇ ) is the feature extraction function
  • x t′ is the mixed speech at time t′ (equivalent to the mixed speech M in Technique 2)
  • h target′ is the auxiliary intermediate feature H A
  • ⁇ ASR-Enc′ is a trainable (updatable) parameter in the second speech conversion unit 302.
  • the second speech conversion unit 302 processes the input mixed sound feature XM as a feature sequence of mixed speech obtained by mixing speeches from multiple speakers. That is, the second speech conversion unit 302 simply processes the mixed sound feature XM as a feature sequence of mixed speech. Therefore, the mixed sound feature XM may be a mixture of speeches from multiple speakers, may not include the speech of the target speaker, or may include only the speech of the target speaker.
  • the second speech conversion unit 302 may also be configured to accept a speech waveform as input, convert the speech waveform into a mixed sound feature XM , and then use the mixed sound feature XM to convert into an intermediate speech feature Hs'.
  • speech information accepted as input by the second speech conversion unit 302, such as a speech waveform or a mixed sound feature XM will be collectively referred to as "input speech information.”
  • the converted intermediate speech feature Hs' is sent to the estimation unit 103A.
  • the language information conversion unit 102A uses a multi-layer neural network (third multi-layer neural network) to convert a symbol sequence of length U (hereinafter also referred to as the "first symbol sequence c'1"), which is a symbol sequence including first identification information L1 for identifying a target speaker and a first symbol sequence c1 indicating the speech content of the target speaker, into a first intermediate language feature C1, which is a corresponding sequence of continuous-valued features.
  • a symbol sequence of length U hereinafter also referred to as the "first symbol sequence c'1”
  • first intermediate language feature C1 which is a corresponding sequence of continuous-valued features.
  • the language information conversion unit 102A uses a multi-layer neural network (third multi-layer neural network) to convert a symbol sequence of length U (hereinafter also referred to as the "second symbol sequence c'2"), which is a symbol sequence including second identification information L2 for identifying a non-target speaker and a second symbol sequence c2 indicating the speech content of the non-target speaker, into a second intermediate language feature C2, which is a corresponding sequence of continuous-valued features (step S102A). That is, the language information conversion unit 102A plays the role of an encoder, converting the input into a one-hot vector once and then converting it into a first intermediate language feature C1 and a second intermediate language feature C2 by a multi-layer neural network. Note that the processing by the language information conversion unit 102A processes the target speaker and the non-target speaker in parallel.
  • a symbol sequence of length U hereinafter also referred to as the "second symbol sequence c'2”
  • second intermediate language feature C2 which is a corresponding sequence
  • the symbol conversion unit 102 in Techniques 1 and 3 converted to intermediate character features assuming only the target speaker.
  • the language information conversion unit 102A has basic functions equivalent to those of the symbol conversion unit 102, but converts to intermediate language features for both target speakers and non-target speakers.
  • the first symbol sequence c'1 is obtained by adding, as first identification information L1, for example, " ⁇ ts>”, which are the initials of target speaker, to the beginning of the first symbol sequence c1, which is the content of the first utterance.
  • the second symbol sequence c'2 is obtained by adding, as second identification information L2, for example, " ⁇ nts>", which are the initials of non-target speaker, to the beginning of the second symbol sequence c2, which is the content of the second utterance.
  • first symbol sequence c1 is "hello”
  • the first symbol sequence c'1 becomes “ ⁇ ts> hello”
  • the second symbol sequence c2 is "good bye”
  • the second symbol sequence c'2 becomes " ⁇ nts> good bye”.
  • the mixed sound feature XM includes a speech feature XM-1 of a target speaker and a speech feature XM-2 of a non-target speaker.
  • the first symbol sequence c'1 becomes " ⁇ ts> how are you”
  • XM-2 is "I am fine”
  • the second symbol sequence c'2 becomes " ⁇ nts> I am fine”. If there are multiple non-target speakers, identification information that can distinguish them from one another can be prepared.
  • ⁇ nts1>, ⁇ nts2>, ..., ⁇ ntsN> can be prepared.
  • X M-1 is "hello”
  • X M-2 is “goodbye”
  • X M-3 is “good evening”
  • X M-4 is “good morning”
  • X M-N+1 is "pleased to help you”
  • the sequence will be as follows: the first symbol sequence c'1 is “ ⁇ ts>hello,” the second symbol sequence c'2 is " ⁇ nts1>goodbye,” the third symbol sequence c'3 is “ ⁇ nts2> good evening,” the fourth symbol sequence c'4 is " ⁇ nts3> good morning,” ..., and the N+1th symbol sequence c'N+1 is “ ⁇ ntsN> pleased to help you.”
  • the maximum number of non-target speakers that can be processed is determined by how many non-target speakers are trained simultaneously at the time of training. For example, if training is performed using the identification tags and speech content up to ⁇ nts3> above, the total number of non-target speakers will be three.
  • the processing from feature extraction to speech recognition result output is performed multiple times in parallel for each speaker.
  • step S302 and step S102A may be reversed, or they may be processed in parallel.
  • the converted first intermediate language feature C1 and second intermediate language feature C2 are sent to the estimation unit 103A.
  • the estimation unit 103A uses a neural network to calculate a first output probability distribution Y1 (hereinafter also referred to as the "first speech recognition result”) and a second output probability distribution Y2 (hereinafter also referred to as the "second speech recognition result") of a two-dimensional matrix corresponding to label estimation, using the intermediate speech feature Hs', the first intermediate language feature C1, and the second intermediate language feature C2 as input (step S103A).
  • the processing by the estimation unit 103A performs processing related to the target speaker and processing related to non-target speakers in parallel.
  • the estimation unit 103 of Technology 1 calculates the output probability distribution of the target speaker.
  • the estimation unit 103A of the present disclosure has basic functions equivalent to those of the estimation unit 103, but calculates the output probability distributions of non-target speakers in addition to the output probability distribution of the target speaker.
  • the first output probability distribution Y1 and the second output probability distribution Y2 are calculated using the following equations:
  • y t,u is the output probability distribution when the intermediate speech feature Hs′ (written as H t ) at time t and the u-th intermediate language feature C u are input
  • W 1 is the hidden layer weight for the input H t
  • W 2 is the hidden layer weight for C u
  • b is the bias
  • W 3 is the hidden layer weight for the input tanh (W 1 H t +W 2 C u +b)
  • Softmax is the activation function.
  • the calculated first output probability distribution Y1 and second output probability distribution Y2 are sent to the model update unit 20.
  • the first loss calculation unit 104A receives as input a first symbol sequence c'1 (of length U or length T) which is a symbol sequence of the target speaker that corresponds to correct data (hereinafter also referred to as the "first correct speech recognition result") and a first output probability distribution Y1 which is a three-dimensional tensor, and calculates a first loss L RNN-T-TS which corresponds to an error in the first output probability distribution Y1 (step S104A).
  • the first loss calculation unit 104A corresponds to a function equivalent to the processing function of loss calculation carried out by the loss calculation unit 104 of Technique 1.
  • the loss L RNN-T-TS is calculated by creating a tensor with the symbol sequence length U on the vertical axis, the input sequence length T on the horizontal axis, and the depth as the number of classes, i.e., the number of symbol entries K, and then calculating the path of the optimal transition probability on the U ⁇ T plane based on a forward-backward algorithm.
  • a blank is output, and when moving along the vertical axis, the correct symbol is output.
  • FIG. 7 is a conceptual diagram of an example of output. Details of the calculation are described, for example, in Chapter 2, "2. Recurrent Neural Network Transducer," of the aforementioned Non-Patent Document 1.
  • the calculated first loss L RNN-T-TS is sent to the loss integration unit 403.
  • the second loss calculation unit 402 receives as input a second symbol sequence c'2 (hereinafter also referred to as the "second correct speech recognition result"), which is a symbol sequence of a non-target speaker that corresponds to correct data, and a second output probability distribution Y2, which is a three-dimensional tensor, and calculates a second loss L RNN-T-NTS corresponding to an error in the second output probability distribution Y2 (step S402).
  • the second loss calculation unit 402 has the same function as the first loss calculation unit 104A, and therefore a description of the processing method will be omitted.
  • the calculated second loss L RNN-T-NTS is sent to the loss integration unit 403.
  • steps S104 and S402 may be reversed, or they may be processed in parallel.
  • the loss integration unit 403 calculates a loss L RNN-T by integrating the losses of the target speaker and the non-target speakers using a hyperparameter ⁇ ( ⁇ >0). Then, the model parameters are updated (step S403). That is, the loss integration unit 403 calculates the loss L RNN-T using the following equation. Next, the loss integration unit 403 uses the loss L RNN-T to update the model parameters of the first speech conversion unit 301, the second speech conversion unit 302, the language information conversion unit 102A, and the estimation unit 103A. These model parameters may be stored in the storage area of each component, or a model parameter D2 storing each model parameter may be provided as shown in FIG.
  • the speech recognition model learning device 1A learns to correctly recognize speech by repeatedly updating the model parameters described above.
  • the speech recognition model training device 1A is expected to achieve the effects described in Non-Patent Document 1 above. That is, the amount of computational processing required for a speech recognition model trained by the speech recognition model training device 1A is considered to be equivalent to that of, for example, the speech recognition device in Non-Patent Document 1. Furthermore, unlike Non-Patent Document 1, it is possible to simultaneously recognize the speech of a target speaker and non-target speakers in a single recognition run. Therefore, while maintaining the amount of delay equivalent to that of conventional speech recognition systems, it is possible to recognize the speech of target speakers and non-target speakers in real time from mixed speech containing utterances from multiple speakers, demonstrating an improvement in the field of learning technology for speech recognition models.
  • the above-described speech recognition model training device 1A may be configured as speech recognition model training device 1B in Fig. 8.
  • Speech recognition model training device 1B differs from speech recognition model training device 1A in that speech recognition model training device 1B includes a correct speech recognition result generation unit 401. Accordingly, the flow diagram in Fig. 5 is changed as shown in Fig. 9. That is, step S401 is added before step S301.
  • the correct speech recognition result generating unit 401 generates a first symbol sequence c'1 by adding first identification information L1 to the beginning of a first symbol sequence c1, which is the first utterance content. Also, it generates a second symbol sequence c'2 by adding second identification information L2 to the beginning of a second symbol sequence c2, which is the second utterance content (step S401). The generated first symbol sequence c'1 and second symbol sequence c'2 are sent to the language information converting unit 102A.
  • the speech recognition model training device 1B of this modified example can train a speech recognition model after assigning identification information for identifying target and non-target speakers to symbols that have not been assigned identification information in advance, such as the first symbol sequence c1 and the second symbol sequence c2. Therefore, it is possible to instruct the estimation unit 103A as to whether the estimation target is a target or non-target speaker, and then have it train the speech recognition results to be estimated for each speaker. Furthermore, model training is possible more efficiently than with the speech recognition model training device 1A. These points represent an improvement in the field of speech recognition model training technology.
  • the speech recognition estimation device 2A includes a first speech conversion unit 301 and a speech recognition unit 10A.
  • Each component of the speech recognition estimation device 2A uses trained model parameters D2 obtained by training using the speech recognition model training device 1A or the speech recognition model training device 1B.
  • the model parameters D2 may be provided within the speech recognition estimation device 2A, or may be provided separately from the speech recognition estimation device 2A. Alternatively, each component of the speech recognition estimation device 2A may be configured to store the model parameters it uses.
  • the speech recognition unit 10A receives at least a mixed sound feature XM as input and generates a first estimated label C1F corresponding to the label estimation result of a target speaker and a second estimated label C2F corresponding to the label estimation result of a non-target speaker using a multi-layer neural network.
  • the speech recognition unit 10A uses an auxiliary intermediate feature H A , a first symbol sequence c'1, and a second symbol sequence c'2 to generate the first estimated label C1F and the second estimated label C2F.
  • the speech recognition unit 10A includes, for example, a second speech conversion unit 302 trained by the speech recognition model training device 1A or 1B, a language information conversion unit 102A (language information conversion unit 102B in FIG. 10), and an estimation unit 103A (estimation unit 103B in FIG. 10).
  • the mixed sound feature XM may be a mixture of speeches from multiple speakers, may not include speeches from the target speaker, or may include only speeches from the target speaker.
  • the speech recognition estimation device 2A performs the speech recognition estimation method of this embodiment by implementing the processing flow illustrated in FIG. 11.
  • the first speech conversion unit 301 has the same function as the first speech conversion unit 301 described above. That is, the first speech conversion unit 301 uses a multi-layer neural network (first multi-layer neural network) to convert auxiliary features XA , which are a feature sequence of the target speaker's speech, into auxiliary intermediate features H A, which are intermediate acoustic features of the target speaker information (step S301). Note that, unlike during training of the speech recognition model training device 1A, this step S301 only needs to be processed once for a speaker corresponding to the target speaker.
  • the converted auxiliary intermediate features H A are transmitted to the second speech conversion unit 302.
  • the second speech conversion unit 302 has the same function as the above-described second speech conversion unit 302. That is, the second speech conversion unit 302 uses a multilayer neural network (second multilayer neural network) to convert the auxiliary intermediate features H A and the mixed sound features X M into intermediate speech features Hs′ (step S302). The converted intermediate speech features Hs′ are sent to the estimation unit 103B.
  • second multilayer neural network second multilayer neural network
  • the language information conversion unit 102B basically has the same functions as the above-described language information conversion unit 102A.
  • the language information conversion unit 102B converts the first symbol sequence c'1 into first intermediate language features C1 using a multi-layer neural network (third multi-layer neural network). It also converts the second symbol sequence c'2 into second intermediate language features C2.
  • the language information conversion unit 102B receives the first estimated label C1F and the second estimated label C2F most recently estimated by the estimation unit 103B and performs conversion using these as well (step S102B).
  • the processing by the language information conversion unit 102B involves processing related to the target speaker and processing related to the non-target speaker in parallel.
  • the converted first intermediate language features C1 and second intermediate language features C2 are transmitted to the estimation unit 103B.
  • estimation unit 103B In order for estimation unit 103B to start estimation, it needs to receive first intermediate character feature C1 and second intermediate character feature C2 from language information conversion unit 102B. In order for language information conversion unit 102B to generate first intermediate character feature C1 and second intermediate character feature C2, it needs to receive first symbol sequence c'1 and second symbol sequence c'2.
  • the very first symbols of first symbol sequence c'1 and second symbol sequence c'2 correspond to identification information. That is, if first identification information L1 is " ⁇ ts>" and second identification information L2 is " ⁇ nts>", then " ⁇ ts>" will be input first as first symbol sequence c'1 and " ⁇ nts>” as second symbol sequence c'2 to speech recognition unit 10A.
  • Estimatiation unit 103B The estimation unit 103B performs label estimation using a neural network with the intermediate speech feature Hs', the first intermediate language feature C1, and the second intermediate language feature C2 as input, and generates a first estimated label C1F that is an estimated label of the target speaker and a second estimated label C2F that is an estimated label of the non-target speaker (step S103B).
  • the processing by the estimation unit 103B performs processing related to the target speaker and processing related to the non-target speakers in parallel.
  • the first estimated label C1F and the second estimated label C2F are output as estimation results from the speech recognition and estimation device 2A and are also transmitted to the language information conversion unit 102B.
  • the estimation results may include, in addition to estimated labels representing the content of the speech utterance, timestamps corresponding to the estimated labels for each predetermined unit.
  • the speech recognition unit 10A in the speech recognition estimation device 2A includes the second speech conversion unit 302 that receives the auxiliary intermediate features H A and input speech information and converts them into intermediate speech features Hs′, which are a sequence of intermediate features.
  • the speech recognition unit 10A generates a first speech recognition result from the intermediate speech features Hs′ in response to the input of first identification information L1 for identifying a target speaker, and generates a second speech recognition result from the intermediate speech features Hs′ in response to the input of second identification information L2 for identifying a non-target speaker.
  • the speech recognition estimation device 2A of this embodiment is able to recognize the voice of the pre-registered speaker (target speaker) from a mixture of sounds including interfering speakers and background noise at a speed equivalent to that of speech recognition when recognizing voice containing the speech of a normal single speaker (RNN-T, Technology 1, shown in Figure 1).
  • the number of speech recognition results (search width/beam width) per time t is set to the same for the target speaker and non-target speakers.
  • the processing from the inference section onwards is performed in parallel for the target speaker and non-target speakers, so the processing volume doubles.
  • the processing time is essentially equivalent to that of a speech recognition device that recognizes only the target speaker.
  • the processing volume per speaker can be reduced accordingly. For example, if the search width was A in conventional speech recognition for only the target speaker, setting the search width for the target speaker and non-target speakers to A/2 will effectively equal the processing volume of a device that recognizes speech from a single speaker or only the target speaker.
  • the speech recognition estimation device 2A is capable of performing the processing described in FIG. 11, there are no particular restrictions on the type of terminal on which the speech recognition estimation device 2A is used, and the speech recognition estimation device 2A may be configured to perform processing on a smartphone, smartwatch, or personal computer. Furthermore, the function of the first speech conversion unit 301 may be separated from the speech recognition estimation device 2A and processed on a separate device.
  • the above-described speech recognition estimation device 2A may be configured as a speech recognition estimation device 2B shown in Fig. 12.
  • the speech recognition estimation device 2B differs from the speech recognition estimation device 2A in that it includes an identification information transmission unit 401B. Accordingly, the flow diagram of Fig. 11 is changed as shown in Fig. 13. That is, step S401B is added before step S301.
  • the identification information transmitting unit 401B transmits the first symbol sequence c'1 and the second symbol sequence c'2 to the language information conversion unit 102B (step S401B).
  • the estimation unit 103B in order for the estimation unit 103B to start estimation, it needs to receive the first intermediate character feature C1 and the second intermediate character feature C2 from the language information conversion unit 102B.
  • the language information conversion unit 102B In order for the language information conversion unit 102B to generate the first intermediate character feature C1 and the second intermediate character feature C2, it needs to receive the first symbol sequence c'1 and the second symbol sequence c'2.
  • the identification information transmitting unit 401B plays a role in inputting the first symbol sequence c'1 and the second symbol sequence c'2 required for the initial processing of the language information conversion unit 102B to the speech recognition unit 10A. Specifically, the identification information transmitting unit 401B transmits the first identification information L1 as the first symbol sequence c'1 and the second identification information L2 as the second symbol sequence c'2. That is, if the first identification information L1 is " ⁇ ts>" and the second identification information L2 is " ⁇ nts>", the identification information transmitting unit 401B transmits " ⁇ ts>" as the first symbol sequence c'1 and " ⁇ nts>” as the second symbol sequence c'2 to the language information conversion unit 102B.
  • This modified example also enables efficient speech recognition. That is, by registering the user's voice in advance, the speech recognition estimation device 2B according to this modified example can also recognize the voice of the pre-registered speaker (target speaker) from a mixture of sounds containing interfering speakers and background noise at a speed equivalent to that of speech recognition when recognizing voice containing the speech of a normal single speaker (RNN-T, Technology 1, shown in Figure 1). It is also possible to simultaneously recognize the voices of the target speaker and non-target speakers in a single recognition run. Therefore, while maintaining the same amount of delay as conventional speech recognition systems, it is possible to recognize the voices of the target speaker and non-target speakers in real time from a mixture of sounds containing the speech of multiple speakers, marking an improvement in the field of speech recognition estimation devices.
  • RNN-T Normal single speaker
  • the above-described speech recognition estimation device 2A may be configured as a speech recognition model training device 2C in Fig. 14.
  • the speech recognition estimation device 2C differs from the speech recognition estimation device 2A in that it is newly provided with a storage unit D3 that stores auxiliary intermediate features H A converted by the first speech conversion unit 301, a recognition control unit 50, and a saving and output unit 60. Accordingly, the flow diagram in Fig. 11 is changed as shown in Fig. 15. That is, step S50 is added before step S302, and step S60 is added after step S103B.
  • the recognition control unit 50 Upon receiving a predetermined signal, the recognition control unit 50 sends (transmits) the auxiliary intermediate feature H A stored in the storage unit D3 to the second speech conversion unit 302. That is, upon receiving the start signal R1, the recognition control unit 50 extracts the registered auxiliary intermediate feature H A from the storage unit D3 where it has been previously stored and transmits it to the second speech conversion unit 302 (step S50). Because the speech recognition unit 10A cannot start processing without the input of the auxiliary intermediate feature H A , the recognition control unit 50 can essentially adjust the timing of the start of processing by the speech recognition unit 10. That is, the processing of the recognition control unit 50 can be considered processing for controlling recognition execution.
  • the recognition control unit 50 may be configured to obtain the setting information R2 upon receiving the start signal R1 by previously registering setting information R2 in a database (not shown), which includes information such as the identification information of the speaker to be assigned and the designation of the speaker to be retained in a memory or storage device.
  • the storage and output unit 60 stores (stores) or outputs the first estimated label C1F and the second estimated label C2F, which are the output results of the estimation unit 103B (step S60).
  • the storage and output unit 60 is a part that has a storage device or a display unit such as a display, or both a storage device and a display unit.
  • the storage and output unit 60 may be configured as one of the components of the speech recognition estimation device 2C, or may be provided separately from the speech recognition estimation device 2C via a communication network such as a network.
  • An example of a usage form of the speech recognition estimation device 2C is as follows.
  • customer service counter operations such as at a store counter
  • the operator's voice in advance in storage unit D3
  • the target speaker label is set to "operator” and the non-target speaker label to "customer.”
  • the estimation unit 103B output, for example, "operator” at the beginning of the first estimated label C1F and "customer” at the beginning of the second estimated label C2F.
  • this information can be registered as setting information R2, and the names of the target speaker and non-target speaker, or either one of them, can be output.
  • Another example of the use of this embodiment is as follows: When one translator is assigned to each important client to participate in a conference (this combination is counted as one group). In this case, it is useful in either of the following cases: (1) when the group participates in the conference online from the same location using the same terminal (sharing one speech recognition estimation device), or (2) when multiple groups participate in the conference online from their own locations.
  • the voice of each interpreter By registering the voice of each interpreter in advance, it becomes possible to recognize the voice of everyone, with the interpreter as the target speaker and the important client as a non-target speaker.
  • multilingual speech recognition may be necessary, but the language of each speaker may be registered in advance, or the system may be configured to automatically determine the language.
  • a name may be assigned to the speech recognition result of the non-target speaker (second estimated label C2F) after the fact.
  • the speech recognition estimation device 2C of this modified example can recognize the speech of target and non-target speakers in real time from mixed speech containing speech from multiple speakers, while maintaining the same amount of delay as conventional speech recognition systems. It can also adjust the timing for starting processing in the speech recognition unit. These points represent an improvement in the field of speech recognition estimation devices.
  • the above-described speech recognition estimation device 2C may be configured as a speech recognition model training device 2D in Fig. 16.
  • the speech recognition estimation device 2D differs from the speech recognition estimation device 2C in that a speech extraction unit 70 is newly provided. Accordingly, the flow diagram in Fig. 15 is changed as shown in Fig. 17. That is, step S70 is added as the process following step S103B in addition to step S60.
  • the speech extraction unit 70 receives the mixed sound feature XM , the first estimated label C1F, and the second estimated label C2F as input and extracts acoustic features of the target speaker and acoustic features of the non-target speakers (step S70). That is, the speech extraction unit 70 uses the first estimated label C1F and the second estimated label C2F to extract speech information related to the target speaker (first speech information), speech information related to the non-target speaker (second speech information), or speech information related to both, from the mixed sound feature XM .
  • first speech information speech information
  • speech information related to the non-target speaker second speech information
  • speech information related to both from the mixed sound feature XM .
  • the case where acoustic features are extracted as speech information will be described as an example.
  • the acoustic features of the target speaker are acoustic features of the portion uttered by the target speaker, and are acoustic features corresponding to XM -1 shown in FIG. 6.
  • the acoustic features of the non-target speakers are acoustic features of the portion uttered by the non-target speakers, and are acoustic features corresponding to XM-2 shown in FIG. 6. Therefore, the speech extraction unit 70 generates acoustic features by separating the portions of speech uttered by the target speaker or the portions of speech uttered by non-target speakers from the remaining portions.
  • speech utterances of the target speaker and non-target speakers can be separated from the mixed sound feature XM using the timestamp of the output content of the estimation unit 103B corresponding to the mixed sound feature XM .
  • This method does not clearly separate overlapping portions of the mixed sound feature XM between the target speaker and the non-target speaker. Therefore, for example, when extracting speech information of the target speaker, (1) extraction is performed based on the timestamp of the speech recognition result of the target speaker. In this case, speech information is extracted including portions overlapping with the speech of non-target speakers.
  • (2) extraction is performed based on the timestamps of the speech recognition results of both the target speaker and non-target speakers. In this case, speech information can be extracted with portions overlapping with the speech of non-target speakers removed.
  • the above method (2) can extract information that does not include speech information of non-target speakers, allowing for greater consideration of personal information.
  • Fig. 18 is a conceptual diagram for explaining the assignment of time stamps.
  • X M-1 is "how are you” and X M-2 is "I am fine.”
  • the utterance time T of X M-1 and X M-2 is assumed to be from T1 to T4.
  • the processing of the speech recognition/estimation device 2D outputs a first estimated label C1F and a second estimated label C2F, as shown on the right side of Fig. 18.
  • estimation unit 103B Since the processing of estimation unit 103B is performed frame-by-frame, when "how" is output at a certain time, the timestamp "T1" for that time is automatically determined. Just as probabilities have time indexes (the first output probability distribution Y1 or the second output probability distribution Y2 has a t attached), estimation unit 103B performs estimation in time units, making it possible to recognize which word was uttered at what timing. Note that in actual processing, timestamps are assigned on a subword-by-subword (or character-by-character) basis, but Figure 18 explains the process using a word-by-word basis as an example to facilitate understanding.
  • the generated acoustic features are sent to the storage and output unit 60.
  • the saving/output unit 60 by specifying the speaker to be saved (stored) in the saving/output unit 60 as setting information R2, it is possible to configure the saving/output unit 60 to save only the acoustic features of the speaker specified in setting information R2 out of the acoustic feature information extracted by the speech extraction unit 70.
  • One example is to maintain storage of the first speech recognition result and the first speech information related to the target speaker, and delete the input speech information and other information generated during the processing from the device itself.
  • Another example is to maintain storage of the first speech recognition result and the first speech information related to the target speaker, and delete the input speech information and other information generated during the processing from the device itself.
  • the non-target speaker may be one or more
  • the recognition results are presented to the user, and specification is accepted of the acoustic features and speech recognition results that should be retained on the device or deleted.
  • Possible means of presenting the results to the user at this time include displaying the text of the recognition results on a display that the device has or is connected to.
  • the method of specifying the information to be retained or deleted may be specified on a speech recognition target basis, or it may be possible to specify the information for each piece of information, such as acoustic features or speech recognition results. The information is deleted based on the specified information that was accepted.
  • the speech recognition estimation device 2D can recognize speech of a target speaker and non-target speakers in real time from a mixed speech containing speech from multiple speakers while maintaining the same amount of delay as conventional speech recognition systems. Furthermore, it can extract acoustic features related to the target speaker, non-target speakers, or both, from the mixed sound feature XM . These points represent an improvement in the field of speech recognition estimation devices.
  • the above-described speech recognition estimation device 2D may be configured as a speech recognition model training device 2E in Fig. 19.
  • the speech recognition estimation device 2E differs from the speech recognition estimation device 2D in that a transmission unit 80 is newly provided. Accordingly, the flow diagram in Fig. 17 is changed as shown in Fig. 20. That is, in addition to step S60, step S80 is added as the process following step S70.
  • the transmission unit 80 receives the acoustic feature extraction results (including at least one of the target speaker's speech information and the non-target speaker's speech information) from the speech extraction unit 70 and the estimation results (including at least one of the first estimated label C1F and the second estimated label C2F) from the estimation unit 103B, and transmits them to a pre-specified device (step S80).
  • the transmission may be performed based on that information.
  • the transmission unit 80 transmits the acoustic feature of the non-target speaker to the non-target speaker's terminal.
  • the speech information of only the non-target speaker and the estimation results to be transmitted are specified as the type of results to be transmitted, the transmission unit 80 transmits the estimation results and acoustic feature of the non-target speaker to the non-target speaker's terminal.
  • the speech recognition estimation device 2E can further increase the reliability of personal information protection in that it can send only information about a predetermined speaker (in this case, a non-target speaker) to a specified device.
  • the speech recognition estimation device 2E of this modified example can recognize the speech of target and non-target speakers in real time from mixed speech containing the speech of multiple speakers, while maintaining the same amount of delay as conventional speech recognition systems. Furthermore, the speech recognition estimation device 2E can further promote the protection of personal information by sending only information about a specific speaker to a specified device. These points represent an improvement in the field of speech recognition estimation devices.
  • acoustic features (auxiliary intermediate features) H A for extracting a target speaker are used to generate acoustic features (intermediate speech features) Hs' for speech recognition from mixed speech features X M. This makes it possible to identify which of the speeches of multiple speakers recognized from the mixed speech is the speech of the target speaker. If it is not necessary to identify the target speaker, it is not necessary to use the acoustic features of the target speaker to generate Hs', which will be described as a third embodiment.
  • [Speech recognition model learning device] 21 is a functional block diagram showing an example of the configuration of a speech recognition model training device 21 according to the third embodiment.
  • the differences from the speech recognition model training device 1A are that the first speech conversion unit 301 is omitted, and that instead of the second speech conversion unit 302, a third speech conversion unit 2101 that generates an intermediate speech feature Hs' using only XM as input is provided, a speaker information addition unit 2102 is provided, and N loss calculation units are provided.
  • N loss calculation units are provided for ease of understanding, an example in which N loss calculation units are provided is described, but N calculations may be performed by one loss calculation unit.
  • FIG. 22 is a flowchart illustrating an example of the operation of the voice recognition model training device 21. The following description will be given with reference to FIGS. 21 and 22.
  • the storage unit D1 stores mixed sound features XM, which are obtained by converting a sound (mixed sound X) that simulates a conversation by mixing utterances from multiple speakers (assumed to be N speakers ) into acoustic features on a frame-by-frame basis. Also, N symbol sequences that represent the content of each speaker's utterance in text form are stored. X M and the symbol sequences c1, c2, ..., cN of the speech intervals corresponding to the speakers included in X M are input to the speech recognition unit 10. These become the correct answer data for training the neural network.
  • speaker IDs are assigned in the order of first utterances during training, such as ⁇ A>, ⁇ B>, ⁇ C>, ⁇ D>..., then during inference, as described in the section on "Speech Recognition and Estimation Device" below, the speaker IDs can also be assigned in the order of utterances. In other words, speaker IDs can be said to identify speech recognition targets based on the order of utterances.
  • the language information conversion unit 102A converts the symbol sequence c'1, c'2, . . . , c'N with speaker IDs into a distributed representation to generate intermediate character features C1, C2, .
  • the language information conversion unit 102A is configured with a neural network, and its model parameters are determined by learning.
  • the third speech conversion unit 2101 converts the mixed speech feature XM into a distributed representation to generate intermediate speech feature Hs' to be used for speech estimation (step S2201).
  • the distributed representation is a vector of a predetermined dimension obtained by converting the mixed speech feature XM based on model parameters of the neural network that constitutes the third speech conversion unit 2101.
  • the third speech conversion unit 2101 is configured as a neural network, and its model parameters are determined by learning.
  • the estimation unit 103A includes a first processing unit p-1, a second processing unit p-2, ..., an Nth processing unit pN, and each processing unit is configured by a neural network having the same model parameters.
  • the estimation unit 103A is configured with a neural network, and determines its model parameters through learning.
  • the speaker information addition unit 2102 outputs the symbol sequence ⁇ spk-1> with speaker ID and no symbols as c'1.
  • the language information conversion unit 102A converts ⁇ spk-1> to C1 and sends it to the first processing unit p-1.
  • the first processing unit p1 outputs Y1 using Hs' and C1 output by the third speech conversion unit. Thereafter, the first processing unit is supplied with a symbol sequence with speaker ID and including symbols.
  • the speaker information addition unit 2102 When the first frame (feature) of the second speaker is input, the speaker information addition unit 2102 outputs ⁇ spk-2> as c'2.
  • the language information conversion unit 102A converts ⁇ spk-2> to C2 and sends it to the second processing unit p-2.
  • the second processing unit p-2 outputs Y2 using Hs' and C2 output by the third speech conversion unit. Thereafter, a symbol sequence with a speaker ID including symbols is supplied to the second processing unit. Thereafter, the first frame of each speaker is processed in the same manner.
  • the model update unit 20 repeatedly updates and optimizes the model parameters of the language information conversion unit 102A, the third speech conversion unit 2101, and the estimation unit 103A using the output (estimation result) of the speech recognition unit 10 and the correct answer data stored in the recording unit.
  • the model update unit 20 updates the model parameters based on the LRNN-T obtained by the integration (step S2205).
  • the speaker information adding unit 2102 generates a symbol sequence with a speaker ID
  • the language information converting unit 102A converts the symbol sequence with a speaker ID into intermediate character features.
  • the language information converting unit may generate a symbol sequence with a speaker ID and convert it. In this case, the speaker information adding unit 2102 can be omitted.
  • [Speech recognition estimation device] 23 is a functional block diagram showing an example of the configuration of a speech recognition estimation device 23 according to the third embodiment.
  • the speech recognition estimation device 23 receives mixed sound features XM as input and outputs symbols C1F, C2F, ..., CNF of the speech recognition result for each speaker.
  • the speech recognition estimation device 23 comprises the speech recognition unit 10 and memory unit D2 of the speech recognition model training device 21.
  • the estimation unit 103A is described as having N processing units (p-1, p-2, ..., pN), but one processing unit may perform parallel processing of N sequences of speech recognition.
  • FIG. 24 is a flowchart illustrating an example of the operation of the speech recognition estimation device 23. The following description will be given with reference to FIGS. 23 and 24.
  • the speech recognition estimation device 23 is assumed to have learned N speakers, that is, to estimate, store, and update a maximum of N symbol sequences c1, c2, ..., cN.
  • the third speech conversion unit 2101 acquires the acoustic feature (mixed sound feature) X M of the input frame (step S2401).
  • the third speech conversion unit 2101 converts the mixed sound feature X M into a distributed representation to generate intermediate speech feature Hs′ to be used for speech estimation (step S2402).
  • the estimation unit 103A recognizes the speech of the first speaker (first speaker) appearing in the mixed sound (conversation) as related to ⁇ spk-1>.
  • C1F is output from the first processing unit as the label estimation result for the first speaker (step S2406).
  • the other processing units do not output estimation results.
  • C1F is also sent to the speaker information addition unit, which adds C1F to the symbol sequence c'1 (updates c'1). Thereafter, the speaker information addition unit sends c'1 including the symbols to the language information conversion unit (step S2404).
  • the estimation unit 103A recognizes the voice as related to ⁇ spk-2>.
  • C2F is output from the second processing unit as the label estimation result for the second speaker (step S2406).
  • C2F is also sent to the speaker information addition unit, which adds C2F to the symbol sequence c'2 (updates c'2). Thereafter, the speaker information addition unit sends c'2 including the symbols to the language information conversion unit (step S2404).
  • the estimation unit 103A recognizes the speech as related to ⁇ spk-i> and outputs CiF from the i-th processing unit. CiF is also sent to the speaker information addition unit, which adds CiF to the symbol sequence c'i. Thereafter, the speaker information addition unit sends c'i including the symbols to the language information conversion unit.
  • the speech recognition estimation device 23 returns to step S2401 and processes the next frame.
  • the speaker information adding unit 2102 generates a symbol sequence with a speaker ID
  • the language information converting unit 102A converts the symbol sequence with a speaker ID into intermediate character features.
  • the language information converting unit may generate a symbol sequence with a speaker ID and convert it. In this case, the speaker information adding unit 2102 can be omitted.
  • the speaker information adding unit 2102 can also be omitted.
  • ⁇ spk-i> is initially set in all N i-th processing units, but it is not necessary to initially set it in all N units (the maximum number of speakers during learning). For example, if the number of conference participants is set at the start of the conference, ⁇ spk-i> of that number (but not more than N) can be initially set in the estimation unit. Alternatively, at the start of the conference, conference participants can be asked to speak in turn, and ⁇ spk-i> can be initially set for the number of users who instructed them to speak.
  • the target speaker of the speech recognition speaks at the start of speech recognition and only ⁇ spk-1> is initially set in the estimation section, it can also be used as a "speech recognition engine that recognizes only the speech of the target speaker (first speaker)."
  • the disclosed technology (third embodiment) will be compared with existing technologies.
  • the prior art (Technology 1) is a technology for recognizing the speech of a single speaker from speech containing only that speaker's speech.
  • a speech recognition estimation device trained using Technology 1 attempted to recognize the speech of each speaker from a mixed sound containing speech from multiple speakers, the error rate was 64.5%.
  • the recognition result for each speaker included the recognition result of another speaker, it was flagged as an error even if the recognition result was correct.
  • Reference 2 (Kanda et al., "Streaming Multi-Talker ASR with Token-Level Serialized Output Training", arXiv:2202.00842v5, July 14th, 2022) is a technology for recognizing the speech of all speakers from audio that includes speech from multiple speakers.
  • a speech recognition estimation device trained using Reference 2 recognized the speech of all speakers from a mixture of sounds containing speech from multiple speakers, the error rate was 4.4%.
  • a mixed sound containing speech from multiple speakers is first output as a single time series of recognition results (e.g., words) for all speakers. By inserting a predetermined break in the time series at the point where the speaker changes, it becomes easier to separate the results into individual speakers in the subsequent stage.
  • the speech recognition estimation device trained using the technology in Reference 2 is comparable in performance to the speech recognition estimation device trained using the disclosed technology.
  • the technology in Reference 2 requires an enormous amount of time to prepare training data. Millions of hours of training data are typically used for speech recognition training, but it is not easy to align words and assign timestamps to these millions of hours of training data to create time-series training data (correct answer data).
  • the disclosed technology can create training data simply by adding speaker IDs to the training data. No alignment is required. The disclosed technology can be said to have superior cost-effectiveness compared to Reference 2.
  • ⁇ Modification 1 of the third embodiment speech recognition estimation device
  • speaker IDs are assigned in the order in which they appear in a conversation (mixed sounds).
  • speaker information (such as name) can be added to the recognition results. This will be explained using Figs. 25 and 26.
  • the speech recognition estimation device 23 in FIG. 25 is obtained by adding a name adding unit 2501 to the speech recognition estimation device 23 in FIG.
  • the name adding unit 2501 acquires the names of speakers (Name-1, Name-2, ..., Name-N) and the order of speaking (step S2601). For simplicity of explanation, it is assumed that the order of speaking is Name-1, Name-2, ..., Name-N.
  • the speech is converted into mixed sound features and acquired by the speech recognition/estimation device 23 (step S2603).
  • the speech recognition/estimation device 23 assigns speaker IDs to the speakers in the order they appear in the conversation (mixed sounds), which allows the speakers to be linked to their speaker IDs.
  • the name adding unit 2501 outputs the output of the i-th processing unit as the speech recognition result for Name-i (step S2604).
  • the names of the speakers and the order of their speech are acquired prior to speech recognition, but this processing may also be performed after speech recognition is complete.
  • the conference participants may (individually) remember the order in which they spoke at the beginning of the conversation, and after the conference (speech recognition is complete), each participant (speaker) may input information linking the speaker's name with the speech order i corresponding to the speech recognition result into the device.
  • speech recognition after speech recognition is complete, at least one of the speech recognition results of the first utterance of each recognized speaker or an extracted speech information frame corresponding to the speech recognition result may be presented to the conference participants, and they may be asked to input the name corresponding to the presented content.
  • the names and speaking order of N speakers are acquired, but if the number of conference participants is n, which is less than N, it is sufficient to acquire the names and speaking order of n speakers. Also, instead of acquiring the names of all conference participants, it is also possible to acquire the name of, for example, only the third speaker.
  • Conversations in the remote conference system may be speech-recognized and provided to the conference participants. This will be explained with reference to Figs. 27 and 28.
  • the server hosting the conference (remote conference server 2703) and the conference participant terminals (terminals 2704-1, 2704-2, ..., 2704-N') are connected via a communications network 2705.
  • the number of speakers participating from each terminal is not limited to one, but the number of conference participants T does not exceed N (the maximum number of voices that can be recognized).
  • the remote conference server 2703 acquires voice from each terminal, mixes it, and transmits it to each terminal as conference voice.
  • the remote site 27 is equipped with a voice recognition server 2701, which includes a voice recognition estimation device 23 and a voice acquisition unit 2702.
  • the speech acquisition unit 2702 acquires mixed speech (conference speech) from the remote conference server 2703, converts it into mixed sound features XM , and transmits it to the speech recognition/estimation device 23 (step S2801).
  • the speech recognition/estimation device 23 recognizes speech using XM (step S2802), and the speech recognition server 2701 transmits the recognition result to all terminals (step S2803).
  • the speech recognition server 2701 may acquire the number of the speaking order (referred to as the speech number) and the ID of the terminal to which the speech number belongs, and the conference participants may speak in the order of the speech numbers at the beginning of the conference.
  • the speech number i corresponds to the speaker ID ⁇ spk-i>. If the speech recognition server 2701 transmits the recognition result for ⁇ spk-i> only to the terminal to which the speech number i belongs, the speech recognition result can be transmitted only to the terminal to which the speaker belongs.
  • the server may be configured to delete all speech information, recognition results, intermediate features, etc. related to the conference from the server as soon as the transmission of the speech recognition results is completed.
  • the voice recognition server 2701 is arranged at the same remote site 27 as the teleconferencing server 2703, but the voice recognition server 2701 may be arranged at the same site as the terminal 1, for example, or the terminal 1 may be configured to have the functions of the teleconferencing server 2701.
  • the teleconferencing server 2703 mixes the voices of all the terminals and transmits them to all the terminals, so the teleconferencing server 2701 arranged at the site of the terminal 1 simply acquires the mixed voice (conference voice) from the terminal 1.
  • the voice recognition server 2701 acquires the voices mixed by the teleconferencing server 2703.
  • the voice recognition server 2701 may acquire and process the voices before mixing that are received by the teleconferencing server 2703 from each terminal. This will be explained using FIG. 29 .
  • the teleconferencing system is assumed to have N' terminals and a teleconferencing server connected via a communication network, similar to Modification 2.
  • the function of the speech acquisition unit 2702-i is the same as that of the speech acquisition unit 2702
  • the function of the speech recognition estimation device 23-i is the same as that of the speech recognition estimation device 23.
  • the speech acquisition unit 2702-i acquires mixed speech (including single speech) received from the terminal 2704-i from the teleconference server 2703 and converts it into mixed sound feature X M -i.
  • the speech recognition/estimation device 23-i recognizes the speech using the mixed sound feature X M -i, and the speech recognition server 2901 transmits the recognition result to all terminals.
  • the speech recognition result is transmitted to all terminals.
  • the speech acquisition unit 2702-i may acquire the terminal ID along with the mixed speech of the terminal 2704-i.
  • the speech recognition server 2901 may then transmit the recognition result using the mixed sound feature X M -i only to the terminal 2704-i.
  • a pair of speech acquisition unit and speech recognition estimation device is used for each speech of one terminal, but a pair of speech acquisition unit and speech recognition estimation device may also be used to process speech of multiple terminals.
  • ⁇ Modification 4 of the third embodiment speech recognition estimation device
  • the speech recognition results are transmitted to each terminal. That is, the generation of intermediate speech features, the generation of intermediate character features, and the estimation of speech symbols are all performed by the speech recognition server 2701.
  • the generation of intermediate speech features may be performed on a server, while the generation of intermediate character features and the estimation of speech symbols may be performed on a terminal.
  • the terminal is not limited to a device for a specific purpose, such as a smartphone or speakerphone, and may be realized using a general-purpose computer. This will be explained using Figures 30 and 31.
  • a speech recognition server 3001 is located at the remote site 27.
  • the speech recognition server 3001 includes a third speech conversion unit 2101 and a speech acquisition unit 2702.
  • the function of the language information conversion unit 102A-i is the same as that of the language information conversion unit 102A, and uses the same model parameters.
  • the function of the estimation unit 103A-i is the same as that of the estimation unit 103A, and uses the same model parameters.
  • the symbol sequence with speaker ID is generated by the language information conversion unit 102A-i.
  • the voice acquisition unit 2702 acquires mixed voice sounds (conference voices) from the remote conference server 2703, converts them into mixed voice features X M , and transmits them to the third voice conversion unit 2101 (step S3101).
  • the third speech conversion unit 2101 converts the mixed sound feature X into a distributed representation to generate intermediate speech feature Hs' to be used for speech estimation (step S3102).
  • the output of each estimation unit 103A-i is the speech recognition result for all conference participants.
  • each estimation unit 103A-i performed speech recognition for all conference participants.
  • the speech recognition server 3001 may generate a speech order for the conference participants and notify each terminal of the speech order for the users. For example, if the conference participants using terminal 2704-i are second and fifth to speak, the language information conversion unit 102A-i initially sets ⁇ spk-2> and ⁇ spk-5> to the estimation unit 103A-i. As a result, the estimation unit 103A-i can recognize only the speech of the participants using terminal 2704-i.
  • the first modification of the third embodiment (linking the recognition result with speaker information) may be applied to the second or third modification, and the speech recognition server may be used as a minutes-taking system.
  • the above is a description of the modified example of the third embodiment.
  • the speech recognition estimation device 23 according to the modification of the third embodiment improves an end-to-end speech recognition system that outputs a character sequence directly from acoustic features, which has conventionally been capable of recognizing speech containing only a single speaker, by enabling it to recognize speech from multiple speakers from speech containing multiple speakers.
  • the disclosed technology brings about an improvement in speech recognition technology.
  • the present disclosure may also include a device (terminal) for using the device of the present disclosure or the method of the present disclosure via a network (telecommunications line).
  • the "device (terminal) for use” may be equipped with the functions necessary to obtain the effects of implementing the device of the present disclosure or the method of the present disclosure (e.g., control functions, decoding functions, restoration functions, input/output functions, etc.).
  • processors may be implemented in circuitry or processing circuitry, including general-purpose processors, application-specific processors, integrated circuits, ASICs (Application Specific Integrated Circuits), a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), conventional circuitry, and/or combinations thereof, programmed to perform the described functions.
  • a processor includes transistors and other circuits and is considered to be circuitry or processing circuitry.
  • a processor may also be a programmed processor that executes programs stored in memory.
  • a circuit, unit, or means refers to hardware that is programmed to realize or executes the described functions.
  • the hardware may be any hardware disclosed in this specification or any hardware known to be programmed to realize or execute the described functions.
  • the hardware is a processor, which is considered to be a type of circuitry
  • the circuitry, means, or unit is the combination of the hardware and the software used to configure the hardware and/or processor.
  • the program describing this processing can be recorded on a computer-readable recording medium.
  • Examples of computer-readable recording media include magnetic recording devices, optical disks, magneto-optical recording media, and semiconductor memory.
  • this program may be distributed, for example, by selling, transferring, or lending portable recording media such as DVDs or CD-ROMs on which the program is recorded.
  • the program may be stored in a storage device on a server computer, and then transferred from the server computer to other computers via a network, thereby distributing the program.
  • a computer that executes such a program for example, first stores the program recorded on a portable recording medium or transferred from a server computer in its own storage device. Then, when executing processing, the computer reads the program stored on its own recording medium and executes processing in accordance with the read program. As another form of execution of this program, the computer may read the program directly from the portable recording medium and execute processing in accordance with that program, or it may execute processing in accordance with the received program each time a program is transferred to this computer from the server computer. Alternatively, the server computer may not transfer the program to this computer, but rather executes processing using a so-called ASP (Application Service Provider) type service, which realizes processing functions simply by issuing execution instructions and obtaining results.
  • ASP Application Service Provider
  • the computer may be configured to execute terminal processing using a so-called SaaS (Software as a Service) type service, which allows users to use part of a server computer along with the program.
  • the program includes information used for processing by an electronic computer that is equivalent to a program (such as data that is not a direct command to a computer but has properties that dictate computer processing).
  • the device is configured by executing a specific program on a computer, but at least part of the processing may also be implemented in hardware.
  • the speaker of the utterance included in the input speech information is the Nth speaker in the order of utterance, converting the input speech information into intermediate speech features based on a pre-trained first model; a speech recognition estimation device that performs a process in parallel for each speaker to generate an Nth speech recognition result indicating the speech content of the Nth speaker from the intermediate speech features based on a second model that has been trained in advance.
  • Item 1 is a speech recognition and estimation device according to the present invention,
  • the processor further comprises: a name and an order of speech corresponding to the speaker are acquired, and an Nth speech recognition result corresponding to the Nth identification information is output in association with the name using the order of speech.
  • a server including a first memory and a first processor coupled to the first memory; a terminal including a second memory and a second processor connected to the second memory; Including, the first memory stores first model parameters; the second memory stores second model parameters;
  • the first processor acquiring information about the terminals corresponding to dialogue participants and input speech information including speech from multiple people, and converting the input speech information into intermediate speech features using a first model that has been trained in advance; transmitting the intermediate speech features to the terminal;
  • the second processor a speech recognition system that receives as input the speech order of the dialogue participants corresponding to the terminal and the intermediate speech features, and generates a speech recognition result for the speaker corresponding to the speech order from the intermediate speech features using a second model that has been trained in advance.
  • a system including a server and one or more terminals, wherein the terminals perform the following processes: The terminal transmits to the server an order of utterances made by a speaker to be recognized at the beginning of a dialogue, and obtains from the server a speech recognition result for the order of utterances.
  • the processor converting the training input speech information including speech from multiple speakers into intermediate speech features based on the first model;
  • the speaker of the utterance included in the learning input speech information is designated as the Nth speaker in the order of utterance, converting an N-th correct speech recognition result indicating the speech content of the N-th speaker into an N-th intermediate language feature based on the second model; generating an N-th speech recognition result based on the third model using as input the N-th identification information corresponding to the speaking order of the N-th speaker, the intermediate speech features, and the N-th intermediate language features; a speech recognition model training device that receives the N speech recognition results and the N correct speech recognition results as inputs and updates parameters of the first model, the second model, and the third model;
  • a computer-readable non-transitory recording medium having recorded thereon a program for causing a computer to function as the speech recognition estimation device according to any one of appendixes 1 to 4, the speech recognition system according to any one of appendixes 5 or 6, or the speech recognition model training device according to appendix 7.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から全ての話者の音声をリアルタイムに同時に認識する音声認識推定装置を提供する。開示した音声認識推定装置は、音声変換部と推定部を備える。入力音声情報に含まれる発話の話者を発話順に第N話者として、音声変換部は、入力音声情報を中間音声特徴量へ変換する。推定部は、第N話者の発話順に対応する第N識別情報に基づいて、中間音声特徴量から第N話者の発話内容を示す第N音声認識結果を生成する。音声変換部と推定部は、予め学習済みのモデルに基づいて処理を行う。

Description

音声認識推定装置、音声認識システム、音声認識推定方法、音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム
　本開示は、複数人の音声の中から目的話者の発話内容を表す任意の文字列（音素、文字、サブワード、単語）を直接出力する音声認識技術に関する。
　本開示はまた、複数人の音声の中から話者それぞれの発話内容を表す任意の文字列（音素、文字、サブワード、単語）を出力する音声認識技術に関する。
　近年のニューラルネットワークを用いた音声認識システムでは、音声特徴量から単語系列を直接出力することが可能である。この音響特徴量から直接任意の文字系列を出力するEnd-to-End音声認識システムの学習方法を図１に示す。
　このRecurrent Neural Network Transducer（RNN-T）による学習方法を用いて、音声認識用のニューラルネットワークを学習する方法が、非特許文献１の”Recurrent Neural Network Transducer”の節に記載されている。RNN-Tモデルの学習には冗長性を表す”blank”シンボル（非特許文献１では”null output”と記載）の導入により音声の内容と対応する音素/文字/サブワード/単語系列（≠frame-by-frame）のみが用意されていれば、学習データから動的に音声と出力系列の対応を学習することが可能である。
　つまり、入力長T、出力長Uの不対応な関係（一般にT >> U）の特徴量およびラベルを用いて学習することが可能である。また、推論時はframe-by-frameで動作可能なため、ストリーミング動作可能な技術として非常に注目を浴びている。
Alex Graves, "Sequence Transduction with Recurrent Neural Networks," in Proc. of International Conference on Machine Learning (ICML), 2012.
　しかしながら、上述した非特許文献１の技術は、会議のような場面において複数人の発話それぞれを音声認識することはできなかった。
　そこで、本開示は、上記課題を解決するためになされたものであり、遅延量の増大を抑えつつ、複数話者の発話が含まれる混合音声の中から各話者の音声をリアルタイムに認識可能とする技術を提供することを目的とする。
　上記課題を解決する音声認識推定装置は、音声変換部と推定部を備える。
　入力音声情報に含まれる発話の話者を発話順に第N話者として、音声変換部は、入力音声情報を中間音声特徴量へ変換する。推定部は、第N話者の発話順に対応する第N識別情報に基づいて、中間音声特徴量から第N話者の発話内容を示す第N音声認識結果を生成する。音声変換部と推定部は、予め学習済みのモデルに基づいて処理を行う。
　次に、上記音声認識推定装置で利用する音声認識モデルを学習するための装置を述べる。音声認識モデル学習装置は、音声変換部、言語情報変換部、推定部、モデル更新部を備える。
　音声変換部は、複数話者の音声を含む学習用入力音声情報を中間音声特徴量へ変換する。
　学習用入力音声情報に含まれる発話の話者を発話順に第N話者として、言語情報変換部は、第N話者の発話内容を示す第N正解音声認識結果を第N中間言語特徴量へ変換する。
　推定部は、第N話者の発話順に対応する第N識別情報と、中間音声特徴量と、第N中間言語特徴量を入力とし、第N音声認識結果を生成する。
　モデル更新部は、第N音声認識結果と、第N正解音声認識結果とを入力とし、所定のモデルに基づいて処理を行う音声変換部、言語情報変換部、及び推定部のモデルのパラメータを更新する。
　本開示によれば、遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から各話者の音声をリアルタイムに認識できる。
図１は技術１を説明するための図である。 図２は技術２を説明するための図である。 図３は技術３を説明するための図である。 図４は第１の実施の形態に係る音声認識モデル学習装置の機能構成例を示した図である。 図５は第１の実施の形態に係る音声認識モデル学習方法の処理フロー例を示した図である。 図６は混合音特徴量ＸＭと、第１シンボル系列ｃ’１と、第２シンボル系列ｃ’２との関係を説明するための概念図である。 図７はＲＮＮ－Ｔにおける最尤パスを説明するための概念図である。 図８は第１の実施の形態の変形例に係る音声認識モデル学習装置の機能構成例を示した図である。 図９は第１の実施の形態の変形例に係る音声認識モデル学習方法の処理フロー例を示した図である。 図１０は第２の実施の形態に係る音声認識推定装置の機能構成例を示した図である。 図１１は第２の実施の形態に係る音声認識推定装置の処理フロー例を示した図である。 図１２は第２の実施の形態の第１変形例に係る音声認識推定装置の機能構成例を示した図である。 図１３は第２の実施の形態の第１変形例に係る音声認識推定装置の処理フロー例を示した図である。 図１４は第２の実施の形態の第２変形例に係る音声認識推定装置の機能構成例を示した図である。 図１５は第２の実施の形態の第２変形例に係る音声認識推定装置の処理フロー例を示した図である。 図１６は第２の実施の形態の第３変形例に係る音声認識推定装置の機能構成例を示した図である。 図１７は第２の実施の形態の第３変形例に係る音声認識推定装置の処理フロー例を示した図である。 図１８はタイムスタンプ付与を説明するための概念図である。 図１９は第２の実施の形態の４変形例に係る音声認識推定装置の機能構成例を示した図である。 図２０は第２の実施の形態の第４変形例に係る音声認識推定装置の処理フロー例を示した図である。 第３の実施の形態に係る音声認識モデル学習装置の構成例を示す機能ブロック図。 第３の実施の形態に係る音声認識モデル学習装置の作用を説明するフローチャート図。 第３の実施の形態に係る音声認識推定装置の構成例を示す機能ブロック図。 第３の実施の形態に係る音声認識推定装置の作用を説明するフローチャート図。 第３の実施形態の変形例１に係る音声認識推定装置の構成例を示す機能ブロック図。 第３の実施の形態の変形例１に係る音声認識推定装置の作用を説明するフローチャート図。 第３の実施形態の変形例２に係る音声認識システムの構成例を示す機能ブロック図。 第３の実施の形態の変形例２に係る音声認識システムの作用を説明するフローチャート図。 第３の実施形態の変形例３に係る音声認識システムの構成例を示す機能ブロック図。 第３の実施形態の変形例４に係る音声認識システムの構成例を示す機能ブロック図。 第３の実施の形態の変形例４に係る音声認識システムの作用を説明するフローチャート図。 図３２はコンピュータの機能構成を例示する図である。
＜文字表記＞
　文中で使用する記号「^」（上付きハット）は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。例えば、「^S」は数式中では次式で表される。
　以下、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　本開示の実施の形態は、音声認識モデル内に目的話者抽出に相当する音声の分散表現系列を変換する機能を備えることにより、複数話者の発話が含まれる混合音声の中から目的話者の音声をリアルタイムに認識可能とする技術である（第１の実施の形態から第２の実施の形態の第４変形例）。
　また、本開示の別の実施の形態は、各話者の発話内容を区別するために各正解ラベルの先頭にタグを付与して学習するフレームワークを導入することにより、複数話者の発話が含まれる混合音声の中から全ての話者の音声をリアルタイムに同時に認識可能とする技術である（第３の実施の形態から第３の実施の形態の第４変形例）。
　本開示の実施の形態の詳細を説明するにあたり、はじめに、従来技術における音声認識用のニューラルネットワーク学習方法と、目的話者音声抽出方法について説明する。
　一般的なニューラルネットワークの学習方法を用いて、音響モデルを学習する方法として非特許文献１の“Recurrent Neural Network Transducer（ＲＮＮ－Ｔ）”が知られている（以下、この方法を「技術１」ともいう）。図１は、この方法を用いた音声認識モデル学習装置の機能構成図を示す。
　音声の特徴量系列である音響特徴量Ｘは、多層のニューラルネットワーク機能を有する音声変換部１０１を介して、分散表現系列に変換され、音声認識の推定に使用される音響特徴量の系列である中間音声特徴量Ｈとなる。また、音響特徴量Ｘに対応するシンボルの系列であって、長さＵのシンボル系列ｃは、多層のニューラルネットワーク機能を有するシンボル変換部１０２を介して、分散表現系列に変換され、対応する連続値の特徴量の系列である中間文字特徴量Ｃとなる。なお、シンボル系列ｃは、音声認識結果のテキストに対応するものであるともいえる。
　中間音声特徴量Ｈと、中間文字特徴量Ｃは、ニューラルネットワーク機能を有する推定部１０３に入力され、音声認識であるラベル推定に相当する出力確率分布Ｙが算出される。
　算出された出力確率分布Ｙは、正解のシンボルの系列である長さＵまたはＴの正解シンボルｃと共に、損失計算部１０４に入力され、所定の算出式を利用した損失ＬＲＮＮ－Ｔが算出される。算出された損失ＬＲＮＮ－Ｔは、音声変換部１０１、シンボル変換部１０２、および推定部１０３のモデルパラメータを更新するために使用される。上述したモデルパラメータの更新を繰り返すことにより、より正しく音声認識ができるように学習を行う。
　複数話者の音声である混合音から目的話者の音声を抽出する方法として、参考文献１の“SpeakerBeam”が知られている（以下、この方法を「技術２」ともいう）。図２は、この方法を用いた目的話者の音声抽出学習装置の機能構成図を示す。
　参考文献１：　K. Zmolikova et. al., “SpeakerBeam: Speaker Aware Neural Network for Target Speaker Extraction in Speech Mixtures,” IEEE Journal of Selected Topics in Signal Processing, vol. 13, no. 4, pp. 800-814, 2019.
　事前に収録した目的話者の発話の音声波形であって、目的話者を抽出するための手掛かりとなる発話として使用される補助音声Ａは、多層のニューラルネットワーク機能を有する補助特徴量抽出部２０１に入力され、目的話者の抽出に使用される音響特徴量である補助中間特徴量Ａ’へ変換される。
　複数人の発話音声から構成された音声波形である混合音声Ｍと、補助中間特徴量Ａ’は、多層のニューラルネットワーク機能を有する目的話者抽出部２０２に入力され、目的話者抽出部２０２は、補助中間特徴量Ａ’を手掛かりにして混合音声Ｍの中から、目的話者の音声である目的話者音声＾Ｓを抽出する。
　抽出された目的話者音声＾Ｓは、正解に当たる目的話者の音声波形である目的話者音声Ｓと共に損失計算部２０３に入力され、それらを用いて所定の計算式から損失ＬＴＳＥが算出される。算出された損失ＬＴＳＥは、補助特徴量抽出部２０１及び目的話者抽出部２０２のモデルパラメータを更新するめに使用される。上述したモデルパラメータの更新を繰り返すことにより、混合音声の中から目的話者の音声をより正しく抽出するように学習を行う。
　以下、図を用いて本開示の実施の形態について詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
＜第１の実施の形態＞
　複数話者の音声である混合音から目的話者の音声を抽出する他の方法として、上述の非特許文献１の開示がある（以下、この方法を「技術３」ともいう）。図３は、この方法を用いた目的話者の音声抽出置学習装置の機能構成図を示す。
　この技術によれば、複数話者の発話が混合音声の中から目的話者の音声をリアルタイムに認識できる。第１音声変換部３０１は、第１の多層ニューラルネットワークを用いて、補助特徴量ＸＡを、補助中間特徴量ＨＡへ変換する。第２音声変換部３０２は、第２の多層のニューラルネットワークを用いて、補助中間特徴量ＨＡと、混合音特徴量ＸＭとを入力として、目的話者中間特徴量ＨＳへ変換する。シンボル変換部１０２は、第３の多層のニューラルネットワークを用いて、シンボル系列ｃを、中間文字特徴量Ｃへ変換する。推定部１０３は、ニューラルネットワークを用いて、目的話者中間特徴量ＨＳと、中間文字特徴量Ｃとを入力として、出力確率分布Ｙを算出する。損失計算部１０４は、正解シンボルである中間文字特徴量Ｃと、出力確率分布Ｙとを入力とし、損失ＬＲＮＮ－Ｔを算出する。また、損失計算部１０４は、損失ＬＲＮＮ－Ｔを用いて、第１音声変換部３０１と、第２音声変換部３０２と、シンボル変換部１０２と、推定部１０３のモデルパラメータを更新する。
　学習済みモデルを用いた音声認識の推論では、音声認識を行う前に事前に手がかりとなる補助特徴量ＸＡを入力として第１音声変換部３０１によって補助中間特徴量ＨＡを抽出する。抽出した補助中間特徴量ＨＡは第２音声変換部３０２のパラメータの一部として埋め込まれる。ただし、補助中間特徴量ＨＡはエンコーダの出力次元と同じサイズのベクトルであり，推論時における第２音声変換部３０２の計算速度への影響はほとんどないため、通常の音声認識システムである、技術１（ＲＮＮ－Ｔ）と同様に、事前に登録した話者である目的話者の音声のみを高速で認識することが可能となる。
　目的話者の音声のみを認識するために、２つのモデル（前段に技術２、後段に技術１）をカスケードに処理する場合、処理量が大きいことから、リアルタイムでの音声認識が困難であった。しかし、技術３の手法は、混合音から目的話者の音声を認識するモデルが１つとなる。即ち、混合音から目的話者の音声を抽出するための処理と、音声認識の処理とが１つのモデルとなっている。即ち、end-to-endが実現され、従来よりも軽量のモデルを音声認識の装置内で実現できるようになった。これにより、高速かつリアルタイムでの音声認識が可能となる。
　また、後述の第２の実施の形態で示した、学習済みモデルを用いた音声認識（音声認識推定装置Ａ）の推論では、事前に利用者の音声を登録することにより、通常の単一話者の発話が含まれる音声を認識する場合の音声認識（図１に示す技術１のＲＮＮ－Ｔ）と同等の速度で干渉話者や背景雑音が含まれる混合音の中から事前に登録した話者（目的話者）の音声認識を行うことが可能となる。
　本実施形態に係る音声認識モデル学習装置１Ａは、図４に示すように、第１音声変換部３０１と、音声認識部１０と、モデル更新部２０とを備えている。音声認識モデル学習装置１Ａは、全体として多段かつ多層のニュートラルネットワークを構成している。音声認識部１０は、補助中間特徴量ＨＡと、混合音特徴量ＸＭと、目的話者の識別情報付きシンボル系列である第１シンボル系列ｃ’１と、非目的話者の識別情報付きシンボル系列である第２シンボル系列ｃ’２とを入力とし、目的話者の出力確率分布である第１出力確率分布Ｙ１と、非目的話者の出力確率分布である第２出力確率分布Ｙ２を出力する。音声認識部１０は、例えば、第２音声変換部３０２、言語情報変換部１０２Ａ、推定部１０３Ａを備えている。モデル更新部２０は、正解データに当たる第１シンボル系列ｃ’１と、正解データに当たる第２シンボル系列ｃ’２と、第１出力確率分布Ｙ１と、第２出力確率分布Ｙ２とを入力とし、第１音声変換部３０１と、第２音声変換部３０２と、言語情報変換部１０２Ａと、推定部１０３Ａとにおいて使用される、各モデルパラメータを更新する。各モデルパラメータは、例えば、記憶部であるモデルパラメータＤ２に記憶される。モデル更新部２０は、例えば、第１損失計算部１０４Ａ、第２損失計算部４０２、損失統合部４０３を備えている。音声認識モデル学習装置１Ａは、図５に例示した処理フローを実施することにより本実施の形態の音声認識モデル学習方法を行う。
（第１音声変換部３０１）
　第１音声変換部３０１は、目的話者情報抽出型の音声分散表現系列変換部である。第１音声変換部３０１は、図３の第１音声変換部３０１と同等の機能を有する。即ち、第１音声変換部３０１は、多層のニューラルネットワーク（第１の多層ニューラルネットワーク）を用いて、目的話者の音声の特徴量系列である補助特徴量ＸＡを、目的話者情報の中間音響特徴量である補助中間特徴量ＨＡへ変換する（ステップＳ３０１）。補助特徴量ＸＡは、事前に収録した目的話者の発話から抽出した音響特徴量の系列であって、目的話者を抽出するための手掛かりとして使用される音声（この音声を「目的話者情報」ともいう。）の音響特徴量の系列である。即ち、第１音声変換部３０１は、技術２において、音声波形を入力していた補助特徴量抽出部２０１と異なり、音声認識向けに抽出された目的話者の音響特徴量の系列を多層のニューラルネットワークに入力することにより目的話者情報の中間音響特徴量へ変換するエンコーダの役割を担う。
　第１音声変換部３０１は、次式に相当する数式を用いて変換を行う。
　ここで、Ｈｔａｒｇｅｔ’は補助中間特徴量ＨＡの元となる長さＴの補助中間特徴量系列であり、ｆＳｐｋ－Ｅｎｃ’（・）はスピーカエンコーダ（上述した第１の多層ニューラルネットワーク）であり、ｆＦＥ（・）は特徴抽出関数であり、Ａｃｌｕｅは技術２で説明した補助音声Ａであり、θＳｐｋ－Ｅｎｃ’は第１音声変換部３０１における学習可能（更新可能）なパラメータであり、ｈｔａｒｇｅｔ’は補助中間特徴量ＨＡであり、ｈｔ ｔａｒｇｅｔ’は時刻tにおける補助中間特徴量である。
　ステップＳ３０１は、例えば任意の携帯端末に対して、特定の用語（ワード）を所定回数繰り返して発音させることなどにより、目的話者の情報を取得・目的話者の音声分散表現系列を取得しておくように構成してもよい。
　学習時は、学習データとなる、補助特徴量ＸＡ毎（サンプル毎）に１回ずつステップＳ３０１の処理を行う。なお、話者毎に１回ずつステップＳ３０１の処理を行うようにしてもよい。また、第１音声変換部３０１は、音声波形を入力として受け付け、当該音声波形を補助特徴量ＸＡに変換し、この補助特徴量ＸＡを用いて補助中間特徴量ＨＡに変換するように構成してもよい。したがって、第１音声変換部３０１は、目的話者の音声情報を補助特徴量ＸＡに変換する、ともいえる。
　変換された補助中間特徴量ＨＡは、第２音声変換部３０２に送信される。
（第２音声変換部３０２）
　第２音声変換部３０２は、目的話者音声抽出型の音声分散表現系列変換部である。即ち、第２音声変換部３０２は、多層のニューラルネットワーク（第２の多層ニューラルネットワーク）を用いて、補助中間特徴量ＨＡと、目的話者と、目的話者とは異なる話者である非目的話者との音声の特徴量系列である混合音特徴量ＸＭとを入力として、目的話者と非目的話者が共通して利用する特徴量の系列である中間音声特徴量Ｈｓ’へ変換する（ステップＳ３０２）。混合音特徴量ＸＭは、複数話者の音声が混合したものであってもよいし、目的話者の音声が含まれていなくてもよいし、あるいは、目的話者の音声のみが含まれていてもよい。但し、本開示の処理を説明する都合上、以下、混合音特徴量ＸＭは、特に言及しない限り、目的話者と非目的話者の２者の混合音に関する特徴量であるものとして、説明する。
　第２音声変換部３０２は、音声波形を入力していた目的話者抽出部２０２と異なり、声認識向けに抽出された複数話者が含まれる混合音声の音響特徴量の系列である混合音特徴量ＸＭを、第１音声変換部３０１とは別の多層のニューラルネットワークを用いて中間音声特徴量Ｈｓ’へと変換する。
　したがって、以降の処理として、技術１で説明した、シンボル変換部１０２、推定部１０３及び損失計算部１０４の処理と同様に、中間音声特徴量Ｈｓ’を用いて目的話者のシンボル系列を推定する音声認識学習機能を設けることができる。
　第２音声変換部３０２は、次式に相当する数式を用いて変換を行う。
　ここで、ｈｔ ＡＳＲ’は中間音声特徴量Ｈｓ’であり、ｆＡＳＲ－Ｅｎｃ’は第２音声変換部３０２のエンコーダ（上述した第２の多層ネットワーク）であり、ｆＦＥ（・）は特徴抽出関数であり、ｘｔ’は時間ｔ’の場合の混合音声（技術２の混合音声Ｍに相当）であり、ｈｔａｒｇｅｔ’は補助中間特徴量ＨＡであり、θＡＳＲ－Ｅｎｃ’は第２音声変換部３０２における学習可能（更新可能）なパラメータである。
　なお、第２音声変換部３０２は、入力される混合音特徴量ＸＭを、複数話者の音声が混合した混合音声の特徴量系列であるものとして処理する。即ち、第２音声変換部３０２は、混合音特徴量ＸＭを、混合音声の特徴量系列と扱って処理するに過ぎない。したがって、混合音特徴量ＸＭは、複数話者の音声が混合したものであってもよいし、目的話者の音声が含まれていなくてもよいし、あるいは、目的話者の音声のみが含まれていてもよい。また、第２音声変換部３０２は、音声波形を入力として受け付け、当該音声波形を混合音特徴量ＸＭに変換し、この混合音特徴量ＸＭを用いて中間音声特徴量Ｈｓ’へと変換するように構成してもよい。以下、音声波形や混合音特徴量ＸＭのように、第２音声変換部３０２が入力を受け付ける音声情報を総称して、「入力音声情報」ともいうこととする。
　変換された中間音声特徴量Ｈｓ’は、推定部１０３Ａに送信される。
（言語情報変換部１０２Ａ）
　言語情報変換部１０２Ａは、多層のニューラルネットワーク（第３の多層ニューラルネットワーク）を用いて、目的話者を識別するための第１識別情報Ｌ１と目的話者の発話内容を示す第１シンボル系列ｃ１とを含むシンボルの系列である長さＵのシンボル系列（以下、「第１シンボル系列ｃ’１」ともいう。）を、対応する連続値の特徴量の系列である第１中間言語特徴量Ｃ１へ変換する。また、言語情報変換部１０２Ａは、多層のニューラルネットワーク（第３の多層ニューラルネットワーク）を用いて、非目的話者を識別するための第２識別情報Ｌ２と非目的話者の発話内容を示す第２シンボル系列ｃ２とを含むシンボルの系列である長さＵのシンボル系列（以下、「第２シンボル系列ｃ’２」ともいう。）を、対応する連続値の特徴量の系列である第２中間言語特徴量Ｃ２へ変換する（ステップＳ１０２Ａ）。即ち、言語情報変換部１０２Ａはエンコーダの役割を担い、入力は一度one-hotなベクトルに変換され、その後、多層のニューラルネットワークにより第１中間言語特徴量Ｃ１、第２中間言語特徴量Ｃ２へ変換される。なお、言語情報変換部１０２Ａによる処理は、目的話者に関する処理と、非目的話者に関する処理とを並列に処理する。
　技術１と技術３のシンボル変換部１０２は、目的話者のみを想定して中間文字特徴量へ変換していた。言語情報変換部１０２Ａは、基本的な機能はシンボル変換部１０２と同等の機能を有するが、目的話者だけでなく非目的話者も対象として、中間言語特徴量へ変換する。
　第１シンボル系列ｃ’１は、第１発話内容である第１シンボル系列ｃ１に対して、第１識別情報Ｌ１として、例えば、target speakerの頭文字からなる「<ts>」が第１シンボル系列ｃ１の先頭に付与されたものである。第２シンボル系列ｃ’２は、第２発話内容である第２シンボル系列ｃ２に対して、第２識別情報Ｌ２として、例えば、non-target speakerの頭文字からなる「<nts>」が第２シンボル系列ｃ２の先頭に付与されたものである。即ち、第１シンボル系列ｃ１が「hello」である場合に、第１シンボル系列ｃ’１は「<ts> hello」となり、第２シンボル系列ｃ２が「good bye」である場合に、第２シンボル系列ｃ’２は「<nts> good bye」となる。
　したがって、混合音特徴量ＸＭと、第１シンボル系列ｃ’１及び第２シンボル系列ｃ’２との関係の一例は、図６に示したようになる。図６では、混合音特徴量ＸＭが、目的話者の音声特徴量ＸＭ-1と、非目的話者の音声特徴量ＸＭ-２が含まれているとする。図６に示したように、ＸＭ-1が「how are you」であった場合には、第１シンボル系列ｃ’１が「<ts> how are you」となり、ＸＭ-2が「I am fine」であった場合には、第２シンボル系列ｃ’２が「<nts> I am fine」となる。仮に非目的話者が複数の場合には、互いを識別できる識別情報を用意すればよい。例えば非目的話者が、Ｎ人（Ｎ＞０）の場合には<nts1>,<nts2>,...，<ntsN>を用意すればよい。例えば、ＸＭ-1が「こんにちは」、ＸＭ-2が「さようなら」、ＸＭ-3が「こんばんは」、ＸＭ-4が「おはようございます」、…、ＸＭ-Ｎ＋１が「よろしくお願いします」の場合には、以下のようになる。第１シンボル系列ｃ’１が「<ts> こんにちわ」、第２シンボル系列ｃ’２が「<nts1> さようなら」、第３シンボル系列ｃ’３が「<nts2> こんばんわ」、第４シンボル系列ｃ’４が「<nts3> おはようございます」、・・・、第Ｎ＋１シンボル系列ｃ’Ｎ＋１が「<ntsN> よろしくお願いします」となる。
　なお、非目的話者の処理可能な上限人数は学習の時点で何人分の非目的話者を同時に学習させるかで決まる。例えば、学習時に、上記<nts3>までの識別タグ・発話内容を用いて学習させた場合は、非目的者の合計人数は３人となる。
　また、学習フェーズ（即ち、音声認識モデル学習装置１Ａ、及び後述する、音声認識モデル学習装置１Ｂ）及び推論フェーズ（即ち、後述する、音声認識モデル学習装置１Ｂ、音声認識推定装置２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ）ともに、非目的話者が複数の場合、特徴量抽出後から音声認識結果出力までの処理を話者毎に複数並列で実施する。
　なお、ステップＳ３０２と、ステップＳ１０２Ａとの処理の順序は上述とは逆に処理してもよいし、並列に処理してもよい。
　変換された第１中間言語特徴量Ｃ１と第２中間言語特徴量Ｃ２は、推定部１０３Ａに送信される。
（推定部１０３Ａ）
　推定部１０３Ａは、ニューラルネットワークを用いて、中間音声特徴量Ｈｓ’と、第１中間言語特徴量Ｃ１と、第２中間言語特徴量Ｃ２と、を入力として、ラベル推定に当たる２次元行列の第１出力確率分布Ｙ１（以下、「第１音声認識結果」ともいう。）、及び第２出力確率分布Ｙ２（以下、「第２音声認識結果」ともいう。）を算出する（ステップＳ１０３Ａ）。推定部１０３Ａによる処理は、目的話者に関する処理と、非目的話者に関する処理とを並列に処理する。技術１の推定部１０３は、目的話者の出力確率分布を算出するものであった。本開示の推定部１０３Ａは、基本的な機能は推定部１０３と同等の機能を有するが、目的話者の出力確率分布に加え、非目的話者の出力確率分布を算出する。
　第１出力確率分布Ｙ１、第２出力確率分布Ｙ２の算出は夫々次式に相当する数式を用いて行う。
　ここで、ｙｔ，ｕは、時刻ｔにおける中間音声特徴量Ｈｓ’（Ｈtと書いた）及びｕ番目の中間言語特徴量Ｃｕが入力された場合の出力確率分布であり、Ｗ１は入力されたＨｔに対する隠れ層の重みであり、Ｗ２はＣｕに対する隠れ層の重みであり、ｂはバイアスであり、Ｗ３は入力されたｔａｎｈ（Ｗ１Ｈｔ＋Ｗ２Ｃｕ＋ｂ）に対する隠れ層の重みであり、Ｓｏｆｔｍａｘは活性化関数である。
　また、上述の式では、ｔとｕの長さが異なるため、ｔとｕに加えてニューラルネットワークの素子数の次元もあることから、３次元となる。具体的には、加算する際にＷ１ＨはＵの次元方向に同じ値をコピーして３次元テンソルへと拡張する。Ｗ２ＣはＴの次元方向に同じ値をコピーして３次元テンソルへと拡張する。３次元テンソル同士を加算するため出力も３次元のテンソルとなる。
　一般にＲＮＮ－Ｔの学習時は３次元のテンソルとなることを前提にＲＮＮ－Ｔ損失により学習される。但し、推定部１０３Ａの処理である推論時は、拡張操作がないため出力は２次元の行列となる。
　算出された第１出力確率分布Ｙ１と第２出力確率分布Ｙ２は、モデル更新部２０に送信される。
（第１損失計算部１０４Ａ）
　第１損失計算部１０４Ａは、正解データに当たる目的話者のシンボル系列である（長さＵまたは長さＴの）第１シンボル系列ｃ’１（以下、「第１正解音声認識結果」ともいう。）と、３次元のテンソルである第１出力確率分布Ｙ１とを入力とし、第１出力確率分布Ｙ１の誤差に相当する第１損失ＬＲＮＮ－Ｔ－ＴＳを算出する（ステップＳ１０４Ａ）。第１損失計算部１０４Ａは、技術１の損失計算部１０４が担う損失計算の処理機能と同等の機能に相当する。
　損失ＬＲＮＮ－Ｔ－ＴＳの算出は、図７に示すように、例えば縦軸をシンボル系列長Ｕとし、横軸を入力系列長Ｔとし、奥行きをクラス数、即ちシンボルのエントリ数Ｋとしてテンソルを作成し、Ｕ×Ｔの面において最適な遷移確率のパスをフォワードバックワードアルゴリズムに基づき計算する。横軸に移動する場合はブランクを出力し、縦軸に移動する場合は正解シンボルを出力する。図７は出力の一例の概念図である。計算の詳細は、例えば、上述の非特許文献１の２章”２．Recurrent Neural Network Transducer”に記載がある。算出された第１損失ＬＲＮＮ－Ｔ－ＴＳは、損失統合部４０３に送信される。
（第２損失計算部４０２）
　第２損失計算部４０２は、正解データに当たる非目的話者のシンボル系列である第２シンボル系列ｃ’２（以下、「第２正解音声認識結果」ともいう。）と、３次元のテンソルである第２出力確率分布Ｙ２とを入力とし、第２出力確率分布Ｙ２の誤差に相当する第２損失ＬＲＮＮ－Ｔ－ＮＴＳを算出する（ステップＳ４０２）。第２損失計算部４０２は、第１損失計算部１０４Ａと同等の機能を有するため、処理方法の説明は割愛する。算出された第２損失ＬＲＮＮ－Ｔ－ＮＴＳは、損失統合部４０３に送信される。
　なお、ステップＳ１０４と、ステップＳ４０２の処理の順序は上述とは逆に処理してもよいし、並列に処理してもよい。
（損失統合部４０３）
　損失統合部４０３は、ハイパーパラメータλ（λ＞０）を用いて、目的話者と非目的話者の損失を統合した損失ＬＲＮＮ-Ｔを算出する。その上で、モデルパラメータを更新する（ステップＳ４０３）。即ち、損失統合部４０３は、次式を用いて、損失ＬＲＮＮ－Ｔを算出する。
　次に、損失統合部４０３は、損失ＬＲＮＮ－Ｔを用いて、第１音声変換部３０１と、第２音声変換部３０２と、言語情報変換部１０２Ａと、推定部１０３Ａのモデルパラメータを更新する。このモデルパラメータは、各構成部の記憶領域に格納するようにしてもよいし、図４に示したように、各モデルパラメータを格納したモデルパラメータＤ２を設けるように構成してもよい。
　音声認識モデル学習装置１Ａは、上述したモデルパラメータの更新を繰り返すことにより、正しく音声認識ができるように学習を行う。
　本実施形態に係る音声認識モデル学習装置１Ａは上述した非特許文献１に記載の効果が期待できる。即ち、音声認識モデル学習装置１Ａにより学習された音声認識モデルは、計算処理量は、例えば非特許文献１の音声認識装置と同等と考えられる。また、非特許文献１とは異なり、一度の認識で、目的話者と非目的話者の音声を同時に認識可能である。したがって、遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から目的話者および非目的話者の音声をリアルタイムに認識でき、音声認識モデルにおける学習技術分野の向上を示すものである。
＜第１の実施の形態の変形例＞
　上述した音声認識モデル学習装置１Ａは、図８の音声認識モデル学習装置１Ｂのように構成してもよい。音声認識モデル学習装置１Ｂが音声認識モデル学習装置１Ａと異なる点は、音声認識モデル学習装置１Ｂが正解音声認識結果生成部４０１を備えている点である。これに伴い、図５のフロー図は図９のように変わっている。即ち、ステップＳ３０１の前に、ステップＳ４０１が加わっている。
（正解音声認識結果生成部４０１）
　正解音声認識結果生成部４０１は、第１発話内容である第１シンボル系列ｃ１の先頭に第１識別情報Ｌ１を追加して第１シンボル系列ｃ’１を生成する。また、第２発話内容である第２シンボル系列ｃ２の先頭に第２識別情報Ｌ２を追加して第２シンボル系列ｃ’２を生成する（ステップＳ４０１）。生成された、第１シンボル系列ｃ’１と第２シンボル系列ｃ’２は、言語情報変換部１０２Ａへ送信される。
　本変形例に係る音声認識モデル学習装置１Ｂは、第１シンボル系列ｃ１や第２シンボル系列ｃ２など、予め識別情報が付与されていないシンボルに対して、目的話者および非目的話者を識別するための識別情報を付与した上で音声認識モデルを学習することができる。したがって、推定部１０３Ａに対して、推定の対象が、目的話者と非目的話者の内のどちらなのかを指示した上で、各話者の推定すべき音声認識結果を学習させることができる。また、音声認識モデル学習装置１Ａよりも、より効率的にモデル学習が可能となる。これらの点において、音声認識モデルにおける学習技術分野の向上を示すものである。
＜第２の実施の形態＞
　以下、本実施形態に係る音声認識推定装置２Ａについて説明する。音声認識推定装置２Ａは、図１０に示すように、第１音声変換部３０１、音声認識部１０Ａを備えている。音声認識推定装置２Ａの各構成部は、音声認識モデル学習装置１Ａあるいは、音声認識モデル学習装置１Ｂを用いて学習した、学習済みのモデルパラメータＤ２を使用する。モデルパラメータＤ２は、音声認識推定装置２Ａの中に設けるようにしてもよいし、音声認識推定装置２Ａとは別に設けるようにしてもよい。あるいは、音声認識推定装置２Ａの各構成部自身が、各構成部が使用するモデルパラメータを記憶しておくように構成してもよい。
（音声認識部１０Ａ）
　音声認識部１０Ａは、少なくとも混合音特徴量ＸＭを入力とし、目的話者のラベル推定の結果に当たる第１推定ラベルＣ１Ｆと、非目的話者のラベル推定の結果に当たる第２推定ラベルＣ２Ｆを、多層ニューラルネットワークを利用して生成する。音声認識部１０Ａは、第１推定ラベルＣ１Ｆと第２推定ラベルＣ２Ｆの生成にあたり、補助中間特徴量ＨＡと、第１シンボル系列ｃ’１と、第２シンボル系列ｃ’２とを用いる。音声認識部１０Ａは、例えば、音声認識モデル学習装置１Ａもしくは１Ｂで学習済みの第２音声変換部３０２、言語情報変換部１０２Ａ（図１０では言語情報変換部１０２Ｂ）、推定部１０３Ａ（図１０では推定部１０３Ｂ）を備えている。なお、既述の通り、混合音特徴量ＸＭは、複数話者の音声が混合したものであってもよいし、目的話者の音声が含まれていなくてもよいし、あるいは、目的話者の音声のみが含まれていてもよい。
　音声認識推定装置２Ａは、図１１に例示した処理フローを実施することにより本実施の形態の音声認識推定方法を行う。
（第１音声変換部３０１）
　第１音声変換部３０１は、既述の第１音声変換部３０１と同等の機能を有する。即ち、第１音声変換部３０１は、多層のニューラルネットワーク（第１の多層ニューラルネットワーク）を用いて、目的話者の音声の特徴量系列である補助特徴量ＸＡを、目的話者情報の中間音響特徴量である補助中間特徴量ＨＡへ変換する（ステップＳ３０１）。なお、このステップＳ３０１は、音声認識モデル学習装置１Ａなどの学習時と異なり、目的話者に相当する話者に対し、１回処理すればよい。変換された補助中間特徴量ＨＡは、第２音声変換部３０２に送信される。
（第２音声変換部３０２）
　第２音声変換部３０２は、既述の第２音声変換部３０２と同等の機能を有する。即ち、第２音声変換部３０２は、多層のニューラルネットワーク（第２の多層ニューラルネットワーク）を用いて、補助中間特徴量ＨＡと、混合音特徴量ＸＭとを入力として、中間音声特徴量Ｈｓ’へ変換する（ステップＳ３０２）。変換された中間音声特徴量Ｈｓ’は、推定部１０３Ｂに送信される。
（言語情報変換部１０２Ｂ）
　言語情報変換部１０２Ｂは、基本的には既述の言語情報変換部１０２Ａと同等の機能を有する。言語情報変換部１０２Ｂは、多層のニューラルネットワーク（第３の多層ニューラルネットワーク）を用いて、第１シンボル系列ｃ’１を第１中間言語特徴量Ｃ１へ変換する。また、第２シンボル系列ｃ’２を第２中間言語特徴量Ｃ２へ変換する。言語情報変換部１０２Ｂは、ＲＮＮ－Ｔの推論を行うため、推定部１０３Ｂが直前に推測した第１推定ラベルＣ１Ｆ及び第２推定ラベルＣ２Ｆを受信し、これらも用いて変換を行う。（ステップＳ１０２Ｂ）。言語情報変換部１０２Ｂによる処理は、目的話者に関する処理と、非目的話者に関する処理とを並列に処理する。変換された第１中間言語特徴量Ｃ１と第２中間言語特徴量Ｃ２は、推定部１０３Ｂへ送信される。
　推定部１０３Ｂが推定を開始するには、言語情報変換部１０２Ｂから第１中間文字特徴量Ｃ１、第２中間文字特徴量Ｃ２の入力が必要となる。言語情報変換部１０２Ｂが第１中間文字特徴量Ｃ１と第２中間文字特徴量Ｃ２を生成するには、第１シンボル系列ｃ’１と第２シンボル系列ｃ’２の入力が必要となる。音声認識推定装置２Ａにおける、第１シンボル系列ｃ’１と第２シンボル系列ｃ’２の一番最初のシンボルは、識別情報に当たる。即ち、第１識別情報Ｌ１が「<ts>」、第２識別情報Ｌ２が「<nts>」の場合には、音声認識部１０Ａには、第１シンボル系列ｃ’１として初めに「<ts>」が、第２シンボル系列ｃ’２として初めに「<nts>」が入力されることとなる。
（推定部１０３Ｂ）
　推定部１０３Ｂは、ニューラルネットワークを用いて、中間音声特徴量Ｈｓ’と、第１中間言語特徴量Ｃ１と、第２中間言語特徴量Ｃ２を入力として、ラベル推定を行い、目的話者の推定ラベルである第１推定ラベルＣ１Ｆ、及び非目的話者の推定ラベルである第２推定ラベルＣ２Ｆを生成する（ステップＳ１０３Ｂ）。推定部１０３Ｂによる処理は、目的話者に関する処理と、非目的話者に関する処理とを並列に処理する。第１推定ラベルＣ１Ｆ、及び第２推定ラベルＣ２Ｆは、音声認識推定装置２Ａの推定結果として出力される他、言語情報変換部１０２Ｂにも送信される。なお、推定結果には、音声の発話内容を表す推定ラベルの他、所定単位ごとに、推定ラベルに対応するタイムスタンプを含むようにしてもよい。
　以上説明したように、音声認識推定装置２Ａにおける音声認識部１０Ａは、補助中間特徴量ＨＡと、入力音声情報とを入力として、中間特徴量系列である中間音声特徴量Ｈｓ’へ変換する第２音声変換部３０２を含み、目的話者を識別するための第１識別情報Ｌ１の入力を契機として中間音声特徴量Ｈｓ’から第１音声認識結果を生成し、非目的話者を識別するための第２識別情報Ｌ２の入力を契機として中間音声特徴量Ｈｓ’から第２音声認識結果を生成する。
　本実施形態に係る音声認識推定装置２Ａは、事前に利用者の音声を登録することにより、通常の単一話者の発話が含まれる音声を認識する場合の音声認識（図１に示す技術１のＲＮＮ－Ｔ）と同等の速度で干渉話者や背景雑音が含まれる混合音の中から事前に登録した話者（目的話者）の音声認識を行うことが可能となる。
　例えば、推論時において、時刻ｔあたりの音声認識結果の数（探索幅・ビーム幅）を目的話者と非目的話者とで同数とする。この場合、目的話者と非目的話者で推論部以降の処理を並列化して実施するため処理量は２倍になる。一方、出力は各系列で同時に得られるため、目的話者のみを認識する音声認識装置の処理時間と実質同等になる。また、時刻ｔあたりの音声認識の数（探索幅・ビーム幅）を絞り込むようにすれば、１話者あたりの処理量はその分だけ抑えられる。例えば従来の目的話者のみの音声認識において探索幅をＡとしていた場合に、目的話者、非目的話者の探索幅をそれぞれＡ÷２の数に設定すれば単一話者あるいは目的話者のみを音声認識する装置の処理量と実質同等になる。
　また、一度の認識で、目的話者と非目的話者の音声を同時に認識可能である。したがって、遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から目的話者および非目的話者の音声をリアルタイムに認識でき、音声認識推定装置分野の向上を示すものである。
　なお、音声認識推定装置２Ａは、図１１で説明した処理が可能である限りは、音声認識推定装置２Ａの端末の種類には特段の制限はなく、スマートフォン、スマートウォッチ、あるいはパーソナルコンピュータで処理するように構成してもよい。また、第１音声変換部３０１の機能を音声認識推定装置２Ａから切り離して、別の装置において処理するように構成してもよい。
＜第２の実施の形態の第１変形例＞
　上述した音声認識推定装置２Ａは、図１２に示した音声認識推定装置２Ｂのように構成してもよい。音声認識推定装置２Ｂが、音声認識推定装置２Ａと異なる点は、音声認識推定装置２Ｂが識別情報送信部４０１Ｂを備えている点である。これに伴い、図１１のフロー図は図１３のように変わっている。即ち、ステップＳ３０１の前に、ステップＳ４０１Ｂが加わっている。
（識別情報送信部４０１Ｂ）
　識別情報送信部４０１Ｂは、第１シンボル系列ｃ’１と第２シンボル系列ｃ’２と、を言語情報変換部１０２Ｂに送信する（ステップＳ４０１Ｂ）。既述のように、推定部１０３Ｂが推定を開始するには、言語情報変換部１０２Ｂから第１中間文字特徴量Ｃ１、第２中間文字特徴量Ｃ２の入力が必要となる。言語情報変換部１０２Ｂが第１中間文字特徴量Ｃ１と第２中間文字特徴量Ｃ２を生成するには、第１シンボル系列ｃ’１と第２シンボル系列ｃ’２の入力が必要となる。即ち、識別情報送信部４０１Ｂは、音声認識部１０Ａに対して、言語情報変換部１０２Ｂの最初の処理に必要な第１シンボル系列ｃ’１と第２シンボル系列ｃ’２を入力する役割を担う。具体的には、識別情報送信部４０１Ｂは、第１シンボル系列ｃ’１として第１識別情報Ｌ１、第２シンボル系列ｃ’２として第２識別情報Ｌ２を送信する。即ち、第１識別情報Ｌ１が「<ts>」、第２識別情報Ｌ２が「<nts>」の場合には、識別情報送信部４０１Ｂは、第１シンボル系列ｃ’１として「<ts>」、第２シンボル系列ｃ’２として「<nts>」を言語情報変換部１０２Ｂへ送信する。
　本変形例によっても効率的に音声認識が可能となる。即ち、本変形例に係る音声認識推定装置２Ｂにおいても、事前に利用者の音声を登録することにより、通常の単一話者の発話が含まれる音声を認識する場合の音声認識（図１に示す技術１のＲＮＮ－Ｔ）と同等の速度で干渉話者や背景雑音が含まれる混合音の中から事前に登録した話者（目的話者）の音声認識を行うことが可能となる。また、一度の認識で、目的話者と非目的話者の音声を同時に認識可能である。したがって、遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から目的話者および非目的話者の音声をリアルタイムに認識でき、音声認識推定装置分野の向上を示すものである。
＜第２の実施の形態の第２変形例＞
　上述した音声認識推定装置２Ａは、図１４の音声認識モデル学習装置２Ｃのように構成してもよい。音声認識推定装置２Ｃが、音声認識推定装置２Ａと異なる点は、第１音声変換部３０１が変換した補助中間特徴量ＨＡを記憶する記憶部Ｄ３と、認識制御部５０と、保存・出力部６０が新たに設けられている点である。これに伴い、図１１のフロー図は図１５のように変わっている。即ち、ステップＳ３０２の前に、ステップＳ５０が加わり、ステップＳ１０３Ｂの後にステップＳ６０が加わっている。
（認識制御部５０）
　認識制御５０は、所定の信号を受信することにより、記憶部Ｄ３に記憶された補助中間特徴量ＨＡを第２音声変換部３０２に送出（送信）する。即ち、認識制御部５０は、開始信号Ｒ１の受信があった場合に、登録済みの補助中間特徴量ＨＡを予め記憶しておいた記憶部Ｄ３から抽出し、第２音声変換部３０２に送信する（ステップＳ５０）。音声認識部１０Ａは、補助中間特徴量ＨＡの入力が無いと音声認識部１０の処理を開始できないことから、認識制御部５０が、実質的に音声認識部１０の処理の開始のタイミングを調整することができる。即ち、認識制御５０の処理は認識実行を制御する処理といえる。なお、図示せぬデータベースに、付与したい話者の識別情報や、メモリや記憶装置などに残すべき話者の指定などの情報を含んだ設定情報Ｒ２を事前に登録しておくことにより、認識制御部５０は、開始信号Ｒ１の受信を起点として、設定情報Ｒ２を得るように構成してもよい。
（保存・出力部６０）
　保存・出力部６０は、推定部１０３Ｂの出力結果である第１推定ラベルＣ１Ｆ，第２推定ラベルＣ２Ｆを保存（記憶）あるいは出力する（ステップＳ６０）。保存・出力部６０は、記憶装置あるいはディスプレイ等の表示部、もしくは記憶装置及び表示部の双方を有する部分である。保存・出力部６０は、音声認識推定装置２Ｃの１つの構成部として構成してもよいし、例えばネットワークなどの通信網を経由して音声認識推定装置２Ｃとは別に設けてもよい。
　音声認識推定装置２Ｃの使用形態一の例としては、以下が挙げられる。店舗窓口などの顧客対応の窓口業務において、オペレータの音声を予め記憶部Ｄ３に登録しておくことにより、顧客の音声と分離して２人分の音声認識ができる。例えば、設定情報Ｒ２の情報のとして、目的話者のラベルとして「オペレータ」、非目的話者のラベルとして、「お客様」と設定しておく。これにより、推定部１０３Ｂからは、例えば、第１推定ラベルＣ１Ｆの冒頭に「オペレータ」と出力され、第２推定ラベルＣ２Ｆの冒頭に「お客様」と出力させることが可能となる。事前に目的話者や非目的話者の名前が把握できる場合には、その情報を設定情報Ｒ２として登録しておき、目的話者と非目的話者の名前、もしくはどちらか一方の名前を出力するようにしてもよい。
　本実施形態の利用の他の一例としては、以下が挙げられる。重要顧客毎に1人の翻訳者が付いて会議に参加する場合（この組み合わせを1組とカウントすることとする）が挙げられる。この場合、（１）当該１組が同じ拠点から同一端末で（１つの音声認識推定装置を共有して）オンラインで会議に参加する（２）複数の組が、夫々の拠点からオンラインで会議に参加する場合、のいずれの場合にも有用である。各通訳者の音声を事前に登録しておくことにより、通訳者を目的話者、重要顧客を非目的話者として、全員分の音声認識が可能となる。言語が複数である場合には、多言語の音声認識が必要になる場合があるが、各話者の言語は予め登録しておいてもよいし、言語を自動判定するように構成してもよい。
　なお、非目的話者の名前が把握できない場合には、推定部１０３Ｂの出力結果が保存・出力部６０に記憶されていれば、非目的話者の音声認識結果（第２推定ラベルＣ２Ｆ）に対して、事後的に名前を付与してもよい。
　本変形例に係る音声認識推定装置２Ｃも、音声認識推定装置２Ａと同様に、遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から目的話者および非目的話者の音声をリアルタイムに認識できる。また、音声認識部の処理の開始のタイミングを調整することができる。これらの点で、音声認識推定装置分野の向上を示すものである。
＜第２の実施の形態の第３変形例＞
　上述した音声認識推定装置２Ｃは、図１６の音声認識モデル学習装置２Ｄのように構成してもよい。音声認識推定装置２Ｄが、音声認識推定装置２Ｃと異なる点は、音声抽出部７０が新たに設けられている点である。これに伴い、図１５のフロー図は図１７のように変わっている。即ち、ステップＳ１０３Ｂの次の処理として、ステップＳ６０の他に、ステップＳ７０が加わっている。
（音声抽出部７０）
　音声抽出部７０は、混合音特徴量ＸＭと、第１推定ラベルＣ１Ｆと、第２推定ラベルＣ２Ｆを入力として、目的話者の音響特徴量と、非目的話者の音響特徴量とを抽出する（ステップＳ７０）。即ち、音声抽出部７０は、第１推定ラベルＣ１Ｆと、第２推定ラベルＣ２Ｆを用いて、混合音特徴量ＸＭから、目的話者に関する音声情報（第１音声情報）あるいは非目的話者に関する音声情報（第２音声情報）、あるいはそれらの双方に関する音声情報を抽出する。ここでは音声情報として音響特徴量を抽出する場合を例に説明を行う。ここで、目的話者の音響特徴量とは、目的話者が発話している部分の音響特徴量であり、図６で示したＸＭ－１に相当する音響特徴量である。非目的話者の音響特徴量とは、非目的話者が発話している部分の音響特徴量であり、図６で示したＸＭ－２に相当する音響特徴量である。したがって、音声抽出部７０は、目的話者が発話している部分、あるいは非目的話者が発話している部分を、それ以外の部分と区分けすることで音響特徴量を生成する。区分けする方法の一例として、例えば混合音特徴量ＸＭにから混合音特徴量ＸＭに対応する推定部１０３Ｂの出力内容のタイムスタンプを用いて目的話者と非目的話者の発話を区分することができる。この方法では混合音特徴量ＸＭにおいて目的話者と非目的話者の音響特徴量が重複する部分は、きれいに区分けして分離できない。よって、例えば目的話者の音声情報を抽出する場合を例にした場合、（１）目的話者の音声認識結果のタイムスタンプに基づいて抽出行う。この場合、結果として非目的話者の音声と重畳する部分も含めて音声情報を抽出することとなる。また、（２）目的話者と非目的話者の、両方の音声認識結果のタイムスタンプに基づいて抽出行う。この場合、結果として非目的話者の音声と重畳する部分を取り除いて音声情報を抽出することができる。上記（２）の手法は、非目的話者の音声情報を含まない情報が取り出せるため、個人情報により配慮できる。
　図１８は、タイムスタンプ付与を説明するための概念図である。図１８では、図６と同様に、ＸＭ-1が「how are you」、ＸＭ-2が「I am fine」が入力されたものとする。ＸＭ-1とＸＭ-2の発話の時間Ｔは、Ｔ１からＴ４の時間で発話されているものとする。この場合、音声認識推定装置２Ｄの処理により、図１８の右側に示したように、第１推定ラベルＣ１Ｆ、第２推定ラベルＣ２Ｆが出力される。
　推定部１０３Ｂの処理は、フレームバイフレームで行われることから、ある時刻で”how”が出力されると、その時刻のタイムスタンプ”Ｔ１”が自動的にわかる。確率にタイムインデックスがついている（第１出力確立確率分布Ｙ１もしくは第２出力確率分布Ｙ２にtがついている）ように、時間単位で推定部１０３Ｂの推定が行われることから、どの単語がいつのタイミングで発話されたかが認識できる。なお、実際の処理はサブワード単位（もしくは文字単位）でタイムスタンプが付与されるが、図１８は、理解を促進させるために単語単位を例にして説明している。
　生成された音響特徴量は、保存・出力部６０に送信される。
　なお、保存・出力部６０に保存（記憶）しておきたい話者を設定情報Ｒ２として指定しておくことにより、音声抽出部７０が抽出した音響特徴量情報の内、設定情報Ｒ２により指定された話者の音響特徴量のみを保存・出力部６０に保存するように構成してもよい。一例としては、第１音声認識結果と、目的話者に関する第1音声情報の記憶を維持し、入力音声情報、および処理過程で生成されるその他の情報を自装置内から削除する。他の例としては、第１音声認識結果と、目的話者に関する第1音声情報の記憶を維持し、入力音声情報、および処理過程で生成されるその他の情報を自装置内から削除すること等が挙げられる。
　例えば、複数話者（非目的話者は１人でも複数でもよい）について音声認識を行ったのち、（１）認識結果をユーザに提示し、音響特徴量や音声認識結果について、端末に残したい情報、もしくは削除したい情報の指定を受け付ける。この際、ユーザに提示する手段としては、端末が有する、もしくは端末に接続されたディスプレイ上に認識結果のテキストを表示する等が考えらえられる。また、残す情報、あるいは削除する情報の指定の方法は、音声認識対象者単位で指定してもよいし、音響特徴量や音声認識結果といった、情報ごとに指定を行えるようにしてもよい。受け付けた指定情報に基づいて、情報の削除を実施する。
　不要な音響特徴量を保存・出力部６０に保存（記憶）させないことにより、個人情報保護の促進を図ることができる。即ち、ユーザに関するプライバシー及びセキュリティへの懸念やそれに伴う利用意欲の低下の抑制技術として貢献できる。
　本変形例に係る音声認識推定装置２Ｄも、音声認識推定装置２Ａと同様に、遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から目的話者および非目的話者の音声をリアルタイムに認識できる。また、混合音特徴量ＸＭから、目的話者あるいは非目的話者、あるいはそれらの双方に関する音響特徴量を抽出することができる。これらの点で、音声認識推定装置分野の向上を示すものである。
＜第２の実施の形態の第４変形例＞
　上述した音声認識推定装置２Ｄは、図１９の音声認識モデル学習装置２Ｅのように構成してもよい。音声認識推定装置２Ｅが、音声認識推定装置２Ｄと異なる点は、送信部８０が新たに設けられている点である。これに伴い、図１７のフロー図は図２０のように変わっている。即ち、ステップＳ７０の次の処理として、ステップＳ６０の他に、ステップＳ８０が加わっている。
（送信部８０）
　音声抽出部７０の音響特徴量の抽出結果（目的話者の音声情報、非目的話者の音声情報の少なくとも一方を含む）と、推定部１０３Ｂの推定結果（第１推定ラベルＣ１Ｆ，第２推定ラベルＣ２Ｆの少なくとも一方を含む）を受信し、これを予め指定された所定の装置へ送信する(ステップＳ８０）。この場合、設定情報Ｒ２として、送信先の情報と、送信すべき結果の種類が登録されていれば、その情報に基づいて送信するようにしてもよい。例えば、設定情報Ｒ２として、送信先の装置に非目的話者の端末が指定され、送信すべき結果の種類として、非目的話者のみの音声情報が指定されている場合には、送信部８０は、非目的話者の音響特徴量を非目的話者の端末に送信する。別の例として、送信すべき結果の種類として、非目的話者のみの音声情報と推定結果が指定されている場合には、送信部８０は、非目的話者の推定結果と音響特徴量を非目的話者の端末に送信する。音声認識推定装置２Ｅは、所定の話者（この場合は非目的話者）に関する情報のみを指定された装置へ送出することができる点で、個人情報保護の信用性を更に高めることができる。
　本変形例に係る音声認識推定装置２Ｅも、音声認識推定装置２Ａと同様に、遅延量を従来型の音声認識システムと同等に保ちつつ、複数話者の発話が含まれる混合音声の中から目的話者および非目的話者の音声をリアルタイムに認識できる。また、音声認識推定装置２Ｅは、所定の話者の情報のみを指定された装置へ送出することができる点で、個人情報保護の促進を更に高めることができる。これらの点で、音声認識推定装置分野の向上を示すものである。
＜第３の実施の形態＞
　以上の実施形態では、技術３に倣い、目的話者を抽出するための音響特徴量（補助中間特徴量）HAを用いて、混合音特徴量XMから音声認識のための音響特徴量（中間音声特徴量）Hs'を生成した。これにより、混合音声から認識した複数話者の音声のうち、どれが目的話者の音声かを特定することができた。
　目的話者の特定が必要ない場合、Hs'の生成に目的話者の音響特徴量を使う必要はない。これを第３の実施の形態として説明する。
［音声認識モデル学習装置］
　図２１は、第３の実施の形態に係る音声認識モデル学習装置２１の構成例を示す機能ブロック図である。音声認識モデル学習装置1Aとの違いは、第１音声変換部３０１が省略されたことと、第２音声変換部３０２に代えて、XMのみを入力として中間音声特徴量Hs'を生成する第３音声変換部２１０１を備えた点、話者情報付加部２１０２を備えた点、N個の損失計算部を備えた点である。
　なお、説明が分かりやすくなるよう、損失計算部をN個備える例で説明をしているが、1つの損失計算部でN個の計算を行ってもよい。
　図２２は、音声認識モデル学習装置２１の作用の一例を説明するフローチャートである。
　以下、図２１と図２２を用いて説明する。
　記憶部D1には、一例として複数の話者（N人とする）による発話を混合して会話を模した音（混合音X）を、フレーム単位で音響特徴量に変換した混合音特徴量XMが記憶されている。また、各話者の発話内容をテキストで表したN個のシンボル系列が記憶されている。
　音声認識部１０には、XMと、XMに含まれる各話者に対応する発話区間のシンボル系列c1，c2,…,cNが入力される。これが、ニューラルネットワークの学習における正解データとなる。
　話者情報付加部２１０２は、シンボル系列に話者IDとして <spk i> (i=1,2,…,N)を付加して話者ID付きシンボル系列c'i(i=1,2,…,N)を生成する。
　例えば、以下の話者不定のシンボル系列に対し、
c1：hello
c2：goodbye
話者ID付きシンボル系列c'1，c'2は以下のようにする。
c'1：<spk1>hello
c'2：<spk2>goodbye
　話者IDは、混合音に登場する話者の順番に付与する。つまり、話者IDは、認識対象となる音声における発話の順序を表す、もしくは発話の順序に対応するものとする。ただし、話者IDとして利用するラベルは必ずしも順序をそのまま表さなくてもよく、例えば学習時に話者IDを、初登場発話順に<A>,<B>,<C>,<D>...で付与した場合は、後述の［音声認識推定装置］で説明する推論時も、発話順に<A>,<B>,<C>,<D>..を与えればよい。つまり話者IDは、発話の順序によって音声認識対象を識別するものであるとも言える。
（言語情報変換部）
　言語情報変換部１０２Ａは、話者ID付きシンボル系列c'1，c'2,…,c'Nを分散表現に変換して、中間文字特徴量C1,C2,…,CNを生成する（ステップＳ２２０２）。
　既述の通り、言語情報変換部１０２Ａはニューラルネットワークで構成し、学習によりそのモデルパラメータを決定する。
（第３音声変換部）
　第３音声変換部２１０１は、混合音特徴量XMを分散表現に変換して、音声の推定に使用する中間音声特徴量Hs'を生成する（ステップＳ２２０１）。分散表現は、第3音声変換部２１０１を構成するニューラルネットワークのモデルパラメータに基づいて、混合音声特徴量XMを変換した所定次元のベクトルである。
　第２音声変換部と同様に、第３音声変換部２１０１はニューラルネットワークで構成し、学習によりそのモデルパラメータを決定する。
（推定部）
　第３の実施の形態に係る推定部１０３Ａは、第１処理部p-1、第２処理部p-2、…、第Ｎ処理部p-Nを内部に備え、各処理部は、同一のモデルパラメータを持つニューラルネットワークで構成する。
　第ｉ処理部p-i(i=1,2,…,N)は、中間音声特徴量Hs'と中間文字特徴量Ci(i=1,2,…,N)を用いてラベル推定を行い、各話者の認識結果に含まれるシンボルの出力確率分布Yi(i=1,2,…,N)を生成する（ステップＳ２２０３）。
　既述の通り、推定部１０３Ａはニューラルネットワークで構成し、学習によりそのモデルパラメータを決定する。
（初期動作）
　以上を元に、学習の初期動作を説明する。説明を簡単にするため、混合音には、c1，c2,…,cNの順に、対応する話者が登場するものとする。
　第１話者の先頭フレーム（特徴量）が入力されると、話者情報付加部２１０２はシンボルなしの話者ID付きシンボル系列 <spk-1> をc'1として出力する。言語情報変換部１０２Ａは、<spk-1>をC1に変換して第１処理部p-1に送信する。第１処理部p1は、第３音声変換部が出力したHs'とC1を用いて、Y1を出力する。以降、第１処理部には、シンボルを含んだ話者ID付きシンボル系列が供給される。
　第２話者の先頭フレーム（特徴量）が入力されると、話者情報付加部２１０２は、c'2として <spk-2> を出力する。言語情報変換部１０２Ａは、<spk-2>をC2に変換して第２処理部p-2に送信する。第２処理部p-2は、第３音声変換部が出力したHs'とC2を用いて、Y2を出力する。以降、第２処理部には、シンボルを含んだ話者ID付きシンボル系列が供給される。
　以下、同様にして、各話者の先頭フレームが処理される。
（モデル更新部）
　モデル更新部２０は、音声認識部１０の出力（推定結果）と、記録部で保持する正解データを用いて、言語情報変換部１０２Ａと第３音声変換部２１０１と推定部１０３Ａのモデルパラメータを繰り返し更新して最適化する。
　第ｉ損失計算部４０２－ｉ(i=1,2,…,N)は、出力確率分布Yi(i=1,2,…,N)と、話者ID付きシンボル系列に含まれる正解データから、Yiの誤差を評価する第i損失LRNN-T(i)を算出する（ステップＳ２２０４）。
　損失統合部４０３は、LRNN-T(i)(i=1,2,…,N)を下記のように統合する。
λiは、複数話者の損失を調整するための、非負のハイパーパラメータである。
　モデル更新部２０は、統合して得たLRNN-Tを元に、モデルパラメータを更新する（ステップＳ２２０５）。
　以上の処理を、所定の終了条件を満足するまで繰り返し、最後に得たモデルパラメータを記憶部D2に記憶する。
　以上が［音声認識モデル学習装置］の説明である。
　以上の説明では、話者情報付加部２１０２で話者ID付きシンボル系列を生成し、言語情報変換部１０２Ａで話者ID付きシンボル系列を中間文字特徴量に変換したが、言語情報変換部で話者ID付きシンボル系列を生成して変換するようにしてもよい。この場合、話者情報付加部２１０２は省略することができる。
［音声認識推定装置］
　図２３は、第３実施形態に係る音声認識推定装置２３の構成例を示す機能ブロック図である。音声認識推定装置２３は、混合音特徴量XMを入力とし、話者ごとの音声認識結果のシンボルC1F,C2F,…,CNFを出力とする。
　音声認識推定装置２３は、音声認識モデル学習装置２１の音声認識部１０と記憶部D2からなる。説明が分かりやすくなるよう、推定部１０３Ａは処理部をN個（p-1,p-2,…,p-N）備える例で説明をしているが、1つの処理部でN系列の音声認識を並列処理してもよい。
　図２４は、音声認識推定装置２３の作用の一例を説明するフローチャートである。
　以下、図２３と図２４を用いて説明する。
　音声認識推定装置２３はN話者について学習したものとする。つまり、最大N個のシンボル系列c1，c2,…,cNを推定、保持、更新するものとする。
　第３音声変換部２１０１は、入力フレームの音響特徴量（混合音特徴量）XMを取得する（ステップＳ２４０１）。
　第３音声変換部２１０１は、混合音特徴量XMを分散表現に変換して、音声の推定に使用する中間音声特徴量Hs'を生成する（ステップＳ２４０２）。
　話者情報付加部２１０２は、c'i(i=1,2,…,N)をシンボルなしの情報<spk-i>(i=1,2,…,N)として初期化し（ステップＳ２４０３）、言語情報変換部１０２Ａに送信する（ステップＳ２４０４）。言語情報変換部は、c'i(i=1,2,…,N)を処理してCi(i=1,2,…,N)を第i処理部(i=1,2,…,N)に送信する（ステップＳ２４０５）。
　推定部１０３Ａは、学習の結果、混合音（会話）に最初に現れた話者（第１話者）の音声を<spk-1>に関連するものと認識する。この結果、第１処理部から第1話者に関するラベル推定の結果としてC1Fが出力される（ステップＳ２４０６）。他の処理部は推定結果を出力しない。C1Fは話者情報付加部にも送信され、話者情報付加部はC1Fをシンボル系列c'1に追加する（c'1を更新する）。以降、話者情報付加部は、シンボルを含むc'1を言語情報変換部に送信する（ステップＳ２４０４）。
　推定部１０３Ａは、学習の結果、混合音（会話）に第１話者と異なる音声が現れると、当該音声を<spk-2>に関連するものと認識する。この結果、第２処理部から第２話者に関するラベル推定の結果としてC2Fが出力される（ステップＳ２４０６）。C2Fは話者情報付加部にも送信され、話者情報付加部はC2Fをシンボル系列c'2に追加する（c'2を更新する）。以降、話者情報付加部は、シンボルを含むc'2を言語情報変換部に送信する（ステップＳ２４０４）。
　以下同様に、推定部１０３Ａは、認識済みの話者(第(i-1)話者までとする)と異なる音声が現れると、当該音声を<spk-i>に関連するものと認識し、第i処理部からCiFを出力する。CiFは話者情報付加部にも送信され、話者情報付加部はCiFをシンボル系列c'iに追加する。以降、話者情報付加部は、シンボルを含むc'iを言語情報変換部に送信する。
　音声認識推定装置２３は、ラベル推定処理を終えるとステップＳ２４０１に戻り、次のフレームを処理する。
　以上説明した通り、開示技術によれば、複数の単一話者音声認識エンジンを動かさなくても、複数の話者の音声認識ができる。
　以上が、第３の実施の形態の説明である。
　以上の説明では、話者情報付加部２１０２で話者ID付きシンボル系列を生成し、言語情報変換部１０２Ａで話者ID付きシンボル系列を中間文字特徴量に変換したが、言語情報変換部で話者ID付きシンボル系列を生成して変換するようにしてもよい。この場合、話者情報付加部２１０２は省略することができる。
　また、以上の説明では、第i処理部(i=1,2,…,N)で推定したシンボルCiFを話者情報付加部に送信していたが、CiFは言語情報変換部１０２Ａに送信し、言語情報変換部１０２Ａで中間文字特徴量に変換して第i処理部に送信し、第i処理部で既存の変換済みの、<spk-i>やシンボルに追加するようにしてもよい。この場合も、話者情報付加部２１０２は省略することができる。
　また、以上の説明では、N個全ての第i処理部に<spk-i>を初期設定したが、必ずしもN個（学習時の最大人数の話者）全てに初期設定する必要はない。例えば、会議の開始時に会議の参加者数を設定する場合には、その数（ただしN以下）の<spk-i>を推定部に初期設定すればよい。あるいは、会議の開始時に、会議参加者に順番に発話してもらい、その発話を指示したユーザの数だけ<spk-i>を初期設定してもよい。
　さらに、音声認識の開始時に音声認識の目的話者が発話し、推定部には<spk-1>のみを初期設定すれば、「目的話者（最初の話者）の音声のみを認識する音声認識エンジン」として使うこともできる。
（実験結果）
　開示技術（第３の実施形態）を既存技術と比較する。
　従来技術（技術１）は、単一話者の音声だけ含む音声から、当該話者の音声を認識する技術である。技術１によって学習した音声認識推定装置で、複数話者の発話が含まれる混合音から各話者の音声を認識しようとした場合、エラーレートは64.5%であった。なお、話者ごとの認識結果に別の話者の認識結果を含んでいた場合、その認識結果が正しかったとしても、エラーとした。
　参考文献２（Kanda et al., "Streaming Multi-Talker ASR with Token-Level Serialized Output Training", arXiv:2202.00842v5, July 14th, 2022）は、複数話者の音声を含む音声から、全ての話者の音声を認識する技術である。参考文献２によって学習した音声認識推定装置で、複数話者の発話が含まれる混合音から全ての話者の音声を認識した場合、エラーレートは4.4%であった。
　開示技術（第３の実施の形態）によって学習した音声認識推定装置で、複数話者の発話が含まれる混合音から全ての話者の音声を認識した場合、エラーレートは4.2%であった。
　参考文献２は、複数話者の発話が含まれる混合音から、まず、全ての話者の発話の認識結果（例えば単語）を一つの時系列として出力する。時系列中の話者が変わる場所に所定の区切りを入れることで、後段で話者ごとに分解する処理を容易にする。
　参考文献２の技術で学習した音声認識推定装置は、上記の通り、開示技術で学習した音声認識推定装置と比べ、そん色がない。しかし、参考文献２の技術は、教師データの準備に膨大な時間がかかる。音声認識の学習には数百万時間におよぶ学習用データを用いることが一般的だが、この数百万時間分の学習用データについて、単語のアライメントを行い、タイムスタンプを付与して、時系列教師データ（正解データ）を作成するのは容易でない。
　一方、開示技術は、学習用データに話者IDを付与するだけで教師データが作成できる。アライメントの必要はない。開示技術は、参考文献２に比べ、すぐれた費用対効果を持つと言える。
＜第３の実施形態（音声認識推定装置）の変形例１＞
　第３の実施の形態に係る音声認識推定装置では、会話（混合音）に登場した順に話者IDが付与される。この特徴を利用して、認識結果に話者の情報（名前など）を付与することができる。図２５と図２６を用いて説明する。
　図２５の音声認識推定装置２３は、図２３の音声認識推定装置２３に名称付加部２５０１が追加されている。
　名称付加部２５０１は、音声認識に先立って、発話者の名称（Name-1,Name-2,…,Name-N）と発話順序を取得する（ステップＳ２６０１）。説明を簡単にするため、発話順序は、Name-1,Name-2,…,Name-Nの順だったとする。
　名称付加部２５０１は、取得した発話順序に基づいて、話者ID<spk-i>と名称Name-i（i=1,2,…,N）を紐づける（ステップＳ２６０２）。
　会話の冒頭で発話者は、指示された順番に発話する。発話は、混合音特徴量に変換され、音声認識推定装置２３で取得される（ステップＳ２６０３）。音声認識推定装置２３では、会話（混合音）に登場した順に話者IDが付与されるので、これにより、発話者と話者IDを紐づけることができる。
　名称付加部２５０１は、第i処理部出力を、Name-iに関する音声認識結果として出力する（ステップＳ２６０４）。
　以上が第３の実施形態の変形例１の説明である。
　以上の説明では、音声認識に先立って発話者の名称と発話順序を取得したが、音声認識が終わった後で、この処理を行ってもよい。例えば、会議参加者が会話冒頭に発話した順序を（各自で）覚えておいて、各参加者（話者）が会議終了後（音声認識終了後）に音声認識結果に対応する発話順序iと話者の名称とを紐づける情報を装置に入力するようにしてもよい。あるいは、音声認識終了後に、認識した各話者の最初の発話の音声認識結果、もしくはそれに対応するフレームの音声情報を切り出したものの少なくとも一方を会議参加者に提示し、提示した内容に対応する名称の入力を求めるようにしてもよい。
　また、以上の説明ではN話者の名称と発話順序を取得したが、会議参加者がN人より少ないn人の場合、n話者の名称と発話順を取得すればよい。また、会議参加者全員でなく、例えば3番目の話者の名称だけ取得するようにしてもよい。
＜第３の実施形態（音声認識推定装置）の変形例２＞
　遠隔会議システムの会話を音声認識し、会議参加者に提供するようにしてもよい。図２７と図２８を用いて説明する。
　遠隔会議システムでは、会議をホストするサーバ（遠隔会議サーバ２７０３）と会議参加者の端末（端末２７０４－１，２７０４－２，…，２７０４－N'）が通信ネットワーク２７０５を介して接続される。各端末から参加する話者は一人に限られないが、会議参加者の数TはN（最大音声認識可能数）を超えないものとする。遠隔会議サーバ２７０３は、各端末から音声を取得し、混合して、会議音声として各端末に送信する。遠隔サイト２７には、音声認識推定装置２３、音声取得部２７０２を含む、音声認識サーバ２７０１が配置されている。
　音声取得部２７０２は、遠隔会議サーバ２７０３から混合音声（会議音声）を取得し、混合音特徴量XMに変換して音声認識推定装置２３に送信する（ステップＳ２８０１）。音声認識推定装置２３はXMを用いて音声認識し（ステップＳ２８０２）、音声認識サーバ２７０１は認識結果を全端末に送信する（ステップＳ２８０３）。
　以上が第３の実施形態の変形例２の説明である。
　以上の説明では、音声認識結果を全端末に送信した。音声認識サーバ２７０１は遠隔会議に先立って、発話順序の番号（発話番号と呼ぶ）と、発話番号が属する端末のIDを取得し、会議参加者は会議冒頭で発話番号順に発話するようにしてもよい。すると、発話番号iと話者ID <spk-i>が対応することになる。音声認識サーバ２７０１が、<spk-i>に関する認識結果を、発話番号iが属する端末にのみ送信するようにすれば、音声認識結果を、発話者の属する端末のみに送信することができる。この際、会議参加者が発言の記録に同意しない場合などを想定し、音声認識結果の送信が完了次第、会議に関する音声情報や認識結果、中間特徴量などを全てサーバから削除するように構成してもよい。
　また、以上の説明では、音声認識サーバ２７０１を遠隔会議サーバ２７０３と同じ遠隔サイト２７に配置したが、音声認識サーバ２７０１は、例えば、端末１と同じサイトに配置してもよいし、端末１が遠隔会議サーバ２７０１の機能を備えるように構成してもよい。遠隔会議サーバ２７０３は、全端末の音声を混合して全端末に送信するので、端末１のサイトに配置された遠隔会議サーバ２７０１は、端末１から混合音声（会議音声）を取得すればよい。
＜第３の実施形態（音声認識推定装置）の変形例３＞
　上記変形例１で、音声認識サーバ２７０１は遠隔会議サーバ２７０３が混合した音声を取得した。これに代えて、音声認識サーバ２７０１は、遠隔会議サーバ２７０３が各端末から受信した、混合前の音声を取得して処理してもよい。図２９を用いて説明する。
　遠隔会議システムは、変形例２と同様に、N’台の端末と遠隔会議サーバが通信ネットワークを介して接続されているものとする。音声認識サーバ２９０１はN’対の音声取得部２７０２－ｉ(i=1,2,…,N')と音声認識推定装置２３－ｉ(i=1,2,…,N')を備える点が、音声認識サーバ２７０１と異なる。ただし、音声取得部２７０２－ｉの機能は音声取得部２７０２と同様であり、音声認識推定装置２３－ｉの機能は音声認識推定装置２３と同様である。
　音声取得部２７０２－ｉは、端末２７０４－ｉから受信した混合音声（単一音声の場合も含む）を遠隔会議サーバ２７０３から取得し、混合音特徴量XM－ｉに変換する。音声認識推定装置２３－ｉは、混合音特徴量XM－ｉを用いて音声認識し、音声認識サーバ２９０１は認識結果を全端末に送信する。
　以上が第３の実施形態の変形例３の説明である。
　以上の説明では、音声認識結果を全端末に送信した。音声取得部２７０２－ｉは、端末２７０４－ｉの混合音声と共に、端末のIDを取得するようにしてもよい。そして、音声認識サーバ２９０１は、混合音特徴量XM－ｉを用いた認識結果を、端末２７０４－ｉにのみ送信するようにしてもよい。
　また、以上の説明では、一個の端末の音声ごとに一対の音声取得部と音声認識推定装置を用いたが、一対の音声取得部と音声認識推定装置で、複数端末の音声を処理するようにしてもよい。
＜第３の実施形態（音声認識推定装置）の変形例４＞
　上記変形例３では、音声認識結果を各端末に送信した。つまり、中間音声特徴量の生成、中間文字特徴量の生成、音声シンボルの推定は、全て音声認識サーバ２７０１で行った。
　中間音声特徴量の生成はサーバで実施し、中間文字特徴量の生成と音声シンボルの推定は端末で実施するように分業してもよい。なお、端末はスマートフォンやスピーカフォンなど特定用途の装置に限られず、汎用の計算機を用いて実現してもよい。図３０と図３１を用いて説明する。
　遠隔サイト２７には、音声認識サーバ３００１が配置される。音声認識サーバ３００１は、第３音声変換部２１０１と音声取得部２７０２を含む。端末２７０４－ｉ(i=1,2,…,N')は、言語情報変換部１０２Ａ－ｉと推定部１０３Ａ－ｉを含む。言語情報変換部１０２Ａ－ｉの機能は言語情報変換部１０２Ａと同様であり、同様のモデルパラメータを用いる。推定部１０３Ａ－ｉの機能は推定部１０３Ａと同様であり、同様のモデルパラメータを用いる。ただし、第３の実施形態の説明の最後に述べたように、話者ID付きシンボル系列は、言語情報変換部１０２Ａ－ｉで生成するものとする。
　音声取得部２７０２は、遠隔会議サーバ２７０３から混合音声音（会議音声）を取得し、混合音特徴量XMに変換して第３音声変換部２１０１に送信する（ステップＳ３１０１）。
　第３音声変換部２１０１は、混合音特徴量XMを分散表現に変換して、音声の推定に使用する中間音声特徴量Hs'を生成する（ステップＳ３１０２）。音声認識サーバ３００１は、中間音声特徴量Hs'を各端末２７０４－ｉ(i=1,2,…,N')に送信する（ステップＳ３１０３）。
　端末２７０４－ｉの言語情報変換部１０２Ａ－ｉは、中間文字特徴量Ci(i=1,2,…,N)を生成する（ステップＳ３１０４）。推定部１０３Ａ－ｉは、中間音声特徴量Hs'と中間文字特徴量Ci(i=1,2,…,N)を用いて、音声認識する（ステップＳ３１０５）。各推定部１０３Ａ－ｉの出力は、全ての会議参加者について音声認識した結果となる。
　以上が第３の実施形態の変形例４の説明である。
　以上の説明では、各推定部１０３Ａ－ｉは、全ての会議参加者について音声認識した。音声認識サーバ３００１は、会議参加者の発話順序を生成し、各端末に利用者の発話順序を通知するようにしてもよい。
　例えば、端末２７０４－ｉを利用する会議参加者の発話順序が２番目，５番目だった場合、言語情報変換部１０２Ａ－ｉは、推定部１０３Ａ－ｉに<spk-2>，<spk-5>を初期設定する。この結果、推定部１０３Ａ－ｉに、端末２７０４－ｉを利用する参加者の音声のみ、音声認識させることができる。
＜補足＞
　第３の実施の形態の変形例１（認識結果と話者情報の紐づけ）を変形例２や３に適用し、音声認識サーバを議事録作成システムとして利用してもよい。
　以上が、第３の実施の形態の変形例の説明である。
　第３の実施の形態の変形例に係る音声認識推定装置２３は、音響特徴量から直接文字系列を出力するEnd-to-End音声認識システムが、従来は単一話者の音声だけ含む音声を対象としていたのを、複数の話者の音声が含まれる音声から複数の話者の音声を認識できるように改善する。したがって、開示技術は、音声認識技術の向上をもたらすものである。
　以上、本開示に係る実施形態および変形例を説明した。上述の実施の形態、及び変形例における各種の処理は、記載に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本開示の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　本開示は、さらに、本開示の装置、もしくは本開示の方法を、ネットワーク（電気通信回線）を介して使用するための装置（端末）も有してもよい。「使用するための装置（端末）」には、本開示の装置、本開示の方法の実施による効果を得るために必要な機能（例えば、制御機能、復号機能、復元機能、入出力機能など）を備えさせてもよい。
［プロセッサ、プログラム、記録媒体］
　本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ＡＳＩＣｓ(Application Specific Integrated Circuits)、ＣＰＵ(a Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）、従来型の回路、および／又はそれらの組合せを含む、circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、 circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行する、programmed processorであってもよい。
　本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
　当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアの組合せである。
　上述の各種の処理は、図３２に示すコンピュータ３２００の記録部３２２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部３２１０、入力部３２３０、出力部３２４０、表示部３２５０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって処理を実行する構成としてもよい。さらには、サーバコンピュータの一部をプログラムと共にユーザに使用させる、いわゆるＳａａＳ（Software as a Service）型のサービスを利用して、端末の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　以上の実施形態および変形例に関し、以下の付記を開示する。
（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記メモリは、予め学習済みの、第１のモデルと第２のモデルのパラメータを記憶し、
　前記プロセッサは、
　入力音声情報に含まれる発話の話者を発話順に第N話者として、
　前記第１のモデルに基づき、前記入力音声情報を中間音声特徴量へ変換し、
　前記第２のモデルに基づき、前記第N話者の発話順に対応する第N識別情報に基づいて、前記中間音声特徴量から前記第N話者の発話内容を示す第N音声認識結果を生成する
　音声認識推定装置。
（付記項２）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記メモリは、モデルパラメータを記憶し、
　前記プロセッサは、
　入力音声情報に含まれる発話の話者を発話順に第N話者として、
　予め学習済みの第１のモデルに基づき、前記入力音声情報を中間音声特徴量へ変換し、
　予め学習済みの第２のモデルに基づき、前記中間音声特徴量から前記第N話者の発話内容を示す第N音声認識結果を生成する処理を、話者ごとに並列に行う
　音声認識推定装置。
（付記項３）
　付記項１に記載の音声の認識推定装置であって、
　前記プロセッサはさらに、
　前記話者に対応する名称と発話順を取得し、前記発話順を用いて前記第N識別情報に対応する第N音声認識結果と前記名称とを紐づけて出力する
　音声認識推定装置。
（付記項４）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記メモリは、モデルパラメータを記憶し、
　前記プロセッサは、
　対話参加者N人が順番に発話した音声を冒頭に含む入力音声情報と、前記冒頭でN番目に発話した第N話者の第N識別情報と、を入力とし、前記第N話者の発話内容を示す第N音声認識結果を学習済みモデルに基づいて生成し、
　前記第N識別情報に基づいて、前記第N音声認識結果を所定の端末に送信する
　音声認識推定装置。
（付記項５）
　第１のメモリと、前記第１のメモリに接続された第１のプロセッサと、を備えたサーバと、
　第２のメモリと、前記第２のメモリに接続された第２のプロセッサと、を備えた端末と、
　を含み、
　前記第１のメモリは、第１のモデルパラメータを記憶し、
　前記第２のメモリは、第２のモデルパラメータを記憶し、
　前記第１のプロセッサは、
　対話参加者に対応する前記端末の情報と、複数人の音声を含む入力音声情報と、を取得し、予め学習済みの第１のモデルを用いて前記入力音声情報を中間音声特徴量に変換し、
　前記端末に、前記中間音声特徴量を送信し、
　前記第２のプロセッサは、
　前記端末に対応する前記対話参加者の発話順と、前記中間音声特徴量とを入力として、予め学習済みの第２のモデルを用いて中間音声特徴量から前記発話順に対応する話者の音声認識結果を生成する
　音声認識システム。
（付記項６）
　サーバと、一つまたは複数の端末を含み、前記端末が以下の処理を行うシステムであって、
　前記端末は、音声認識対象の発話者の対話開始冒頭における発話順を前記サーバに送信し、前記発話順の音声認識結果を前記サーバから取得する
　音声認識システム。
（付記項７）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記メモリは、学習用入力音声情報、正解音声認識結果、および第１モデルと第２モデルと第３モデルのパラメータを記憶し、
　前記プロセッサは、
　前記第１モデルに基づき、複数話者の音声を含む前記学習用入力音声情報を中間音声特徴量へ変換し、
　前記学習用入力音声情報に含まれる発話の話者を発話順に第N話者として、
　前記第２モデルに基づき、前記第N話者の発話内容を示す第N正解音声認識結果を第N中間言語特徴量へ変換し、
　前記第３モデルに基づき、前記第N話者の発話順に対応する第N識別情報と、前記中間音声特徴量と、前記第N中間言語特徴量を入力とし、第N音声認識結果を生成し、
　前記第N音声認識結果と、前記第N正解音声認識結果とを入力とし、前記第１モデル、前記第２モデル、前記第３モデルのパラメータを更新する
　音声認識モデル学習装置。
（付記項８）
　付記項１から４のいずれかに記載の音声認識推定装置、付記項５もしくは６のいずれかに記載の音声認識システム、または付記項７に記載の音声認識モデル学習装置としてコンピュータを機能させるためのプログラムを記録した、コンピュータが読み取り可能な非一時的記録媒体。

Claims (13)

  1. 　入力音声情報に含まれる発話の話者を発話順に第N話者として、
    　前記入力音声情報を中間音声特徴量へ変換する音声変換部と、
    　前記第N話者の発話順に対応する第N識別情報に基づいて、前記中間音声特徴量から前記第N話者の発話内容を示す第N音声認識結果を生成する推定部と、を有し、
    　前記音声変換部、前記推定部は、予め学習済みのモデルに基づいて処理を行う、
    　音声認識推定装置。
  2. 　入力音声情報に含まれる発話の話者を発話順に第N話者として、
    　前記入力音声情報を中間音声特徴量へ変換する音声変換部と、
    　前記中間音声特徴量から前記第N話者の発話内容を示す第N音声認識結果を生成する処理を、話者ごとに並列に行う推定部と、を有し、
    　前記音声変換部、前記推定部は、予め学習済みモデルに基づいて処理を行う、
    　音声認識推定装置。
  3. 　請求項１に記載の音声の認識推定装置であって、
    　前記話者に対応する名称と発話順を取得し、前記発話順を用いて前記第N識別情報に対応する第N音声認識結果と前記名称とを紐づけて出力する名称付加部をさらに備えた、
    　音声認識推定装置。
  4. 　対話参加者N人が順番に発話した音声を冒頭に含む入力音声情報と、前記冒頭でN番目に発話した第N話者の第N識別情報と、を入力とし、前記第N話者の発話内容を示す第N音声認識結果を学習済みモデルに基づいて生成する推定部と、
    　前記第N識別情報に基づいて、前記第N音声認識結果を所定の端末に送信する送信部と
    　を有する音声認識推定装置。
  5. 　サーバと端末からなる音声認識システムであって、
    　前記サーバは、対話参加者に対応する端末の情報と、複数人の音声を含む入力音声情報と、を取得し、予め学習済みの第１のモデルを用いて前記入力音声情報を中間音声特徴量に変換し、前記端末に、前記中間音声特徴量を送信し、
    　前記端末は、当該端末に対応する前記対話参加者の発話順と、前記中間音声特徴量とを入力として、予め学習済みの第２のモデルを用いて中間音声特徴量から前記発話順に対応する話者の音声認識結果を生成する
    　音声認識システム。
  6. 　サーバと端末からなる音声認識システムであって、
    　前記端末は、音声認識対象の発話者の対話開始冒頭における発話順を前記サーバに送信し、前記発話順の音声認識結果をサーバから取得する。
    　音声認識システム。
  7. 　入力音声情報に含まれる発話の話者を発話順に第N話者として、
    　音声変換部が、前記入力音声情報を中間音声特徴量へ変換し、
    　推定部が、前記第N話者の発話順に対応する第N識別情報に基づいて、前記中間音声特徴量から前記第N話者の発話内容を示す第N音声認識結果を生成し、
    　前記音声変換部、前記推定部は、予め学習済みのモデルに基づいて処理を行う、
    　音声認識推定方法。
  8. 　入力音声情報に含まれる発話の話者を発話順に第N話者として、
    　音声変換部が、前記入力音声情報を中間音声特徴量へ変換し、
    　推定部が、前記中間音声特徴量から前記第N話者の発話内容を示す第N音声認識結果を生成する処理を、話者ごとに並列に行い、
    　前記音声変換部、前記推定部は、予め学習済みのモデルに基づいて処理を行う
    　音声認識推定方法。
  9. 　対話参加者N人が順番に発話した音声を冒頭に含む入力音声情報と、前記冒頭でN番目に発話した第N話者の第N識別情報と、を取得し、
    　推定部が、前記第N話者の発話内容を示す第N音声認識結果を学習済みモデルに基づいて生成し、
    　送信部が、前記第N識別情報に基づいて、前記第N音声認識結果を所定の端末に送信する
    　音声認識推定方法。
  10. 　サーバが、対話参加者に対応する端末の情報と、複数人の音声を含む入力音声情報と、を取得し、予め学習済みの第１のモデルを用いて前記入力音声情報を中間音声特徴量に変換し、前記端末に、前記中間音声特徴量を送信し、
    　前記端末が、当該端末に対応する前記対話参加者の発話順と、前記中間音声特徴量とを入力として、予め学習済みの第２のモデルを用いて中間音声特徴量から発話順に対応する話者の音声認識結果を生成する
    　音声認識推定方法。
  11. 　複数話者の音声を含む学習用入力音声情報を中間音声特徴量へ変換する音声変換部と、
    　前記学習用入力音声情報に含まれる発話の話者を発話順に第N話者として、
    　前記第N話者の発話内容を示す第N正解音声認識結果を第N中間言語特徴量へ変換する言語情報変換部と、
    　前記第N話者の発話順に対応する第N識別情報と、前記中間音声特徴量と、前記第N中間言語特徴量を入力とし、第N音声認識結果を生成する推定部と、
    　前記第N音声認識結果と、前記第N正解音声認識結果とを入力とし、所定のモデルに基づいて処理を行う前記音声変換部、前記言語情報変換部、及び前記推定部の前記モデルのパラメータを更新するモデル更新部と、
    を有する音声認識モデル学習装置。
  12. 　音声変換部が、複数話者の音声を含む学習用入力音声情報を中間音声特徴量へ変換し、
    　前記学習用入力音声情報に含まれる発話の話者を発話順に第N話者として、
    　言語情報変換部が、前記第N話者の発話内容を示す第N正解音声認識結果を第N中間言語特徴量へ変換し、
    　推定部が、前記第N話者の発話順に対応する第N識別情報と、前記中間音声特徴量と、前記第N中間言語特徴量を入力とし、第N音声認識結果を生成し、
    　モデル更新部が、前記第N音声認識結果と、第N正解音声認識結果とを入力とし、所定のモデルに基づいて処理を行う前記音声変換部、前記言語情報変換部、及び前記推定部の前記モデルのパラメータを更新する
    　音声認識モデル学習方法。
  13. 　請求項１から４のいずれかに記載の音声認識推定装置、請求項５もしくは６のいずれかに記載の音声認識システム、または請求項１１に記載の音声認識モデル学習装置としてコンピュータを機能させるためのプログラム。
PCT/JP2024/016258 2024-04-25 2024-04-25 音声認識推定装置、音声認識システム、音声認識推定方法、音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム Pending WO2025224928A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016258 WO2025224928A1 (ja) 2024-04-25 2024-04-25 音声認識推定装置、音声認識システム、音声認識推定方法、音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/016258 WO2025224928A1 (ja) 2024-04-25 2024-04-25 音声認識推定装置、音声認識システム、音声認識推定方法、音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2025224928A1 true WO2025224928A1 (ja) 2025-10-30

Family

ID=97489874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/016258 Pending WO2025224928A1 (ja) 2024-04-25 2024-04-25 音声認識推定装置、音声認識システム、音声認識推定方法、音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2025224928A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010113438A1 (ja) * 2009-03-31 2010-10-07 日本電気株式会社 音声認識処理システム、および音声認識処理方法
JP2019040106A (ja) * 2017-08-25 2019-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置およびプログラム
JP2020013034A (ja) * 2018-07-19 2020-01-23 株式会社日立製作所 音声認識装置及び音声認識方法
JP2020035292A (ja) * 2018-08-31 2020-03-05 沖電気工業株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2020086048A (ja) * 2018-11-21 2020-06-04 株式会社リコー 音声認識システム、及び音声認識方法
JP2023028902A (ja) * 2021-08-20 2023-03-03 国立研究開発法人情報通信研究機構 音声認識装置及び方法、並びにコンピュータプログラム
JP2023046127A (ja) * 2021-09-22 2023-04-03 株式会社リコー 発話認識システム、通信システム、発話認識装置、移動体制御システム、発話認識方法及びプログラム
WO2023243083A1 (ja) * 2022-06-17 2023-12-21 日本電信電話株式会社 音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010113438A1 (ja) * 2009-03-31 2010-10-07 日本電気株式会社 音声認識処理システム、および音声認識処理方法
JP2019040106A (ja) * 2017-08-25 2019-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置およびプログラム
JP2020013034A (ja) * 2018-07-19 2020-01-23 株式会社日立製作所 音声認識装置及び音声認識方法
JP2020035292A (ja) * 2018-08-31 2020-03-05 沖電気工業株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2020086048A (ja) * 2018-11-21 2020-06-04 株式会社リコー 音声認識システム、及び音声認識方法
JP2023028902A (ja) * 2021-08-20 2023-03-03 国立研究開発法人情報通信研究機構 音声認識装置及び方法、並びにコンピュータプログラム
JP2023046127A (ja) * 2021-09-22 2023-04-03 株式会社リコー 発話認識システム、通信システム、発話認識装置、移動体制御システム、発話認識方法及びプログラム
WO2023243083A1 (ja) * 2022-06-17 2023-12-21 日本電信電話株式会社 音声認識モデル学習装置、音声認識モデル学習方法、およびプログラム

Similar Documents

Publication Publication Date Title
CN111243576B (zh) 语音识别以及模型训练方法、装置、设备和存储介质
JP6989951B2 (ja) スピーチチェイン装置、コンピュータプログラムおよびｄｎｎ音声認識・合成相互学習方法
US6813607B1 (en) Translingual visual speech synthesis
CN112687259A (zh) 一种语音合成方法、装置以及可读存储介质
CN113439301A (zh) 使用序列到序列映射在模拟数据与语音识别输出之间进行协调
CN112071330A (zh) 一种音频数据处理方法、设备以及计算机可读存储介质
JP2023546930A (ja) 言語間音声合成を改良するための音声認識の使用
CN114242033A (zh) 语音合成方法、装置、设备、存储介质及程序产品
CN118043885A (zh) 用于半监督语音识别的对比孪生网络
EP4715807A2 (en) Text-based speech generation
EP4030421A1 (en) Method for converting voice feature of voice
JP2025541793A (ja) 音声認識のための半教師ありトレーニング計画
KR102318150B1 (ko) 생성적 적대 신경망 기반 수어 영상 생성 시스템
EP4537327B1 (en) Joint speech and text streaming model for asr
CN120340498B (zh) 一种机器人自适应互动方法及系统
CN115938342A (zh) 语音处理方法、装置、电子设备及存储介质
CN113077783A (zh) 小语种语音语料扩增方法、装置及电子设备和存储介质
WO2025173073A1 (ja) 音声認識モデル学習装置、音声認識推定装置、音声認識モデル学習方法、音声認識推定方法、プログラム、および音声認識推定システム
KR20240087228A (ko) 박물관 안내를 위한 메타휴먼의 시나리오 기반 맞춤 대화형 ai 키오스크 시스템 및 이의 제어 방법
KR102605178B1 (ko) 가족 관계에 기초하여 음성 데이터를 생성하는 장치, 방법 및 컴퓨터 프로그램
Martens et al. Word segmentation in the spoken Dutch corpus
Afshan et al. Attention-based conditioning methods using variable frame rate for style-robust speaker verification
JP3532248B2 (ja) 学習音声パタンモデル使用音声認識装置
JP7847733B1 (ja) 発言データ提供装置、発言推定システム、発言データ提供システム、発言データ提供方法及びプログラム
CN113345413B (zh) 基于音频特征提取的语音合成方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24937042

Country of ref document: EP

Kind code of ref document: A1