WO2022085296A1 - 情報処理装置及び情報処理方法、コンピュータプログラム、フォーマット変換装置、オーディオコンテンツ自動転記システム、学習済みモデル、並びに表示装置 - Google Patents
情報処理装置及び情報処理方法、コンピュータプログラム、フォーマット変換装置、オーディオコンテンツ自動転記システム、学習済みモデル、並びに表示装置 Download PDFInfo
- Publication number
- WO2022085296A1 WO2022085296A1 PCT/JP2021/031021 JP2021031021W WO2022085296A1 WO 2022085296 A1 WO2022085296 A1 WO 2022085296A1 JP 2021031021 W JP2021031021 W JP 2021031021W WO 2022085296 A1 WO2022085296 A1 WO 2022085296A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- predictor
- output
- text data
- task
- predicts
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 36
- 238000004590 computer program Methods 0.000 title claims description 15
- 238000006243 chemical reaction Methods 0.000 title claims description 11
- 238000003672 processing method Methods 0.000 title claims description 9
- 239000003607 modifier Substances 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims description 148
- 238000013179 statistical model Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 238000003780 insertion Methods 0.000 claims description 12
- 230000037431 insertion Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 abstract description 4
- 230000004048 modification Effects 0.000 abstract description 4
- 238000011084 recovery Methods 0.000 abstract 1
- 238000013140 knowledge distillation Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 34
- 241000393496 Electra Species 0.000 description 25
- 238000010586 diagram Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000012217 deletion Methods 0.000 description 9
- 230000037430 deletion Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000013518 transcription Methods 0.000 description 8
- 230000035897 transcription Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000013138 pruning Methods 0.000 description 6
- 238000004821 distillation Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000590419 Polygonia interrogationis Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
Definitions
- the techniques disclosed herein include information processing devices and information processing methods for processing text data, computer programs, format conversion devices, audio content automatic posting systems, trained models, and the like. Also related to the display device.
- the text data output from automatic speech recognition may include errors such as deletion, insertion, and replacement of characters and words.
- automatic speech recognition outputs difficult-to-read text data consisting of only words that do not contain punctuation marks. Therefore, it is necessary to restore the punctuation marks for the text data output from the automatic speech recognition.
- Non-Patent Document 1 Various methods have been proposed to restore punctuation using state-of-the-art statistical models (see, for example, Non-Patent Document 1).
- the model of punctuation restoration is trained only in reference text. This reference text differs from the input data seen in use by the punctuation restoration model embedded in the application, as there are no errors such as those contained in the results of automatic speech recognition. Errors in automatic speech recognition include replacement, delete, and insert errors.
- the above-mentioned state-of-the-art model realizes extremely high performance by restoring punctuation marks at the cost of model size.
- These models have many parameters and require a large amount of computational resources and energy when used in an application. These requirements increase the running cost of the system and increase the delay of the application.
- Non-Patent Document 2 A method of training a punctuation restoration model using data extension based on speech recognition results from the N-best hypothesis list has also been proposed (see Non-Patent Document 2). Generating training data requires already trained speech recognition capabilities and manual adjustment of training labels in the correct training data and extended training data. This method cannot be applied if the correct training data does not have punctuation. For example, in Japanese, there is no large corpus for automatic speech recognition with punctuation. This method also uses a model with two different task outputs, punctuation restoration and truecasing, but the outputs are not independent of each other and truecasing depends on the output from the punctuation restoration.
- An object of the present disclosure is to provide an information processing device and an information processing method for performing punctuation restoration processing of text data automatically recognized by voice, a computer program, a format conversion device, an audio content automatic transcription system, a trained model, and a display device. There is something in it.
- This disclosure implements a system that automatically formats raw speech recognition text output into regular text on cloud and edge device applications.
- the processing related to this disclosure can be dynamically offloaded to an edge device that has sufficient computational resources available, but if sufficient computing resources are not available on the edge device, the processing related to this disclosure can be performed on the cloud. Can be executed.
- the processing according to the present disclosure includes, but is not limited to, the following steps.
- Each of the above steps (1) to (4) can be executed by a statistical model such as a neural network that needs to learn parameters from training data.
- the present disclosure provides a method of robustly training such a model against speech recognition errors in input data when only error-free text data is available for training. Further, the present disclosure provides a method of training a model with less parameters from the original model but with the same robustness to speech recognition errors.
- the small model trained by the method according to the present disclosure can operate on a cloud server and various edge devices (smartphone, tablet computer, personal computer, etc.) at a lower cost and lower latency than the original model.
- the speech recognition output is divided into utterances rather than sentences and does not include punctuation marks, so a system to format the speech recognition output is required.
- the statistical model used in such systems needs to be robust against speech recognition errors, as the input data to the system in the application is not error-free.
- the present specification mainly describes the training of the punctuation mark restoration model and the embodiment of the trained punctuation mark restoration model application.
- Traditional punctuation restoration algorithms are typically trained with error-free text.
- additional training data has been generated by applying automatic speech recognition to the already transcribed acoustic data.
- the reference transcription should include punctuation. However, this is not always the case.
- Training Statistical models or algorithms are trained to be robust against errors from speech recognition without using training data extensions from speech recognition devices.
- the first aspect of this disclosure is Modifiers that insert changes into text data, A first predictor that predicts the changes contained in the input text data from the modifier and predicts the output of the task from the changed input text data.
- a second predictor having the same output as the first predictor, A first learning unit for training the first predictor and the second predictor, It is an information processing apparatus provided with.
- the modifier inserts the change in the text data, simulating an error that may occur due to speech recognition.
- the changes include at least one of word deletion, insertion, replacement, character modification within a word (character replacement, character duplication, etc.), and training data text format (font face, font size, etc.).
- the first predictor and the second predictor consist of statistical models of the same type or different types, respectively, and the second predictor is a small statistical model with fewer parameters than the first predictor.
- the learning unit trains the first predictor in the first step, and trains the second predictor to reproduce the output of the first predictor in the second step.
- the second aspect of the present disclosure is an information processing method for performing processing for training of a first predictor and a second predictor, which are statistical models, respectively.
- the first predictor predicts the changes contained in the input text data from the modifier that inserts the changes into the text data, predicts the output of the task from the changed input text data, and the second predictor predicts the output of the task.
- the first step of training the first predictor A second step of training the second predictor to reproduce the output of the first predictor, It is an information processing method having.
- a third aspect of the present disclosure is a computer program written in a computer-readable format so as to execute processing for training of a first predictor and a second predictor, which consist of statistical models, respectively, on a computer.
- the first predictor predicts the changes contained in the input text data from the modifier that inserts the changes into the text data, predicts the output of the task from the changed input text data, and the second predictor predicts the output of the task.
- the computer program is relative to the computer.
- the first step of training the first predictor A second step of training the second predictor to reproduce the output of the first predictor, It is a computer program that executes.
- the computer program according to the third aspect of the present disclosure defines a computer program described in a computer-readable format so as to realize a predetermined process on the computer.
- a collaborative action is exhibited on the computer, and the same action as the information processing apparatus according to the first aspect of the present disclosure. The effect can be obtained.
- the fourth aspect of the present disclosure is Inserting changes that simulate errors caused by speech recognition into text data Predicting the changes contained in the input text data from the modifier, and predicting the output of the task from the changed input text data. Equipped with a second predictor trained to reproduce the output, The second predictor converts the text data generated by voice recognition into a predetermined format. It is a format conversion device.
- the fifth aspect of the present disclosure is A server including a voice recognition unit that recognizes voice and an output format conversion unit that converts text data output by the voice recognition unit into a predetermined format.
- a client that is connected to the server via a transmission channel and contains an output unit that conforms to the format. Equipped with The output format conversion unit predicts the changes contained in the input text data from the modifier that inserts the changes simulating the errors that may occur due to speech recognition into the text data, and outputs the task from the changed input text data. Equipped with a second predictor trained to reproduce the output of the first predictor to predict, The second predictor converts the text data generated by the voice recognition unit into the format. It is an audio content automatic posting system.
- system here means a logical assembly of a plurality of devices (or functional modules that realize a specific function), and each device or functional module is in a single housing. It does not matter whether or not it is.
- the sixth aspect of this disclosure is Inserting changes that simulate speech recognition errors in the text data Predicting the changes contained in the input text data from the modifier and predicting the output of the task from the changed input text data A trained model trained to reproduce the output.
- the seventh aspect of this disclosure is A restoration processing unit that restores punctuation marks in text data that automatically recognizes the voice contained in the content, A subtitle addition unit that adds a subtitle consisting of text data whose punctuation marks have been restored by the restoration processing unit to the content playback screen, and a subtitle addition unit. Equipped with The restoration processing unit predicts the changes contained in the input text data from the modifier that inserts the changes simulating the errors that may occur due to voice recognition into the text data, and predicts the punctuation marks from the changed input text data. Restore punctuation in text data using a trained model trained to reproduce the output of a predictor of 1. It is a display device.
- an information processing device and an information processing method for performing punctuation restoration processing of text data in consideration of an automatic speech recognition error, a computer program, a format conversion device, an audio content automatic transcription system, a trained model, and a display device can be provided.
- FIG. 1 is a diagram showing the first substep in teacher training.
- FIG. 2 is a diagram showing the second substep in teacher training.
- FIG. 3 is a diagram showing a first substep for training the second predictor 103.
- FIG. 4 is a diagram showing a second sub-step for training the second predictor 103.
- FIG. 5 is a diagram showing a configuration example of the audio content automatic posting system 500.
- FIG. 6 is a diagram showing a configuration example of the output format module 600.
- FIG. 7 is a diagram showing an example of performing the first step of the training method of the model according to the present disclosure.
- FIG. 8 is a diagram showing an example of performing the second step of the training method of the model according to the present disclosure.
- FIG. 1 is a diagram showing the first substep in teacher training.
- FIG. 2 is a diagram showing the second substep in teacher training.
- FIG. 3 is a diagram showing a first substep for training the second predictor 103.
- FIG. 4 is
- FIG. 9 is a diagram showing an example of performing the first step of knowledge distillation according to the present disclosure.
- FIG. 10 is a diagram showing an example of performing the second step of knowledge distillation according to the present disclosure.
- FIG. 11 is a diagram showing a specific example of the output format module 600 incorporating the functions according to the present disclosure.
- FIG. 12 is a diagram showing the structure of ELECTRA.
- FIG. 13 is a diagram showing a comparison of parameters between ELECTRA-base and ELECTRA-small.
- FIG. 14 is a diagram summarizing the results of the reference transfer and ASR output of the test set.
- FIG. 15 shows an ablation study comparing conventional knowledge distillation with ELECTRA-small and two-step knowledge distillation of less transformer layers.
- FIG. 16 is a diagram showing a comparison of the model size, inference time, and required GPU memory of Nvidia RTX 2080Ti.
- automatic speech recognition includes errors such as replacement, deletion, and insertion errors.
- traditional punctuation restoration algorithms are trained with correct text without the errors that can be included in the output of automatic speech recognition. Correct transcription using punctuation is required to generate training data for the punctuation restoration model from automatic speech recognition (N-best list).
- the English automatic speech recognition result includes an error in which "recognize speech” is replaced with "wrec a nice speech”.
- the Japanese automatic voice recognition result includes an error in which "voice” is replaced with "hot spring”.
- the automatic speech recognition results for any language do not contain information about punctuation. It should be understood that punctuation should be added in the correct position with or without automatic speech recognition errors.
- the present disclosure generates a very small model for restoring punctuation marks in text data, which can be performed with less computational resources.
- the present disclosure is realized using two methods: pre-training of the text encoder (see, eg, Non-Patent Document 3) and distillation of knowledge (see, eg, Non-Patent Document 4).
- Non-Patent Document 3 describes a statistical model having a generator-discriminator structure.
- the generator is a masked language model, and the discriminator predicts whether the output of the generator is the original output or a replacement.
- the generator and discriminator correspond to the components "modifier" and "predictor" of the present disclosure, respectively.
- Non-Patent Document 3 describes acquiring a pre-trained language model that can be fine-tuned to various language domain tasks.
- the pre-trained language model can be fine-tuned for punctuation restoration, but Non-Patent Document 3 does not train the generator to simulate errors from speech recognition. Further, Non-Patent Document 3 does not mention the result of restoration of punctuation marks.
- Knowledge distillation is a general term for machine learning. It typically consists of a large teacher model with domain knowledge and an untrained student model that is much smaller than the teacher and distills the knowledge (statistics) learned by the large and complex teacher model. It means that it is used for learning a small and lightweight student model. Knowledge distillation can be expected to provide better accuracy than simply learning a student model.
- the teacher model is the "first predictor” and the student model is the "second predictor”.
- training for a compact statistical model is described to automatically generate formatted text output from unformatted speech recognition output.
- the model is trained with arbitrary tokenizable textual data.
- Text data can be tokenized into various units such as words, subwords, word pieces, and sentence pieces.
- the following three models, a modifier, a first predictor, and a second predictor are used.
- the modifier inserts changes into the textual data used to train the predictor.
- the modifier consists of a statistical model such as a neural network.
- the modifier inserts changes to the original text data, such as errors that can be caused by speech recognition.
- Such changes include delete, insert, replace, and so on. Changes are not limited to words. For example, it is possible to change a character in a word, such as replacing a character or duplicating a character.
- the modifier can change the text format of the training data, such as font face and font size.
- the first predictor predicts changes in the input data from the modifier and predicts the output of each task from the changed input text data.
- the task of the first predictor includes, but is not limited to, inserting punctuation marks after the word and changing the case of the word.
- the first predictor consists of a large statistical model (ie, a model with many parameters) such as a neural network.
- the second predictor has the same output as the first predictor. Compared to the first predictor, the second predictor is a small statistical model with fewer parameters than the first predictor. The second predictor and the first predictor do not have to be the same kind of statistical model.
- the training process related to this disclosure mainly consists of two steps.
- the first step the first predictor is trained.
- the first step can also be called teacher training.
- the second step the second predictor is trained to reproduce the output of the first predictor.
- the second step is knowledge distillation.
- the first and second steps above consist of two substeps outlined below. Both substeps can also be performed in reverse order, as described below.
- Teacher Training Figure 1 illustrates the first substep in teacher training of the model or algorithm according to the present disclosure.
- modifier 101 inserts changes (replacement, deletion, insertion, etc.) in the input text that simulate the error of automatic speech recognition as described above.
- the first predictor 102 uses the modified input text to predict the changes made by the modifier 101 to the input text (change detection output) and predict the output of each task as described above. ..
- the parameters of the first predictor 102 are updated, and the parameters of the modifier 101 can be optionally updated. Given the input text data, the parameters of the first predictor 102 are updated so that the first predictor 102 after updating the parameters achieves better prediction of changes in the input data and better output of each task. Will be executed.
- FIG. 2 illustrates the second substep in teacher training of the model or algorithm according to the present disclosure.
- the modifier 101 is discarded and the first predictor 102 uses the original text data as input. Then, the first predictor 102 predicts only the output of each task, and only the parameters of the first predictor 102 are updated. Given the input text data, the parameters of the first predictor 102 are updated so that the first predictor 102 achieves better output for the task after updating the parameters.
- FIG. 3 shows a first substep of training a second predictor 103 to reproduce the output of the first predictor 102 by knowledge distillation.
- modifier 101 inserts changes into the training text data as described above.
- the first predictor 102 uses the modified input text to first predict changes to the input text (change detection output), and then the first predictor 102 predicts the output of each task as described above. do.
- the second predictor 103 also predicts changes to the input text and the output of each task.
- the task output and change prediction of the first predictor 102 are used as training teacher signals.
- the parameters of the second predictor 103 are (a) minimized the difference between the output and the change prediction, (b) minimized the difference in the output from the first predictor 102, and optionally (c) the second.
- the difference in the selected model parameters inside the predictor 102 of 1 eg, the output of the hidden layer
- the parameters of modifier 101 are optionally updated.
- FIG. 4 shows a second step of training the second predictor 103 to reproduce the output of the first predictor 102 by knowledge distillation.
- the modifier 101 is destroyed.
- the first predictor 102 and the second predictor 103 predict the output of each task from the original training data.
- the parameters of the second predictor 103 are updated in the same manner as in the first step (a)-(c), except that the change prediction is ignored.
- Section D describes a system that applies this disclosure to automatically transcribe audio content and display this content on client devices.
- Such systems can be used to automatically post meetings, presentations, television shows, etc. and display the postings in formats such as documents, closed captions for videos, etc. on client devices.
- FIG. 5 schematically shows a configuration example of the audio content automatic posting system 500.
- the illustrated audio content automatic posting system 500 is classified into a server 510 side and a client 520 and 530 side.
- the service application 511 is executed.
- the service application 511 communicates with an automatic speech recognition (ASR) server 512, an output format module 513, and client applications 521 and 531 on the client 520 and 530 sides.
- the service application 511 receives an audio input from another service (for example, a television broadcast or a video distribution service) and transmits the audio input to the ASR server 512.
- the ASR server 512 produces an ASR output.
- the service application 511 sends the ASR output to the output format module 513, where the output format module 513 is a text output formatted for a thin client (specifically, a client with less computational resources) 530 (eg, ASR). Generates text data that restores the punctuation points of the output text data).
- Service application 511 sends ASR output or formatted text output to client 520 and client 530 connected via transmission channel 540.
- the client 520 is a normal client (smartphone, tablet computer, personal computer, etc.) having reasonable computing resources, and the client application 521 is executed.
- the client application 521 communicates with the service application on the server 510 via the transmission channel 540.
- the client application 521 receives ASR output data from the service application 511 via the transmission channel 540.
- the ASR output data is processed by the output format module 522 of the client application 521.
- the output format module 522 generates formatted output text (for example, text data obtained by restoring punctuation marks of ASR output text data). This formatted output text is output by the output unit 523.
- the output unit 523 is a display element for a document, a closed caption of a video, and the like.
- voice subtitles are added on the display screen of another service such as a television broadcast or a video distribution service based on the text data voice-recognized by the automatic voice recognition server 512 on the server 510 side. be able to.
- Client 530 is a thin client that does not have rational computing resources such as smart watches and microcontrollers.
- the client application 531 is a reduced version of the application that can be run on the thin client 530.
- a client application 531 can be an application for a Web browser.
- the client application 531 receives the formatted output text from the service application 511 via the transmission channel 540.
- the formatted output text is output by the output unit 532. That is, on the client 530 side, voice subtitles are added on the display screen of another service such as a television broadcast or a video distribution service based on the text data voice-recognized by the automatic voice recognition server 512 on the server 510 side. be able to.
- server 510 can also be represented by an application on clients 520 and 530 without loss of generality.
- a reduced application of service application 511 can be run on clients 520 and 530.
- clients 520 and 530 can run on server 510 and write output to files, databases, etc. accessed by other services.
- the transmission channel 540 can be represented by a file, database, or some form of interprocess communication on system 500.
- Output Format Module The post-processing of the speech recognition output according to the present disclosure is integrated into an output format module (eg, an output format module 513 in the server 510 or an output format module 522 in the client 520).
- This section E describes a method in which the output format module 513 is integrated into the service application 511 and operates.
- the output format module can be composed of multiple submodules.
- the model training method according to the present disclosure can be applied to the statistical model of the output format module 513.
- FIG. 6 shows a configuration example of the output format module 600 incorporating the functions according to the present disclosure.
- the output format module 600 receives raw text (ASR text output) from the speech recognition output and possible detailed information (ASR metadata) such as speaker information and time.
- the output format module 600 resegments the received text into specified units (sentences, etc.), adds specified punctuation marks, adds metadata (speaker names, etc.) to the output, and optionally formats the text. Apply.
- the tasks performed by the output format module 600 are limited by its submodules. As shown in FIG. 6, the output format module 600 includes subs such as Punctuation Restoration 601 and Recognition Error Correction 602, Number Normalization 603, and Re-segmentation 604. It has a module.
- the submodule applied to the input data is specified in processing option 605.
- the punctuation restoration submodule 601 is equipped with a second predictor 103 trained to reproduce the output of the first predictor 102 by knowledge distillation, and performs a process of restoring the punctuation of the text data output from the ASR. ..
- FIG. 7 shows a specific example of performing the first substep of the training method of the model according to the present disclosure
- FIG. 8 shows a specific example of performing the second substep of the training method of the model according to the present disclosure.
- FIG. 7 and 8 show a training method for only one task (reconstruction of punctuation marks).
- the input data uses character units. Therefore, the modifier 101 can change each character, and the first predictor 102 predicts the output of each character.
- a training label is a series of labels, one label corresponding to one character of input data.
- modifier 101 receives reference training data.
- the modifier 101 replaces and deletes the reference training data (“200 people participated in the meeting the other day and the results of the end of the second period were announced”), and the training was changed.
- the data (“400 people participated in the meeting last week and the result of the second term_ was announced") is output.
- deletion or insertion the training label of each task needs to be adjusted accordingly. In other words, in the case of deletion, it is necessary to delete the label, and in the case of insertion, it is necessary to add a label to each task.
- This modified training data is used as an input to the first predictor 102.
- the first predictor 102 attempts to predict the training label for task 1 (restoration of punctuation) and the changes made by the modifier 101 to the reference training data.
- the training label for task 1 is "0000000000000, 000000000000.”
- the training label of the change detection output is "0R0000R00000000D0000000000D0".
- the first predictor 102 confirms these plurality of training examples.
- the parameters of the first predictor 102 are updated based on the difference between the output calculated by the first predictor 102 and the training label. For example, if the first predictor 102 is a neural network, the difference between the output of the first predictor 102 and the training label is calculated by the loss function, which is a function of the output of the training label and the first predictor 102. By acquiring the derivative of this loss function with respect to the parameters of the first predictor 102 and then maximizing or minimizing the derivative, the optimum parameters of the training data can be obtained. This is commonly referred to as error back propagation.
- the parameters of modifier 101 can also be updated during training.
- the modifier 101 can be trained to predict the reference training text or to insert the same error in the reference text as the automatic speech recognition feature. If the modifier 101 is trained during the training of the model, it is necessary to provide the training data of the modifier 101.
- the training data in this case may be reference text, output generated from automatic speech recognition, or a pair of otherwise modified and unchanged text.
- the parameters of the modifier 101 can be updated in the same way as the parameters of the first predictor 102. That is, when the modifier 101 is a neural network, the parameters can be updated by error back propagation. Both the modifier 101 and the first predictor 102 can be updated simultaneously in one training step. Of course, each model of modifier 101 and first predictor 102 can also be trained individually.
- the first predictor 102 is trained using the reference training data.
- the parameters of the first predictor 102 are updated in the same way as in the first substep above.
- the first predictor 102 calculates the output of each task. In the example shown in FIG. 8, "200 people participated in the meeting the other day and the results of the second term were announced" is used as reference training data. Further, the task of the first predictor 102 is only the restoration of punctuation marks, and the training label is "00000000000000000000000000.”.
- the parameters of the first predictor 102 are updated so that the difference between the output and the training label is minimized by the same method as in the first substep.
- FIG. 9 shows a specific example of performing the first substep of the knowledge distillation according to the present disclosure
- FIG. 10 shows a specific example of performing the second substep of the knowledge distillation according to the present disclosure. 9 and 10 show knowledge distillation of only one task (reconstruction of punctuation).
- the first training data is input to the modifier 101.
- the modifier 101 inserts changes into the training data as in the case of teacher training.
- the modifier 101 replaces and deletes the reference training data (“200 people participated in the meeting the other day and the results of the end of the second period were announced”), and the training was changed.
- the data (“400 people participated in the meeting last week and the result of the second term_ was announced") is output.
- deletion or insertion the training label of each task needs to be adjusted accordingly. In other words, in the case of deletion, it is necessary to delete the label, and in the case of insertion, it is necessary to add a label to each task.
- the changed training data is input to the first predictor 102 and the second predictor 103. Both the first predictor 102 and the second predictor 103 calculate the output label for each task and estimate the changes made by the modifier 101.
- the training label for task 1 is "0000000000000, 000000000000.”
- the training label of the change detection output is "0R0000R00000000D0000000000D0".
- the parameters of the first predictor 102 are not changed.
- the parameters of modifier 101 can be updated in the same way as teacher training.
- the parameters of the second predictor 103 are updated so that the difference between the output of each task and the text change label is minimized, and the difference between the output of the first predictor 102 and the output is also minimized.
- the second predictor 103 is a neural network
- a loss function for calculating the difference between the output of the second predictor 103 and the target value is calculated.
- the second predictor 103 uses a loss function to calculate the hidden layer output or the difference between other intermediate representations.
- the parameters of may be updated.
- the parameters of the second predictor 103 are optimized by obtaining the derivatives of all the loss functions for the parameters of the second predictor 103 and minimizing or maximizing them.
- both the first predictor 102 and the second predictor 103 calculate the output from the reference training data.
- the parameters of the first predictor 102 are not changed, and the parameters of the second predictor 103 are updated in the same manner as in the first substep.
- FIG. 11 shows a specific operation example of the output format module 1100 incorporating the functions according to the present disclosure.
- the output format module 1100 can include multiple submodules and options for formatting the output text. It is not necessary to activate all modules in one application.
- submodules can be activated and deactivated by reading the configuration from a file containing the configuration values at system startup.
- the activated and deactivated submodules and text format options are displayed in the output format module options and are indicated by "Yes" or "No".
- the output format module 1100 receives a list of metadata corresponding to the speech recognition text output.
- the speech recognition text output and the number of each pair of metadata are the same (1, 2, ).
- the speech recognition output of the example shown in FIG. 11 there is a space between the morphemes, the numbers are written in Chinese characters, and one sentence is divided into two utterances.
- the first voice recognition text output is "100 people participated in last week's meeting”
- the corresponding metadata is "speaker: Yamada, Taro / time: 4.040”
- the second voice recognition text output "The results of the end of the second term have been announced”
- the corresponding metadata is "Speaker: Yamada, Taro / Time: 3.520".
- the output format module 1100 applies the activated submodule to the input data.
- the output format module 1100 responds to the above speech recognition text output and metadata by saying "Yamada: 200 people participated in the meeting the other day and the results of the second term end were announced.”
- Output as formatted output. Punctuation marks have been added, the text has been resegmented into sentences, Chinese numerals have been converted to Arabic numerals, binders such as "um” have been removed, and the output text has a speaker ID in front of it.
- a model or algorithm for punctuation restoration can be trained so as to be robust against errors from speech recognition without using data from the speech recognition device.
- a large amount of available text data is utilized as training data for punctuation restoration by automatically inserting distortion into automatic text data to simulate speech recognition errors.
- high accuracy and robustness against automatic speech recognition errors in a large model can be realized even in a much smaller model.
- Punctuation restoration is a process of restoring missing punctuation marks in the text data output by automatic speech recognition. Punctuation restoration makes text data easier for humans to read and simplifies subsequent tasks.
- natural language processing models such as the BERT (Biorectional Encoder Repressions from Transfermers) have set benchmarks in recent work, but in practice they have two main drawbacks. First, these models are pre-trained with written text that does not contain errors due to speech recognition output (when you enter text data that contains errors due to speech recognition output, punctuation is restored correctly. It may not be possible). Second, because of the many parameters in these models, the inference time can be long.
- ELECTRA (see Non-Patent Document 3), which was recently proposed as an improved version of BERT, is used in order to deal with the former problem.
- ELECTRA has a generator-discriminator structure.
- multi-task learning is used to fine-tune ELECTRA in two steps. The first step uses a generator to simulate replacement errors during training. Then, in the second step, the reference text is fine-tuned.
- the statistical model according to the second embodiment shows that the robustness against speech recognition error is improved without relying on the enhancement of data.
- the same two-step tweak is used to investigate the distillation of knowledge and the pruning of parameters in order to reduce the size of the statistical model. In an experiment on the IWSLT 2012 TED talk task, models with a BERT size less than 11% had 82% faster inference time and improved performance.
- ASR automated speech recognition
- LMs trans-language models
- GPT-2 trans-language models
- Research on punctuation restoration also sought to leverage the information encoded by these models.
- Statistical linguistic information obtained from models such as BERT from pre-training of large amounts of text data has been shown to help improve restore performance.
- these models are actually applied to the restoration of punctuation marks in automatic speech recognition, two problems arise.
- a large amount of written text is used during pre-training.
- the written text does not contain recognition errors or spontaneous speeches such as automatic speech recognition output.
- the number of parameters in these models is usually on the order of 100 million or more, and the inference time is slow even when using a high-speed GPU.
- model size is another important factor in real-world applications.
- KD knowledge distillation
- parameter pruning used BERT to initialize the parameters and then performed knowledge distillation using the loss triplet at the network output.
- TinyBERT further applies a mean squared error (MSE) loss to distill the intermediate layer and attention adjustments.
- MSE mean squared error
- ELECTRA in order to improve the robustness of the model against ASR errors, the automatic insertion of errors into the training data is investigated.
- MLM BERT's Mask Language Model
- GAN Generative Adversarial Network
- ELECTRA consists of a small generator and a large discriminator. This two-step model is suitable for tasks related to automatic speech recognition because the discriminator is trained with text that has been replaced by the generator. The replacement inserted by the generator allows you to simulate a replacement error.
- the second embodiment proposes a process of fine-tuning the ELECTRA discriminator to a punctuation restoration task in two steps, using both a generator and a discriminator. do.
- the multitasking goal is used to fine-tune the discriminator of the generator output.
- the second step is to make regular tweaks to the reference text.
- knowledge distillation and layer pruning are investigated.
- knowledge distillation is started with a model initialized to the parameters of the pre-trained ELECTRA-small model.
- Knowledge distillation uses the same two-step distillation as the ELECTRA-base fine-tuning.
- the two-step knowledge distillation in the second embodiment improves the performance of ELECTRA-small as compared to conventional fine-tuning and conventional one-step knowledge distillation.
- further reduction of parameters during knowledge distillation is investigated by subsequently removing the upper hidden layer from ELECTRA-small.
- the second embodiment is the first disclosure of knowledge distillation for punctuation restoration at the time of this application.
- This section L describes the ELECTRA model used in all experiments and the multitasking fine-tuning according to the second embodiment. Further, a multitasking knowledge distillation process for distilling the teacher model ELECTRA-base into the student model ELECTRA-small according to the second embodiment will be described.
- FIG. 12 shows the structure of ELECTRA.
- the illustrated ELECTRA consists of a mask language model (MLM) generator and a discriminator that uses both substitution prediction ((a) in the figure) and punctuation restoration ((b) in the figure).
- MLM mask language model
- ELECTRA modifies BERT's MLM pre-training goals.
- the motivation behind ELECTRA is to create a model that can use training data more efficiently.
- 15% of the input tokens are masked and MLM goal predictions are made only for these 15% of the training data.
- ELECTRA uses a generator (g) and discriminator (D) similar to GAN.
- Each component is a deep transformer g gen and g disc that maps a sequence of input tokens to a sequence of output vector representations.
- the generator g is an MLM, i.e., attempts to recover the masked token x l in the input sequence from the input sequence x.
- the probability of the token x l is calculated as shown in the following equation (1) using the softmax layer.
- U is a word embedding matrix. All masked tokens in the original input sequence are replaced by the predictions of the generator g, and the sequence modified from the input sequence x is sent to the discriminator D.
- the discriminator D predicts at each input position l whether that one token is the original token (o) or another token (r) replaced by the generator g.
- Non-Patent Document 3 demonstrates that ELECTRA-small trained at 12.5% of the computational budget used to train BERT-small can achieve better performance than fully trained BERT-small. rice field.
- the optimum size of the generator g is about half the size of the discriminator D. In conventional fine-tuning, this small generator g is discarded and the discriminator D is fine-tuned based on task-specific data. However, in tasks where the input data is obtained from the automatic speech recognition output, it may be useful to fine-tune the discriminator D using the output of the generator g instead of the true word label. Token replacement of the output simulates replacement errors inserted by automatic speech recognition and helps improve robustness.
- Multitasking fine-tuning Punctuation restoration predicts whether a punctuation token will follow for each token x l in the input sequence x.
- Experiments use commas, periods, and question marks as possible punctuation marks, or null if there are no punctuation marks after the input token.
- an additional output layer W punct was added to ELECTRA to calculate the probability of the punctuation symbol y l for the modification of the input sequence x, as shown in FIG. 12 (b).
- the discriminator receives a modified sequence of the input sequence x and, at each time step l, (a) the generator g replaces the corresponding token, and (b) the corresponding token. Predict which punctuation marks will follow. These predictions correspond to paths (a) and (b) in FIG. 12, respectively.
- the total training loss is represented by the weighted sum of (a) the loss L replace of the token substitution and (b) the loss L punctuation of the punctuation prediction.
- the loss L replace of token replacement is shown in the following equation (4), and the loss L puncture of punctuation mark prediction is shown in the following equation (5). and.
- the following equation (6) shows the total L CE of the training loss obtained by weighting and adding the loss L punctuation of the punctuation mark prediction to the loss L replace of the token replacement.
- the weight a 1 1 of the loss L puncture of punctuation prediction is used.
- the discriminator D is fine-tuned using only the input sequence x and the loss L puncture of the punctuation prediction.
- This is a conventional method of fine-tuning the discriminator D for domain-specific tasks.
- the multitask fine adjustment and the fine adjustment of the discriminator D by the conventional method are combined. This is because in the second embodiment of applying punctuation restoration to automatic speech recognition, the model receives input data including an automatic speech recognition error.
- the token substitution introduced by the generator g in the training data can simulate the substitution error inserted by automatic speech recognition to improve robustness against automatic speech recognition error.
- FIG. 13 shows a comparison of two models, ELECTRA-base and ELECTRA-small.
- a two-step distillation process is used. In the first step, the ELECTRA-base generator replaces 15% of the input tokens and in the second step the true word tokens are used. To distill as much information as possible from the teacher to the student, we apply some loss functions that connect the different layers of the teacher and the student.
- TinyBERT see, eg, Non-Patent Document 7
- MSE losses are applied to the outputs of the input embedding U, the intermediate layer H k , the output activation g disc , and the self-attention head A.
- the embedding loss L embedding is shown in the following equation (7)
- the hidden loss L hidden is shown in the following equation (8)
- the self-attention loss L attention is shown in the following equation (9)
- the output loss L output is shown in the following equation (10). Shown in.
- the total MSE loss is the sum of the hidden loss L hidden , the input embedding loss L embedding , the output activation loss L output , and the attention loss L attention , as shown in the following equation (11).
- cosine similarity loss L cos (see, for example, Non-Patent Document 8) and the KL divergence loss L KL at the softmax temperature t are applied to the output activation.
- the cosine similarity loss L cos is shown in the following equation (12), and the KL divergence loss L KL is shown in the following equation (13).
- l KL in the following formula (13) is shown in the following formula (14).
- the multitasking cross-entropy loss LC E is used in the classification output from equation (6) above.
- the cross-entropy loss L CE is calculated for both outputs (a) and (b) in FIG.
- the reference token x is used as an input to the teacher model (discriminator DT ) and the student model (discriminator DS ) to perform the second step of conventional knowledge distillation.
- the cross entropy loss L CE is calculated from the above equation (5).
- Total Knowledge Distillation Loss L KD is a weighted sum of all losses, as shown in equation (15) below. In the experiment, the weights b 1 , b 2 , and b 3 of each loss were set to 1.
- a mini-batch size of 20 and a constant learning rate were used to fine-tune ELECTRA-small. Similar to ELECTRA-base, after making two steps of fine-tuning, ELECTRA-small achieves the same F1 as BERT-base in the reference test set and even higher F1 in the automatic speech recognition test set. Improvement was seen.
- FIG. 15 shows the average F1 after performing two-step knowledge distillation compared to conventional single-step knowledge distillation for models of different depths. For less than 12 layers in ELECTRA-small, 20 mini-batch sizes were used for knowledge distillation. All models using 2-step knowledge distillation performed better with an automated speech recognition test set than traditional knowledge distillation. Removing the top two layers from ELECTRA-small reduced the number of parameters by 12%, but F1 by only 2%.
- FIG. 16 shows a comparison of the model size, inference time, and required GPU memory of the Nvidia RTX 2080Ti.
- a random dataset consisting of 320 sequences of 512 tokens was looped 100 times. 32 mini-batch sizes were used. That is, we used one loop on a dataset consisting of 10 mini-batch.
- BERT-base and ELECTRA-base consumed similar time and memory. Due to the small model size, using ELECTRA-small reduces the inference time by 79%, and removing the top layer further linearizes the inference time to only 13% of the ELECTRA-base time for a 6-layer model. Was shortened.
- the present specification has mainly described the training of the punctuation mark restoration model and the application of the trained punctuation mark restoration model, the gist of the present disclosure is not limited to this.
- the present disclosure can be similarly applied to speech recognition outputs including speech recognition errors other than punctuation marks to realize a system for formatting speech recognition outputs that is robust against speech recognition errors.
- the present disclosure can be applied to a subtitle addition system such as a television broadcast or a video distribution service.
- a modifier that inserts changes into text data A first predictor that predicts the changes contained in the input text data from the modifier and predicts the output of the task from the changed input text data.
- a second predictor having the same output as the first predictor, A first learning unit for training the first predictor and the second predictor, Information processing device equipped with.
- the modifier inserts the change in the text data, simulating an error that may occur due to speech recognition.
- the information processing device according to (1) above.
- the above change is at least one of deletion, insertion, replacement of a word, change of a character in a word (replacement of a character, duplication of a character, etc.), and a text format of training data (font face, font size, etc.).
- the information processing apparatus according to any one of (1) and (2) above.
- the first predictor predicts the output of one or more of the tasks, including the insertion of punctuation marks.
- the information processing apparatus according to any one of (1) to (3) above.
- the first predictor and the second predictor consist of statistical models of the same type or different types, respectively, and the second predictor is a small statistical model having fewer parameters than the first predictor.
- the information processing apparatus according to any one of (1) to (4) above.
- the learning unit trains the first predictor in the first step, and trains the second predictor to reproduce the output of the first predictor in the second step.
- the information processing apparatus according to any one of (1) to (5) above.
- the first step is The modifier inserts changes into the text data, the first predictor predicts the changes made by the modifier from the modified text data, and predicts the output of the task, and the first predictor predicts the output of the task.
- a first substep that updates the parameters of the first predictor to achieve better prediction of the changes and better task output of the task.
- the first predictor discards the modifier, the first predictor predicts only the output of the task from the original text data, and the first predictor achieves better task output for the task.
- the second substep to update the parameters of The information processing apparatus according to (6) above.
- the second step is The modifier inserts changes into the text data, the first predictor predicts the changes made by the modifier from the modified text data, and predicts the output of the task, and the second predictor predicts the output of the task.
- the second substep to update the parameters of The information processing apparatus according to any one of (6) and (7) above.
- the first substep is further minimized so as to minimize the difference from a specific model parameter (such as the output of the hidden layer) in the first predictor.
- a specific model parameter such as the output of the hidden layer
- the first predictor predicts the changes contained in the input text data from the modifier that inserts the changes into the text data, predicts the output of the task from the changed input text data, and the second predictor predicts the output of the task.
- the first step of training the first predictor A second step of training the second predictor to reproduce the output of the first predictor, Information processing method with.
- the first predictor predicts the changes contained in the input text data from the modifier that inserts the changes into the text data, predicts the output of the task from the changed input text data, and the second predictor predicts the output of the task. Has the same output as the first predictor,
- the computer program is relative to the computer.
- the first step of training the first predictor A second step of training the second predictor to reproduce the output of the first predictor, A computer program that runs.
- a server including a voice recognition unit that recognizes voice and an output format conversion unit that converts text data output by the voice recognition unit into a predetermined format.
- a client that is connected to the server via a transmission channel and contains an output unit that conforms to the format. Equipped with The output format conversion unit predicts the changes contained in the input text data from the modifier that inserts the changes simulating the errors that may occur due to speech recognition into the text data, and outputs the task from the changed input text data. Equipped with a second predictor trained to reproduce the output of the first predictor to predict, The second predictor converts the text data generated by the voice recognition unit into the format. Audio content automatic posting system.
- a restoration processing unit that restores punctuation marks in text data that automatically recognizes voice contained in content, and A subtitle addition unit that adds a subtitle consisting of text data whose punctuation marks have been restored by the restoration processing unit to the content playback screen, and a subtitle addition unit. Equipped with The restoration processing unit predicts the changes contained in the input text data from the modifier that inserts the changes simulating the errors that may occur due to voice recognition into the text data, and predicts the punctuation marks from the changed input text data. Restore punctuation in text data using a trained model trained to reproduce the output of a predictor of 1. Display device.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
Abstract
自動音声認識されたテキストデータの句読点復元処理を行う情報処理装置を提供する。 情報処理装置は、テキストデータに変更を挿入するモディファイヤと、前記モディファイからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタと、前記第1のプレディクタと同じ出力を持つ第2のプレディクタと、前記第1のプレディクタと前記第2のプレディクタをトレーニングする第1の学習部を具備する。
Description
本明細書で開示する技術(以下、「本開示」とする)は、テキストデータの処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、フォーマット変換装置、オーディオコンテンツ自動転記システム、学習済みモデル、並びに表示装置に関する。
例えば音声認識したテキストを字幕表示する技術が知られている(例えば、特許文献1を参照のこと)。しかしながら、自動音声認識から出力されるテキストデータには、文字や単語の削除、挿入、置換などのエラーを含み得る。また、通常の発話に句読点に関する情報が含まれないので、自動音声認識からは句読点を含まない単語のみからなる、読み難いテキストデータが出力される。このため、自動音声認識から出力されるテキストデータに対して句読点を復元する処理が必要である。
最先端の統計モデルを使用して句読点を復元するさまざまな方法が提案されている(例えば、非特許文献1を参照のこと)。しかしながら、提案された方法では、句読点の復元のモデルは参照テキストでのみトレーニングされる。この参照テキストは、自動音声認識の結果に含まれるようなエラーがないので、アプリケーションに埋め込まれた句読点復元モデルが使用中に見る入力データとは異なる。自動音声認識のエラーには、置換、削除、及び挿入のエラーが含まれる。
また、上記の最先端のモデルは、句読点の復元で非常に高いパフォーマンスを、モデルサイズのコストを以て実現するものである。これらのモデルは多くのパラメータを持ち、あるアプリケーションで使用する場合には、大量の計算リソースとエネルギーを必要とする。これらの要件により、システムのランニングコストが増加したり、アプリケーションの遅延が増加したりする。
N-best仮説リストからの音声認識結果によるデータ拡張を使用して句読点復元モデルをトレーニングする方法についても提案されている(非特許文献2を参照のこと)。トレーニングデータを生成するには、既にトレーニングされた音声認識機能と、正しいトレーニングデータ及び拡張されたトレーニングデータ内のトレーニングラベルの手動調整が必要である。正しいトレーニングデータに句読点がない場合には、この方法を適用できない。例えば、日本語では、句読点のある自動音声認識用の大きなコーパスは存在しない。また、この方法では句読点の復元とtruecasingの2つの異なるタスクの出力を持つモデルを使用するが、出力は互いに独立しておらず、truecasingは句読点の復元からの出力に依存する。
Yi et al.,Adversarial Transfer Learning for Punctuation Restoration,2020
Sunkara et al.,"Robust prediction of punctuation and truecasing for medical asr",2020
Clark et al.,"Electra: Pre-training text encoders as discriminators rather than generators",2020
Hinton et al.,"Distilling the knowledge in a neural network",2015)
Diederik P Kingma and Jimmy Ba,"Adam: A method for stochastic optimization,"in Internatinal Conference on Learning Representations (ICLR), 2015.
Anthony Rousseau,Paul Deleglise,and Yannick Esteve,"TED-LIUM: an automatic speech recognition dedicated corpus," in Conference on Language Resources and Evaluation (LREC'12), May 2012, pp. 125-129.
Xiao Chen,Linlin Li,Fang Wang,and Qun Liu,"Tiny-bert: Distilling bert for natural language understand-ing,"arXiv preprint abs/1909.10351,2019.
Victor Sanh,Lysandre Debut,Julien Chaumond, and Thomas Wolf,"Distilbert, a distilled version of bert: smaller, faster, cheaper and lighter,"arXiv preprint abs/1910.01108, 2019.
本開示の目的は、自動音声認識されたテキストデータの句読点復元処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、フォーマット変換装置、オーディオコンテンツ自動転記システム、学習済みモデル、並びに表示装置を提供することにある。
本開示は、クラウド及びエッジデバイスアプリケーション上で、生の自動音声認識テキスト出力を通常のテキストに自動的にフォーマットするシステムを実現する。十分な計算リソースが利用可能なエッジデバイスに本開示に係る処理を動的にオフロードすることができるが、エッジデバイスで十分な計算リソースを利用できない場合にはクラウド上で本開示に係る処理を実行することができる。本開示に係る処理には、以下のステップが含まれるが、これらに限定されない。
(1)音声認識出力を再セグメント化して、エッジデバイス上で適切に表示する。
(2)句読点(カンマ、ピリオド、疑問符など)をテキストデータに挿入する。
(3)大文字と小文字を変更する(小文字、大文字)。
(4)リッチテキストにフォーマット変換する(斜体、太字、下線付きの単語)。
(2)句読点(カンマ、ピリオド、疑問符など)をテキストデータに挿入する。
(3)大文字と小文字を変更する(小文字、大文字)。
(4)リッチテキストにフォーマット変換する(斜体、太字、下線付きの単語)。
上記の各ステップ(1)~(4)は、トレーニングデータからパラメータを学習する必要があるニューラルネットワークなどの統計モデルによって実行することができる。本開示は、エラーのないテキストデータのみがトレーニングに使用できる場合に、入力データの音声認識エラーに対してこのようなモデルを堅牢にトレーニングする方法を提供するものである。さらに、本開示は、元のモデルからのパラメータが少ないが、音声認識エラーに対するロバスト性が同じモデルをトレーニングする方法を提供するものである。本開示に係る方法によってトレーニングされた小型モデルは、クラウドサーバやさまざまなエッジデバイス(スマートフォン、タブレットコンピュータ、パーソナルコンピュータなど)で、元のモデルよりも低コストで且つ低遅延で動作することができる。
音声認識出力は文ではなく発話に分割され、句読点が含まれていないため、音声認識出力をフォーマットするシステムが必要である。アプリケーション内のシステムへの入力データにエラーがない訳ではないため、このようなシステムで使用される統計モデルは、音声認識エラーに対して堅牢である必要がある。そのような統計モデルの例として、本明細書では、句読点復元モデルのトレーニング、及びトレーニング済みの句読点復元モデルのアプリケーションに関する実施形態を中心に説明する。従来の句読点復元アルゴリズムは、エラーのないテキストでトレーニングすることが一般的である。音声認識エラーに対してロバストとなるようにモデルを再トレーニングするために、従来は、既に転写された音響データに自動音声認識を適用することによって追加のトレーニングデータを生成している。このような場合、参照文字起こしには句読点を含める必要がある。但し、これが常に当てはまるとは限らない。
トレーニング済みモデルをアプリケーションに組み込むと、さらに問題が発生する。最先端のアルゴリズムは、非常に大規模なニューラルネットワークを使用する。大規模なニューラルネットワークにはGPU(Graphics Processing Unit)を搭載したサーバを使用する必要があるため、運用コストが高くなる。又は、代わりにCPU(Central Processing Unit)で処理を行うと、ユーザに大きな遅延が発生する。さらに、このように大規模なニューラルネットワークで構成されるモデルは組み込みデバイスやモバイルデバイスでは使用できない。
これに対し、本開示によれば、以下を実現することができる。
(1)音声認識装置からのトレーニングデータ拡張を使用せずに、音声認識からのエラーに対してロバストになるように統計モデル又はアルゴリズムをトレーニングする。
(2)音声認識エラーに対する高精度と堅牢性を大きな統計モデルから小さなモデルに移行する。
(3)元の大規模なモデルと同じ堅牢性を備えた、モバイルアプリケーション又はサーバCPUで実行するための小さな統計モデルを取得する。
(2)音声認識エラーに対する高精度と堅牢性を大きな統計モデルから小さなモデルに移行する。
(3)元の大規模なモデルと同じ堅牢性を備えた、モバイルアプリケーション又はサーバCPUで実行するための小さな統計モデルを取得する。
本開示の第1の側面は、
テキストデータに変更を挿入するモディファイヤと、
前記モディファイからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタと、
前記第1のプレディクタと同じ出力を持つ第2のプレディクタと、
前記第1のプレディクタと前記第2のプレディクタをトレーニングする第1の学習部と、
を具備する情報処理装置である。
テキストデータに変更を挿入するモディファイヤと、
前記モディファイからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタと、
前記第1のプレディクタと同じ出力を持つ第2のプレディクタと、
前記第1のプレディクタと前記第2のプレディクタをトレーニングする第1の学習部と、
を具備する情報処理装置である。
前記モディファイヤは、テキストデータに、音声認識によって生じ得るエラーをシミュレートした前記変更を挿入する。前記変更は、単語の削除、挿入、置換、単語内の文字の変更(文字の置換、文字の複製など)、トレーニングデータのテキストフォーマット(フォントフェース、フォントサイズなど)のうち少なくとも1つを含む。
前記第1のプレディクタと前記第2のプレディクタは、それぞれ同じ種類又は異なる種類の統計モデルからなり、前記第2のプレディクタは前記第1のプレディクタよりもパラメータが少ない小さな統計モデルである。
前記学習部は、1番目のステップで前記第1のプレディクタをトレーニングし、2番目のステップで前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする。
また、本開示の第2の側面は、それぞれ統計モデルからなる第1のプレディクタ及び第2のプレディクタのトレーニングのための処理を行う情報処理方法であって、
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を有する情報処理方法である。
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を有する情報処理方法である。
また、本開示の第3の側面は、それぞれ統計モデルからなる第1のプレディクタ及び第2のプレディクタのトレーニングのための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記コンピュータプログラムは、前記コンピュータに対し、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を実行させる、コンピュータプログラムである。
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記コンピュータプログラムは、前記コンピュータに対し、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を実行させる、コンピュータプログラムである。
本開示の第3の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、本開示の第3の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本開示の第1の側面に係る情報処理装置と同様の作用効果を得ることができる。
また、本開示の第4の側面は、
テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、音声認識によって生成されたテキストデータを所定のフォーマットに変換する、
フォーマット変換装置である。
テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、音声認識によって生成されたテキストデータを所定のフォーマットに変換する、
フォーマット変換装置である。
また、本開示の第5の側面は、
音声を認識する音声認識部及び前記音声認識部が出力するテキストデータを所定のフォーマットに変換する出力フォーマット変換部を含むサーバと、
伝送チャネルを介して前記サーバに接続され、前記フォーマットに適合する出力ユニットを含むクライアントと、
を具備し、
前記出力フォーマット変換部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、前記音声認識部によって生成されたテキストデータを前記フォーマットに変換する、
オーディオコンテンツ自動転記システムである。
音声を認識する音声認識部及び前記音声認識部が出力するテキストデータを所定のフォーマットに変換する出力フォーマット変換部を含むサーバと、
伝送チャネルを介して前記サーバに接続され、前記フォーマットに適合する出力ユニットを含むクライアントと、
を具備し、
前記出力フォーマット変換部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、前記音声認識部によって生成されたテキストデータを前記フォーマットに変換する、
オーディオコンテンツ自動転記システムである。
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
また、本開示の第6の側面は、
テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデルである。
テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデルである。
また、本開示の第7の側面は、
コンテンツに含まれる音声を自動認識したテキストデータの句読点を復元する復元処理部と、
前記コンテンツの再生画面に、前記復元処理部によって句読点を復元したテキストデータからなる字幕を付与する字幕付与部と、
を具備し、
前記復元処理部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータから句読点を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデルを使って、テキストデータの句読点を復元する、
表示装置である。
コンテンツに含まれる音声を自動認識したテキストデータの句読点を復元する復元処理部と、
前記コンテンツの再生画面に、前記復元処理部によって句読点を復元したテキストデータからなる字幕を付与する字幕付与部と、
を具備し、
前記復元処理部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータから句読点を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデルを使って、テキストデータの句読点を復元する、
表示装置である。
本開示によれば、自動音声認識エラーを考慮してテキストデータの句読点復元処理を行う情報処理装置及び情報処理方法、コンピュータプログラム、フォーマット変換装置、オーディオコンテンツ自動転記システム、学習済みモデル、並びに表示装置を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本開示の第1の実施例について、以下の順に従って説明する。
A.概要
B.教師のトレーニング
C.知識蒸留
D.アプリケーション
E.出力フォーマットモジュール
F.教師トレーニングの例
G.知識蒸留の例
H.出力フォーマットモジュールの例
I.効果
B.教師のトレーニング
C.知識蒸留
D.アプリケーション
E.出力フォーマットモジュール
F.教師トレーニングの例
G.知識蒸留の例
H.出力フォーマットモジュールの例
I.効果
A.概要
通常の発話に句読点に関する情報が含まれないので、自動音声認識からは句読点を含まない単語のみからなる、読み難いテキストデータが出力される。このため、自動音声認識から出力されるテキストデータに対して句読点を復元する処理が必要である。
通常の発話に句読点に関する情報が含まれないので、自動音声認識からは句読点を含まない単語のみからなる、読み難いテキストデータが出力される。このため、自動音声認識から出力されるテキストデータに対して句読点を復元する処理が必要である。
一般に、自動音声認識には、置換、削除、及び挿入のエラーといったエラーが含まれる。ところが、従来の句読点復元アルゴリズムは、自動音声認識の出力に含まれ得るようなエラーのない、正しいテキストでトレーニングされる。自動音声認識(N-bestリスト)から、句読点復元モデル用のトレーニングデータを生成するには、句読点を使用した正しい文字起こしが必要である。
英語の正解文章と自動音声認識結果の例と、日本語の正解文章と自動音声認識結果の例を以下に挙げておく。英語の自動音声認識結果は、「recognize speech」が「wreck a nice beach」に置き換わるエラーを含む。また、日本語の自動音声認識結果は、「音声」が「温泉」に置き換わるエラーを含む。また、いずれの言語の自動音声認識結果も、句読点に関する情報が含まれていない。自動音声認識のエラーの有無にかかわらず、句読点を正しい位置に追加する必要があるという点を理解されたい。
英語
正解文:It's hard to recognize speech
自動音声認識結果:It's hard to wreck a nice beach
正解文:It's hard to recognize speech
自動音声認識結果:It's hard to wreck a nice beach
日本語
正解文:私が音声認識の研究をしています
自動音声認識結果:私が温泉認識の研究をしています
正解文:私が音声認識の研究をしています
自動音声認識結果:私が温泉認識の研究をしています
自動音声認識(N-bestリスト)から、句読点復元モデル用のトレーニングデータを生成するには、句読点を使用した正しい文字起こしが必要である。一方、利用可能なテキストデータは数多存在する。例えばWebクロールによって利用できるテキストデータを追加することができる。そこで、本開示は、テキストデータに歪みを自動挿入して音声認識エラーをシミュレートすることによって、利用可能な大量のテキストデータを句読点復元用のトレーニングデータとして活用できるようにする。
また、学習済みの句読点復元モデルを実用化する際の問題点として、最先端のアルゴリズムを使用するとモデル(ニューラルネットワークなど)のサイズが巨大化することが挙げられる。このため、運用コストの高いGPUを使用するか、代わりにCPUを用い大きな遅延を許容する必要があるため、組み込みデバイスやモバイルデバイスには適用することができない。そこで、本開示は、より少ない計算リソースのみで実行することができる、テキストデータの句読点を復元するための、極めて小さいモデルを生成する。
本開示は、テキストエンコーダの事前トレーニング(例えば、非特許文献3を参照のこと)及び知識の蒸留(例えば、非特許文献4を参照のこと)という2つの方法を用いて実現される。
非特許文献3では、ジェネレータ-ディスクリミネータ構造を持つ統計モデルについて記載されている。ジェネレータはマスクされた言語モデルであり、ディスクリミネータは、ジェネレータの出力が元の出力又は置換のいずれであるかを予測する。ジェネレータ及びディスクリミネータは、それぞれ本開示の構成要素である「モディファイヤ」及び「プレディクタ」に対応する。非特許文献3では、さまざまな言語ドメインタスクに微調整できる事前にトレーニングされた言語モデルを取得することが記載されている。事前にトレーニングされた言語モデルは句読点の復元に合わせて微調整することもできるが、非特許文献3ではジェネレータが音声認識よりのエラーをシミュレートするように学習されていない。また、非特許文献3は句読点の復元の結果については言及していない。
また、知識蒸留は、機械学習の一般的な用語である。典型的には、ドメイン知識を持つ大規模な教師モデルと、教師よりはるかに小さい、訓練を受けていない生徒モデルで構成され、大きくて複雑な教師モデルが学んだ知識(統計情報)を蒸留して、小さくて軽量な生徒モデルの学習に利用することを意味する。知識蒸留によれば、単純に生徒モデルを学習するよりも良い精度を得ることが期待できる。本開示において、教師モデルは「第1のプレディクタ」であり、生徒モデルは「第2のプレディクタ」である。
本開示では、コンパクトな統計モデルのトレーニングを記述して、フォーマットされていない音声認識出力からフォーマットされたテキスト出力を自動的に生成する。モデルは、任意のトークン化が可能なテキストデータでトレーニングされる。テキストデータは、単語、サブワード、ワードピース、センテンスピースなどのさまざまな単位にトークン化することができる。トレーニングプロセスには、以下の、モディファイヤ(Modifier)、第1のプレディクタ(Predictor)、及び第2のプレディクタ(Small Predictor)という3つのモデルを用いる。
モディファイヤ:
モディファイヤは、プレディクタのトレーニングに使用されるテキストデータに変更を挿入する。モディファイヤは、ニューラルネットワークなどの統計モデルで構成される。例えば、モディファイヤは、元のテキストデータに対して、音声認識によって生じ得るエラーのような変更を挿入する。このような変更は、削除、挿入、置換などである。変更は単語だけに限定されない。例えば、文字の置換、文字の複製など、単語内の文字の変更にすることもできる。さらに、モディファイヤは、フォントフェース、フォントサイズなど、トレーニングデータのテキストフォーマットを変更することもできる。
モディファイヤは、プレディクタのトレーニングに使用されるテキストデータに変更を挿入する。モディファイヤは、ニューラルネットワークなどの統計モデルで構成される。例えば、モディファイヤは、元のテキストデータに対して、音声認識によって生じ得るエラーのような変更を挿入する。このような変更は、削除、挿入、置換などである。変更は単語だけに限定されない。例えば、文字の置換、文字の複製など、単語内の文字の変更にすることもできる。さらに、モディファイヤは、フォントフェース、フォントサイズなど、トレーニングデータのテキストフォーマットを変更することもできる。
第1のプレディクタ:
第1のプレディクタは、モディファイヤからの入力データの変更を予測し、変更された入力テキストデータから各タスクの出力を予測する。第1のプレディクタのタスクには、単語の後に句読点を挿入したり、単語の大文字と小文字を変更したりすることが含まれるが、これらに限定されない。第1のプレディクタは、ニューラルネットワークなどの大規模な統計モデル(すなわち、多くのパラメータを持つモデル)で構成される。
第1のプレディクタは、モディファイヤからの入力データの変更を予測し、変更された入力テキストデータから各タスクの出力を予測する。第1のプレディクタのタスクには、単語の後に句読点を挿入したり、単語の大文字と小文字を変更したりすることが含まれるが、これらに限定されない。第1のプレディクタは、ニューラルネットワークなどの大規模な統計モデル(すなわち、多くのパラメータを持つモデル)で構成される。
第2のプレディクタ:
第2のプレディクタは、第1のプレディクタと同じ出力を持つ。第1のプレディクタと比較すると、第2のプレディクタは、第1のプレディクタよりもパラメータが少ない小さな統計モデルである。第2のプレディクタと第1のプレディクタは、同じ種類の統計モデルである必要はない。
第2のプレディクタは、第1のプレディクタと同じ出力を持つ。第1のプレディクタと比較すると、第2のプレディクタは、第1のプレディクタよりもパラメータが少ない小さな統計モデルである。第2のプレディクタと第1のプレディクタは、同じ種類の統計モデルである必要はない。
本開示に係るトレーニングのプロセスは主に2つのステップからなる。1番目のステップでは、第1のプレディクタがトレーニングされる。1番目のステップを、教師のトレーニングと呼ぶこともできる。2番目のステップでは、第2のプレディクタは、第1のプレディクタの出力を再現するようにトレーニングされる。2番目のステップは、知識蒸留である。
上記の第1及び2番目のステップは、以下に概説する2つのサブステップで構成される。後述するように、両方のサブステップを逆の順序で実行することもできる。
B.教師のトレーニング
図1には、本開示に係るモデル又はアルゴリズムの教師トレーニングにおける1番目のサブステップを図解している。1番目のサブステップでは、モディファイヤ101は、入力テキストに、上記したような自動音声認識のエラーをシミュレートした変更(置換、削除、及び挿入など)を挿入する。第1のプレディクタ102は、変更された入力テキストを使用して、モディファイヤ101が入力テキストに対して行った変更を予測するとともに(変更検出出力)、上記のように各タスクの出力を予測する。第1のプレディクタ102のパラメータが更新され、オプションでモディファイヤ101のパラメータも更新できる。入力テキストデータが与えられると、パラメータの更新後の第1のプレディクタ102が入力データの変更のより良い予測と各タスクのより良い出力を達成するように、第1のプレディクタ102のパラメータの更新が実行される。
図1には、本開示に係るモデル又はアルゴリズムの教師トレーニングにおける1番目のサブステップを図解している。1番目のサブステップでは、モディファイヤ101は、入力テキストに、上記したような自動音声認識のエラーをシミュレートした変更(置換、削除、及び挿入など)を挿入する。第1のプレディクタ102は、変更された入力テキストを使用して、モディファイヤ101が入力テキストに対して行った変更を予測するとともに(変更検出出力)、上記のように各タスクの出力を予測する。第1のプレディクタ102のパラメータが更新され、オプションでモディファイヤ101のパラメータも更新できる。入力テキストデータが与えられると、パラメータの更新後の第1のプレディクタ102が入力データの変更のより良い予測と各タスクのより良い出力を達成するように、第1のプレディクタ102のパラメータの更新が実行される。
図2には、本開示に係るモデル又はアルゴリズムの教師トレーニングにおける2番目のサブステップを図解している。2番目のサブステップでは、モディファイヤ101は破棄され、第1のプレディクタ102は、元のテキストデータを入力として使用する。そして、第1のプレディクタ102は各タスクの出力のみを予測し、第1のプレディクタ102のパラメータのみが更新される。入力テキストデータが与えられると、パラメータの更新後に第1のプレディクタ102がタスクに対してより良い出力を達成するように、第1のプレディクタ102のパラメータの更新が実行される。
C.知識蒸留
図3には、知識蒸留により第1のプレディクタ102の出力を再現するように第2のプレディクタ103をトレーニングする1番目のサブステップを示している。1番目のサブステップでは、モディファイヤ101は、上記のようにトレーニングテキストデータに変更を挿入する。第1のプレディクタ102は、変更された入力テキストを使用して、まず入力テキストへの変更を予測し(変更検出出力)、次いで、第1のプレディクタ102は上記のように各タスクの出力を予測する。第2のプレディクタ103も、入力テキストへの変更と各タスクの出力を予測する。第1のプレディクタ102のタスク出力と変更予測は、トレーニングの教師信号として使用される。
図3には、知識蒸留により第1のプレディクタ102の出力を再現するように第2のプレディクタ103をトレーニングする1番目のサブステップを示している。1番目のサブステップでは、モディファイヤ101は、上記のようにトレーニングテキストデータに変更を挿入する。第1のプレディクタ102は、変更された入力テキストを使用して、まず入力テキストへの変更を予測し(変更検出出力)、次いで、第1のプレディクタ102は上記のように各タスクの出力を予測する。第2のプレディクタ103も、入力テキストへの変更と各タスクの出力を予測する。第1のプレディクタ102のタスク出力と変更予測は、トレーニングの教師信号として使用される。
トレーニング中、第2のプレディクタ103のパラメータは、(a)出力と変更予測の相違が最小化され、(b)第1のプレディクタ102からの出力の相違が最小化され、オプションで(c)第1のプレディクタ102の内部(例えば、隠れ層の出力)の選択されたモデルパラメータの違いが最小化されるように更新される。オプションでモディファイヤ101のパラメータは更新される。
図4には、知識蒸留により第1のプレディクタ102の出力を再現するように第2のプレディクタ103をトレーニングする2番目のステップを示している。2番目のステップでは、モディファイヤ101は破棄される。第1のプレディクタ102と第2のプレディクタ103は、元のトレーニングデータから各タスクの出力を予測する。変更予測が無視されることを除いて、第2のプレディクタ103のパラメータは、1番目のステップと同じ方法(a)~(c)で更新される。
D.アプリケーション
このD項では、本開示を適用して、オーディオコンテンツを自動文字起こしし、このコンテンツをクライアントデバイスに表示するシステムについて説明します。このようなシステムを使用して、会議、プレゼンテーション、テレビ番組などを自動的に転記し、その転記をドキュメント、ビデオのクローズドキャプションなどのフォーマットでクライアントデバイスに表示することができる。
このD項では、本開示を適用して、オーディオコンテンツを自動文字起こしし、このコンテンツをクライアントデバイスに表示するシステムについて説明します。このようなシステムを使用して、会議、プレゼンテーション、テレビ番組などを自動的に転記し、その転記をドキュメント、ビデオのクローズドキャプションなどのフォーマットでクライアントデバイスに表示することができる。
図5には、オーディオコンテンツ自動転記システム500の構成例を模式的に示している。図示のオーディオコンテンツ自動転記システム500は、サーバ510側とクライアント520及び530側に分類される。
サーバ510側では、サービスアプリケーション511が実行される。サービスアプリケーション511は、自動音声認識(ASR)サーバ512、出力フォーマットモジュール513、及びクライアント520及び530側のクライアントアプリケーション521及び531と通信する。サービスアプリケーション511は、他のサービス(例えばテレビ放送や動画配信サービスなど)から音声入力を受信し、この音声入力をASRサーバ512に送信する。ASRサーバ512は、ASR出力を生成する。オプションで、サービスアプリケーション511はASR出力を出力フォーマットモジュール513に送信し、出力フォーマットモジュール513は、シンクライアント(具体的には、計算リソースの少ないクライアント)530用にフォーマットされたテキスト出力(例えば、ASR出力されたテキストデータの句読点を復元したテキストデータ)を生成する。サービスアプリケーション511は、ASR出力又はフォーマットされたテキスト出力を、伝送チャネル540を介して接続されたクライアント520及びクライアント530に送信する。
クライアント520は、妥当な計算リソースを備えた通常のクライアント(スマートフォン、タブレットコンピュータ、パーソナルコンピュータなど)であり、クライアントアプリケーション521が実行されている。クライアントアプリケーション521は、伝送チャネル540を介してサーバ510上のサービスアプリケーションと通信する。クライアントアプリケーション521は、伝送チャネル540を介してサービスアプリケーション511からASR出力データを受信する。ASR出力データは、クライアントアプリケーション521の出力フォーマットモジュール522によって処理される。出力フォーマットモジュール522は、フォーマットされた出力テキスト(例えば、ASR出力されたテキストデータの句読点を復元したテキストデータ)を生成する。このフォーマットされた出力テキストは、出力ユニット523によって出力される。出力ユニット523は、ドキュメント、ビデオのクローズドキャプションの表示要素などである。すなわち、クライアント520側では、サーバ510側の自動音声認識サーバ512で音声認識されたテキストデータに基づいて、例えばテレビ放送や動画配信サービスなどの他のサービスの表示画面上に音声の字幕を付与することができる。
クライアント530は、スマートウォッチ、マイクロコントローラなどの合理的な計算リソースを持たないシンクライアントである。クライアントアプリケーション531は、シンクライアント530上で実行可能な縮小バージョンのアプリケーションである。例えば、このようなクライアントアプリケーション531は、Webブラウザ用のアプリケーションにすることができる。クライアントアプリケーション531は、フォーマットされた出力テキストをサービスアプリケーション511から伝送チャネル540を介して受信する。フォーマットされた出力テキストは、出力ユニット532によって出力される。すなわち、クライアント530側では、サーバ510側の自動音声認識サーバ512で音声認識されたテキストデータに基づいて、例えばテレビ放送や動画配信サービスなどの他のサービスの表示画面上に音声の字幕を付与することができる。
一般性を失うことなく、サーバ510をクライアント520及び530上のアプリケーションで表すこともできるという点に留意されたい。例えば、サービスアプリケーション511の縮小されたアプリケーションを、クライアント520及び530で実行することができる。同様に、クライアント520及び530はサーバ510上で実行され、他のサービスによってアクセスされるファイルやデータベースなどに出力を書き込むことができる。どちらの場合も、伝送チャネル540は、ファイル、データベース、又はシステム500上の何らかの形式のプロセス間通信で表すことができる。
E.出力フォーマットモジュール
本開示に係る音声認識出力の後処理は、出力フォーマットモジュール(例えば、サーバ510内の出力フォーマットモジュール513、又はクライアント520内の出力フォーマットモジュール522)に統合される。このE項では、出力フォーマットモジュール513がサービスアプリケーション511に統合されて動作する方法について説明する。
本開示に係る音声認識出力の後処理は、出力フォーマットモジュール(例えば、サーバ510内の出力フォーマットモジュール513、又はクライアント520内の出力フォーマットモジュール522)に統合される。このE項では、出力フォーマットモジュール513がサービスアプリケーション511に統合されて動作する方法について説明する。
出力フォーマットモジュールは、複数のサブモジュールで構成することができる。本開示に係るモデルのトレーニング方法は、出力フォーマットモジュール513の統計モデルに適用することができる。
図6には、本開示に係る機能を組み込んだ出力フォーマットモジュール600の構成例を示している。出力フォーマットモジュール600は、音声認識出力からの生のテキスト(ASRテキスト出力)や、話者情報、時間などの可能な詳細情報(ASRメタデータ)を受け取る。出力フォーマットモジュール600は、受信したテキストを指定された単位(文など)に再セグメント化し、指定された句読点を追加し、出力にメタデータ(スピーカー名など)を追加し、テキストにオプションのフォーマットを適用する。出力フォーマットモジュール600が実行するタスクは、そのサブモジュールによって制限される。図6に示し出力フォーマットモジュール600は、句読点復元(Punctuation Restoration)601、認識エラー訂正(Recognition Error Correction)602、数の正規化(Number Normalization)603、再セグメント化(Re-segmentation)604などのサブモジュールを備えている。入力データに適用されるサブモジュールは、処理オプション605内で指定されている。句読点復元サブモジュール601は、知識蒸留により第1のプレディクタ102の出力を再現するようにトレーニングされた第2のプレディクタ103を搭載して、ASRから出力されるテキストデータの句読点を復元する処理を行う。
F.教師トレーニングの例
教師トレーニングについては、上記B項で詳細に説明した。モデルのトレーニングでは、タスク毎に、トレーニングデータとターゲットラベル(トレーニングデータに対して正解となるラベル)からなる学習用のデータセットを準備する必要がある。
教師トレーニングについては、上記B項で詳細に説明した。モデルのトレーニングでは、タスク毎に、トレーニングデータとターゲットラベル(トレーニングデータに対して正解となるラベル)からなる学習用のデータセットを準備する必要がある。
図7には本開示に係るモデルのトレーニング方法の1番目のサブステップを行う具体例を示し、図8には本開示に係るモデルのトレーニング方法の2番目のサブステップを行う具体例を示している。図7及び図8では、1つのタスク(句読点の復元)のみのトレーニング方法を示している。ここで、入力データは文字単位を使用する。したがって、モディファイヤ101は各文字を変更でき、第1のプレディクタ102は各文字の出力を予測する。トレーニングラベルは一連のラベルであり、1つのラベルが入力データの1つの文字に対応する。
教師トレーニングの1番目のサブステップでは、モディファイヤ101は参照トレーニングデータを受け取る。図7に示す例では、モディファイヤ101は、参照トレーニングデータ(「先日の会議に200人参加され第2期末の結果が発表されていた」)に対して置換及び削除を行い、変更されたトレーニングデータ(「先週の会議に400人参加され第2期_の結果が発表されて_た」)を出力している。削除又は挿入の場合は、それに応じて各タスクのトレーニングラベルを調整する必要がある。つまり、削除の場合はラベルを削除し、挿入の場合は各タスクにラベルを追加する必要がある。
このモディファイされたトレーニングデータは、第1のプレディクタ102への入力として使用される。第1のプレディクタ102は、タスク1(句読点の復元)のトレーニングラベルと、モディファイヤ101が参照トレーニングデータに対して行った変更を予測しようとする。タスク1(句読点の復元)のトレーニングラベルは、0(=出力なし)、カンマ(=この文字の後のカンマ)、及びピリオド(=この文字の後のピリオド)で表される。図7に示す例では、タスク1のトレーニングラベルは「0000000000000、000000000000。」である。また、参照トレーニングデータに対する変更予測(変更検出出力)のラベルは、0(=変更なし)、R(=置換された文字)、及びD(=削除された文字)で表される。図7に示す例では、変更検出出力のトレーニングラベルは「0R0000R0000000D00000000D0」である。
トレーニング中に、第1のプレディクタ102は、これらの複数のトレーニング例を確認する。毎回、第1のプレディクタ102が計算した出力とトレーニングラベルの差に基づいて、第1のプレディクタ102のパラメータが更新される。例えば、第1のプレディクタ102がニューラルネットワークの場合、第1のプレディクタ102の出力とトレーニングラベルの差は、トレーニングラベルと第1のプレディクタ102の出力の関数である損失関数によって計算される。第1のプレディクタ102のパラメータに関してこの損失関数の導関数を取得し、続いて導関数を最大化又は最小化することにより、トレーニングデータの最適なパラメータを取得することができる。これは一般にエラーバックプロパゲーションと呼ばれる。
モディファイヤ101のパラメータも、トレーニング中に更新することができる。例えば、モディファイヤ101は、参照トレーニングテキストを予測するようにトレーニングすることも、自動音声認識機能と同じエラーを参照テキストに挿入するようにトレーニングすることもできる。モデルのトレーニング中にモディファイヤ101がトレーニングされる場合は、モディファイヤ101のトレーニングデータを提供する必要がある。この場合のトレーニングデータは、参照テキスト、自動音声認識から生成された出力、又はその他の方法で変更されたテキストと変更されていないテキストのペアであってもよい。モディファイヤ101のパラメータは、第1のプレディクタ102のパラメータと同じ方法で更新することができる。つまり、モディファイヤ101がニューラルネットワークの場合は、エラーバックプロパゲーションによってパラメータの更新を行うことができる。1つのトレーニングステップで、モディファイヤ101と第1のプレディクタ102の両方を同時に更新することができる。もちろん、モディファイヤ101と第1のプレディクタ102の各モデルを個別にトレーニングすることもできる。
教師トレーニングの2番目のサブステップでは、参照トレーニングデータを使用して第1のプレディクタ102のトレーニングが行われる。第1のプレディクタ102のパラメータは、上記の1番目のサブステップと同じ方法で更新される。第1のプレディクタ102は各タスクの出力を計算する。図8に示す例では、「先日の会議に200人参加され第2期末の結果が発表されていた」を参照トレーニングデータとする。また、第1のプレディクタ102のタスクは句読点の復元のみであり、トレーニングラベルは「0000000000000、000000000000。」である。トレーニング中に、1番目のサブステップと同様の方法によって、出力とトレーニングラベルの差が最小化されるように、第1のプレディクタ102のパラメータが更新される。
G.知識蒸留の例
知識蒸留については、上記C項で詳細に説明した。知識の蒸留には、モデルトレーニングと同じ種類のデータが必要である。知識の蒸留は、教師トレーニングと同じデータを使用して行うことも、異なるデータを使用することもできる。知識蒸留の場合、第1のプレディクタ102のパラメータは、教師のトレーニング中に取得されたパラメータで初期化される。モディファイヤ101のパラメータは、教師のトレーニング中に取得したパラメータで初期化することも、ランダムな値などのさまざまなパラメータに初期化することもできる。
知識蒸留については、上記C項で詳細に説明した。知識の蒸留には、モデルトレーニングと同じ種類のデータが必要である。知識の蒸留は、教師トレーニングと同じデータを使用して行うことも、異なるデータを使用することもできる。知識蒸留の場合、第1のプレディクタ102のパラメータは、教師のトレーニング中に取得されたパラメータで初期化される。モディファイヤ101のパラメータは、教師のトレーニング中に取得したパラメータで初期化することも、ランダムな値などのさまざまなパラメータに初期化することもできる。
図9には本開示に係る知識蒸留の1番目のサブステップを行う具体例を示し、図10には本開示に係る知識蒸留の2番目のサブステップを行う具体例を示している。図9及び図10では、1つのタスク(句読点の復元)のみの知識蒸留を示している。
知識蒸留の1番目のサブステップでは、第1のトレーニングデータがモディファイヤ101に入力される。モディファイヤ101は、教師トレーニングの場合と同様に、トレーニングデータに変更を挿入する。図9に示す例では、モディファイヤ101は、参照トレーニングデータ(「先日の会議に200人参加され第2期末の結果が発表されていた」)に対して置換及び削除を行い、変更されたトレーニングデータ(「先週の会議に400人参加され第2期_の結果が発表されて_た」)を出力している。削除又は挿入の場合は、それに応じて各タスクのトレーニングラベルを調整する必要がある。つまり、削除の場合はラベルを削除し、挿入の場合は各タスクにラベルを追加する必要がある。
変更されたトレーニングデータは、第1のプレディクタ102と第2のプレディクタ103に入力される。第1のプレディクタ102と第2のプレディクタ103はどちらも、各タスクの出力ラベルを計算し、モディファイヤ101によって行われた変更を推定する。図9に示す例では、タスク1のトレーニングラベルは「0000000000000、000000000000。」である。また、参照トレーニングデータに対する変更予測(変更検出出力)のラベルは、0(=変更なし)、R(=置換された文字)、及びD(=削除された文字)で表される。図9に示す例では、変更検出出力のトレーニングラベルは「0R0000R0000000D00000000D0」である。
知識蒸留では、第1のプレディクタ102のパラメータは変更されない。モディファイヤ101のパラメータは、教師トレーニングと同じ方法で更新することができる。
各タスクの出力とテキスト変更ラベルの差分が最小化され、且つ第1のプレディクタ102の出力との差分も最小化されるように、第2のプレディクタ103のパラメータが更新される。第2のプレディクタ103がニューラルネットワークの場合、第2のプレディクタ103の出力とターゲット値の差を計算するための損失関数が計算される。さらに、第1のプレディクタ102と第2のプレディクタ103の両方がニューラルネットワークである場合、隠れ層出力又は他の中間表現間の差を計算するための損失関数を使用して、第2のプレディクタ103のパラメータの更新を行うようにしてもよい。第2のプレディクタ103のパラメータは、第2のプレディクタ103のパラメータに関するすべての損失関数の導関数を取得し、それを最小化又は最大化することによって最適化される。
知識蒸留の2番目のサブステップでは、第1のプレディクタ102と第2のプレディクタ103はどちらも、参照トレーニングデータから出力を計算する。第1のプレディクタ102のパラメータは変更されず、第2のプレディクタ103のパラメータは上記1番目のサブステップと同様の方法により更新される。
H.出力フォーマットモジュールの例
出力フォーマットモジュールについては、上記E項で詳細に説明した。図11には、本開示に係る機能を組み込んだ出力フォーマットモジュール1100の具体的な動作例を示している。出力フォーマットモジュール1100には、出力テキストをフォーマットするための複数のサブモジュールとオプションを含めることができる。1つのアプリケーションですべてのモジュールをアクティブ化する必要はない。例えば、システムの起動時に構成値を含むファイルから構成を読み取ることによって、サブモジュールをアクティブ化及び非アクティブ化することができる。図11に示す例では、アクティブ化及び非アクティブ化されたサブモジュールとテキストフォーマットオプションが、出力フォーマットモジュールのオプションに表示され、「Yes」又は「No」で示されている。
出力フォーマットモジュールについては、上記E項で詳細に説明した。図11には、本開示に係る機能を組み込んだ出力フォーマットモジュール1100の具体的な動作例を示している。出力フォーマットモジュール1100には、出力テキストをフォーマットするための複数のサブモジュールとオプションを含めることができる。1つのアプリケーションですべてのモジュールをアクティブ化する必要はない。例えば、システムの起動時に構成値を含むファイルから構成を読み取ることによって、サブモジュールをアクティブ化及び非アクティブ化することができる。図11に示す例では、アクティブ化及び非アクティブ化されたサブモジュールとテキストフォーマットオプションが、出力フォーマットモジュールのオプションに表示され、「Yes」又は「No」で示されている。
出力フォーマットモジュール1100は、音声認識テキスト出力と対応するメタデータのリストを受け取る。図11に示す例では、音声認識テキスト出力とメタデータの各ペアの番号は同じである(1、2、…)。図11に示す例の音声認識出力は、形態素の間にスペースがあり、数字は漢字で書かれ、1つの文が2つの発話に分割される。1番目の音声認識テキスト出力は「先週の会議に百えーっと二百人参加され」、対応するメタデータを「話者:山田、太郎/時間:4.040」とし、2番目の音声認識テキスト出力は「第二期末の結果が発表されてた」、対応するメタデータを「話者:山田、太郎/時間:3.520」とする。
出力フォーマットモジュール1100は、アクティブ化されたサブモジュールを入力データに適用する。図11に示す例では、出力フォーマットモジュール1100は、上記の音声認識テキスト出力及びメタデータに対し、「山田:先日の会議に200人参加され、第2期末の結果が発表されていた。」をフォーマット化出力として出力する。句読点が追加され、テキストが文に再セグメント化され、漢字の数字がアラビア数字に変換され、「えーっと」などのつなぎ言葉が削除され、出力テキストの前に話者IDが付けられている。
I.効果
本開示によりもたらされる効果についてまとめておく。
(1)本開示によれば、音声認識装置からのデータを使用せずに、音声認識からのエラーに対してロバストになるように、句読点復元用のモデル又はアルゴリズムをトレーニングすることができる。本開示では、自動テキストデータに歪みを自動挿入して音声認識エラーをシミュレートすることによって、利用可能な大量のテキストデータを句読点復元用のトレーニングデータとして活用する。
(2)本開示によれば、大きなモデルにおける自動音声認識エラーに対する高い精度と堅牢性を、はるかに小さなモデルでも実現することができる。
(3)本開示によれば、元の大きなモデルと同じ堅牢性を備えた、モバイルアプリケーション又はサーバCPUで実行することができる、句読点復元用の小さなモデルを取得することができる。
本開示によりもたらされる効果についてまとめておく。
(1)本開示によれば、音声認識装置からのデータを使用せずに、音声認識からのエラーに対してロバストになるように、句読点復元用のモデル又はアルゴリズムをトレーニングすることができる。本開示では、自動テキストデータに歪みを自動挿入して音声認識エラーをシミュレートすることによって、利用可能な大量のテキストデータを句読点復元用のトレーニングデータとして活用する。
(2)本開示によれば、大きなモデルにおける自動音声認識エラーに対する高い精度と堅牢性を、はるかに小さなモデルでも実現することができる。
(3)本開示によれば、元の大きなモデルと同じ堅牢性を備えた、モバイルアプリケーション又はサーバCPUで実行することができる、句読点復元用の小さなモデルを取得することができる。
以下、図面を参照しながら本開示の第2の実施例について、以下の順に従って説明する。
J.概要
K.導入
L.方法
M.実験
N.結論
K.導入
L.方法
M.実験
N.結論
J.概要
句読点復元は、自動音声認識出力されたテキストデータに欠落している句読点を復元する処理である。句読点復元によって、テキストデータは人間の読み易さが向上するとともに、後段のタスクを簡素化することができる。他の多くのタスクと同様に、BERT(Bidirectional Encoder Representations from Transformers)などの自然言語処理モデルは、最近の作業でベンチマークを設定したが、実際には2つの主な欠点がある。まず、これらのモデルは、音声認識出力に起因するエラーを含まない書かれたテキストで事前にトレーニングされている(音声認識出力に起因するエラーが含まれたテキストデータを入力すると、句読点を正しく復元できない恐れがある)。第2に、これらのモデルには多くのパラメータがあるため、推論時間が長くなり得る。
句読点復元は、自動音声認識出力されたテキストデータに欠落している句読点を復元する処理である。句読点復元によって、テキストデータは人間の読み易さが向上するとともに、後段のタスクを簡素化することができる。他の多くのタスクと同様に、BERT(Bidirectional Encoder Representations from Transformers)などの自然言語処理モデルは、最近の作業でベンチマークを設定したが、実際には2つの主な欠点がある。まず、これらのモデルは、音声認識出力に起因するエラーを含まない書かれたテキストで事前にトレーニングされている(音声認識出力に起因するエラーが含まれたテキストデータを入力すると、句読点を正しく復元できない恐れがある)。第2に、これらのモデルには多くのパラメータがあるため、推論時間が長くなり得る。
第2の実施例では、前者の問題に対処するために、BERTの改良版として最近提案されたELECTRA(非特許文献3を参照のこと)を使用する。ELECTRAは、ジェネレータ-ディスクリミネータ構造を備えている。第2の実施例では、マルチタスク学習を使用して、ELECTRAを2つのステップで微調整する。1番目のステップでは、ジェネレータを使用して、トレーニング中の置換エラーをシミュレートする。そして、2番目のステップでは、参照テキストを微調整する。従来の微調整と比較して、第2の実施例に係る統計モデルは、データの増強に依存することなく、音声認識エラーに対する堅牢性が向上していることを示している。また、第2の実施例では、統計モデルのサイズを縮小するために、同じ2段階の微調整を使用して知識の蒸留とパラメータの剪定を調査する。IWSLT 2012 TEDトークタスクに関する実験では、BERTのサイズが11%未満のモデルは、推論時間が82%速くなり、パフォーマンスが向上した。
K.序論
過去数年間の自動音声認識(ASR)テクノロジーの進歩により、現在の最先端の自動音声認識システムを大規模な語彙転写タスクで確実に使用できるようになった。このようなシステムのユーザは、最終的なトランスクリプトが通常のテキストドキュメントと同じように簡単に読み取れることを期待している。但し、自動音声認識出力には句読点がなく、読み易さが低下している。このギャップを埋めるには、句読点を復元して、生の自動音声認識出力を人間が読めるテキストに変換する必要がある。これまでに導入されたアプローチの多くは、双方向モデルと注意メカニズムに依存している。将来のコンテキストが利用できない可能性があるオンライン句読点の復元では、一方向モデルが適用されている。典型的なアプリケーションは、例えばライブTVの自動クローズドキャプションである。
過去数年間の自動音声認識(ASR)テクノロジーの進歩により、現在の最先端の自動音声認識システムを大規模な語彙転写タスクで確実に使用できるようになった。このようなシステムのユーザは、最終的なトランスクリプトが通常のテキストドキュメントと同じように簡単に読み取れることを期待している。但し、自動音声認識出力には句読点がなく、読み易さが低下している。このギャップを埋めるには、句読点を復元して、生の自動音声認識出力を人間が読めるテキストに変換する必要がある。これまでに導入されたアプローチの多くは、双方向モデルと注意メカニズムに依存している。将来のコンテキストが利用できない可能性があるオンライン句読点の復元では、一方向モデルが適用されている。典型的なアプリケーションは、例えばライブTVの自動クローズドキャプションである。
最近、BERTやGPT-2などの事前にトレーニングされた大規模なトランス言語モデル(LM)が導入され、それ以来、自然言語処理タスクでいくつかの大きな進歩が達成された。句読点の復元に関する研究でも、これらのモデルでエンコードされた情報を活用しようとした。大量のテキストデータの事前トレーニングからBERTなどのモデルで取得された統計言語情報は、復元パフォーマンスの向上に役立つことが示された。但し、これらのモデルを実際に自動音声認識の句読点の復元に適用すると、2つの課題が発生する。第1に、事前トレーニング中に大量の書かれたテキストが使用される。書かれたテキストには、自動音声認識出力のような認識エラーや自発的なスピーチは含まれていない。第2に、これらのモデルのパラメータの数は通常1億以上のオーダーであり、高速GPUを使用しても推論時間が遅くなる。
事前トレーニングと推論の不一致に対処するために、従来、例えばN-bestリストからの出力によるデータ拡張が微調整中に使用される。但し、これには句読点と単語トークンの配置をモディファイする必要がある。さらに、この方法で生成できるトレーニングデータの量は、利用可能な転写された音響データの量によって制限される。音声の文字起こし(完全な句読点を含む)は費用がかかり、データが不足する可能性があるが、大量のテキストしかデータが利用できない可能性がある。
認識エラーに対する堅牢性に加えて、モデルサイズは実際のアプリケーションにおけるもう1つの重要な要素である。この目的を実現するために、知識蒸留(KD)、パラメータ剪定、及びその他の方法が、大型トランスフォーマLMの活発な研究分野になった。DistilBERTは、BERTを使用してパラメータを初期化し、その後、ネットワーク出力で損失トリプレットを使用して知識蒸留を実行した。TinyBERTは、さらに平均二乗誤差(MSE)損失を適用して、中間層と注意の調整を蒸留することを提案している。パラメータ剪定に関する研究では、トランスフォーマ層から自己注意機構ヘッドを除去することによるモデルサイズの縮小を調査した。最近の研究では、トランスフォーマ層を除去することによってBERTのモデルサイズを縮小するためのさまざまな戦略が比較された。最上位のレイヤーを削除することが、縮小サイズモデルのパフォーマンスを維持するのに最も効果的であることが判った。
第2の実施例では、ASRエラーに対するモデルのロバスト性を向上させるために、トレーニングデータへのエラーの自動挿入を調査する。最近提案されたELECTRAを使用して、BERTのマスク言語モデル(MLM)の事前トレーニング目標に変更を加えた。生成的敵対的ネットワーク(GAN)と同様に、ELECTRAは小さなジェネレータと大きなディスクリミネータで構成される。この2段階モデルは、ジェネレータによって置換が挿入されたテキストでディスクリミネータがトレーニングされるため、自動音声認識関連のタスクに適している。ジェネレータによって挿入される置換により、置換エラーをシミュレートすることができる。ELECTRAの構造を最大限に活用するために、第2の実施例では、ジェネレータとディスクリミネータの両方を使用して、ELECTRAのディスクリミネータを句読点復元タスクに2段階で微調整するプロセスを提案する。1番目のステップでは、マルチタスク目標を使用してジェネレータ出力のディスクリミネータを微調整する。2番目のステップでは、参照テキストに対して定期的な微調整を実行する。
さらに、ELECTRAのモデルサイズを縮小するために、第2の実施例では、知識蒸留とレイヤー剪定を調査する。第2の実施例では、知識蒸留を、事前にトレーニングされたELECTRA-smallモデルのパラメータに初期化されたモデルから開始する。知識蒸留は、ELECTRA-baseの微調整と同じ2段階蒸留を使用する。第2の実施例における2段階知識蒸留によれば、従来の微調整や従来の1段階知識蒸留と比較して、ELECTRA-smallのパフォーマンスを向上させる。さらに、第2の実施例では、ELECTRA-smallから上部の隠れ層をその後に削除することにより、知識蒸留中のパラメータのさらなる削減を調査する。これらの手法を組み合わせることで、BERTベースとしてパラメータサイズがわずか11%、推論速度が82%向上するという優れたパフォーマンスを実現するモデルに到達する。知る限り、第2の実施例は本出願時における句読点復元のための知識蒸留に関する最初の開示である。
L.方法
このL項では、すべての実験に使用されたELECTRAモデルと第2の実施例に係るマルチタスク微調整について説明する。さらに、第2の実施例に係る、教師モデルであるELECTRA-baseを生徒モデルであるELECTRA-smallに蒸留するためのマルチタスク知識蒸留処理についても説明する。
このL項では、すべての実験に使用されたELECTRAモデルと第2の実施例に係るマルチタスク微調整について説明する。さらに、第2の実施例に係る、教師モデルであるELECTRA-baseを生徒モデルであるELECTRA-smallに蒸留するためのマルチタスク知識蒸留処理についても説明する。
L-1.ELECTRAモデル
図12には、ELECTRAの構造を示している。図示のELECTRAは、マスク言語モデル(MLM)ジェネレータと、置換予測(同図中の(a))と句読点復元(同図中の(b))の両方を使用するディスクリミネータからなる。
図12には、ELECTRAの構造を示している。図示のELECTRAは、マスク言語モデル(MLM)ジェネレータと、置換予測(同図中の(a))と句読点復元(同図中の(b))の両方を使用するディスクリミネータからなる。
図12に示すELECTRAは、BERTのMLM事前トレーニング目標をモディファイする。ELECTRAの背後にある動機は、トレーニングデータをより効率的に使用できるモデルを作成することである。BERTの事前トレーニング中に、入力トークンの15%がマスクされ、トレーニングデータのこれらの15%に対してのみMLM目標予測が行われる。トレーニングデータ内の各トークンの予測を行うために、ELECTRAはGANと同様のジェネレータ(g)とディスクリミネータ(D)を使用する。各コンポーネントは、入力トークンのシーケンスを出力ベクトル表現のシーケンスにマップするディープトランスフォーマggen及びgdiscである。ジェネレータgはMLMであり、すなわち、入力シーケンスxから入力シーケンス内のマスクされたトークンxlを回復しようとする。トークンxlの確率は、ソフトマックス層を使用して下式(1)に示す通り計算される。
上式(1)中、Uは単語埋め込み行列である。元の入力シーケンス内のすべてのマスクされたトークンは、ジェネレータgの予測に置き換えられ、入力シーケンスxから変更されたシーケンスはディスクリミネータDに送られる。ディスクリミネータDは、入力の位置l毎に、その一のトークンが元のトークン(o)であるか、又はジェネレータgが置き換えた別のトークン(r)であるかを予測する。
上式(2)中でwoutは、出力アクティベーションの線形変換である。この事前トレーニングの目的は、図12中の(a)で示すパスで概説されている。ディスクリミネータDはトレーニングデータ内の各単語を予測する必要があるため、この事前トレーニングの目的は、従来のMLM事前トレーニングと比較してより効率的である。非特許文献3では、BERT-smallのトレーニングに使用された計算予算の12.5%でトレーニングされたELECTRA-smallが、完全にトレーニングされたBERT-smallよりも優れたパフォーマンスを達成できることが実証された。
ジェネレータgの最適なサイズは、ディスクリミネータDの約半分のサイズである。従来の微調整では、この小さなジェネレータgは破棄され、ディスクリミネータDはタスク固有のデータに基づいて微調整される。但し、入力データが自動音声認識出力から取得されるタスクでは、真の単語ラベルではなくジェネレータgの出力を使用してディスクリミネータDを微調整すると役立つ場合がある。出力のトークン置換は、自動音声認識によって挿入された置換エラーをシミュレートし、堅牢性の向上に役立つ。
L-2.マルチタスク微調整
句読点の復元では、入力シーケンスxのトークンxl毎に、句読点トークンが後に続くかどうかを予測する。実験では、可能な句読点としてカンマ、ピリオド、疑問符を使用し、又は、入力トークンの後に句読点がない場合はnullを使用する。第2の実施例では、入力シーケンスxのモディフィケーションに対する句読点シンボルylの確率を計算するために、図12(b)に示すように、ELECTRAに付加的な出力層Wpunctを追加した。
句読点の復元では、入力シーケンスxのトークンxl毎に、句読点トークンが後に続くかどうかを予測する。実験では、可能な句読点としてカンマ、ピリオド、疑問符を使用し、又は、入力トークンの後に句読点がない場合はnullを使用する。第2の実施例では、入力シーケンスxのモディフィケーションに対する句読点シンボルylの確率を計算するために、図12(b)に示すように、ELECTRAに付加的な出力層Wpunctを追加した。
マルチタスク微調整では、ディスクリミネータは、入力シーケンスxをモディファイしたシーケンスを受け取って、時間ステップl毎に、(a)ジェネレータgが該当するトークンを置き換えたか、及び、(b)該当するトークンにどの句読点が続くかどうかを予測する。これらの予測は、図12中のパス(a)及び(b)にそれぞれ対応する。トレーニング損失の合計は、(a)トークン置換の損失Lreplaceと(b)句読点予測の損失Lpunctuationの重み付け合計で表される。トークン置換の損失Lreplaceを下式(4)に示し、句読点予測の損失Lpunctを下式(5)に示す。そして。下式(6)には、トークン置換の損失Lreplaceに句読点予測の損失Lpunctを重み付け加算したトレーニング損失の合計LCEを示している。本実験では、句読点予測の損失Lpunctの重みa1=1を使用する。
マルチタスク微調整に続いて、入力シーケンスxと句読点予測の損失Lpunctのみを用いてディスクリミネータDの微調整が行われる。これは、ドメイン固有のタスクに合わせてディスクリミネータDを微調整する従来の方法である。第2の実施例では、マルチタスク微調整と従来方法によるディスクリミネータDの微調整を組み合わせる。なぜならば、句読点復元を自動音声認識に適用する第2の実施例において、モデルは自動音声認識エラーを含む入力データを受け取るからである。トレーニングデータ中にジェネレータgによって導入されたトークン置換によって、自動音声認識によって挿入される置換エラーをシミュレートして、自動音声認識エラーに対する堅牢静を向上することができる。
L-3.知識蒸留
知識蒸留には、教師Tと生徒Sの2つのモデルが必要である。トレーニングプロセス中に、大きな教師モデルに含まれる情報を、通常ははるかに小さな生徒モデルに転送する必要がある。第2の実施例では、知識蒸留において、教師として微調整されたELECTRA-baseのディスクリミネータDTと、生徒としてELECTRA-smallのディスクリミネータDSを使用する。図13には、ELECTRA-base及びELECTRA-smallの2つのモデルの比較を示している。微調整と同様に、2段階の蒸留プロセスを使用する。1番目のステップではELECTRA-baseのジェネレータによって、入力トークンの15%が置き換えられ、2番目のステップでは真の単語トークンが使用される。教師から生徒にできるだけ多くの情報を蒸留するために、教師と生徒の異なる層を接続するいくつかの損失関数を適用する。
知識蒸留には、教師Tと生徒Sの2つのモデルが必要である。トレーニングプロセス中に、大きな教師モデルに含まれる情報を、通常ははるかに小さな生徒モデルに転送する必要がある。第2の実施例では、知識蒸留において、教師として微調整されたELECTRA-baseのディスクリミネータDTと、生徒としてELECTRA-smallのディスクリミネータDSを使用する。図13には、ELECTRA-base及びELECTRA-smallの2つのモデルの比較を示している。微調整と同様に、2段階の蒸留プロセスを使用する。1番目のステップではELECTRA-baseのジェネレータによって、入力トークンの15%が置き換えられ、2番目のステップでは真の単語トークンが使用される。教師から生徒にできるだけ多くの情報を蒸留するために、教師と生徒の異なる層を接続するいくつかの損失関数を適用する。
TinyBERT(例えば、非特許文献7を参照のこと)に従って、入力埋め込みU、中間層Hk、出力アクティベーションgdisc、及び自己注意ヘッドAの出力にMSE損失を適用する。埋め込み損失Lembeddingを下式(7)に示し、隠れ損失Lhiddenを下式(8)に示し、自己注意損失Lattentionを下式(9)に示し、出力損失Loutputを下式(10)に示す。
W{e,h1,…,.Ks-1,o}は、生徒の出力次元が教師の出力次元よりも小さい場合に適用される射影行列である。射影行列のパラメータはランダムに初期化され、トレーニング中に学習される。生徒の隠れ層の数Ksが教師の隠れ層Ktの数と一致しない場合、教師のkT番目の隠れ層に対応する生徒のkS番目の隠れ層を、h(ks)=KS・kT/KTで計算する。合計MSE損失は、下式(11)に示すように、隠れ損失Lhidden、入力埋め込み損失Lembedding、出力アクティブ化損失Loutput、及び注意損失Lattentionの合計である。
さらに、出力アクティベーションにコサイン類似性損失Lcosと(例えば、非特許文献8を参照のこと)、ソフトマックス温度tでのKL発散損失LKLを適用する。コサイン類似性損失Lcosを下式(12)に示し、KL発散損失LKLを下式(13)に示す。また、下式(13)中のlKLを下式(14)に示す。
最終的に、上式(6)からの分類出力でマルチタスククロスエントロピー損失LCEを使用する。クロスエントロピー損失LCEは図12中の出力(a)及び(b)の両方について計算される。マルチタスク知識蒸留の後、参照トークンxを教師モデル(ディスクリミネータDT)と生徒モデル(ディスクリミネータDS)への入力として使用して従来の知識蒸留の2番目のステップを実行する。そして、クロスエントロピー損失LCEは上式(5)から計算される。合計の知識蒸留損失LKDは、下式(15)に示すように、すべての損失の重み付け合計である。実験では、各損失の重みb1、b2、b3を1に設定した。
M.実験
M-1.セットアップ
実験には、米グーグル社がリリースしたBERTとELECTRAの事前トレーニング済みモデルと、Pytorch用のHuggingFaceのTransformersライブラリを使用した。第2の実施例に係る方法を評価するために、以前の研究で使用されたIWSLT12TEDトークベンチマークを使用した。トレーニング、検証、テストのデータは、それぞれ約210万語、300K語、12K語である。各モデルは、ELECTRAのトークナイザー(特別なトークンを含む)の512個のワードピーストークンのシーケンスを使用してトレーニングした。オプティマイザーは、学習率0.00005のAdam(非特許文献5を参照のこと)である。2ステップの微調整又は2ステップの知識蒸留を使用してトレーニングされたすべてのモデルについて、微調整中にジェネレータのパラメータを更新しなかった。
M-1.セットアップ
実験には、米グーグル社がリリースしたBERTとELECTRAの事前トレーニング済みモデルと、Pytorch用のHuggingFaceのTransformersライブラリを使用した。第2の実施例に係る方法を評価するために、以前の研究で使用されたIWSLT12TEDトークベンチマークを使用した。トレーニング、検証、テストのデータは、それぞれ約210万語、300K語、12K語である。各モデルは、ELECTRAのトークナイザー(特別なトークンを含む)の512個のワードピーストークンのシーケンスを使用してトレーニングした。オプティマイザーは、学習率0.00005のAdam(非特許文献5を参照のこと)である。2ステップの微調整又は2ステップの知識蒸留を使用してトレーニングされたすべてのモデルについて、微調整中にジェネレータのパラメータを更新しなかった。
M-2.従来の微調整と2段階の微調整
図14には、テストセットのリファレンス転写と自動音声認識出力の結果をまとめた。BERT-baseとELECTRA-baseを微調整するために、サイズ9のミニバッチを使用し、学習率にウォームアップは使用しなかった。ELECTRA-baseのディスクリミネータを微調整すると、BERT-baseと比較して平均F1が約8%向上した。2段階の微調整により、特に自動音声認識テストセットでF1がさらに改善された。微調整の1番目のステップの後、自動音声認識テストでかなりの増加が観察された。参照テキストを使用して微調整する2番目のステップの後、参照テストセットのスコアの増加が観察されたが、自動音声認識テストセットのスコアはほとんど変化しなかった。自動音声認識テストセットで13%の相対的な改善で、ELECTRAのジェネレータを使用して達成された改善は、参照転写での改善よりも9.5%大きかった。
図14には、テストセットのリファレンス転写と自動音声認識出力の結果をまとめた。BERT-baseとELECTRA-baseを微調整するために、サイズ9のミニバッチを使用し、学習率にウォームアップは使用しなかった。ELECTRA-baseのディスクリミネータを微調整すると、BERT-baseと比較して平均F1が約8%向上した。2段階の微調整により、特に自動音声認識テストセットでF1がさらに改善された。微調整の1番目のステップの後、自動音声認識テストでかなりの増加が観察された。参照テキストを使用して微調整する2番目のステップの後、参照テストセットのスコアの増加が観察されたが、自動音声認識テストセットのスコアはほとんど変化しなかった。自動音声認識テストセットで13%の相対的な改善で、ELECTRAのジェネレータを使用して達成された改善は、参照転写での改善よりも9.5%大きかった。
また、最初に参照テキストを微調整し、その後、ジェネレータを使用して追加の実験を実行した。さらに、TED-LIUM(非特許文献6を参照のこと)トレーニングデータで音声認識機能から取得した20のベストリストでジェネレータを事前トレーニングした。但し、図14に示した結果にそれ以上の改善は見られなかった。したがって、ELECTRAのディスクリミネータは、N-bestリストを使用したデータ拡張を使用する場合と同様に、ジェネレータを使用することで自動音声認識エラーに対する同様の堅牢性を学習できると考えられる。
ELECTRA-smallを微調整するために、20のミニバッチサイズと一定の学習率を使用した。ELECTRA-baseと同様に、2段階の微調整を行った後、ELECTRA-smallがリファレンステストセットでBERT-baseと同じF1を達成し、自動音声認識テストセットでさらに高いF1を達成するという大幅な改善が見られた。
M-3.知識蒸留に関するアブレーション研究
図15には、ELECTRA-smallの知識蒸留の結果を示している。知識蒸留には、16のミニバッチサイズ及び4000のウォームアップステップを使用した。ELECTRA-baseの教師付きの知識蒸留は、参照テストデータのELECTRA-smallの2段階の微調整を改善した。自動音声認識テストセットでは、2段階の微調整で改善は見られなかった。2ステップ知識蒸留による平均F1改善は、BERT-baseで2%であった。ここに示した結果に加えて、上記のL-2項で説明した損失関数のさまざまな重みを実験した。ELECTRA-smallから生徒モデルを初期化したとき、異なる設定間で大きな違いは見られなかった。但し、生徒のパラメータが初期化された場合、MSE損失とコサイン損失をランダムに追加することは、より良いモデルをトレーニングするのに役立った。
図15には、ELECTRA-smallの知識蒸留の結果を示している。知識蒸留には、16のミニバッチサイズ及び4000のウォームアップステップを使用した。ELECTRA-baseの教師付きの知識蒸留は、参照テストデータのELECTRA-smallの2段階の微調整を改善した。自動音声認識テストセットでは、2段階の微調整で改善は見られなかった。2ステップ知識蒸留による平均F1改善は、BERT-baseで2%であった。ここに示した結果に加えて、上記のL-2項で説明した損失関数のさまざまな重みを実験した。ELECTRA-smallから生徒モデルを初期化したとき、異なる設定間で大きな違いは見られなかった。但し、生徒のパラメータが初期化された場合、MSE損失とコサイン損失をランダムに追加することは、より良いモデルをトレーニングするのに役立った。
ELECTRA-smallは、ELECTRA-baseよりもモデルパラメータの数がかなり少なくなっている。それでも、さらにパラメータサイズをさらに小さくするとモデルのパフォーマンスにどのような影響があり、これが推論時間にどのように影響するかを調査したい。図15は、異なる深さのモデルについて、従来のシングルステップ知識蒸留と比較した2ステップ知識蒸留を行った後の平均F1を示している。ELECTRA-smallで12層未満の場合、知識蒸留には20のミニバッチサイズを使用した。2ステップ知識蒸留を使用するすべてのモデルは、従来の知識蒸留よりも自動音声認識テストセットで優れたパフォーマンスを示した。ELECTRA-smallから上位2つのレイヤーを削除すると、パラメータの数が12%減少したが、F1は2%しか減少しなかった。このモデルは、参照テストセットでBERT-baseと同じパフォーマンスを達成し、自動音声認識テストセットでBERTを上回った。トランスフォーマ層の数をさらに6つの隠れ層に減らすと、F1が最大9%、パラメータサイズが35%大幅に減少しました。
図16には、Nvidia RTX 2080Tiのモデルサイズ、推論時間、及び必要なGPUメモリの比較を示している。このベンチマークでは、512トークンの320シーケンスで構成されるランダムデータセットを100回ループした。32のミニバッチサイズを使用した。つまり、10個のミニバッチで構成されるデータセット上の1つのループを使用した。予想通り、BERT-baseとELECTRA-baseは同様の時間とメモリを消費した。モデルサイズが小さいため、ELECTRA-smallを使用すると、推論時間が79%短縮され、最上層を削除すると、6層のモデルの場合、ELECTRA-baseの時間のわずか13%まで、推論時間がさらに直線的に短縮された。
N.結論
第2の実施例では、ELECTRAを使用した句読点復元のための知識蒸留に関するMTL微調整スキームとアブレーション研究について説明した。微調整中にELECTRAのジェネレータを使用することは、従来の微調整よりも自動音声認識エラーに対して高いロバスト性を示したトレーニングモデルで効果的であった。今後の作業のために、より強力なジェネレータを使用した微調整と、データ拡張手法との詳細な比較を検討する。知識蒸留に関する調査では、教師のシグナルが強いため、IWSLT12TEDトークベンチマークのような小さなデータセットでは、ELECTRAのパラメータサイズを大幅に削減できることを示した。10層のELECTRA-smallは、モデルサイズを89%、推論時間を82%削減しながら、BERTよりも高いF1を達成した。これにより、これらのモデルはモバイルデバイスや組み込みアプリケーションに適用できることが分かる。ELECTRA-smallには注意ヘッドがほとんどないため、調査ではそれらを剪定することは検討しなかったが、注意ヘッドの分割とその後の剪定がさらに意味のあるパラメータの削減につながるかどうかを調査する価値があるかもしれない。
第2の実施例では、ELECTRAを使用した句読点復元のための知識蒸留に関するMTL微調整スキームとアブレーション研究について説明した。微調整中にELECTRAのジェネレータを使用することは、従来の微調整よりも自動音声認識エラーに対して高いロバスト性を示したトレーニングモデルで効果的であった。今後の作業のために、より強力なジェネレータを使用した微調整と、データ拡張手法との詳細な比較を検討する。知識蒸留に関する調査では、教師のシグナルが強いため、IWSLT12TEDトークベンチマークのような小さなデータセットでは、ELECTRAのパラメータサイズを大幅に削減できることを示した。10層のELECTRA-smallは、モデルサイズを89%、推論時間を82%削減しながら、BERTよりも高いF1を達成した。これにより、これらのモデルはモバイルデバイスや組み込みアプリケーションに適用できることが分かる。ELECTRA-smallには注意ヘッドがほとんどないため、調査ではそれらを剪定することは検討しなかったが、注意ヘッドの分割とその後の剪定がさらに意味のあるパラメータの削減につながるかどうかを調査する価値があるかもしれない。
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、句読点復元モデルのトレーニング、及びトレーニング済みの句読点復元モデルのアプリケーションに関する実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。本開示は、句読点以外の音声認識エラーを含む音声認識出力に対しても同様に適用して、音声認識エラーに対して堅牢な、音声認識出力をフォーマットするシステムを実現することができる。また、本開示を、例えばテレビ放送や動画配信サービスなどの字幕付与システムに適用することができる。
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本開示は、以下のような構成をとることも可能である。
(1)テキストデータに変更を挿入するモディファイヤと、
前記モディファイからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタと、
前記第1のプレディクタと同じ出力を持つ第2のプレディクタと、
前記第1のプレディクタと前記第2のプレディクタをトレーニングする第1の学習部と、
を具備する情報処理装置。
前記モディファイからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタと、
前記第1のプレディクタと同じ出力を持つ第2のプレディクタと、
前記第1のプレディクタと前記第2のプレディクタをトレーニングする第1の学習部と、
を具備する情報処理装置。
(2)前記モディファイヤは、テキストデータに、音声認識によって生じ得るエラーをシミュレートした前記変更を挿入する、
上記(1)に記載の情報処理装置。
上記(1)に記載の情報処理装置。
(3)前記変更は、単語の削除、挿入、置換、単語内の文字の変更(文字の置換、文字の複製など)、トレーニングデータのテキストフォーマット(フォントフェース、フォントサイズなど)のうち少なくとも1つを含む、
上記(1)又は(2)のいずれかに記載の情報処理装置。
上記(1)又は(2)のいずれかに記載の情報処理装置。
(4)前記第1のプレディクタは、句読点の挿入を含む1以上の前記タスクの出力を予測する、
上記(1)乃至(3)のいずれかに記載の情報処理装置。
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)前記第1のプレディクタと前記第2のプレディクタは、それぞれ同じ種類又は異なる種類の統計モデルからなり、前記第2のプレディクタは前記第1のプレディクタよりもパラメータが少ない小さな統計モデルである、
上記(1)乃至(4)のいずれかに記載の情報処理装置。
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)前記学習部は、1番目のステップで前記第1のプレディクタをトレーニングし、2番目のステップで前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする、
上記(1)乃至(5)のいずれかに記載の情報処理装置。
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)前記1番目のステップは、
前記モディファイヤがテキストデータに変更を挿入し、前記第1のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第1のプレディクタが前記変更のより良い予測とタスクのより良いタスク出力を達成するように前記第1のプレディクタのパラメータを更新する第1のサブステップと、
前記モディファイヤを破棄し、前記第1のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第1のプレディクタがタスクに対してより良いタスク出力を達成するように前記第1のプレディクタのパラメータを更新する第2のサブステップと、
を含む、上記(6)に記載の情報処理装置。
前記モディファイヤがテキストデータに変更を挿入し、前記第1のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第1のプレディクタが前記変更のより良い予測とタスクのより良いタスク出力を達成するように前記第1のプレディクタのパラメータを更新する第1のサブステップと、
前記モディファイヤを破棄し、前記第1のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第1のプレディクタがタスクに対してより良いタスク出力を達成するように前記第1のプレディクタのパラメータを更新する第2のサブステップと、
を含む、上記(6)に記載の情報処理装置。
(8)前記2番目のステップは、
前記モディファイヤがテキストデータに変更を挿入し、前記第1のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第2のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第2のプレディクタのパラメータを更新する第1のサブステップと、
前記モディファイヤを破棄し、前記第1のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第2のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第2のプレディクタのパラメータを更新する第2のサブステップと、
を含む、上記(6)又は(7)のいずれかに記載の情報処理装置。
前記モディファイヤがテキストデータに変更を挿入し、前記第1のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第2のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第2のプレディクタのパラメータを更新する第1のサブステップと、
前記モディファイヤを破棄し、前記第1のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第2のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第2のプレディクタのパラメータを更新する第2のサブステップと、
を含む、上記(6)又は(7)のいずれかに記載の情報処理装置。
(9)前記第1のサブステップ及び前記第2のサブステップでは、タスクの出力予測と変更検出出力の差分を最小化し、前記第2のプレディクタの出力と前記第1のプレディクタの出力の差分を最小化するように、前記第2のプレディクタのパラメータを更新する、
上記(8)に記載の情報処理装置。
上記(8)に記載の情報処理装置。
(10)前記第1のサブステップ及び前記第2のサブステップでは、さらに、前記第1のプレディクタ内の特定のモデルパラメータ(隠れ層の出力など)との差分を最小化するように、前記第2のプレディクタのパラメータを更新する、
上記(9)に記載の情報処理装置。
上記(9)に記載の情報処理装置。
(11)それぞれ統計モデルからなる第1のプレディクタ及び第2のプレディクタのトレーニングのための処理を行う情報処理方法であって、
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を有する情報処理方法。
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を有する情報処理方法。
(12)それぞれ統計モデルからなる第1のプレディクタ及び第2のプレディクタのトレーニングのための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記コンピュータプログラムは、前記コンピュータに対し、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を実行させる、コンピュータプログラム。
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記コンピュータプログラムは、前記コンピュータに対し、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を実行させる、コンピュータプログラム。
(13)テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、音声認識によって生成されたテキストデータを所定のフォーマットに変換する、
フォーマット変換装置。
前記第2のプレディクタは、音声認識によって生成されたテキストデータを所定のフォーマットに変換する、
フォーマット変換装置。
(14)音声を認識する音声認識部及び前記音声認識部が出力するテキストデータを所定のフォーマットに変換する出力フォーマット変換部を含むサーバと、
伝送チャネルを介して前記サーバに接続され、前記フォーマットに適合する出力ユニットを含むクライアントと、
を具備し、
前記出力フォーマット変換部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、前記音声認識部によって生成されたテキストデータを前記フォーマットに変換する、
オーディオコンテンツ自動転記システム。
伝送チャネルを介して前記サーバに接続され、前記フォーマットに適合する出力ユニットを含むクライアントと、
を具備し、
前記出力フォーマット変換部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、前記音声認識部によって生成されたテキストデータを前記フォーマットに変換する、
オーディオコンテンツ自動転記システム。
(15)テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデル。
(16)コンテンツに含まれる音声を自動認識したテキストデータの句読点を復元する復元処理部と、
前記コンテンツの再生画面に、前記復元処理部によって句読点を復元したテキストデータからなる字幕を付与する字幕付与部と、
を具備し、
前記復元処理部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータから句読点を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデルを使って、テキストデータの句読点を復元する、
表示装置。
前記コンテンツの再生画面に、前記復元処理部によって句読点を復元したテキストデータからなる字幕を付与する字幕付与部と、
を具備し、
前記復元処理部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータから句読点を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデルを使って、テキストデータの句読点を復元する、
表示装置。
101…モディファイヤ、102…第1のプレディクタ
103…第2のプレディクタ
500…オーディオコンテンツ自動転記システム、510…サーバ
511…サービスアプリケーション、512…ASRサーバ
513…出力フォーマットモジュール
520…クライアント(通常のクライアント)
521…クライアントアプリケーション
522…出力フォーマットモジュール、523…出力ユニット
530…クライアント(シンクライアント)
531…クライアントアプリケーション、532…出力ユニット
600…出力フォーマットモジュール、601…句読点復元
602…認識エラー訂正、603…数の正規化
604…再セグメント化、605…処理オプション
103…第2のプレディクタ
500…オーディオコンテンツ自動転記システム、510…サーバ
511…サービスアプリケーション、512…ASRサーバ
513…出力フォーマットモジュール
520…クライアント(通常のクライアント)
521…クライアントアプリケーション
522…出力フォーマットモジュール、523…出力ユニット
530…クライアント(シンクライアント)
531…クライアントアプリケーション、532…出力ユニット
600…出力フォーマットモジュール、601…句読点復元
602…認識エラー訂正、603…数の正規化
604…再セグメント化、605…処理オプション
Claims (16)
- テキストデータに変更を挿入するモディファイヤと、
前記モディファイからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタと、
前記第1のプレディクタと同じ出力を持つ第2のプレディクタと、
前記第1のプレディクタと前記第2のプレディクタをトレーニングする第1の学習部と、
を具備する情報処理装置。 - 前記モディファイヤは、テキストデータに、音声認識によって生じ得るエラーをシミュレートした前記変更を挿入する、
請求項1に記載の情報処理装置。 - 前記変更は、単語の削除、挿入、置換、単語内の文字の変更(文字の置換、文字の複製など)、トレーニングデータのテキストフォーマット(フォントフェース、フォントサイズなど)のうち少なくとも1つを含む、
請求項1に記載の情報処理装置。 - 前記第1のプレディクタは、句読点の挿入を含む1以上の前記タスクの出力を予測する、
請求項1に記載の情報処理装置。 - 前記第1のプレディクタと前記第2のプレディクタは、それぞれ同じ種類又は異なる種類の統計モデルからなり、前記第2のプレディクタは前記第1のプレディクタよりもパラメータが少ない小さな統計モデルである、
請求項1に記載の情報処理装置。 - 前記学習部は、1番目のステップで前記第1のプレディクタをトレーニングし、2番目のステップで前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする、
請求項1に記載の情報処理装置。 - 前記1番目のステップは、
前記モディファイヤがテキストデータに変更を挿入し、前記第1のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第1のプレディクタが前記変更のより良い予測とタスクのより良いタスク出力を達成するように前記第1のプレディクタのパラメータを更新する第1のサブステップと、
前記モディファイヤを破棄し、前記第1のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第1のプレディクタがタスクに対してより良いタスク出力を達成するように前記第1のプレディクタのパラメータを更新する第2のサブステップと、
を含む、請求項6に記載の情報処理装置。 - 前記2番目のステップは、
前記モディファイヤがテキストデータに変更を挿入し、前記第1のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第2のプレディクタが前記変更されたテキストデータから前記モディファイヤが行った前記変更を予測するとともにタスクの出力を予測し、前記第2のプレディクタのパラメータを更新する第1のサブステップと、
前記モディファイヤを破棄し、前記第1のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第2のプレディクタが元のテキストデータからタスクの出力のみを予測し、前記第2のプレディクタのパラメータを更新する第2のサブステップと、
を含む、請求項6に記載の情報処理装置。 - 前記第1のサブステップ及び前記第2のサブステップでは、タスクの出力予測と変更検出出力の差分を最小化し、前記第2のプレディクタの出力と前記第1のプレディクタの出力の差分を最小化するように、前記第2のプレディクタのパラメータを更新する、
請求項8に記載の情報処理装置。 - 前記第1のサブステップ及び前記第2のサブステップでは、さらに、前記第1のプレディクタ内の特定のモデルパラメータ(隠れ層の出力など)との差分を最小化するように、前記第2のプレディクタのパラメータを更新する、
請求項9に記載の情報処理装置。 - それぞれ統計モデルからなる第1のプレディクタ及び第2のプレディクタのトレーニングのための処理を行う情報処理方法であって、
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を有する情報処理方法。 - それぞれ統計モデルからなる第1のプレディクタ及び第2のプレディクタのトレーニングのための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、
前記第1のプレディクタは、テキストデータに変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測し、前記第2のプレディクタは前記第1のプレディクタと同じ出力を持ち、
前記コンピュータプログラムは、前記コンピュータに対し、
前記第1のプレディクタをトレーニングする1番目のステップと、
前記第2のプレディクタが前記第1のプレディクタの出力を再現するようにトレーニングする2番目のステップと、
を実行させる、コンピュータプログラム。 - テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、音声認識によって生成されたテキストデータを所定のフォーマットに変換する、
フォーマット変換装置。 - 音声を認識する音声認識部及び前記音声認識部が出力するテキストデータを所定のフォーマットに変換する出力フォーマット変換部を含むサーバと、
伝送チャネルを介して前記サーバに接続され、前記フォーマットに適合する出力ユニットを含むクライアントと、
を具備し、
前記出力フォーマット変換部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた第2のプレディクタを具備し、
前記第2のプレディクタは、前記音声認識部によって生成されたテキストデータを前記フォーマットに変換する、
オーディオコンテンツ自動転記システム。 - テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータからタスクの出力を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデル。
- コンテンツに含まれる音声を自動認識したテキストデータの句読点を復元する復元処理部と、
前記コンテンツの再生画面に、前記復元処理部によって句読点を復元したテキストデータからなる字幕を付与する字幕付与部と、
を具備し、
前記復元処理部は、テキストデータに音声認識によって生じ得るエラーをシミュレートした変更を挿入するモディファイヤからの入力テキストデータに含まれる変更を予測し、変更された入力テキストデータから句読点を予測する第1のプレディクタの出力を再現するようにトレーニングされた、学習済みモデルを使って、テキストデータの句読点を復元する、
表示装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020175144 | 2020-10-19 | ||
JP2020-175144 | 2020-10-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022085296A1 true WO2022085296A1 (ja) | 2022-04-28 |
Family
ID=81290435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/031021 WO2022085296A1 (ja) | 2020-10-19 | 2021-08-24 | 情報処理装置及び情報処理方法、コンピュータプログラム、フォーマット変換装置、オーディオコンテンツ自動転記システム、学習済みモデル、並びに表示装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2022085296A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880990A (zh) * | 2022-05-16 | 2022-08-09 | 马上消费金融股份有限公司 | 标点符号预测模型训练方法、标点符号预测方法及装置 |
WO2023228313A1 (ja) * | 2022-05-25 | 2023-11-30 | 日本電信電話株式会社 | 言語処理方法、言語処理装置及びプログラム |
CN117744633A (zh) * | 2024-02-21 | 2024-03-22 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种文本纠错方法、装置及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000122687A (ja) * | 1998-10-19 | 2000-04-28 | Internatl Business Mach Corp <Ibm> | 言語モデルを更新する方法 |
JP2005208643A (ja) * | 2004-01-20 | 2005-08-04 | Microsoft Corp | ユーザ訂正を用いた自動音声認識学習のためのシステムおよび方法 |
JP2008515078A (ja) * | 2004-09-30 | 2008-05-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自動テキスト訂正 |
JP2012508903A (ja) * | 2008-11-12 | 2012-04-12 | エスシーティアイ ホールディングス、インク | 自動音声テキスト変換のためのシステムと方法 |
US10388272B1 (en) * | 2018-12-04 | 2019-08-20 | Sorenson Ip Holdings, Llc | Training speech recognition systems using word sequences |
JP2019148681A (ja) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | テキスト修正装置、テキスト修正方法およびテキスト修正プログラム |
-
2021
- 2021-08-24 WO PCT/JP2021/031021 patent/WO2022085296A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000122687A (ja) * | 1998-10-19 | 2000-04-28 | Internatl Business Mach Corp <Ibm> | 言語モデルを更新する方法 |
JP2005208643A (ja) * | 2004-01-20 | 2005-08-04 | Microsoft Corp | ユーザ訂正を用いた自動音声認識学習のためのシステムおよび方法 |
JP2008515078A (ja) * | 2004-09-30 | 2008-05-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自動テキスト訂正 |
JP2012508903A (ja) * | 2008-11-12 | 2012-04-12 | エスシーティアイ ホールディングス、インク | 自動音声テキスト変換のためのシステムと方法 |
JP2019148681A (ja) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | テキスト修正装置、テキスト修正方法およびテキスト修正プログラム |
US10388272B1 (en) * | 2018-12-04 | 2019-08-20 | Sorenson Ip Holdings, Llc | Training speech recognition systems using word sequences |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880990A (zh) * | 2022-05-16 | 2022-08-09 | 马上消费金融股份有限公司 | 标点符号预测模型训练方法、标点符号预测方法及装置 |
WO2023228313A1 (ja) * | 2022-05-25 | 2023-11-30 | 日本電信電話株式会社 | 言語処理方法、言語処理装置及びプログラム |
CN117744633A (zh) * | 2024-02-21 | 2024-03-22 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种文本纠错方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022085296A1 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、フォーマット変換装置、オーディオコンテンツ自動転記システム、学習済みモデル、並びに表示装置 | |
US11837216B2 (en) | Speech recognition using unspoken text and speech synthesis | |
CN112687259B (zh) | 一种语音合成方法、装置以及可读存储介质 | |
US20210280170A1 (en) | Consistency Prediction On Streaming Sequence Models | |
US11961515B2 (en) | Contrastive Siamese network for semi-supervised speech recognition | |
EP4235485A1 (en) | Method for converting text data into acoustic feature, electronic device, and storage medium | |
US20220310065A1 (en) | Supervised and Unsupervised Training with Contrastive Loss Over Sequences | |
US11990117B2 (en) | Using speech recognition to improve cross-language speech synthesis | |
CN117859173A (zh) | 利用基于语音合成的模型适配改进语音识别 | |
US20240028829A1 (en) | Joint Speech and Text Streaming Model for ASR | |
US20230317059A1 (en) | Alignment Prediction to Inject Text into Automatic Speech Recognition Training | |
US20230298565A1 (en) | Using Non-Parallel Voice Conversion for Speech Conversion Models | |
Shen | Application of transfer learning algorithm and real time speech detection in music education platform | |
US20240153498A1 (en) | Contextual Biasing With Text Injection | |
Dinarelli et al. | Concept segmentation and labeling for conversational speech | |
Gu et al. | Voice conversion using learnable similarity-guided masked autoencoder | |
Zhen | Research on English Vocabulary and Speech Corpus Recognition Based on Deep Learning | |
US20240203399A1 (en) | Training A Language Model Of An End-To-End Automatic Speech Recognition Model Using Random Encoder Features | |
US20240153484A1 (en) | Massive multilingual speech-text joint semi-supervised learning for text-to-speech | |
US20240029715A1 (en) | Using Aligned Text and Speech Representations to Train Automatic Speech Recognition Models without Transcribed Speech Data | |
KR102637025B1 (ko) | 자동 음성 인식을 위한 다언어 리스코어링 모델들 | |
US20240153495A1 (en) | Multi-Output Decoders for Multi-Task Learning of ASR and Auxiliary Tasks | |
US20230017892A1 (en) | Injecting Text in Self-Supervised Speech Pre-training | |
Tathe et al. | Transcription and translation of videos using fine-tuned XLSR Wav2Vec2 on custom dataset and mBART | |
CN117597729A (zh) | 推进文本和语音在具有一致性和对比损失的asr预训练中的使用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21882437 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21882437 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |