WO2009101837A1 - 記号挿入装置および記号挿入方法 - Google Patents

記号挿入装置および記号挿入方法 Download PDF

Info

Publication number
WO2009101837A1
WO2009101837A1 PCT/JP2009/050641 JP2009050641W WO2009101837A1 WO 2009101837 A1 WO2009101837 A1 WO 2009101837A1 JP 2009050641 W JP2009050641 W JP 2009050641W WO 2009101837 A1 WO2009101837 A1 WO 2009101837A1
Authority
WO
WIPO (PCT)
Prior art keywords
symbol insertion
model
symbol
speech
models
Prior art date
Application number
PCT/JP2009/050641
Other languages
English (en)
French (fr)
Inventor
Tasuku Kitade
Takafumi Koshinaka
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2009553380A priority Critical patent/JP5141695B2/ja
Priority to US12/863,945 priority patent/US8577679B2/en
Publication of WO2009101837A1 publication Critical patent/WO2009101837A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to a symbol insertion device and a symbol insertion method, and more particularly to a symbol insertion device and a symbol insertion method for inserting a specific symbol such as a punctuation mark into a transcription or a speech-recognized text.
  • Non-Patent Document 1 An example of a symbol insertion technique related to the present invention is described in Section 3.2 of Non-Patent Document 1.
  • sentence boundaries are detected using the length of a pose taken by a speaker and word information appearing before and after the pose.
  • a character string X that does not include a punctuation point but includes pose information and a character string Y that includes a punctuation point are considered to be different languages, and P (Y
  • the language model likelihood P (Y) in the case where the pose is inserted and not inserted in all the places where the pose can be converted into the phrase (P (X
  • Y) 1).
  • the comparison is made to determine whether to insert a punctuation mark.
  • Y) uses a model that depends on the expression before and after the pose and the pose length.
  • a word 3-gram model learned from a transcription of a CSJ (Japanese spoken corpus) in which sentence boundaries are manually added is used.
  • a word string obtained by converting a voice uttered by a speaker into a character string for example, “ ⁇ If a thermal insulation effect is obtained, this will increase the temperature of the sensation by about 2 degrees” If the pose length immediately after “when you get” is long enough, it will be judged as a sentence boundary, and “ ⁇ If you can get a warming effect. A punctuation mark is inserted. On the other hand, if the pose length immediately after “when obtained” is sufficiently short, the point is not judged as a sentence boundary, and “ ⁇ if the warming effect is obtained, this will increase the temperature of the sensation by about 2 degrees.” The whole is treated as one sentence. In such a portion where an extremely long pause length appears, the symbol insertion portion can be detected with a certain degree of accuracy regardless of the difference in speakers.
  • the way of speaking is generally different for each speaker, and the way to pose at the punctuation insertion point and the expression of the end of the phrase and the end of the sentence differ depending on the speaker. For example, even if there are multiple speakers with the same pose length immediately after “when obtained”, if the talk speed is fast, the pose length immediately after “when obtained” is relative to the pose length at other locations. Therefore, the possibility of inserting a punctuation point increases, and vice versa for a slow-speaking person. Also, some speakers rarely use the phrase “and the end of the sentence”, such as “If you get it.”
  • the symbol insertion likelihood is calculated using one type of model (word 3-gram model) learned from the transcription of CSJ (Japanese Spoken Language Corpus). Therefore, it is not possible to make a symbol insertion determination taking into account differences in the way of speaking for each speaker.
  • the object of the present invention is to perform symbol insertion determination using a symbol insertion model according to a speaker's linguistic and acoustic speaking characteristics such as how to speak and pose, and thereby
  • the object is to enable symbol insertion determination in consideration of the difference in characteristics.
  • the symbol insertion device of the present invention is a symbol insertion device that inserts a symbol into a word string obtained by characterizing speech information, and for each of a plurality of symbol insertion models that are provided according to the manner of speaking of the word string to be inserted.
  • the word insertion likelihood is weighted according to the similarity between the speech feature of the word string and a plurality of speech feature models and the relevance between the symbol insertion model and the speech feature model. Determine whether to insert a symbol into a column.
  • the present invention it is possible to determine whether to insert a symbol in consideration of the difference in speaking characteristics of each speaker.
  • the reason for this is that among the multiple symbol insertion models according to the speaker's linguistic and acoustic speaking characteristics such as how to speak and pose, the symbol insertion model that matches the characteristics of the speaker in the input word string This is because the symbol insertion determination is performed with emphasis on.
  • a symbol insertion device 100 includes a processing device 101, an input device 102 connected to the processing device 101, and n symbol insertion model storage devices 103- 1 to 103-n, which similarly includes n speech style feature model storage devices 104-1 to 104-n and an output device 105.
  • the processing apparatus 101 further includes a word string information storage unit 111, a speech feature similarity calculation unit 112, a symbol insertion likelihood calculation unit 113, a symbol insertion determination unit 114, and a symbol inserted word string information storage unit 115.
  • the speech feature similarity calculating unit 112, the symbol insertion likelihood calculating unit 113, and the symbol insertion determining unit 114 can be realized by, for example, a computer constituting the processing apparatus 101 and a program executed thereon.
  • the program is recorded on a computer-readable recording medium such as a magnetic disk, and is read by the computer when the computer is started up, etc., and by controlling the operation of the computer, the speech feature similarity calculating unit 112 is executed on the computer.
  • the symbol insertion likelihood calculating means 113 and the symbol insertion determining means 114 are realized.
  • Each of the storage devices 103-1 to 103-n, 104-1 to 104-n, the word string information storage means 111 and the symbol inserted word string information storage means 115 in the processing device 101 are the main memory and auxiliary provided in the computer. It can be realized by a storage device.
  • the input device 102 is a device for inputting information about a word string of a spoken word to be inserted into the processing device 101, and includes a keyboard, a file device, a data receiving device, or the like.
  • the information of the word sequence of spoken words is grammatical information (for example, part-of-speech information) and acoustic information (for example, part-of-speech information) required by the speech feature similarity calculating unit 112 and the symbol insertion likelihood calculating unit 113 for the transcription text and the speech recognition text. (Pause information).
  • the word string information storage unit 111 stores information on the word string input from the input device 102.
  • word information 1022 for each word is arranged in the order of word utterances.
  • Each word information 1022 includes surface information 1023 of the word, part-of-speech information 1024 indicating the part-of-speech and utilization form of the word, a pause length 1025 between the word and the immediately following word, and other information.
  • Other information includes speaking speed.
  • the symbol insertion model storage devices 103-1 to 103-n store symbol insertion models learned using the learning data of speakers having different speaking characteristics.
  • the symbol insertion model models the probability of inserting punctuation marks and punctuation marks using linguistic information (word surface information, part of speech information, etc.) and acoustic information (pause information, etc.).
  • the symbol insertion model uses a known technique such as a word-with-symbol n-gram model, a support vector machine (SVM), an identification model such as a conditional random field (CRF) (Non-Patent Document 1), a rule-based model, and the like. Can be created.
  • Each symbol insertion model itself is the same as the symbol insertion model used in Non-Patent Document 1 and the like, and is different from the conventional one in that a symbol insertion model is provided for each of different speaking styles.
  • the symbol insertion likelihood calculation means 113 reads the word string information 1021 in units of word information 1022 from the word string information storage means 111, and for each word information 1022, a punctuation mark and a reading mark are inserted immediately after the word having the word information.
  • the symbol insertion likelihood indicating the accuracy of the inserted symbol and the symbol insertion likelihood indicating the accuracy of the probability that no punctuation is inserted are stored for each symbol insertion model stored in the symbol insertion model storage devices 103-1 to 103-n. It is a means to calculate.
  • the speaking style feature model storage devices 104-1 to 104-n store the speaking style feature models learned using the learning data of speakers having different speaking style features.
  • the speaking feature model is obtained by modeling the feature of the speaking method using the voice information of the speaker. Examples of the voice information include language information (such as frequency information at the end of sentence expression) and acoustic information (such as pause information, speech speed information, and duration of speech utterance).
  • the speech feature model storage devices 104-1 to 104-n correspond one-to-one with the symbol insertion model storage devices 103-1 to 103-n.
  • the speech style feature model stored in the speech style feature model storage device 104-i is the feature of the speaker's speech style in the learning data used for learning the symbol insertion model stored in the corresponding symbol insertion model storage device 103-i. Is modeled.
  • a speech style feature model using acoustic information there are, for example, a speech speed value and a pause length for each word, an average speech speed value and an average pause length for each phrase or speech unit.
  • a simple example of a speech style feature model using linguistic information is frequency information of end-of-sentence expression. Other examples of the speech style feature model will be described in detail in later examples.
  • the speech feature similarity calculating unit 112 reads the word string information 1021 in units of the word information 1022 from the word string information storage unit 111, extracts the speech feature, and extracts the extracted speech feature and the speech feature model storage device. This is a means for calculating the similarity to the features of the speech style modeled by the speech style feature models stored in 104-1 to 104-n.
  • the unit for extracting the feature of the speech from the word string information 1021 may be for each predetermined number of words, or may be all utterances of one speaker, and is stored in the word string information storage unit 111. The entire word string information 1021 may be used.
  • the symbol insertion determining means 114 is a speech feature similarity calculating means for the symbol insertion likelihood obtained for each symbol insertion model by the symbol insertion likelihood calculating means 113 for the word string stored in the word string information storage means 111. 112, weighting is performed according to the degree of similarity between the speech feature of the word sequence obtained by step 112 and the plurality of speech feature models, and the degree of association between the symbol insertion model and the speech feature model, and determination of symbol insertion into the word sequence is performed. In this case, the information on the word string into which the symbol is inserted according to the determination result is stored in the symbol inserted word string information storage unit 115.
  • the speech feature model storage devices 104-1 to 104-n and the symbol insertion model storage devices 103-1 to 103-n have a one-to-one correspondence. Weighting is performed by multiplying the symbol insertion likelihood for each symbol insertion model obtained by the insertion likelihood calculating means 113 by the similarity with the corresponding speech style feature model.
  • the symbol insertion determining means 114 uses the weighted symbol insertion likelihood for each symbol insertion model to determine whether or not to insert punctuation marks and the type of symbol to be inserted, for example, by any of the following methods.
  • Symbol insertion determination method 1 The sum of the top n ′ pieces (n ′ is a constant greater than or equal to 1 and less than or equal to n, the same applies below) of the weights of the insertion points of the symbol after weighting of each symbol insertion model is the combined insertion likelihood of the points and the weight of each symbol insertion model The sum of the top n ′ of the following reading insertion likelihoods is the integrated n likelihood of readings, and the top n of the weighted NULL insertion likelihoods (likelihoods that neither a punctuation nor a reading is inserted) of each symbol insertion model 'Calculate the total sum as NULL combined insertion likelihood. Next, the one with the largest integrated insertion likelihood is used as the symbol insertion determination result. For example, if the integrated insertion likelihood of a phrase is the largest of the three integrated insertion likelihoods, a determination result indicating that a phrase is inserted is generated.
  • the integrated insertion likelihood of the punctuation point is compared with a predetermined threshold value, and if it is equal to or greater than the threshold value, a determination result indicating that the punctuation point is inserted is generated. If the integrated insertion likelihood of the punctuation marks is not equal to or greater than the threshold value, a determination result that punctuation marks are not inserted is generated.
  • the maximum insertion likelihood symbol (phrase, reading point, NULL) is calculated from the weighted phrase insertion likelihood, the weighted reading insertion likelihood, and the weighted NULL insertion likelihood, The most frequently obtained symbols (punctuation marks, punctuation marks, and NULL) in all the symbol insertion models are obtained by majority decision and used as a determination result.
  • the output device 105 is a display, a printer, a file device, a data transmission device, or the like that reads information from a word string with a symbol inserted from the symbol inserted word string information storage unit 115 and outputs the information.
  • the processing device 101 When the processing device 101 receives information about a word string as a symbol insertion target from the input device 102, the processing device 101 stores the information in the word string information storage unit 111 as shown in FIG. 2 (S101).
  • the processing device 101 reads out the word string information 1021 stored in the word string information storage unit 111 by the speech feature similarity calculation unit 112, and linguistically or acoustically, such as how to speak and how to pose.
  • the feature of the speech is extracted (S102).
  • the unit for extracting the feature of the speaking method may be the entire word string information 1021 stored in the word string information storage unit 111 or may be for each predetermined number of words.
  • the processing device 101 reads out the speech feature model from the speech feature model storage devices 104-1 to 104-n by the speech feature similarity calculation means 112, and the similarity between the input word string extracted in step S102 and the speech feature
  • the degree is calculated for each speech feature model and for each extraction unit (S103).
  • the similarity for each speech style feature model and each extraction unit calculated here is stored in a memory (not shown) in the speech style feature similarity calculation unit 112 until the symbol insertion determination is completed.
  • the processing apparatus 101 pays attention to the word included in the first word information 1022 in the word string information 1021 stored in the word string information storage unit 111 (S104).
  • the symbol insertion model is read from the symbol insertion model storage devices 103-1 to 103-n, and a phrase insertion likelihood for inserting a phrase immediately after the word of interest, a reading insertion probability for inserting a reading point, and nothing are inserted.
  • the NULL insertion likelihood not to be calculated is calculated for each symbol insertion model (S105).
  • the processor 101 multiplies the symbol insertion likelihood obtained for each symbol insertion model by the symbol insertion likelihood calculation means 113 by the similarity between the corresponding speech style feature model and the speech style feature of the input word string.
  • weighting is performed (S106).
  • the similarity used here is that of the extraction unit to which the word of interest belongs among the similarities calculated and stored for each extraction unit.
  • the processing apparatus 101 uses the symbol insertion likelihood calculating unit 113 to insert / not insert a punctuation mark immediately after the word of interest according to any one of the above-described symbol insertion determination methods (1) to (3). In this case, it is determined whether the symbol is a punctuation mark or a punctuation mark (S107). Then, the symbol insertion likelihood calculating unit 113 generates output word information including the word of interest according to the symbol insertion determination result, and stores it in the symbol inserted word string information storage unit 115 (S108).
  • output word information is generated by adding the punctuation information next to the word information of interest, and if it is determined that a punctuation point should be inserted, If the output word information is added with the reading information next to the word information, and it is determined that NULL should be inserted, the output word information including only the information of the word of interest is generated, Stored in the inserted word string information storage means 115.
  • the processing apparatus 101 When the processing apparatus 101 finishes the process focusing on the first word in the word string information 1021 stored in the word string information storage unit 111, the processing apparatus 101 shifts attention to the second word in the word string information 1021 (S109). ), The processing of steps S105 to S108 is repeated.
  • the processing apparatus 101 completes the processing focusing on the last word in the word string information 1021 stored in the word string information storage unit 111 (YES in step S110)
  • the processing apparatus 101 stores the symbol inserted word string information storage unit 115 in the symbol string information storage unit 115. Information on the stored word string with the inserted symbol is output from the output device 105 (S111).
  • the symbol insertion determination it is possible to perform the symbol insertion determination in consideration of the difference in the way of speaking for each speaker.
  • the reason for this is that among the multiple symbol insertion models according to the speaker's linguistic and acoustic speaking characteristics such as how to speak and pose, the symbol insertion model that matches the characteristics of the speaker in the input word string This is because punctuation insertion determination is performed with emphasis on.
  • Example of the first embodiment Next, an example of the present embodiment will be described focusing on the speech feature model, the symbol insertion model, the speech feature similarity calculation, the symbol insertion likelihood calculation, and the symbol insertion determination.
  • learning data D A to D Z for each speaker A to Z are prepared.
  • the learning data D A of the speaker A for example, voice data recording the conversation of the speaker A in daily conversation or a lecture, or the voice data is manually converted into characters, and punctuation marks and punctuation marks are inserted and paused. Text data to which an acoustic feature such as length is added can be considered.
  • speaking style feature models SM A to SM Z for each speaker A to Z are created using the learning data D A to D Z.
  • a speech feature model for each speaker is created using linguistic and acoustic feature amounts for each speaker.
  • acoustic feature quantity to be used pause length, speech speed, etc. can be considered.
  • the learning data DY of the speaker Y the part where the symbol C k (punctuation and reading) is to be inserted is found, the word w Y, t immediately before the part where the symbol C k is to be inserted , and the pause length dur ( w Y, t , C k ) are extracted.
  • a word w Y, behind t pause length immediately after dur (w Y, t, C k) The distribution function f dur (x, Y, C k ) of the speech feature model in which the symbol C k is inserted into is obtained .
  • x is a voice feature amount, and in this case, a pause length.
  • the pause length when the word w Y, t is uttered is dur (w Y, t , C k ) and the frequency at which the symbol C k is inserted is N (w Y, t , dur (w Y, t , C k ))
  • the distribution function f dur (x, Y, C k ) is defined by the following equation.
  • the denominator on the right side represents the total number of times the symbol C k is inserted immediately after the word w Y, t in the learning data DY regardless of the pause length, and the numerator is the pause length dur.
  • This represents the total number of insertions of the symbol C k when (w Y, t , C k ) is less than or equal to x. In other words, it represents the ratio at which the pose length is equal to or less than x and the symbol C k is inserted, and is a cumulative function of the likelihood (probability) at which the symbol C k whose pose length is a variable is inserted.
  • the distribution function f dur (x, Y, C 1 )
  • the distribution function f dur (x, Y, C 2 ) represents the usage characteristics of the punctuation marks immediately after the words w Y, t . It can be said that it represents a feature.
  • the denominator on the right side is the same as in equation (2), and the numerator is the number of times the symbol C k is inserted when the pause length dur (w Y, t , NULL) is greater than the threshold value x. Represents the sum of That is, it represents the rate at which the symbol “NULL” is inserted when the pause length is greater than x.
  • the pose length is used as the acoustic feature quantity.
  • other acoustic feature quantities such as the speech speed can be used, and multiple types of acoustic feature quantities such as the pose length and the speech speed can be used. It can also be used.
  • a distribution function for each acoustic feature quantity is generated and a weight is given to them.
  • Speaking style feature model SM in Fig. 4 Y corresponds to the distribution function of the speaking style feature model of a speaker Y created as described above. Further, the speech feature models SM A , SM B ,..., SM X , SM Z in FIG. 4 are speech feature models created for speakers A to X, Z other than the speaker Y in the same manner as the speaker Y. Corresponds to the distribution function.
  • the speaker A ⁇ Z each speaking style feature model SM A ⁇ SM Z summarized two models with each other that the distribution function is similar to a model in a bottom-up approach.
  • the speaking style feature model SM A and SM B in one speech feature model SM AB, ..., spoken feature model SM Y and SM Z to one speech feature model SM YZ are summarized respectively.
  • a known clustering method is used as a method of summarizing.
  • the speech style feature models compiled into the total number n are finally stored in the n speech style feature model storage devices 104-1 to 104-n in FIG.
  • the speech feature similarity calculation unit 112 includes word surface information and speech feature quantities (such as pose information) stored in the word string information storage unit 111, and a speech feature model storage unit 104. From the above-described distribution functions constituting the speech style feature models stored in ⁇ 1 to 104-n, the likelihood of the closeness of the speech style (speaking style feature similarity) is calculated in units of words. Specifically, the value of the j-th speech feature amount of a word w t is x t, j , and the j-th speech feature amount of the speech style feature model stored in the i-th speech style feature model storage means 104-i.
  • T i, 1 (w t ) is the similarity regarding the characteristics of the usage of the punctuation immediately after the word w t
  • T i, 2 (w t ) is the similarity regarding the characteristics of the usage of the reading just after the word w t
  • T i, NULL (w t ) indicates the degree of similarity regarding the feature of not using punctuation marks immediately after the word w t .
  • the possible values of j are 1 and 2.
  • a constant may be used for the weights a i, j or may be adjusted empirically by conducting a preliminary experiment. Alternatively, it may be estimated in advance by giving teacher data by a known technique such as the steepest descent method.
  • the unit for extracting the feature amount may be a unit for each predetermined number stored in the word string information storage unit 111 as described above, or may be a unit of all the stored words.
  • a symbol insertion model is a data model corresponding to a speech feature model, that is, a speech feature model that is classified by speaker and then clustered in a bottom-up manner with models having similar features. Create using all the learning data used in. For example, when speaking style feature model SM AB ⁇ SM YZ in FIG. 4 is a final n-number of speech feature model, a one-to-one symbol insertion model KM AB corresponding to speaking style feature model SM AB, learning of the speaker A It is generated from the data D A and the learning data D B of the speaker B.
  • the symbol insertion model can be created using a known technique such as a word-with-symbol n-gram model as described above.
  • the created symbol insertion models KM AB to KM YZ are stored in the n symbol insertion model storage devices 103-1 to 103-n in FIG.
  • the symbol insertion likelihood S i, k (w t ) in which the symbol C k is inserted immediately after the word w t having the word information W t is the word for the i-th symbol insertion model learned by the known technique. Using the likelihood function g i (W, C) in which the symbol C is inserted immediately after the word w having the information W, it is expressed by the following equation.
  • Equation (5) the symbol C k is inserted immediately after the word w t when the word information of n words (n> 1) is input to g i (W t , C k ) of the numerator on the right side.
  • S i, k (w t ) is the likelihood, and the likelihood is normalized with respect to a symbol that can be inserted immediately after the word w t .
  • the symbol insertion determination unit 114 calculates a model-specific symbol insertion score using the symbol insertion likelihood calculated by the symbol insertion likelihood calculation unit 113 and the speech style similarity calculated by the speech feature similarity calculation unit 112. To do.
  • the symbol-by-model symbol insertion score F i (w t , C k ) of the i-th symbol insertion model is the speech feature similarity to the speech feature model of the speech feature model storage device 104-i for the word w t. T i, and k (w t), symbol insertion likelihood S i for symbol insertion model stored in the symbol insertion model storing device 103-i, by using the k (w t), calculated by the following equation.
  • the model-specific symbol insertion period right after the word w t in the i-th symbol insertion model is inserted score F i (w t, C 1 ) is a word w t calculated from i-th symbol insertion model immediately after the likelihood S i which punctuation is inserted, 1 (w t), i-th similarity of the characteristics of use of the punctuation in the just computed word w t from speaking feature model T i, 1 (w t ) As a weight.
  • model-specific symbols comma is inserted immediately after the word w t in the i-th symbol insertion model insertion score F i (w t, C 2 ) is the i-th word w t the symbol is calculated from an insertion model Likelihood S i, 2 (w t ) at which a reading point is inserted immediately after that, similarity score T i, 2 (w t) regarding the usage characteristic of the reading point immediately after the word w t calculated from the i-th speech style feature model ) As a weight.
  • the model-specific symbol insertion score F i (w t , C NULL ) in which punctuation marks are not inserted immediately after the word w t in the i th symbol insertion model is immediately after the word w t calculated from the i th symbol insertion model.
  • the symbol insertion determination means 114 calculates an integrated symbol insertion score F (w t , C k ) used for symbol insertion determination by the following formula using the model-specific symbol insertion score F i (w t , C k ). To do.
  • Example 2 The symbol insertion determination unit 114 calculates an integrated symbol insertion score F (w t , C k ) used for symbol insertion determination in the same manner as in Example 1.
  • the symbol insertion determination unit 114 inserts a symbol immediately after the word w t when the integrated symbol insertion score F (w t , C k ) is larger than the threshold ⁇ k .
  • the threshold value ⁇ k may be different depending on the type of the symbol C k and can be adjusted.
  • Example 3 The symbol insertion determination unit 114 calculates the model-specific symbol insertion score F i (w t , C k ) in the same manner as in Example 1. Next, symbol insertion determination is performed for each symbol insertion model, and the most determined symbol is used as the final output. Specifically, first, as shown in the following equation, the symbol C ⁇ i having the maximum symbol insertion score F i (w t , C k ) for each model is obtained for all the symbol insertion models.
  • the processing device 101 When the processing device 101 receives information on a word string to be inserted from the input device 102, the processing device 101 stores the information in the word string information storage unit 111 as shown in FIG. 2 (S201 in FIG. 5).
  • the processing apparatus 101 pays attention to the word included in the first word information 1022 in the word string information 1021 stored in the word string information storage unit 111 (S202).
  • the processing device 101 reads the word information of the word of interest from the word string information storage unit 111 by the speech feature similarity calculation unit 112 and also speaks feature models from the speech feature model storage devices 104-1 to 104-n. , And using expression (4), the similarity of the way of speaking between the word of interest and the n speech style feature models is calculated for each inserted symbol of punctuation, punctuation, and NULL (S203).
  • the processing device 101 reads the word information of the word of interest from the word string information storage unit 111 by the symbol insertion likelihood calculation unit 113 and also stores the symbol insertion model from the symbol insertion model storage units 103-1 to 103-n. And using symbol (5), the likelihood of symbol insertion in which a punctuation mark, punctuation mark, or NULL is inserted immediately after the word of interest is calculated for each of n symbol insertion models (S204).
  • the processing apparatus 101 uses the symbol insertion likelihood calculating unit 113 to calculate the symbolic likelihood of each symbol insertion model obtained by using the equation (6), and how to speak the corresponding speech style feature model and the attention word. Weighting is performed by multiplying the similarity (S205).
  • the processing apparatus 101 uses the symbol insertion likelihood calculating unit 113 to determine whether or not to insert a punctuation mark immediately after the word of interest and insert it according to any of the symbol insertion determination methods of Examples 1 to 3 described above. Determines whether the symbol is a punctuation mark or a punctuation mark (S206). Then, the symbol insertion likelihood calculating unit 113 generates output word information including the word of interest according to the symbol insertion determination result, and stores it in the symbol inserted word string information storage unit 115 (S207).
  • the processing apparatus 101 When the processing apparatus 101 finishes the process focusing on the first word in the word string information 1021 stored in the word string information storage unit 111, the processing apparatus 101 shifts attention to the second word in the word string information 1021 (S208). ), The processes of steps S203 to S207 are repeated.
  • the processing apparatus 101 completes the processing focusing on the last word in the word string information 1021 stored in the word string information storage unit 111 (YES in step S209), the processing apparatus 101 stores the symbol inserted word string information storage unit 115 in the processing. Information on the stored word string with the inserted symbol is output from the output device 105 (S210).
  • the feature similarity and the symbol insertion likelihood of the word are calculated in the process focusing on one word.
  • the symbol insertion likelihood may be calculated by paying attention to each word and then paying attention to each word. However, in that case, it is necessary to store the calculated feature similarity up to the time of weighting.
  • the symbol insertion device 200 inserts n symbols as compared with the symbol insertion device 100 according to the first embodiment shown in FIG.
  • the n symbol insertion models stored in the model storage devices 103-1 to 103-n and the m speech style feature models stored in the m speech feature model storage devices 104-1 to 104-m are 1 It is different in that it does not correspond to one-to-one.
  • the learning data used for creating the symbol insertion model is the same as the learning data used for creating the speech style feature model. There was a one-to-one correspondence with the feature model. However, the learning data used to create the symbol insertion model and the learning data used to create the speech feature model are not necessarily the same depending on how the model is created. The learning data used to create a plurality of speaking style feature models may be mixed in the learning data.
  • m kinds of genres for example, genres such as news programs and variety programs when each speaker is an announcer
  • symbol insertion models are created for each genre and the speech feature models SM AB to SM YZ are created in the same manner as in the first embodiment
  • n symbol insertion models and m symbols There is no one-to-one correspondence with the speaking feature model.
  • An object of the present embodiment is to make it possible to perform symbol insertion determination in consideration of the difference in the characteristics of the way of speaking for each speaker even under such circumstances.
  • the present embodiment newly includes a model relevance storage device 201 that stores the relevance of n symbol insertion models and m speech feature models, and the processing device 101 includes symbol insertion determination means 114.
  • a symbol insertion determining means 202 is provided.
  • the model relevance storage device 201 is stored in the speech feature model stored in the speech feature model storage device 104-i (1 ⁇ i ⁇ m) and the symbol insertion model storage device 103-j (1 ⁇ j ⁇ n).
  • the degree of association O i, j with the symbol insertion model is stored.
  • FIG. 7 shows an example of the association degree O i, j stored in the model association degree storage device 201.
  • the model relevance O 2,4 between the speech feature model stored in the speech feature model storage device 104-4 and the symbol insertion model stored in the symbol insertion model storage device 103-2 is: 0.03.
  • Each model relevance O i, j is a constant determined by the degree of overlap between the learning data used for learning the symbol insertion model and the learning data used for learning the speech style feature model.
  • the model relevance O i, j can be obtained using mutual information.
  • the symbol insertion determination unit 202 of the processing device 101 compares the symbol insertion score F i (w t , C k ) for each model of the i-th symbol insertion model as compared with the symbol insertion determination unit 114 in the first embodiment. The difference is that the calculation is performed using the following equation.
  • the model-specific symbol insertion score is obtained as in Equation (6) using the speech style feature similarity as a weight.
  • O i, j representing the degree of association (correspondence) between the data of the speech style feature model and the symbol insertion model is further weighted.
  • the symbol insertion score for each model into which the symbol C k is inserted is obtained.
  • the same effects as those of the first embodiment can be obtained, and at the same time, it is not always necessary to have a one-to-one correspondence between the speech style feature model and the symbol insertion model. Can be increased.
  • the speech recognition apparatus 300 recognizes the speech recognition by the processing apparatus 101 constituting the symbol insertion apparatus 100 or 200 according to the first or second embodiment.
  • Means 311 and word string information generation means 312 are newly provided, and a microphone 301 is connected to the processing apparatus 101.
  • the voice recognition unit 311 and the word string information generation unit 312 can be realized by a computer and a program constituting the processing device 101.
  • the voice signal input from the microphone 301 is transmitted to the voice recognition unit 311 of the processing device 101, where a known voice recognition process is performed, and the voice recognition result is output to the word string information generation unit 312.
  • the speech recognition result is given the time when the word was uttered and the part of speech information of the word (information such as part of speech and usage) and is output in a predetermined format. .
  • the word string information generation means 312 acquires the surface layer information and the part of speech information of the word by pattern matching with respect to the speech recognition result output in a predetermined format. Also, the pause length is calculated by taking the difference between the start time and the end time of the preceding and following words. Then, the word string information generating unit 312 generates the word string information 1021 as shown in FIG. 2 and stores it in the word string information storage unit 111.
  • symbols such as punctuation marks are inserted into the word string stored in the word string information storage unit 111 by the same configuration and operation as in the first or second embodiment.
  • a speech recognition apparatus that recognizes speech uttered by a speaker and automatically inserts symbols such as punctuation marks into the speech-recognized word string.
  • the present invention can be applied to uses such as a speech recognition device that converts a speech signal into text and a program for realizing the speech recognition device on a computer.
  • Applications such as content playback devices and content search devices that divide audio and video content into appropriate units and display / playback or search content in divided units, and transcription support devices for recorded audio data Can also be applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

　話者毎の話し方の特徴の違いを考慮した記号挿入判定を可能にする。記号挿入尤度計算手段１１３は、音声情報を文字化した単語列に対して、話し方の特徴別に設けられた複数の記号挿入モデル毎に記号挿入尤度を求める。話し方特徴類似度計算手段１１２は、単語列の話し方の特徴と複数の話し方特徴モデルとの類似度を求める。記号挿入判定手段１１４は、単語列について複数の記号挿入モデル毎に求められた記号挿入尤度に対して、単語列の話し方の特徴と複数の話し方特徴モデルとの類似度および記号挿入モデルと話し方特徴モデルとの関連度により重み付けを行って、単語列への記号挿入判定を行う。

Description

記号挿入装置および記号挿入方法
　本発明は、記号挿入装置および記号挿入方法に関し、特に書き起こしや音声認識したテキストに対して、句読点などの特定の記号を挿入する記号挿入装置および記号挿入方法に関する。
　講演や会議などで話者が発した音声を文字化して保存する際、日本語にあっては適切な箇所に句点を挿入することで、文の境界を明確にする必要がある。また、文中の適切な箇所に読点を挿入することで、節などの境界を明確にする必要もある。ところが、句点や読点などの記号自体は話者から明示的に発声されることはない。そのため、文字化された単語列中のどの箇所に記号を挿入すべきかを検出する技術が必要になる。本発明はそのような記号挿入技術に関する。
　本発明に関連する記号挿入技術の一例が非特許文献１の３．２節に記載されている。非特許文献１に記載される記号挿入技術では、話者がとるポーズの長さと、そのポーズの前後に現れる単語情報とを用いて文境界の検出を行う。具体的には、句点を含まないがポーズ情報を含む文字列Ｘと、句点を含む文字列Ｙとを別の言語と考え、統計的機械翻訳により、次式に示すようにＰ（Ｙ｜Ｘ）を最大にする文字列Ｙを求める問題として定式化する。
Figure JPOXMLDOC01-appb-M000001
　より具体的には、ポーズが句点に変換されうる（Ｐ（Ｘ｜Ｙ）＝１となる）全ての箇所に対して、句点を挿入する場合としない場合の言語モデル尤度Ｐ（Ｙ）を比較し、句点挿入の判定を行う。ここで、変換モデルＰ（Ｘ｜Ｙ）には、ポーズ前後の表現とポーズ長に依存するモデルを用いる。また言語モデル尤度Ｐ（Ｙ）の計算には、文境界が人手により付与されたＣＳＪ（日本語話し言葉コーパス）の書き起こしから学習された単語３－ｇｒａｍモデルを用いる。
下岡ら,"日本語話し言葉の係り受け解析と文境界推定の相互作用による高精度化,"自然言語処理,２００５年第１２巻３号。
　本発明に関連する上記の記号挿入技術によれば、或る話者が発した音声を文字化した単語列、たとえば「～保温効果が得られるとこれにより体感温度が約２度上昇します」という単語列において、「得られると」の直後のポーズ長が充分に長い場合に、その箇所が文境界と判断され、「～保温効果が得られると。これにより体感温度が約２度上昇します」というように句点が挿入される。反対に、「得られると」の直後のポーズ長が充分に短い場合は、その箇所は文境界と判断されず、「～保温効果が得られるとこれにより体感温度が約２度上昇します」全体が１文として扱われる。このように極端に長いポーズ長が現れる箇所では、話者の相違にかかわらず、記号挿入箇所を或る程度の精度で検出することができる。
　しかしながら、話し方は話者毎に相違するのが一般的であり、句読点挿入箇所でのポーズの取り方や句末・文末表現は話者によって異なる。例えば、「得られると」の直後のポーズ長が同じになる複数の話者でも、話速の早い人の場合、「得られると」直後のポーズ長が他の箇所のポーズ長よりも相対的に長くなるため、句点を挿入する箇所の可能性が高くなり、話速の遅い人の場合、その逆になる。また、「～得られると。」の如き「と文末」の言い回しを滅多にしない話者もいれば、そうでない話者もいる。
　本発明に関連する上記の記号挿入技術では、ＣＳＪ（日本語話し言葉コーパス）の書き起こしから学習された１種類のモデル（単語３－ｇｒａｍモデル）を使用して記号挿入尤度を算出しているため、話者毎の話し方の特徴の違いを考慮した記号挿入判定は行えない。
　本発明の目的は、言い回しやポーズの取り方といった話者の言語的、音響的な話し方の特徴に応じた記号挿入モデルを使用して記号の挿入判定を行うことにより、話者毎の話し方の特徴の違いを考慮した記号挿入判定を可能にすることにある。
　本発明の記号挿入装置は、音声情報を文字化した単語列に記号を挿入する記号挿入装置であって、記号挿入対象となる単語列について話し方の特徴別に設けられた複数の記号挿入モデル毎に求められた記号挿入尤度に対して、前記単語列の話し方の特徴と複数の話し方特徴モデルとの類似度および前記記号挿入モデルと前記話し方特徴モデルとの関連度により重み付けを行って、前記単語列への記号挿入判定を行う。
　本発明によれば、話者毎の話し方の特徴の違いを考慮した記号挿入判定が可能となる。その理由は、言い回しやポーズの取り方といった話者の言語的、音響的な話し方の特徴に応じた複数の記号挿入モデルのうち、入力単語列の話者の話し方の特徴にあった記号挿入モデルに重きをおいて記号の挿入判定を行うためである。
本発明の第１の実施の形態のブロック図である。 記号挿入対象となる単語列情報の構成例を示す図である。 本発明の第１の実施の形態における処理の流れを示すフローチャートである。 話し方特徴モデルと記号挿入モデルとを同じ学習データを用いて作成する方法の説明図である。 本発明の第１の実施の形態の実施例における処理の流れを示すフローチャートである。 本発明の第２の実施の形態のブロック図である。 記号挿入モデルと話し方特徴モデルとの関連度の一例を示す図である。 本発明の第３の実施の形態のブロック図である。
符号の説明
１００、２００…記号挿入装置
１０１…処理装置
１０２…入力装置
１０３－１～１０３－ｎ…記号挿入モデル記憶装置
１０４－１～１０４－ｎ…話し方特徴モデル記憶装置
１０５…出力装置
１１１…単語列情報記憶手段
１１２…話し方特徴類似度計算手段
１１３…記号挿入尤度計算手段
１１４、２０２…記号挿入判定手段
１１５…記号挿入済単語列情報記憶手段
２０１…モデル関連度記憶装置
３００…音声認識装置
３０１…マイクロフォン
３１１…音声認識手段
３１２…単語列情報生成手段
　次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。以下では、日本語による話し言葉の単語列に句読点を挿入する場合を例にするが、例えば英語による話し言葉の単語列にカンマやピリオドを挿入するなど、本発明は任意の言語および任意の記号について適用可能である。なお、スペースや改行なども本発明の記号の概念に含まれるものである。
『第１の実施の形態』
　図１を参照すると、本発明の第１の実施の形態に係る記号挿入装置１００は、処理装置１０１と、この処理装置１０１に接続された入力装置１０２、ｎ個の記号挿入モデル記憶装置１０３－１～１０３－ｎ、同じくｎ個の話し方特徴モデル記憶装置１０４－１～１０４－ｎおよび出力装置１０５とから構成されている。
　また、処理装置１０１は、単語列情報記憶手段１１１、話し方特徴類似度計算手段１１２、記号挿入尤度計算手段１１３、記号挿入判定手段１１４および記号挿入済単語列情報記憶手段１１５を備えている。
　話し方特徴類似度計算手段１１２、記号挿入尤度計算手段１１３および記号挿入判定手段１１４は、例えば処理装置１０１を構成するコンピュータとその上で実行されるプログラムとで実現することができる。プログラムは、磁気ディスク等のコンピュータ可読記録媒体に記録されており、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に話し方特徴類似度計算手段１１２、記号挿入尤度計算手段１１３および記号挿入判定手段１１４を実現する。また各記憶装置１０３－１～１０３－ｎ、１０４－１～１０４－ｎ、処理装置１０１中の単語列情報記憶手段１１１および記号挿入済単語列情報記憶手段１１５は、コンピュータに備わる主記憶や補助記憶装置で実現することができる。
　入力装置１０２は、記号挿入対象となる話し言葉の単語列の情報を処理装置１０１に入力する装置であり、キーボードやファイル装置、あるいはデータ受信装置などで構成される。話し言葉の単語列の情報は、書き起こしテキストや音声認識テキストに対して、話し方特徴類似度計算手段１１２および記号挿入尤度計算手段１１３で必要とする文法情報（たとえば品詞情報）および音響情報（たとえばポーズ情報）を付加したものである。
　単語列情報記憶手段１１１は、入力装置１０２から入力された単語列の情報を記憶する。図２を参照すると、単語列情報記憶手段１１１に記憶される単語列情報１０２１は、各単語毎の単語情報１０２２が単語の発声の順番通りに並べられている。また、各単語情報１０２２は、当該単語の表層情報１０２３、当該単語の品詞や活用形を示す品詞情報１０２４、当該単語と直後の単語との間のポーズ長１０２５、その他の情報を含んでいる。その他の情報としては、話速などがある。
　記号挿入モデル記憶装置１０３－１～１０３－ｎは、話し方の特徴がそれぞれ異なる話者の学習データを用いて学習した記号挿入モデルを記憶する。記号挿入モデルは、言語情報（単語の表層情報、品詞情報など）および音響情報（ポーズ情報など）を用いて、句点および読点の挿入する確率をモデル化したものである。記号挿入モデルは、記号付き単語ｎ－ｇｒａｍモデルやサポートベクターマシン（ＳＶＭ）、条件付確率場（ＣＲＦ）などの識別モデル（非特許文献１）、ルールベースのモデルなどの公知の技術を用いて作成可能である。個々の記号挿入モデル自体は、非特許文献１などで用いられる記号挿入のモデルと同じであり、それぞれ異なる話し方の特徴別に記号挿入モデルが設けられている点が従来との相違点である。
　記号挿入尤度計算手段１１３は、単語列情報記憶手段１１１から単語情報１０２２の単位で単語列情報１０２１を読み出し、各単語情報１０２２毎に、その単語情報を持つ単語の直後に句点および読点が挿入される確度の高さを示す記号挿入尤度および句読点が挿入されない確度の高さを示す記号挿入尤度を、記号挿入モデル記憶装置１０３－１～１０３－ｎに記憶された記号挿入モデル毎に計算する手段である。
　話し方特徴モデル記憶装置１０４－１～１０４－ｎは、話し方の特徴がそれぞれ異なる話者の学習データを用いて学習した話し方特徴モデルを記憶する。話し方特徴モデルは、話者の音声情報を利用して、話し方の特徴をモデル化したものである。音声情報には、言語情報（文末語尾表現の頻度情報など）や音響情報（ポーズ情報や話速の情報、発話継続時間長など）などが挙げられる。本実施の形態の場合、話し方特徴モデル記憶装置１０４－１～１０４－ｎは、記号挿入モデル記憶装置１０３－１～１０３－ｎに１対１に対応する。すなわち、話し方特徴モデル記憶装置１０４－ｉに記憶される話し方特徴モデルは、対応する記号挿入モデル記憶装置１０３－ｉに記憶される記号挿入モデルの学習に使用した学習データの話者の話し方の特徴をモデル化したものである。
　音響情報を用いる話し方特徴モデルの単純な例としては、例えば、単語別の話速値やポーズ長、文節単位もしくは発話単位での平均話速値や平均ポーズ長などがある。言語情報を用いる話し方特徴モデルの単純な例としては、文末語尾表現の頻度情報がある。話し方特徴モデルの他の例については後の実施例で詳細に説明する。
　話し方特徴類似度計算手段１１２は、単語列情報記憶手段１１１から単語情報１０２２の単位で単語列情報１０２１を読み出して、話し方の特徴を抽出し、この抽出した話し方の特徴と、話し方特徴モデル記憶装置１０４－１～１０４－ｎに記憶されている話し方特徴モデルでモデル化されている話し方の特徴との類似度を計算する手段である。ここで、単語列情報１０２１から話し方の特徴を抽出する単位は、予め定められた単語数毎としても良いし、１話者の全発話としても良く、また単語列情報記憶手段１１１に記憶されている単語列情報１０２１全体としても良い。
　記号挿入判定手段１１４は、単語列情報記憶手段１１１に記憶された単語列について記号挿入尤度計算手段１１３によって記号挿入モデル毎に求められた記号挿入尤度に対して、話し方特徴類似度計算手段１１２によって求められた当該単語列の話し方の特徴と複数の話し方特徴モデルとの類似度、および記号挿入モデルと話し方特徴モデルとの関連度により重み付けを行って、単語列への記号挿入判定を行い、その判定結果に従って記号を挿入した単語列の情報を記号挿入済単語列情報記憶手段１１５に保存する手段である。
　本実施の形態の場合、話し方特徴モデル記憶装置１０４－１～１０４－ｎと記号挿入モデル記憶装置１０３－１～１０３－ｎとは１対１に対応するため、記号挿入判定手段１１４は、記号挿入尤度計算手段１１３で求められた各記号挿入モデル別の記号挿入尤度に、対応する話し方特徴モデルとの類似度を乗じることで、重み付けを行う。
　また記号挿入判定手段１１４は、各記号挿入モデル別の重み付け後の記号挿入尤度を使って、例えば以下の何れかの方法で句読点の挿入可否および挿入する記号の種類を決定する。
（１）記号挿入判定方法１
　各記号挿入モデルの重み付け後の句点挿入尤度のうちの上位ｎ'個（ｎ'は１以上、ｎ以下の定数。以下同じ）の総和を句点の統合挿入尤度、各記号挿入モデルの重み付け後の読点挿入尤度のうちの上位ｎ'個の総和を読点の統合挿入尤度、各記号挿入モデルの重み付け後のＮＵＬＬ挿入尤度（句点も読点も挿入されない尤度）のうちの上位ｎ'個の総和をＮＵＬＬの統合挿入尤度として算出する。次に、統合挿入尤度の最も大きいものを記号挿入判定結果とする。例えば、３つの統合挿入尤度のうち、句点の統合挿入尤度が最も大きければ、句点を挿入する旨の判定結果を生成する。
（２）記号挿入判定方法２
　各記号挿入モデルの重み付け後の句点挿入尤度のうちの上位ｎ'個の総和を句点の統合挿入尤度、各記号挿入モデルの重み付け後の読点挿入尤度のうちの上位ｎ'個の総和を読点の統合挿入尤度として算出する。次に、複数の記号間に予め定められた優先順位が、例えば優先度の高い順に句点、読点であった場合、まず、句点の統合挿入尤度を予め定められた閾値と比較し、閾値以上であれば句点を挿入する旨の判定結果を生成する。句点の統合挿入尤度が閾値以上でなければ、次に、読点の統合挿入尤度を予め定められた閾値と比較し、閾値以上であれば読点を挿入する旨の判定結果を生成する。読点の統合挿入尤度が閾値以上でなければ、句読点は挿入しない旨の判定結果を生成する。
（３）記号挿入判定方法３
　各記号挿入モデル毎に、重み付け後の句点挿入尤度、重み付け後の読点挿入尤度、重み付け後のＮＵＬＬ挿入尤度のうち、最大の挿入尤度の記号（句点、読点、ＮＵＬＬ）を求め、全ての記号挿入モデルで最も多く求められた記号（句点、読点、ＮＵＬＬ）を多数決により求めて判定結果とする。
　出力装置１０５は、記号の挿入された単語列の情報を記号挿入済単語列情報記憶手段１１５から読み出して出力するディスプレイ、プリンタ、ファイル装置、データ送信装置などである。
　次に、本実施の形態の全体の動作について図３のフローチャートを参照して詳細に説明する。
　処理装置１０１は、入力装置１０２から記号挿入対象となる単語列の情報が入力されると、それらを図２に示したように単語列情報記憶手段１１１に記憶する（Ｓ１０１）。
　次に処理装置１０１は、話し方特徴類似度計算手段１１２により、単語列情報記憶手段１１１に記憶された単語列の情報１０２１を読み出し、言い回しの特徴やポーズの取り方などの言語的あるいは音響的な話し方の特徴を抽出する（Ｓ１０２）。話し方の特徴を抽出する単位は、単語列情報記憶手段１１１に記憶されている単語列情報１０２１全体としても良いし、予め定められた単語数毎としても良い。次に処理装置１０１は、話し方特徴類似度計算手段１１２により、話し方特徴モデル記憶装置１０４－１～１０４－ｎから話し方特徴モデルを読み出し、ステップＳ１０２で抽出した入力単語列の話し方の特徴との類似度を、それぞれの話し方特徴モデル毎かつ抽出単位毎に算出する（Ｓ１０３）。ここで算出された話し方特徴モデル毎かつ抽出単位毎の類似度は、記号挿入判定が済むまで話し方特徴類似度計算手段１１２内の図示しないメモリに保存される。
　次に処理装置１０１は、単語列情報記憶手段１１１に記憶された単語列の情報１０２１中の先頭の１つの単語情報１０２２に含まれる単語に注目する（Ｓ１０４）。次に、記号挿入モデル記憶装置１０３－１～１０３－ｎから記号挿入モデルを読み出し、注目中の単語の直後に句点を挿入する句点挿入尤度、読点を挿入する読点挿入尤度および何も挿入しないＮＵＬＬ挿入尤度をそれぞれの記号挿入モデル毎に算出する（Ｓ１０５）。
　次に処理装置１０１は、記号挿入尤度計算手段１１３により、各記号挿入モデル毎に求めた記号挿入尤度に、対応する話し方特徴モデルと入力単語列の話し方の特徴との類似度を乗じることで、重み付けを行う（Ｓ１０６）。ここで使用する類似度は、抽出単位毎に算出されて保存されている類似度のうち、注目中の単語が属する抽出単位のものである。
　次に処理装置１０１は、記号挿入尤度計算手段１１３により、前述した（１）～（３）の何れかの記号挿入判定方法に従って、注目中の単語の直後への句読点の挿入可否および挿入する場合には句点、読点の何れの記号であるかを決定する（Ｓ１０７）。そして、記号挿入尤度計算手段１１３により、記号挿入判定結果に従って注目中の単語を含む出力単語情報を生成し、記号挿入済単語列情報記憶手段１１５へ記憶する（Ｓ１０８）。つまり、句点を挿入すべきと判定した場合には、注目中の単語の情報の次に句点の情報を付加した出力単語情報を生成し、読点を挿入すべきと判定した場合には、注目中の単語の情報の次に読点の情報を付加した出力単語情報を生成し、ＮＵＬＬを挿入すべきと判定した場合には、注目中の単語の情報だけを含む出力単語情報を生成し、それぞれ記号挿入済単語列情報記憶手段１１５に記憶する。
　処理装置１０１は、単語列情報記憶手段１１１に記憶された単語列の情報１０２１中の先頭の単語に注目した処理を終えると、単語列の情報１０２１中の２番目の単語に注目を移し（Ｓ１０９）、ステップＳ１０５～Ｓ１０８の処理を繰り返す。処理装置１０１は、単語列情報記憶手段１１１に記憶された単語列の情報１０２１中の最後尾の単語に注目した処理まで完了すると（ステップＳ１１０でＹＥＳ）、記号挿入済単語列情報記憶手段１１５に記憶された記号挿入済みの単語列の情報を出力装置１０５から出力する（Ｓ１１１）。
　次に本実施の形態の効果を説明する。
　本実施の形態によれば、話者毎の話し方の特徴の違いを考慮した記号挿入判定を行うことができる。その理由は、言い回しやポーズの取り方といった話者の言語的、音響的な話し方の特徴に応じた複数の記号挿入モデルのうち、入力単語列の話者の話し方の特徴にあった記号挿入モデルに重きをおいて句読点の挿入判定を行うためである。
『第１の実施の形態の実施例』
　次に、話し方特徴モデル、記号挿入モデル、話し方特徴類似度計算、記号挿入尤度計算、記号挿入判定を中心に、本実施の形態の一実施例について説明する。
（１）話し方特徴モデルの作成例
　図４に示されるように、まず、話者Ａ～Ｚ毎の学習データＤＡ～ＤＺを準備する。話者Ａの学習データＤＡとしては、例えば、話者Ａの日常会話や講演などでの会話を録音した音声データ、あるいは、その音声データを人手によって文字化し、句点および読点を挿入し且つポーズ長などの音響的特徴量を付加したテキストデータが考えられる。話者Ａ以外の話者Ｂ～Ｚの学習データＤＢ～ＤＺについても同様である。
　次に、学習データＤＡ～ＤＺを用いて各話者Ａ～Ｚ毎の話し方特徴モデルＳＭＡ～ＳＭＺを作成する。本実施例では、話者毎の言語的、音響的特徴量を用いて話者毎の音声特徴モデルを作成する。使用する音響的特徴量としては、ポーズ長、話速などが考えられる。
　話者Ｙの学習データＤＹについて、記号Ｃｋ（句点および読点）が挿入されるべき箇所を見つけ出し、記号Ｃｋが挿入されるべき箇所の直前の単語ｗＹ，ｔと、ポーズ長dur(ｗＹ，ｔ,Ｃｋ)とを抽出する。話者Ｙの学習データＤＹ全てに対して前記情報を抽出した後、話し方特徴モデルの分布関数として、直後のポーズ長がdur(ｗＹ，ｔ,Ｃｋ)の単語ｗＹ，ｔの後ろに記号Ｃｋが挿入される音声特徴モデルの分布関数ｆdur(x,Y,Ｃｋ)を求める。ここで、xは音声特徴量であり、今の場合はポーズ長である。話者Ｙが発声した単語のうち、単語ｗＹ，ｔの発声した時のポーズ長がdur(ｗＹ，ｔ,Ｃｋ)で且つ記号Ｃｋが挿入される頻度をＮ(ｗＹ，ｔ,dur(ｗＹ，ｔ,Ｃｋ))とすると、分布関数ｆdur(x,Y,Ｃｋ)は次式で定義される。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、右辺の分母は、ポーズ長に関係なく学習データＤY中の単語ｗＹ，ｔの直後に記号Ｃｋが挿入された回数の合計を表し、分子は、ポーズの長さdur(ｗＹ，ｔ,Ｃｋ)がｘ以下のときに記号Ｃｋが挿入される回数の合計を表す。つまり、ポーズ長がｘ以下で記号Ｃｋが挿入されている割合を表しており、ポーズ長が変数である記号Ｃｋが挿入される尤度（確率）の累積関数となる。
　ここで、挿入する記号を句点、読点とし、Ｃ１が句点、Ｃ２が読点とすると、分布関数ｆdur(x,Y,C１)は、話者Ｙの話し方の特徴のうち、単語ｗＹ，ｔ直後での句点の使い方の特徴を表し、分布関数ｆdur(x,Y,C２)は、話者Ｙの話し方の特徴のうち、単語ｗＹ，ｔ直後での読点の使い方の特徴を表しているとも言える。
　ただし、記号が挿入されない時、すなわちＣｋ=NULLの時の分布関数ｆdur(x,Y,NULL)は次式で与えられるものとする。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、右辺の分母は式（２）と同様であり、分子は、ポーズの長さdur(ｗＹ，ｔ,NULL)が閾値ｘより大きいときに記号Ｃｋが挿入される回数の合計を表す。つまり、ポーズ長がｘより大きい時の記号"NULL"が挿入される割合を表す。
　以上の例では、音響的特徴量としてポーズ長を用いたが、話速などの他の音響的特徴量を用いることもできるし、ポーズ長と話速といったように複数種類の音響的特徴量を用いることもできる。複数種類の音響的特徴量を用いる場合、それぞれの音響的特徴量毎の分布関数が生成され、それらに対して重みが付与される。
　図４の話し方特徴モデルＳＭＹは、上述のようにして作成された話者Ｙの話し方特徴モデルの分布関数に相当する。また、図４の話し方特徴モデルＳＭＡ,ＳＭＢ,…,ＳＭＸ,ＳＭＺは、話者Ｙ以外の話者Ａ～Ｘ、Ｚについて話者Ｙと同様の方法で作成した話し方特徴モデルの分布関数に相当する。
　次に、話者Ａ～Ｚ毎の話し方特徴モデルＳＭＡ～ＳＭＺにおいて、分布関数が類似している２つのモデルどうしをボトムアップ手法で１つのモデルにまとめる。図４の例では、話し方特徴モデルＳＭＡとＳＭＢを１つの話し方特徴モデルＳＭＡＢに、…、話し方特徴モデルＳＭＹとＳＭＺを１つの話し方特徴モデルＳＭＹＺに、それぞれまとめている。まとめ上げる方法としては、公知のクラスタリングの手法を用いる。総数ｎ個にまとめ上げられた話し方特徴モデルが、最終的に図１のｎ個の話し方特徴モデル記憶装置１０４－１～１０４－ｎに記憶される。
（２）話し方特徴類似度計算の例
　話し方特徴類似度計算手段１１２は、単語列情報記憶手段１１１に記憶された単語の表層情報および音声特徴量（ポーズ情報など）と、話し方特徴モデル記憶手段１０４－１～１０４－ｎに記憶された話し方特徴モデルを構成する上述した分布関数とから、単語単位で、話し方の特徴の近さの尤度（話し方の特徴類似度）を計算する。具体的には、ある単語ｗtのｊ番目の音声特徴量の値をｘt,j、ｉ番目の話し方特徴モデル記憶手段１０４－ｉに記憶された話し方特徴モデルのｊ個目の音声特徴量の分布関数をｆj(ｘt,j,i,Cｋ)、その重みをａi,jとすると、ｉ番目の話し方特徴モデル記憶手段１０４－ｉに記憶された話し方特徴モデルとの話し方特徴類似度Ｔi,k(wｔ)は以下の式で計算される。
Figure JPOXMLDOC01-appb-M000004
　ここで、句読点挿入の場合、ＣｋはＣ１、Ｃ２、NULLの３通りである。従って、Ｔi,１(ｗt)は単語ｗt直後での句点の使い方の特徴に関する類似度、Ｔi,２(ｗt)は単語ｗt直後での読点の使い方の特徴に関する類似度、Ｔi,NULL(ｗt)は単語ｗt直後で句読点を使わないことの特徴に関する類似度を、それぞれ示していると言える。また、ポーズ長と話速との２つの音声特徴量を使用する場合、ｊの取りうる値は１および２になる。重みａi,jは、定数を用いてもよいし、予備実験を行って経験的に調整してもよい。また、最急降下法等の公知の技術により教師データを与えてあらかじめ推定してもよい。特徴量を抽出する単位は、前述したように単語列情報記憶手段１１１に記憶されている所定個数毎の単位としても良いし、記憶されている全単語をまとめて１単位としても良い。
（３）記号挿入モデルの作成例
　記号挿入モデルは、話し方特徴モデルと対応したデータ、すなわち話者別に分類した後、類似した特徴を持つモデルでボトムアップ式にクラスタリングした話し方特徴モデルを作成する上で使用した学習データ全てを用いて作成する。例えば図４における話し方特徴モデルＳＭＡＢ～ＳＭＹＺが最終的なｎ個の話し方特徴モデルであった場合、話し方特徴モデルＳＭＡＢに１対１対応の記号挿入モデルＫＭＡＢは、話者Ａの学習データＤＡと話者Ｂの学習データＤＢから生成する。記号挿入モデルは、前述したように記号付き単語ｎ－ｇｒａｍモデルなどの公知の技術を用いて作成することができる。作成された記号挿入モデルＫＭＡＢ～ＫＭＹＺは、図１のｎ個の記号挿入モデル記憶装置１０３－１～１０３－ｎに記憶される。
（４）記号挿入尤度の計算例
　記号挿入尤度計算手段１１３は、単語列情報記憶手段１１１に記憶された各単語の表層情報や品詞情報等の情報と、記号挿入モデル記憶手段１０３－１～１０３－ｎに記憶された記号挿入モデルとを用いて、記号挿入モデル毎に、或る単語ｗtの直後に記号Ｃｋが挿入される（または記号が何も挿入されない（Ｃｋ=NULL））確度の高さを示す記号挿入尤度を求める。単語情報Ｗtを持つ単語ｗtの直後に記号Ｃｋが挿入される記号挿入尤度Ｓi,k(ｗt)は、前記公知の技術によって学習された、ｉ番目の記号挿入モデルに対する単語情報Ｗを持つ単語ｗの直後に記号Ｃが挿入される尤度関数ｇi(W,C)を用いて、以下の式で表される。
Figure JPOXMLDOC01-appb-M000005
　式（５）において、右辺の分子のｇi(Ｗt,Ｃｋ）は、ｎ単語（ｎ＞１）の単語情報を入力としたときの単語ｗtの直後に記号Ｃｋが挿入される尤度であり、その尤度を単語ｗtの直後に挿入されうる記号について正規化したのがＳi,k(ｗt)となる。
（５）記号挿入判定
（５－１）例１
　記号挿入判定手段１１４は、まず、記号挿入尤度計算手段１１３で計算された記号挿入尤度と話し方特徴類似度計算手段１１２で計算される話し方類似度とを用いてモデル別記号挿入スコアを計算する。具体的には、ｉ番目の記号挿入モデルのモデル別記号挿入スコアFi(ｗt,Ｃｋ)は、単語ｗtについての話し方特徴モデル記憶装置１０４－ｉの話し方特徴モデルに対する音声特徴類似度Ｔi,k(ｗt)と、記号挿入モデル記憶装置１０３－ｉに記憶された記号挿入モデルに対する記号挿入尤度Si,k(ｗt)とを用いて、以下の式で計算する。
Figure JPOXMLDOC01-appb-M000006
　すなわち、ｉ番目の記号挿入モデルにおける単語ｗtの直後に句点が挿入されるモデル別記号挿入スコアFi(ｗt,C１)は、ｉ番目の記号挿入モデルから計算された単語ｗtの直後に句点が挿入される尤度Ｓi,１(ｗt)に、ｉ番目の話し方特徴モデルから計算された単語ｗt直後での句点の使い方の特徴に関する類似度Ｔi,１(ｗt)を重みとして乗じて計算される。また、ｉ番目の記号挿入モデルにおける単語ｗtの直後に読点が挿入されるモデル別記号挿入スコアFi(ｗt,C２)は、ｉ番目の記号挿入モデルから計算された単語ｗtの直後に読点が挿入される尤度Ｓi,２(ｗt)に、ｉ番目の話し方特徴モデルから計算された単語ｗt直後での読点の使い方の特徴に関する類似度Ｔi,２(ｗt)を重みとして乗じて計算される。さらに、ｉ番目の記号挿入モデルにおける単語ｗtの直後に句読点が挿入されないモデル別記号挿入スコアFi(ｗt,CNULL)は、ｉ番目の記号挿入モデルから計算された単語ｗtの直後に句読点が挿入されない尤度Ｓi,NULL(ｗt)に、ｉ番目の話し方特徴モデルから計算された単語ｗt直後に句読点を置かないことの特徴に関する類似度Ｔi,NULL(ｗt)を重みとして乗じて計算される。
　次に記号挿入判定手段１１４は、記号挿入判定に用いる統合記号挿入スコアF(ｗt,Ｃｋ)を、モデル別記号挿入スコアFi(ｗt,Ｃｋ)を用いて以下の式で計算する。
Figure JPOXMLDOC01-appb-M000007
　記号挿入スコアF(ｗt,Ｃｋ)を求める記号挿入尤度の個数ｎ'は、記号挿入モデル（もしくは音声特徴モデル）の個数と一致していても良いし(n'＝n)、尤度の高いものから１つ以上選択するのでも良い(n'≠n)。
　次に記号挿入判定手段１１４は、以下の式に示すように、統合記号挿入スコアF(ｗt,Ｃｋ)が最も大きくなった記号Ｃ^を出力する。ただし、Ｃ^=(NULL)(「記号挿入なし」）のときは、何も記号を挿入しない。
Figure JPOXMLDOC01-appb-M000008
（５－２）例２
　記号挿入判定手段１１４は、例１と同様にして、記号挿入判定に用いる統合記号挿入スコアF(ｗt,Ｃｋ)を計算する。
　次に記号挿入判定手段１１４は、次式に示すように、統合記号挿入スコアF(ｗt,Ｃｋ)が閾値θｋより大きい場合に、単語ｗtの直後に記号を挿入する。ここで、閾値θｋは、記号Ｃｋの種類によって異なっていても良く、調整可能である。挿入する記号の候補が句点、読点のように複数ある場合は、記号挿入の優先度をあらかじめ定めておき、優先度順に閾値の判定を行う。
Figure JPOXMLDOC01-appb-M000009
（５－３）例３
　記号挿入判定手段１１４は、例１と同様にして、モデル別記号挿入スコアFi(ｗt,Ｃｋ)を計算する。次に、記号挿入モデル毎に記号挿入判定を行い、最も多く判定された記号を最終出力とする。具体的には、まず、次式に示すように、モデル別記号挿入スコアFi(ｗt,Ｃｋ)が最大となった記号Ｃ^iを全ての記号挿入モデルについて求める。
Figure JPOXMLDOC01-appb-M000010
　次に、次式に示すように、Ｃ^ i＝Ｃｋとなったモデル数を比較して、その数が最大となった記号Ｃ^を出力する。
Figure JPOXMLDOC01-appb-M000011
　ただし、δijは、ｉ＝ｊのときに１、それ以外のときに０をとる。
　次に、本実施例の全体の動作について図５のフローチャートを参照して詳細に説明する。
　処理装置１０１は、入力装置１０２から記号挿入対象となる単語列の情報が入力されると、それらを図２に示したように単語列情報記憶手段１１１に記憶する（図５のＳ２０１）。
　次に処理装置１０１は、単語列情報記憶手段１１１に記憶された単語列の情報１０２１中の先頭の１つの単語情報１０２２に含まれる単語に注目する（Ｓ２０２）。
　次に処理装置１０１は、話し方特徴類似度計算手段１１２により、注目中の単語の単語情報を単語列情報記憶手段１１１から読み出すと共に、話し方特徴モデル記憶装置１０４－１～１０４－ｎから話し方特徴モデルを読み出し、式（４）を用いて、注目中の単語とｎ個の話し方特徴モデルとの話し方の類似度を、句点、読点、ＮＵＬＬの各挿入記号別に算出する（Ｓ２０３）。
　次に処理装置１０１は、記号挿入尤度計算手段１１３により、注目中の単語の単語情報を単語列情報記憶手段１１１から読み出すと共に、記号挿入モデル記憶装置１０３－１～１０３－ｎから記号挿入モデルを読み出し、式（５）を用いて、注目中の単語の直後に句点、読点、ＮＵＬＬが挿入される記号挿入尤度をｎ個の記号挿入モデル別に算出する（Ｓ２０４）。
　次に処理装置１０１は、記号挿入尤度計算手段１１３により、式（６）を用いて、各記号挿入モデル毎に求めた記号挿入尤度に、対応する話し方特徴モデルと注目単語との話し方の類似度を乗じることで、重み付けを行う（Ｓ２０５）。
　次に処理装置１０１は、記号挿入尤度計算手段１１３により、前述した例１～例３の何れかの記号挿入判定方法に従って、注目中の単語の直後への句読点の挿入可否および挿入する場合には句点、読点の何れの記号であるかを決定する（Ｓ２０６）。そして、記号挿入尤度計算手段１１３により、記号挿入判定結果に従って注目中の単語を含む出力単語情報を生成し、記号挿入済単語列情報記憶手段１１５へ記憶する（Ｓ２０７）。
　処理装置１０１は、単語列情報記憶手段１１１に記憶された単語列の情報１０２１中の先頭の単語に注目した処理を終えると、単語列の情報１０２１中の２番目の単語に注目を移し（Ｓ２０８）、ステップＳ２０３～Ｓ２０７の処理を繰り返す。処理装置１０１は、単語列情報記憶手段１１１に記憶された単語列の情報１０２１中の最後尾の単語に注目した処理まで完了すると（ステップＳ２０９でＹＥＳ）、記号挿入済単語列情報記憶手段１１５に記憶された記号挿入済みの単語列の情報を出力装置１０５から出力する（Ｓ２１０）。
　なお、図５のフローチャートでは、１つの単語に注目した処理の中でその単語の話し方の特徴類似度と記号挿入尤度とを算出するようにしたが、最初に全ての単語の話し方の特徴類似度を算出しておき、次に１つの単語ずつ注目して記号挿入尤度を算出するようにしても良い。ただし、その場合には、算出した特徴類似度を重み付け時点まで記憶しておく必要がある。
『第２の実施の形態』
　図６を参照すると、本発明の第２の実施の形態に係る記号挿入装置２００は、図１に示した第１の実施の形態に係る記号挿入装置１００と比較して、ｎ個の記号挿入モデル記憶装置１０３－１～１０３－ｎに記憶されるｎ個の記号挿入モデルとｍ個の話し方特徴モデル記憶装置１０４－１～１０４－ｍに記憶されるｍ個の話し方特徴モデルとは、１対１に対応していない点で相違する。
　図４を参照して説明したように、第１の実施の形態では、記号挿入モデルの作成に使用した学習データと、話し方特徴モデルの作成に使用した学習データとが同じあるため、記号挿入モデルと話し方特徴モデルとは１対１に対応していた。しかし、記号挿入モデルの作成に使用する学習データと話し方特徴モデルの作成に使用する学習データとは、モデルの作成の仕方によっては必ずしも同一になるとは限らず、或る記号挿入モデルの作成に使用する学習データの中に、複数の話し方特徴モデルの作成に使用した学習データが混在する場合もあり得る。
　例えば、図４において、各話者Ａ～Ｚの学習データＤＡ～ＤＺにｍ種類のジャンル（例えば、各話者がアナウンサーであるとした場合のニュース番組やバラエティ番組といったジャンル）のデータが含まれており、記号挿入モデルを各ジャンル別に作成し、話し方特徴モデルＳＭＡＢ～ＳＭＹＺについては第１の実施の形態と同じように作成したとすると、ｎ個の記号挿入モデルとｍ個の話し方特徴モデルとは１対１に対応しなくなる。本実施の形態は、このような状況の下でも、話者毎の話し方の特徴の違いを考慮した記号挿入判定を可能にすることを目的とする。
　そのために本実施の形態は、ｎ個の記号挿入モデルとｍ個の話し方特徴モデルとの関連度を記憶するモデル関連度記憶装置２０１を新たに備え、また処理装置１０１は、記号挿入判定手段１１４の代わりに記号挿入判定手段２０２を備えている。
　モデル関連度記憶装置２０１は、話し方特徴モデル記憶装置１０４－ｉ（１≦ｉ≦ｍ）に記憶された話し方特徴モデルと、記号挿入モデル記憶装置１０３－ｊ（１≦ｊ≦ｎ）に記憶された記号挿入モデルとの関連度Ｏi,jを記憶している。図７にモデル関連度記憶装置２０１に記憶された関連度Ｏi,jの一例を示す。この例によれば、例えば話し方特徴モデル記憶装置１０４－４に記憶された話し方特徴モデルと、記号挿入モデル記憶装置１０３－２に記憶された記号挿入モデルとのモデル関連度Ｏ2,4は、0.03となる。各モデル関連度Ｏi,jは、記号挿入モデルの学習に使用した学習データと話し方特徴モデルの学習に使用した学習データとの重複度により定まる定数である。モデル関連度Ｏi,jは、相互情報量などを用いて求めることができる。
　処理装置１０１の記号挿入判定手段２０２は、第１の実施の形態における記号挿入判定手段１１４と比較して、ｉ番目の記号挿入モデルのモデル別記号挿入スコアFi(ｗt,Ｃｋ)を、次式を使用して計算する点で相違する。
Figure JPOXMLDOC01-appb-M000012
　第１の実施の形態では話し方特徴モデルと記号挿入モデルが１対１に対応していたため、話し方特徴類似度を重みとして用いて式（６）のようにモデル別記号挿入スコアを求めたが、本実施の形態では話し方特徴モデルと記号挿入モデルとが１対１に対応していないため、話し方特徴モデルと記号挿入モデルのデータの関連度（対応関係）を表すＯi,jをさらに重みとして用いて、記号Ｃｋが挿入されるモデル別記号挿入スコアを求めている。
　上記算出したモデル別記号挿入スコアより記号挿入判定する方法を含め、その他の構成および動作は、第１の実施の形態と同じである。
　次に、本実施の形態の効果について説明する。
　本実施の形態によれば、第１の実施の形態と同様の効果が得られると同時に、話し方特徴モデルと記号挿入モデルとを必ずしも１対１に対応させる必要がないため、モデル作成の自由度を高めることができる。
『第３の実施の形態』
　図８を参照すると、本発明の第３の実施の形態に係る音声認識装置３００は、第１または第２の実施の形態に係る記号挿入装置１００または２００を構成する処理装置１０１に、音声認識手段３１１と単語列情報生成手段３１２とを新たに設け、かつ、処理装置１０１にマイクロフォン３０１を接続した構成を有する。音声認識手段３１１および単語列情報生成手段３１２は、処理装置１０１を構成するコンピュータとプログラムとによって実現することができる。
　マイクロフォン３０１から入力された音声信号は処理装置１０１の音声認識手段３１１に伝達され、そこで公知の音声認識処理が行われて、音声認識結果が単語列情報生成手段３１２に出力される。音声認識結果には、どの単語が話されたかという情報以外に、その単語が発せられた時刻やその単語の品詞情報（品詞や活用形などの情報）が付与され、所定のフォーマットで出力される。
　単語列情報生成手段３１２は、所定のフォーマットで出力された音声認識結果に対してパターンマッチングにより単語の表層情報、品詞情報を取得する。また、前後の単語の始端時刻、終端時刻の差を取ることによってポーズ長を計算する。そして、単語列情報生成手段３１２は、図２に示したような単語列情報１０２１を生成し、単語列情報記憶手段１１１に記憶する。
　以降、第１または第２の実施の形態と同様の構成および動作によって、単語列情報記憶手段１１１に記憶された単語列中への句読点などの記号の挿入が行われる。
　次に、本実施の形態の効果を説明する。
　本実施の形態によれば、話者が発する音声を音声認識し、この音声認識した単語列にして引き続き、句読点などの記号の挿入を自動的に行う音声認識装置が得られる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００８年２月１３日に出願された日本出願特願２００８－０３１２８７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、音声信号をテキスト化する音声認識装置や音声認識装置をコンピュータ上に実現するためのプログラムといった用途に適応できる。また、音声や映像コンテンツを適切な単位に区切って、分割された単位でコンテンツを表示・再生したり検索したりするコンテンツ再生装置やコンテンツ検索装置、録音された音声データの書き起こし支援装置といった用途にも適応可能である。

Claims (29)

  1. 　音声情報を文字化した単語列に記号を挿入する記号挿入装置であって、
    　記号挿入対象となる単語列について話し方の特徴別に設けられた複数の記号挿入モデル毎に求められた記号挿入尤度に対して、前記単語列の話し方の特徴と複数の話し方特徴モデルとの類似度および前記記号挿入モデルと前記話し方特徴モデルとの関連度により重み付けを行って、前記単語列への記号挿入判定を行うことを特徴とする記号挿入装置。
  2. 　前記単語列について前記複数の記号挿入モデル毎に記号挿入尤度を求める記号挿入尤度計算手段と、
    　前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度を求める話し方特徴類似度計算手段と、
    　前記単語列について前記複数の記号挿入モデル毎に求められた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および前記記号挿入モデルと前記話し方特徴モデルとの関連度により重み付けを行って、前記単語列への記号挿入判定を行う記号挿入判定手段とを備えることを特徴とする請求項１に記載の記号挿入装置。
  3. 　前記話し方の特徴とは、少なくとも音響的特徴量であることを特徴とする請求項１または２に記載の記号挿入装置。
  4. 　前記関連度は、記号挿入モデルの学習に使用した学習データと話し方特徴モデルの学習に使用した学習データとの重複度により定まる定数であることを特徴とする請求項２または３に記載の記号挿入装置。
  5. 　前記関連度を保持するモデル関連度記憶手段を備えることを特徴とする請求項２乃至４の何れか１項に記載の記号挿入装置。
  6. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、挿入される記号毎に、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内から選択した所定個数のモデル別記号挿入尤度の総和を計算し、総和が最大となった記号を挿入記号と判定することを特徴とする請求項２乃至５の何れか１項に記載の記号挿入装置。
  7. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、挿入される記号毎に、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内から選択した所定個数のモデル別記号挿入尤度の総和を計算し、総和を閾値と比較することによって記号挿入判定を行うことを特徴とする請求項２乃至５の何れか１項に記載の記号挿入装置。
  8. 　前記記号挿入判定手段は、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内、尤度の高いものから順に所定個数を選択することを特徴とする請求項６または７に記載の記号挿入装置。
  9. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、記号挿入モデル毎に、モデル別記号挿入尤度が最大となる挿入記号を求め、各記号挿入モデル毎に求められた挿入記号の多数決により記号挿入判定を行うことを特徴とする請求項２乃至５の何れか１項に記載の記号挿入装置。
  10. 　入力音声に対して音声認識を行って音声認識結果を出力する音声認識手段と、該音声認識手段から出力された音声認識結果から請求項１乃至９の何れか１項に記載される記号挿入装置に入力する記号挿入対象となる単語列を生成する単語列情報生成手段とを備えることを特徴とする音声認識装置。
  11. 　音声情報を文字化した単語列に記号を挿入する記号挿入方法であって、
    　記号挿入対象となる単語列について話し方の特徴別に設けられた複数の記号挿入モデル毎に求められた記号挿入尤度に対して、前記単語列の話し方の特徴と複数の話し方特徴モデルとの類似度および前記記号挿入モデルと前記話し方特徴モデルとの関連度により重み付けを行って、前記単語列への記号挿入判定を行うことを特徴とする記号挿入方法。
  12. 　記号挿入尤度計算手段が、前記単語列について前記複数の記号挿入モデル毎に記号挿入尤度を求める記号挿入尤度計算ステップと、
    　話し方特徴類似度計算手段が、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度を求める話し方特徴類似度計算ステップと、
    　記号挿入判定手段が、前記単語列について前記複数の記号挿入モデル毎に求められた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および前記記号挿入モデルと前記話し方特徴モデルとの関連度により重み付けを行って、前記単語列への記号挿入判定を行う記号挿入判定ステップとを含むことを特徴とする請求項１１に記載の記号挿入方法。
  13. 　前記話し方の特徴とは、少なくとも音響的特徴量であることを特徴とする請求項１１または１２に記載の記号挿入方法。
  14. 　前記関連度は、記号挿入モデルの学習に使用した学習データと話し方特徴モデルの学習に使用した学習データとの重複度により定まる定数であることを特徴とする請求項１２または１３に記載の記号挿入方法。
  15. 　前記記号挿入判定手段は、前記関連度を保持するモデル関連度記憶手段から前記関連度を入力することを特徴とする請求項１２乃至１４の何れか１項に記載の記号挿入方法。
  16. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、挿入される記号毎に、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内から選択した所定個数のモデル別記号挿入尤度の総和を計算し、総和が最大となった記号を挿入記号と判定することを特徴とする請求項１２乃至１５の何れか１項に記載の記号挿入方法。
  17. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、挿入される記号毎に、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内から選択した所定個数のモデル別記号挿入尤度の総和を計算し、総和を閾値と比較することによって記号挿入判定を行うことを特徴とする請求項１２乃至１５の何れか１項に記載の記号挿入方法。
  18. 　前記記号挿入判定手段は、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内、尤度の高いものから順に所定個数を選択することを特徴とする請求項１６または１７に記載の記号挿入方法。
  19. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、記号挿入モデル毎に、モデル別記号挿入尤度が最大となる挿入記号を求め、各記号挿入モデル毎に求められた挿入記号の多数決により記号挿入判定を行うことを特徴とする請求項１２乃至１５の何れか１項に記載の記号挿入方法。
  20. 　音声情報を文字化した単語列に記号を挿入する記号挿入装置を構成するコンピュータを、記号挿入対象となる単語列について話し方の特徴別に設けられた複数の記号挿入モデル毎に求められた記号挿入尤度に対して、前記単語列の話し方の特徴と複数の話し方特徴モデルとの類似度および前記記号挿入モデルと前記話し方特徴モデルとの関連度により重み付けを行って、前記単語列への記号挿入判定を行う手段として機能させるためのプログラム。
  21. 　前記コンピュータを、
    　前記単語列について前記複数の記号挿入モデル毎に記号挿入尤度を求める記号挿入尤度計算手段と、
    　前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度を求める話し方特徴類似度計算手段と、
    　前記単語列について前記複数の記号挿入モデル毎に求められた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および前記記号挿入モデルと前記話し方特徴モデルとの関連度により重み付けを行って、前記単語列への記号挿入判定を行う記号挿入判定手段として機能させるための請求項２０に記載のプログラム。
  22. 　前記話し方の特徴とは、少なくとも音響的特徴量であることを特徴とする請求項２０または２１に記載のプログラム。
  23. 　前記関連度は、記号挿入モデルの学習に使用した学習データと話し方特徴モデルの学習に使用した学習データとの重複度により定まる定数であることを特徴とする請求項２１または２２に記載のプログラム。
  24. 　前記コンピュータは、前記関連度を保持するモデル関連度記憶手段を備えることを特徴とする請求項２１乃至２３の何れか１項に記載のプログラム。
  25. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、挿入される記号毎に、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内から選択した所定個数のモデル別記号挿入尤度の総和を計算し、総和が最大となった記号を挿入記号と判定することを特徴とする請求項２１乃至２４の何れか１項に記載のプログラム。
  26. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、挿入される記号毎に、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内から選択した所定個数のモデル別記号挿入尤度の総和を計算し、総和を閾値と比較することによって記号挿入判定を行うことを特徴とする請求項２１乃至２４の何れか１項に記載のプログラム。
  27. 　前記記号挿入判定手段は、複数の記号挿入モデルについて求めた複数のモデル別記号挿入尤度の内、尤度の高いものから順に所定個数を選択することを特徴とする請求項２５または２６に記載のプログラム。
  28. 　前記記号挿入判定手段は、前記単語列について或る記号挿入モデルで求めた記号挿入尤度に対して、前記単語列の話し方の特徴と前記複数の話し方特徴モデルとの類似度および当該記号挿入モデルと前記複数の話し方特徴モデルとの関連度により重み付けを行った記号挿入尤度をモデル別記号挿入尤度と定義するとき、記号挿入モデル毎に、モデル別記号挿入尤度が最大となる挿入記号を求め、各記号挿入モデル毎に求められた挿入記号の多数決により記号挿入判定を行うことを特徴とする請求項２１乃至２４の何れか１項に記載のプログラム。
  29. 　前記コンピュータを、さらに、入力音声に対して音声認識を行って音声認識結果を出力する音声認識手段と、該音声認識手段から出力された音声認識結果から前記記号挿入対象となる単語列を生成する単語列情報生成手段として機能させるための請求項２０乃至２８の何れか１項に記載のプログラム。
PCT/JP2009/050641 2008-02-13 2009-01-19 記号挿入装置および記号挿入方法 WO2009101837A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009553380A JP5141695B2 (ja) 2008-02-13 2009-01-19 記号挿入装置および記号挿入方法
US12/863,945 US8577679B2 (en) 2008-02-13 2009-01-19 Symbol insertion apparatus and symbol insertion method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008031287 2008-02-13
JP2008-031287 2008-02-13

Publications (1)

Publication Number Publication Date
WO2009101837A1 true WO2009101837A1 (ja) 2009-08-20

Family

ID=40956867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/050641 WO2009101837A1 (ja) 2008-02-13 2009-01-19 記号挿入装置および記号挿入方法

Country Status (3)

Country Link
US (1) US8577679B2 (ja)
JP (1) JP5141695B2 (ja)
WO (1) WO2009101837A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103474062A (zh) * 2012-08-06 2013-12-25 苏州沃通信息科技有限公司 一种语音识别方法
JP2015219480A (ja) * 2014-05-21 2015-12-07 日本電信電話株式会社 対話状況特徴計算装置、文末記号推定装置、これらの方法及びプログラム
JP2020064370A (ja) * 2018-10-15 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法
JP2020064630A (ja) * 2019-10-11 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法
JP2020160782A (ja) * 2019-03-26 2020-10-01 日本放送協会 自然言語データ処理装置およびプログラム
WO2023100433A1 (ja) * 2021-11-30 2023-06-08 株式会社Ｎｔｔドコモ 文字列出力装置
WO2024029152A1 (ja) * 2022-08-05 2024-02-08 株式会社Ｎｔｔドコモ 区切り記号挿入装置及び音声認識システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8719004B2 (en) * 2009-03-19 2014-05-06 Ditech Networks, Inc. Systems and methods for punctuating voicemail transcriptions
CN104143331B (zh) 2013-05-24 2015-12-09 腾讯科技（深圳）有限公司 一种添加标点的方法和系统
CN104142915B (zh) * 2013-05-24 2016-02-24 腾讯科技（深圳）有限公司 一种添加标点的方法和系统
US9508338B1 (en) * 2013-11-15 2016-11-29 Amazon Technologies, Inc. Inserting breath sounds into text-to-speech output
US9607613B2 (en) 2014-04-23 2017-03-28 Google Inc. Speech endpointing based on word comparisons
US10269341B2 (en) 2015-10-19 2019-04-23 Google Llc Speech endpointing
US20170110118A1 (en) * 2015-10-19 2017-04-20 Google Inc. Speech endpointing
KR101942521B1 (ko) 2015-10-19 2019-01-28 구글 엘엘씨 음성 엔드포인팅
US10929754B2 (en) 2017-06-06 2021-02-23 Google Llc Unified endpointer using multitask and multidomain learning
CN112581982B (zh) 2017-06-06 2024-06-25 谷歌有限责任公司 询问结束检测
JP6728116B2 (ja) * 2017-09-21 2020-07-22 株式会社東芝 音声認識装置、音声認識方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6234200A (ja) * 1985-08-08 1987-02-14 工業技術院長 韻律情報を利用した会話音声理解方法
JP2000029496A (ja) * 1998-05-13 2000-01-28 Internatl Business Mach Corp <Ibm> 連続音声認識において句読点を自動的に生成する装置および方法
JP2001134289A (ja) * 1999-11-08 2001-05-18 Just Syst Corp 音声認識システム、方法及び記録媒体
JP2003295888A (ja) * 2002-04-04 2003-10-15 Mitsubishi Electric Corp 音声認識装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0693221B2 (ja) * 1985-06-12 1994-11-16 株式会社日立製作所 音声入力装置
CA2119397C (en) * 1993-03-19 2007-10-02 Kim E.A. Silverman Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation
JP3232289B2 (ja) * 1999-08-30 2001-11-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 記号挿入装置およびその方法
JP4229627B2 (ja) * 2002-03-28 2009-02-25 株式会社東芝 ディクテーション装置、方法及びプログラム
EP1422692A3 (en) * 2002-11-22 2004-07-14 ScanSoft, Inc. Automatic insertion of non-verbalized punctuation in speech recognition
US8095364B2 (en) * 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6234200A (ja) * 1985-08-08 1987-02-14 工業技術院長 韻律情報を利用した会話音声理解方法
JP2000029496A (ja) * 1998-05-13 2000-01-28 Internatl Business Mach Corp <Ibm> 連続音声認識において句読点を自動的に生成する装置および方法
JP2001134289A (ja) * 1999-11-08 2001-05-18 Just Syst Corp 音声認識システム、方法及び記録媒体
JP2003295888A (ja) * 2002-04-04 2003-10-15 Mitsubishi Electric Corp 音声認識装置及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103474062A (zh) * 2012-08-06 2013-12-25 苏州沃通信息科技有限公司 一种语音识别方法
JP2015219480A (ja) * 2014-05-21 2015-12-07 日本電信電話株式会社 対話状況特徴計算装置、文末記号推定装置、これらの方法及びプログラム
JP2020064370A (ja) * 2018-10-15 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法
JP2020160782A (ja) * 2019-03-26 2020-10-01 日本放送協会 自然言語データ処理装置およびプログラム
JP7253951B2 (ja) 2019-03-26 2023-04-07 日本放送協会 自然言語データ処理装置およびプログラム
JP2020064630A (ja) * 2019-10-11 2020-04-23 株式会社野村総合研究所 文章記号挿入装置及びその方法
JP7229144B2 (ja) 2019-10-11 2023-02-27 株式会社野村総合研究所 文章記号挿入装置及びその方法
WO2023100433A1 (ja) * 2021-11-30 2023-06-08 株式会社Ｎｔｔドコモ 文字列出力装置
WO2024029152A1 (ja) * 2022-08-05 2024-02-08 株式会社Ｎｔｔドコモ 区切り記号挿入装置及び音声認識システム

Also Published As

Publication number Publication date
US20100292989A1 (en) 2010-11-18
JPWO2009101837A1 (ja) 2011-06-09
US8577679B2 (en) 2013-11-05
JP5141695B2 (ja) 2013-02-13

Similar Documents

Publication Publication Date Title
JP5141695B2 (ja) 記号挿入装置および記号挿入方法
US11727914B2 (en) Intent recognition and emotional text-to-speech learning
US10037758B2 (en) Device and method for understanding user intent
KR102582291B1 (ko) 감정 정보 기반의 음성 합성 방법 및 장치
JP4267385B2 (ja) 統計的言語モデル生成装置、音声認識装置、統計的言語モデル生成方法、音声認識方法、およびプログラム
US11189277B2 (en) Dynamic gazetteers for personalized entity recognition
JP5932869B2 (ja) Ｎ−ｇｒａｍ言語モデルの教師無し学習方法、学習装置、および学習プログラム
WO2005122144A1 (ja) 音声認識装置、音声認識方法、及びプログラム
TW201203222A (en) Voice stream augmented note taking
Deena et al. Recurrent neural network language model adaptation for multi-genre broadcast speech recognition and alignment
KR101677859B1 (ko) 지식 베이스를 이용하는 시스템 응답 생성 방법 및 이를 수행하는 장치
CN112669842A (zh) 人机对话控制方法、装置、计算机设备及存储介质
CN104750677A (zh) 语音传译装置、语音传译方法及语音传译程序
Ostrogonac et al. Morphology-based vs unsupervised word clustering for training language models for Serbian
CN117043859A (zh) 查找表循环语言模型
CN111508481B (zh) 语音唤醒模型的训练方法、装置、电子设备及存储介质
CN108899016B (zh) 一种语音文本规整方法、装置、设备及可读存储介质
Masumura et al. Training a Language Model Using Webdata for Large Vocabulary Japanese Spontaneous Speech Recognition.
CN115132170A (zh) 语种分类方法、装置及计算机可读存储介质
US11468897B2 (en) Systems and methods related to automated transcription of voice communications
JP2002091484A (ja) 言語モデル生成装置及びこれを用いた音声認識装置、言語モデル生成方法及びこれを用いた音声認識方法、並びに言語モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006107353A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4674609B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
Kawahara Intelligent transcription system based on spontaneous speech processing
KR102392992B1 (ko) 음성 인식 기능을 활성화시키는 호출 명령어 설정에 관한 사용자 인터페이싱 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09709820

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12863945

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009553380

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09709820

Country of ref document: EP

Kind code of ref document: A1