WO2011007627A1 - 音声処理装置および方法ならびに記憶媒体 - Google Patents

音声処理装置および方法ならびに記憶媒体 Download PDF

Info

Publication number
WO2011007627A1
WO2011007627A1 PCT/JP2010/059515 JP2010059515W WO2011007627A1 WO 2011007627 A1 WO2011007627 A1 WO 2011007627A1 JP 2010059515 W JP2010059515 W JP 2010059515W WO 2011007627 A1 WO2011007627 A1 WO 2011007627A1
Authority
WO
WIPO (PCT)
Prior art keywords
phrase
speech
recognition
word
unit
Prior art date
Application number
PCT/JP2010/059515
Other languages
English (en)
French (fr)
Inventor
健 花沢
長田　誠也
隆行 荒川
岡部　浩司
田中　大介
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011522761A priority Critical patent/JP5418596B2/ja
Priority to US13/383,527 priority patent/US9583095B2/en
Publication of WO2011007627A1 publication Critical patent/WO2011007627A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search

Definitions

  • the present invention relates to a speech processing apparatus and method for recognizing input speech, and a storage medium.
  • speech translation A technique of automatic interpretation (speech translation) by recognizing speech input by speech and translating the recognition result is known.
  • speech translation it is an important technique to output the translation result more immediately. For example, if it is possible to specify (set) the input speech, that is, the start and end of an utterance, based on the system specification or user instruction, the translation processing may be performed in the specified unit. By making it shorter, more immediate translation results can be obtained.
  • speech translation is performed on continuously input speech such as a telephone call, for example, it is not possible to specify the start and end of an utterance by a user instruction or the like. In such a case, the voice translation is simply performed until the call is temporarily interrupted, but this causes a long waiting time. In such a case, the technology and method for performing sequential speech translation are not so much developed and proposed.
  • the first recognition path is processed at a certain time interval by a multipath search method, and the stable section in the certain time interval is determined by the second recognition path.
  • a method of sequentially outputting the results of speech recognition has been proposed (see Patent Document 1).
  • a method has been developed in which the timing for driving the second recognition path is estimated based on the frame reliability, thereby eliminating the waste of speech processing by always performing the second recognition path at regular time intervals (Patent Literature). 2).
  • the above-described technology is a speech recognition technology, and there is no description on how to combine translation processing, which is a discrete process on speech content, after speech is recognized. Further, the recognition result obtained by the above-described technique is not always a unit suitable for translation.
  • Japanese Patent No. 3834169 JP 2004-12615 A Japanese Patent No. 3766111 Japanese Patent No. 3009642 JP 2008-269122 A
  • the present invention has been made to solve the above-described problems.
  • the real-time property is increased to shorten the waiting time, and the speech translation is performed sequentially with high accuracy.
  • the purpose is to be able to output the result.
  • the speech processing apparatus includes an analysis unit that detects and analyzes input speech and outputs a feature amount, and a speech recognition unit that performs speech recognition based on the feature amount and outputs a recognition result.
  • the speech recognition means includes phrase determination means for determining a phrase boundary based on a comparison between a hypothetical word group generated by speech recognition and a word representing a set phrase boundary, and the phrase determination means determines Outputs recognition results in phrase units by phrase boundaries.
  • the speech processing method includes an analysis step of detecting and analyzing input speech and outputting a feature amount, and a speech recognition step of performing speech recognition based on the feature amount and outputting a recognition result.
  • the speech recognition step includes a phrase determination step for determining a phrase boundary based on a comparison between a hypothetical word group generated by the speech recognition and a word representing the set phrase boundary, and the phrase determination step determines Outputs recognition results in phrase units by phrase boundaries.
  • the storage medium includes an analysis function for detecting and analyzing voice input to a computer and outputting a feature value to a computer, and a voice recognition function for performing voice recognition based on the feature value and outputting a recognition result.
  • the speech recognition function includes a phrase determination function that determines a phrase boundary based on a comparison between a hypothetical word group generated by speech recognition and a word representing a set phrase boundary, and the speech recognition function includes:
  • a computer-readable storage medium storing a program for realizing a function of outputting a recognition result in a phrase unit based on a phrase boundary determined by a phrase determination function.
  • the phrase boundary is determined based on the comparison between the hypothetical word group generated by the speech recognition and the word representing the set phrase boundary.
  • the speech translation result can be output sequentially with high accuracy by increasing the real-time property and shortening the waiting time for the speech input to.
  • FIG. 1 is a configuration diagram showing the configuration of the speech processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the speech processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 3 is a flowchart for explaining an operation example of the speech processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 4 is a configuration diagram showing the configuration of the call translation system according to the third embodiment of the present invention using the speech processing apparatus according to the second embodiment.
  • FIG. 5 is a flowchart for explaining an operation example of the system according to the third embodiment of the present invention.
  • FIG. 6 is a configuration diagram showing the configuration of the speech processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 1 is a configuration diagram showing the configuration of the speech processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the speech processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 3 is
  • FIG. 7 is a flowchart for explaining an operation example of the speech processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 8 is a configuration diagram illustrating a configuration of a caption generation system according to the fifth embodiment of the present invention using the four audio processing device according to the embodiment.
  • FIG. 9 is a flowchart for explaining an operation example of the system according to the fifth embodiment of the present invention.
  • FIG. 1 is a configuration diagram showing the configuration of the speech processing apparatus according to the first embodiment.
  • the speech processing apparatus first includes an analysis unit 101 that detects and analyzes input speech and outputs a feature value, and a speech recognition unit 102 that performs speech recognition based on the feature value and outputs a recognition result.
  • the speech recognition unit 102 includes a phrase determination unit 103 that determines a phrase boundary based on a comparison between a hypothetical word group generated by speech recognition and a word representing a set phrase boundary.
  • the speech recognition unit 102 outputs the recognition result in units of phrases based on the phrase boundaries determined by the phrase determination unit 103.
  • the analysis unit 101 detects and analyzes the input speech and outputs a feature value.
  • the phrase determination unit 103 determines a phrase boundary based on a comparison between a hypothetical word group generated by speech recognition and a word representing the set phrase boundary.
  • the speech recognition unit 102 outputs a recognition result in units of phrases based on the determined phrase boundaries.
  • speech translation is performed while determining phrase boundaries for translation.
  • the recognition result word string is extracted in a unit suitable for translation, and translation processing is performed.
  • the result of speech translation can be obtained sequentially. Since the phrase boundary is determined for a hypothetical word group generated by speech recognition, it is performed during the word search in the speech recognition process. Therefore, in the present embodiment, the phrase boundary is not determined after the recognition process is completed, so that there is little risk of impairing the sequentiality / real-time property of the recognition result output. Further, if the hypothesis likelihood and occupancy ratio are taken into consideration in the word search process, it is possible to suppress the deterioration of the speech recognition accuracy due to the sequential output of the recognition results.
  • FIG. 2 is a configuration diagram showing the configuration of the speech processing apparatus 200 according to the second embodiment.
  • the speech processing apparatus 200 includes an analysis unit 202, a speech recognition unit 203, an acoustic model storage unit 204, a recognition dictionary storage unit 205, a translation dictionary storage unit 206, and a translation unit 207.
  • the analysis unit 202 detects a voice section from the voice data input from the input unit 201, acoustically analyzes the detected section, and outputs a time series of a cepstrum, for example, a feature amount series.
  • a technique for performing voice detection and acoustic analysis is well known as a known technique, and detailed description thereof is omitted here.
  • the voice recognition unit 203 includes a distance calculation unit 231, a word search unit 232, and an output unit 234. Furthermore, the word search unit 232 includes a phrase determination unit 233.
  • the speech recognition unit 203 uses an acoustic model that gives acoustic accuracy and a recognition dictionary that includes words to be recognized, receives a feature amount sequence that is an output of the analysis unit 202, and outputs a recognition result word string as an output unit 234. To output.
  • the acoustic model is stored in the acoustic model storage unit 204, and the recognition dictionary is stored in the recognition dictionary storage unit 205.
  • the distance calculation unit 231 performs acoustic calculation of the feature amount series obtained from the analysis unit 202 using an acoustic model. Further, the word search unit 232 performs a word search for the distance calculation result by the distance calculation unit 231 using the recognition dictionary, and outputs a word string that becomes the recognition result.
  • the translation unit 207 receives the word string output by the speech recognition unit 203 as input, performs translation using the translation dictionary stored in the translation dictionary storage unit 206, and outputs the translation result.
  • the translation dictionary may include grammar knowledge for translation.
  • the above-described voice processing apparatus 200 is a general-purpose computer system, and includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and a nonvolatile storage device as components not shown.
  • the voice processing device 200 is a computer including, for example, a CPU, and reads an OS (Operation System) and a voice processing program stored in a storage medium 209 such as a RAM, a ROM, or a nonvolatile storage device. Voice processing is performed by executing. Thereby, the speech translation result can be sequentially output with respect to continuous input speech.
  • the voice processing apparatus 200 may be configured by a single computer or may be configured by a plurality of computers. The same applies to the other embodiments.
  • the acoustic model storage unit 204, the recognition dictionary storage unit 205, and the translation dictionary storage unit 206 are each a nonvolatile storage device such as a fixed disk, a magneto-optical disk, or a flash memory, or a volatile memory such as a DRAM (Dynamic Random Access Memory). As long as it is configured with a storage device of a sex.
  • the acoustic model storage unit 204, the recognition dictionary storage unit 205, and the translation dictionary storage unit 206 may be storage devices connected to the outside of the computer constituting the speech processing device 200.
  • step S301 a voice is input by the input unit 201.
  • the input unit 201 is a microphone, and for example, an English speech waveform input from the microphone is obtained.
  • step S302 the end of voice input is determined. For example, if the input voice exists, the subsequent processing is continued, but if it is finished, the processing is ended.
  • step S303 the analysis unit 202 detects a voice section from the input voice, acoustically analyzes the detected section, and outputs a feature amount series.
  • step S ⁇ b> 304 the distance calculation unit 231 of the speech recognition unit 203 calculates the distance between the feature amount series obtained from the analysis unit 202 and the acoustic model stored in the acoustic model storage unit 204.
  • the closeness between the input speech and the acoustic model is calculated.
  • the distance calculation unit 231 performs an acoustic distance calculation between the feature amount series obtained by the analysis unit 202 and the acoustic model, and outputs a distance calculation result.
  • the technique for calculating the distance from the acoustic model is well known as a known technique, and detailed description thereof is omitted here.
  • step S305 the word search unit 232 of the speech recognition unit 203 most likely uses the recognition dictionary stored in the recognition dictionary storage unit 205 for the distance calculation result obtained by the distance calculation unit 231.
  • a word string is searched and a hypothetical word (word hypothesis) is generated. For example, if the input speech is English, English speech recognition is performed to generate a word hypothesis consisting of a probable English word or word string.
  • the word search technique in speech recognition is well known as a known technique, and detailed description thereof is omitted here.
  • step S306 the phrase determination unit 233 of the word search unit 232 determines a phrase boundary based on a comparison between the obtained word hypothesis and a word representing the set phrase boundary. For example, using the property that the first word of a preposition phrase suitable as a translation unit for English is a preposition, a word whose preposition is a preposition is determined in advance as a word representing a phrase boundary.
  • the ratio of Hp to the total number of words Hall of the word hypothesis is determined in advance.
  • a predetermined threshold value Hthre is exceeded, in other words, when “Hp / Hall> Hthre” holds, the phrase boundary is determined.
  • the phrase boundary determination if the hypothesis occupancy exceeds a threshold value, for example, the start time of the most likely word hypothesis representing the phrase boundary is determined as the phrase boundary, and immediately before the determined start time, The maximum likelihood hypothesis as the end time of the previous phrase is output as the recognition result up to the end time.
  • a threshold value for example, the start time of the most likely word hypothesis representing the phrase boundary is determined as the phrase boundary, and immediately before the determined start time.
  • the maximum likelihood hypothesis as the end time of the previous phrase is output as the recognition result up to the end time.
  • the end time of the most likely word hypothesis representing the phrase boundary is determined as the phrase boundary, and the maximum likelihood hypothesis having the determined end time as the word end is recognized as the recognition result up to the determined end time. It can also be output.
  • the result is output from the output unit 234.
  • step S306 the process returns to step S301 to accept the next voice input.
  • the word representing the phrase boundary described above is preliminarily determined that the part of speech is a preposition.
  • the present invention is not limited thereto, and other parts of speech such as a conjunction, or punctuation marks and silence may be included.
  • other parts of speech such as a conjunction, or punctuation marks and silence may be included.
  • fillers connecting words
  • an algorithm for learning a model representing a phrase boundary is described in Patent Document 5.
  • the number of hypotheses within the same time when speech input is performed may be targeted for calculation, and the time width including the time immediately before or after a certain time is included.
  • the number of hypotheses in can be calculated.
  • the translation unit 207 uses the translation dictionary stored in the translation dictionary storage unit 206 for the recognition result word string up to the determined phrase boundary. Translate and output the translation result. For example, when the input language is English and the output language is Japanese, an English word string obtained as a recognition result word string is translated into English and a Japanese word string is output as a translation result.
  • the technique for translating a word string is well known as a known technique, and detailed description thereof is omitted here.
  • step S308 the translation result described above is output by the output unit 208 in a state visible to the user.
  • the process returns to step S301, and the above-described steps S301 to S308 are continued until the voice input is completed.
  • the hypothesis occupancy rate is used as a criterion for determination in the phrase determination unit 233.
  • a word hypothesis representing a phrase boundary is the maximum likelihood (first hypothesis) )
  • the likelihood difference with the next most likely word hypothesis (second hypothesis) exceeds a threshold
  • the start time or end time of the word representing the phrase boundary may be determined as the phrase boundary. good.
  • the speech processing apparatus 200 performs speech translation on a continuously input speech while determining phrase boundaries, that is, a recognition result word string in a unit suitable for translation. Are output and translated, so that it is possible to sequentially output speech translation results.
  • Phrase boundary determination is not performed after the recognition process is completed, but is performed in the process of word search in the speech recognition process, so there is little risk of impairing the sequentiality and real-time performance of the recognition result output. Also, by considering the likelihood and occupancy rate of the hypothesis during the word search process, it is possible to suppress the deterioration of the speech recognition accuracy due to the sequential output of recognition results.
  • FIG. 4 is a configuration diagram showing the configuration of the call translation system according to the third embodiment using the speech processing device 200.
  • This system includes a receiving unit 401, a voice synthesizing unit 408, an output unit 409, and a communication network 420 in addition to the voice processing device 200 in the second embodiment.
  • the communication network 420 is, for example, a public telephone network.
  • Communication network 420 may be an Internet communication network.
  • the receiving unit 401 receives audio input from the communication network 420 and outputs the received audio to the audio processing device 200.
  • the receiving unit 401 is a receiving unit in a telephone that realizes a voice call, for example.
  • the analysis unit 202 performs speech detection / analysis using the speech received by the reception unit 401 as an input.
  • the translation unit 207 sequentially outputs the translation results to the voice synthesis unit 408. For example, when the input language is English and the output language is Japanese, English-Japanese translation is performed and a Japanese word string is output as a translation result.
  • the speech synthesizer 408 synthesizes the translation results obtained sequentially and outputs synthesized speech. Specifically, for example, when a Japanese word string is obtained as a translation result, Japanese speech synthesis is performed. A technique for synthesizing text data into voice data is well known as a known technique, and detailed description thereof is omitted here.
  • the output unit 409 is, for example, a speaker, and outputs sound by using the sound data obtained by the sound synthesizing unit 408 as an input.
  • step S ⁇ b> 501 the reception unit 401 receives voice waveforms that are continuously input from the communication network 420.
  • step S502 the speech processing described in the second embodiment is performed by the processing of the analysis unit 202, speech recognition unit 203, and translation unit 207 in the speech processing apparatus 200, and the translation results are sequentially output. .
  • step S503 the speech synthesizer 408 synthesizes the translation result obtained from the speech processing apparatus 200 (S202). For example, a Japanese word string output as a translation result is synthesized with speech.
  • step S504 the output unit 409 outputs the synthesized voice from, for example, a speaker.
  • the audio data continuously received / input from the communication network 420 is sequentially processed, and as a result, the sequential speech translation results are output (synthesized speech output).
  • the speech translation result is output as synthesized speech.
  • the present invention is not limited to this and may be output as text information.
  • the above-described system is, for example, a general-purpose computer system, and includes a CPU, a RAM, a ROM, and a nonvolatile storage device as a configuration (not shown), and the CPU is stored in the RAM, ROM, or the nonvolatile storage device.
  • the OS and the call translation program are read and executed to perform the call translation process. As a result, the voice during a call can be translated and sequentially output.
  • the system described above does not have to be a single computer, and may be configured by a plurality of computers.
  • FIG. 6 is a configuration diagram showing the configuration of the audio processing device 600 according to the fourth embodiment.
  • the speech processing apparatus 600 includes an analysis unit 602, a speech recognition unit 603, an acoustic model storage unit 604, a recognition dictionary storage unit 605, a translation dictionary storage unit 606, and a translation unit 607.
  • the analysis unit 602 detects a voice section from the voice data input from the input unit 601, acoustically analyzes the detected section, and outputs a time series of, for example, a cepstrum, which is a feature amount series.
  • a technique for performing voice detection and acoustic analysis is well known as a known technique, and detailed description thereof is omitted here.
  • the voice recognition unit 603 includes a distance calculation unit 631 and a word search unit 632 therein.
  • the word search unit 632 includes a phrase determination unit 633.
  • phrase determining unit 633 includes section specifying unit 634.
  • the section specifying unit 634 is used by the phrase determining unit 633 for phrase determination for each set section, for example, for each section of 500 ms (milliseconds) of input speech based on section information from the start of input, for example, time information.
  • the threshold is temporarily changed within the set interval. For example, every 500 ms of input speech, the threshold used by the phrase determination unit 633 is reduced within this section, so that the phrase boundary is easily determined.
  • the sound processing device 600 is a general-purpose computer system, and includes a CPU, a RAM, a ROM (Read Only Memory), and a non-volatile storage device as components not shown.
  • the CPU reads the OS and the sound processing program stored in the RAM, ROM, or non-volatile storage device, and executes these to execute sound processing.
  • the speech translation result can be sequentially output with respect to continuous input speech.
  • the voice processing apparatus 600 may be configured by a single computer or a plurality of computers.
  • the acoustic model storage unit 604, the recognition dictionary storage unit 605, and the translation dictionary storage unit 606 are configured by a nonvolatile storage device such as a fixed disk, a magneto-optical disk, or a flash memory, or a volatile storage device such as a DRAM. It only has to be done.
  • the acoustic model storage unit 604, the recognition dictionary storage unit 605, and the translation dictionary storage unit 606 may be storage devices connected to the outside of the computer that constitutes the speech processing device 600.
  • step S701 a voice is input by the input unit 601.
  • the input unit 601 is a microphone, and for example, an English speech waveform input from the microphone is obtained.
  • step S702 the end of voice input is determined. For example, if the input voice exists, the subsequent processing is continued, but if it is finished, the processing is ended.
  • step S703 the analysis unit 602 detects a voice section from the input voice, acoustically analyzes the detected section, and outputs a feature amount series.
  • step S ⁇ b> 704 the distance calculation unit 631 of the speech recognition unit 603 calculates the distance between the feature amount sequence obtained from the analysis unit 602 and the acoustic model stored in the acoustic model storage unit 604.
  • the closeness between the input speech and the acoustic model is calculated.
  • the distance calculation unit 631 performs an acoustic distance calculation between the feature amount series obtained by the analysis unit 602 and the acoustic model, and outputs a distance calculation result.
  • the technique for calculating the distance from the acoustic model is well known as a known technique, and detailed description thereof is omitted here.
  • step S705 the word search unit 632 of the speech recognition unit 603 is most likely to use the recognition dictionary stored in the recognition dictionary storage unit 605 for the distance calculation result obtained by the distance calculation unit 631.
  • a word string is searched and a hypothetical word (word hypothesis) is generated. For example, if the input speech is English, English speech recognition is performed to generate a word hypothesis consisting of a probable English word or word string.
  • the word search technique in speech recognition is well known as a known technique, and detailed description thereof is omitted here.
  • step S706 in the word search unit 632, the section specifying unit 634 determines that a set time interval (for example, 500 milliseconds) has elapsed.
  • a set time interval for example, 500 milliseconds
  • step S706 is performed for the first time from the start of voice input (voice processing)
  • step S708 the section specifying unit 634 sets the threshold used by the phrase determining unit 633 to a value that is smaller by the set value.
  • step S708 the phrase determination unit 633 determines a phrase boundary based on a comparison between the obtained word hypothesis and a word representing the set phrase boundary.
  • the phrase determination unit 633 determines a phrase boundary in the same manner as the phrase determination unit 233 of the second embodiment described above. In this determination, if the hypothesis occupancy is equal to or less than the threshold (“N” in step S708), the process returns to step S701 to accept the next voice input.
  • step S709 the threshold used by the phrase determination unit 633 is initialized. Therefore, if the hypothesis occupancy rate is kept below the threshold value, the threshold value is decreased every time it is determined that the time interval set in step S706 has elapsed. For this reason, phrase boundaries are easily determined.
  • step S710 the translation unit 607 translates the recognition result word string up to the determined phrase boundary using the translation dictionary stored in the translation dictionary storage unit 606, and outputs the translation result.
  • the translation result described above is output in a state visible to the user by the output unit 608.
  • the process returns to step S701, and the above-described steps S701 to S711 are continued until the voice input is completed.
  • the speech processing apparatus 600 performs speech translation on a continuously input speech while determining phrase boundaries, that is, a recognition result word string in a unit suitable for translation. Are output and translated, so that it is possible to sequentially output speech translation results.
  • phrase boundaries that is, a recognition result word string in a unit suitable for translation.
  • the threshold for determining the phrase is changed and changed. For example, even if it is difficult to determine the phrase boundary, The boundary can be easily determined, and the translation processing can be performed more sequentially.
  • the phrase boundary determination is not performed after the recognition processing is completed, but is performed in the process of word search in the speech recognition processing, which may impair the sequentiality and real-time performance of the recognition result output. Few. Also, by considering the likelihood and occupancy rate of the hypothesis during the word search process, it is possible to suppress the deterioration of the speech recognition accuracy due to the sequential output of recognition results.
  • the threshold for phrase determination is changed every predetermined time until the phrase boundary is determined, but the present invention is not limited to this.
  • the threshold for phrase determination may be changed in two steps (twice) within a set fixed time.
  • FIG. 8 is a configuration diagram illustrating a configuration of a caption generation system according to the fifth embodiment using the audio processing device 600.
  • This system includes a reception unit 801, a shaping unit 808, an output unit 809, and a communication network 820 in addition to the audio processing device 600 in the fourth embodiment described above.
  • the receiving unit 801 receives audio input from the communication network 820 and outputs the received audio to the audio processing device 600.
  • the analysis unit 602 performs speech detection / analysis using the speech received by the reception unit 801 as an input.
  • the translation unit 607 sequentially outputs the translation results to the shaping unit 808. For example, when the input language is English and the output language is Japanese, English-Japanese translation is performed and a Japanese word string is output as a translation result.
  • the shaping unit 808 shapes the translation results (text data) obtained sequentially and outputs the shaped text data. Specifically, for example, when a Japanese word string is obtained as a translation result, a summary or a line feed is inserted. Techniques for performing summarization, line feed insertion, and the like on text data are well known as known techniques, and will not be described in detail here.
  • the output unit 809 is a display, for example, and performs audio output using the audio data obtained by the shaping unit 808 as an input.
  • step S ⁇ b> 901 the reception unit 801 receives voice waveforms that are continuously input from the communication network 820.
  • step S902 the speech processing described in Embodiment 4 is performed by the processing of the analysis unit 602, speech recognition unit 203, and translation unit 607 in the speech processing apparatus 600, and the translation results are sequentially output. .
  • step S903 the shaping unit 808 shapes the translation result obtained from the speech processing apparatus 200 (S202). For example, the Japanese word string (text data) output as the translation result is summarized and inserted into a new line, etc., formatted to be easy to see when displaying the text, and the formatted text data is output .
  • step S904 the output unit 809 displays and outputs the formatted text on a display, for example.
  • the voice data continuously received / input from the communication network 820 is sequentially voice-processed, and as a result, sequential translation results are output (formatted text data output).
  • sequential translation results are output (formatted text data output).
  • output may be performed at regular intervals. It can be said that the effect is high.
  • the above-described system is, for example, a general-purpose computer system, and includes a CPU, a RAM, a ROM, and a nonvolatile storage device as a configuration (not shown), and the CPU is stored in the RAM, ROM, or the nonvolatile storage device.
  • the OS and the call translation program are read and executed to perform the call translation process. As a result, the voice during a call can be translated and sequentially output.
  • the system described above does not have to be a single computer, and may be configured by a plurality of computers.
  • (Appendix 1) Analyzing means for detecting and analyzing the input speech and outputting a feature quantity; and speech recognition means for performing speech recognition based on the feature quantity and outputting a recognition result;
  • a phrase determination unit for determining a phrase boundary based on a comparison between a hypothetical word group generated by speech recognition and a word representing a set phrase boundary, and a phrase unit based on the phrase boundary determined by the phrase determination unit And outputting the recognition result.
  • phrase determination unit determines the phrase boundary based on a likelihood of a word representing the phrase boundary in a word group of the hypothesis.
  • phrase determination unit is configured such that the word hypothesis representing the phrase boundary is the maximum likelihood among all the word hypotheses, and the likelihood difference with the next most likely word hypothesis.
  • the speech processing apparatus is characterized in that the phrase boundary is determined when the threshold exceeds a set threshold.
  • Appendix 7 The speech processing apparatus according to appendix 6, wherein the word representing the phrase boundary is a preposition or a conjunction, and the phrase boundary is set immediately before the word.
  • the speech recognition function comprising: an analysis function for detecting and analyzing speech input to a computer and outputting a feature value; and a speech recognition function for performing speech recognition based on the feature value and outputting a recognition result.
  • a phrase determination function for determining a phrase boundary based on a comparison between a hypothetical word group generated by the speech recognition and a word representing a set phrase boundary, and the speech recognition function includes the phrase determination function
  • a computer-readable storage medium storing a program for realizing the function of outputting the recognition result in units of phrases based on the phrase boundaries determined in (1).
  • the present invention can be applied to applications such as speech input / translation services using speech recognition / machine translation technology.
  • 101 analysis unit, 102 ... voice recognition unit, 103 ... phrase determination unit.

Abstract

　音声認識部（１０２）は、音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定部（１０３）を備える。本音声処理装置では、句判定部（１０３）が判定した句境界による句の単位で、音声認識部（１０２）が認識結果を出力する。

Description

音声処理装置および方法ならびに記憶媒体
　本発明は、入力された音声を認識する音声処理装置および方法ならびに記憶媒体に関するものである。
　音声で入力された発話を音声認識し、認識結果を翻訳することによる自動通訳（音声翻訳）の技術が知られている。この音声翻訳では、より即時的に翻訳結果を出力することが重要な技術となる。例えば、システム側の指定あるいはユーザの指示などで、入力音声すなわち発話の始端および終端を指定（設定）することが可能な場合には、指定した単位で翻訳処理を行えばよいので、この単位を短くすることで、より即時的な翻訳結果を得ることができる。これに対し、例えば電話における通話など、次々と連続的に入力される音声に対して音声翻訳を行う場合には、ユーザの指示などで発話の始端および終端を指定することができない。このような場合、単純には、通話が一旦途切れるまで待って音声翻訳を行うことになるが、これでは、待ち時間が長くなりすぎる。また、このような場合に逐次的に音声翻訳を行う技術や方法は、あまり開発・提案されていない状況である。
　このような課題を解決するため、音声認識においては、マルチパス探索方式により、一定時間間隔で第１の認識パスを処理し、第２の認識パスで当該一定時間間隔中の安定区間を確定して出力し、逐次的に音声認識の結果出力を行う方法が提案されている（特許文献１参照）。また、第２の認識パスを駆動するタイミングをフレーム信頼度によって推定することにより、第２の認識パスを一定時間間隔で必ず行うことによる音声処理の無駄を省く方法も開発されている（特許文献２参照）。
　しかしながら、上述した技術は、音声認識の技術であり、発話内容に対して離散的な処理である翻訳処理を、音声を認識してからどの様に組み合わせるかについては、何ら述べられていない。また、上述した技術で得られる認識の結果が、翻訳に適した単位となっているとは限らない。
　一方、音声認識を行った後で構文解析を行い、文の始終端を構文の制約に基づいて与えることで、連続的な入力に対応する方法がある（特許文献３参照）。しかしながら、この方法では、音声認識の後段に構文解析を追加することで処理量の増加を招くとともに、認識結果出力のリアルタイム性を損なうという課題がある。
　また、音声認識において、言語モデルと経験的規則とポーズ長とを利用して句点を学習し、学習した句点を認識結果に挿入することで、認識結果の文境界を推定し、翻訳処理に適した単位として認識結果を出力する方法もある（特許文献４参照）。しかしながら、この方法では、連続的な入力に対して逐次的に認識結果を出力し、あるいは翻訳処理を行うためのリアルタイム性は考慮されていない。
特許第３８３４１６９号公報 特開２００４－１２６１５公報 特許第３７６６１１１号公報 特許第３００９６４２号公報 特開２００８－２６９１２２号公報
　上述したように、関連する技術では、連続的に入力される音声に対し、待ち時間を短くしてより即時的に高い精度で、音声翻訳結果を逐次的に出力することができない状況である。例えば、特許文献１および特許文献２の技術では、音声認識結果は逐次的に出力されるが、この後の翻訳処理については考慮されておらず、逐次的に出力される認識結果が翻訳に適した単位とは限らないという課題がある。また、特許文献３および特許文献４の技術では、音声認識結果から翻訳に適した文境界を指定することは可能となるが、連続的な入力に対するリアルタイム性が考慮されておらず、必ずしも出力が逐次的でなくなるためにユーザの待ち時間が増加する可能性がある。
　本発明は、以上のような問題点を解消するためになされたものであり、連続的に入力される音声に対し、リアルタイム性を高くして待ち時間を短くし、精度よく逐次的に音声翻訳結果が出力できるようにすることを目的とする。
　本発明に係る音声処理装置は、入力された音声を音声検出・分析して特徴量を出力する分析手段と、特徴量に基づいて音声認識を行い、認識結果を出力する音声認識手段とを備え、音声認識手段は、音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定手段を備え、この句判定手段が判定した句境界による句の単位で認識結果を出力する。
　本発明に係る音声処理方法は、入力された音声を音声検出・分析して特徴量を出力する分析ステップと、特徴量に基づいて音声認識を行い、認識結果を出力する音声認識ステップとを備え、音声認識ステップは、音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定ステップを備え、この句判定ステップで判定した句境界による句の単位で認識結果を出力する。
　本発明に係る記憶媒体は、コンピュータに、入力された音声を音声検出・分析して特徴量を出力する分析機能と、特徴量に基づいて音声認識を行い、認識結果を出力する音声認識機能とを備え、音声認識機能は、音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定機能を備え、音声認識機能は、句判定機能で判定した句境界による句の単位で認識結果を出力する機能を実現するためのプログラムを記憶したコンピュータに読み取り可能な記憶媒体。
　以上説明したように、本発明によれば、音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定するようにしたので、連続的に入力される音声に対し、リアルタイム性を高くして待ち時間を短くし、精度よく逐次的に音声翻訳結果が出力できるようになる。
図１は、本発明の実施の形態１における音声処理装置の構成を示す構成図である。 図２は、本発明の実施の形態２における音声処理装置の構成を示す構成図である。 図３は、本発明の実施の形態２における音声処理装置の動作例について説明するフローチャートである。 図４は、実施の形態２の音声処理装置を用いた本発明の実施の形態３における通話翻訳システムの構成を示す構成図である。 図５は、本発明の実施の形態３におけるシステムの動作例について説明するフローチャートである。 図６は、本発明の実施の形態４における音声処理装置の構成を示す構成図である。 図７は、本発明の実施の形態４における音声処理装置の動作例について説明するフローチャートである。 図８は、実施の形態の４音声処理装置を用いた本発明の実施の形態５における字幕生成システムの構成を示す構成図である。 図９は、本発明の実施の形態５におけるシステムの動作例について説明するフローチャートである。
　以下、本発明の実施の形態について図を参照して説明する。
［実施の形態１］
　はじめに、本発明の実施の形態１について説明する。図１は、実施の形態１における音声処理装置の構成を示す構成図である。この音声処理装置は、まず、入力された音声を音声検出・分析して特徴量を出力する分析部１０１と、特徴量に基づいて音声認識を行って認識結果を出力する音声認識部１０２とを備える。加えて、音声認識部１０２は、音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定部１０３を備える。本音声処理装置では、句判定部１０３が判定した句境界による句の単位で、音声認識部１０２が認識結果を出力する。
　本実施の形態における音声処理装置の動作について説明すると、まず、分析部１０１が、入力された音声を音声検出・分析して特徴量を出力する。次に、音声認識部１０２において、句判定部１０３が、音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する。次に、音声認識部１０２が、判定された句境界による句の単位で、認識結果を出力する。
　このようにした本実施の形態によれば、翻訳のための句境界を判定しながら音声翻訳を行うようにした。言い換えると、翻訳に好適な単位で認識結果単語列を取り出して翻訳処理を行うようにした。これにより、本実施の形態によれば、逐次的に音声翻訳の結果を得ることができるようになる。句境界の判定は、音声認識により生成した仮説の単語群に対して行うため、音声認識処理のうち単語探索の過程で行うことになる。従って、本実施の形態では、句境界の判定を、認識処理終了後に行うわけではないため、認識結果出力の逐次性・リアルタイム性を損なう恐れが少ない。また、単語探索の過程で仮説の尤度や占有率を考慮すれば、認識結果出力を逐次的に行うことによる音声認識精度の劣化を抑えることも可能となる。
［実施の形態２］
　次に、本発明における実施の形態２について説明する。図２は、実施の形態２における音声処理装置２００の構成を示す構成図である。音声処理装置２００は、分析部２０２，音声認識部２０３，音響モデル記憶部２０４，認識辞書記憶部２０５，翻訳辞書記憶部２０６，および翻訳部２０７を備える。
　分析部２０２は、入力部２０１より入力された音声データから音声区間を検出し、検出された区間を音響分析し、特徴量系列である、例えばケプストラムの時系列を出力する。音声検出および音響分析を行う技術は、公知技術として良く知られているものであり、ここでは詳細な説明を省略する。
　音声認識部２０３は、距離計算部２３１，単語探索部２３２，および出力部２３４を内部に備える。さらに、単語探索部２３２は、句判定部２３３を備える。音声認識部２０３は、音響的確からしさを与える音響モデルと、認識対象の単語からなる認識辞書とを用い、分析部２０２の出力である特徴量系列を入力とし、認識結果単語列を出力部２３４により出力する。音響モデルは音響モデル記憶部２０４に記憶され、認識辞書は認識辞書記憶部２０５に記憶されている。
　より詳細には、まず、距離計算部２３１が、分析部２０２より得られた特徴量系列の音響計算を、音響モデルを用いて行う。また、単語探索部２３２が、距離計算部２３１による距離計算結果に対する単語探索を、認識辞書を用いて行い、認識結果となる単語列を出力する。
　翻訳部２０７は、音声認識部２０３が出力する単語列を入力とし、翻訳辞書記憶部２０６に記憶されている翻訳辞書を用いて翻訳を行い、翻訳結果を出力する。ここで、翻訳辞書には翻訳のための文法知識が含まれているようにしてもよい。
　上述した音声処理装置２００は、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、および不揮発性記憶装置を備える。なお、音声処理装置２００は、例えばＣＰＵなどから構成されコンピュータであり、ＲＡＭ、ＲＯＭ、または不揮発性記憶装置などの記憶媒体２０９にに格納されたＯＳ（Operation System）および音声処理プログラムを読み込み、これらを実行することで音声処理を実施する。これにより、連続的な入力音声に対して、音声翻訳結果を逐次的に出力することができる。なお、音声処理装置２００は、１台のコンピュータで構成してもよく、また、複数台のコンピュータで構成してもよい。これらのことは、他の実施の形態においても同様である。
　また、音響モデル記憶部２０４、認識辞書記憶部２０５、および翻訳辞書記憶部２０６は、固定ディスク、光磁気ディスク、フラッシュメモリなどの不揮発性の記憶装置や、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置で構成されていればよい。また、音響モデル記憶部２０４、認識辞書記憶部２０５、および翻訳辞書記憶部２０６は、音声処理装置２００を構成するコンピュータの外部に接続される記憶装置であってもよい。
　次に、音声処理装置２００の動作例について図３に示すフローチャートを用いて説明する。まず、ステップＳ３０１で、入力部２０１により音声を入力する。例えば、入力部２０１はマイクであり、マイクから入力される例えば英語の音声波形が得られる。次に、ステップＳ３０２で、音声入力の終了を判定する。例えば、入力されている音声が存在していれば、以降の処理を続行するが、終了していれば処理を終了する。
　次に、ステップＳ３０３で、分析部２０２が、入力音声から音声区間を検出し、検出した区間を音響分析し、特徴量系列を出力する。次に、ステップＳ３０４で、音声認識部２０３の距離計算部２３１が、分析部２０２より得られた特徴量系列と音響モデル記憶部２０４に記憶されている音響モデルとの距離を計算する。ここでは、入力音声と音響モデルとの近さが計算されることになる。例えば、距離計算部２３１は、分析部２０２により得られた特徴量系列と音響モデルとの音響距離計算を行い、距離計算結果を出力する。なお、音響モデルとの距離を計算する技術は、公知技術として良く知られており、ここでは詳細な説明を省略する。
　次に、ステップＳ３０５で、音声認識部２０３の単語探索部２３２が、距離計算部２３１により得られた距離計算結果に対し、認識辞書記憶部２０５に記憶されている認識辞書を用いて最も確からしい単語列を探索し、仮説の単語（単語仮説）を生成する。例えば、入力音声が英語である場合には英語音声認識を行い、確からしい英語の単語あるいは単語列からなる単語仮説を生成する。音声認識における単語探索の技術は、公知技術として良く知られており、ここでは詳細な説明を省略する。
　次に、ステップＳ３０６で、単語探索部２３２の句判定部２３３が、得られた単語仮説と、設定されている句境界を表す単語との比較に基づいて句境界を判定する。例えば英語であれば翻訳単位として好適な前置詞句の先頭の単語は前置詞であるという性質を利用し、品詞が前置詞である単語を、句境界を表す単語としてあらかじめ定めておく。
　このようにして設定してある句境界を表す単語が、単語仮説の中に存在する数をＨｐとしたときに、単語仮説の全ての単語数Ｈａｌｌに対するＨｐの割合（仮説占有率）が、あらかじめ定められた閾値Ｈｔｈｒｅを越える場合、言い換えると「Ｈｐ／Ｈａｌｌ＞Ｈｔｈｒｅ」が成り立つ場合、句境界を判定する。
　句境界の判定では、仮説占有率が閾値を超えた場合、例えば当該句境界を表す単語の仮説のうち最も尤度の高いものの始端時刻を句境界として判定し、判定した始端時刻の直前を、前の句の終端時刻とする最尤の仮説を、当該終端時刻までの認識結果として出力する。あるいは、句境界を表す単語の仮説のうち最も尤度の高いものの終端時刻を句境界として判定し、判定した終端時刻を単語終端とする最尤の仮説を、判定した終端時刻までの認識結果として出力することもできる。結果は、出力部２３４より出力される。
　一方、仮説占有率が閾値以下であれば（ステップＳ３０６の「Ｎ」）、次の音声入力を受け付けるためにステップＳ３０１に戻る。
　なお、上述した句境界を表す単語は、あらかじめ品詞が前置詞であるものと定めておくとしたが、これに限らず、接続詞など他の品詞、あるいは句読点や無音を含めても良い。日本語では例えば「えーと」「あのー」などのフィラー（つなぎ言葉）を含めても効果が高いと言える。また、翻訳に好適な処理単位を提供できるのであれば、単一の単語に限らず、例えば複数の単語の組み合わせでも良く、また、句境界を表すモデルとして学習しても良い。句境界を表すモデルを学習する方法は、特許文献５に記載されている。
　ところで、句判定における仮説数ＨｐあるいはＨａｌｌの計算では、音声入力が行われている同一時刻内での仮説数を計算対象としても良く、また、ある時刻の直前あるいは直後の時刻も含めた時間幅の中での仮説数を計算対象としても良い。
　以上のようにして句判定がなされると、ステップＳ３０７で、翻訳部２０７が、判定された句境界までの認識結果単語列に対し、翻訳辞書記憶部２０６に記憶されている翻訳辞書を用いて翻訳を行い、翻訳結果を出力する。例えば、入力言語が英語で、出力言語が日本語である場合には、認識結果単語列として得られる英語の単語列を英日翻訳し、日本語の単語列を翻訳結果として出力する。単語列を翻訳する技術は、公知技術として良く知られているものであり、ここでは詳細な説明を省略する。
　次に、ステップＳ３０８で、上述した翻訳結果が出力部２０８で利用者に視認可能な状態で出力される。翻訳結果が出力されると、ステップＳ３０１に戻り、音声入力が終了するまで、上述したステップＳ３０１～ステップＳ３０８を継続する。
　なお、上述では、句判定部２３３における判定の基準に仮説占有率を用いたが、これに限るものではなく、例えば、句境界を表す単語仮説が全体の仮説の中で最尤（１位仮説）であり、かつ次に尤度の高い単語仮説（２位仮説）との尤度差が閾値を超える場合に、当該句境界を表す単語の始端時刻あるいは終端時刻を句境界として判定しても良い。
　以上に説明したように、本実施の形態における音声処理装置２００は、連続的に入力される音声に対し、句境界を判定しながら音声翻訳を行う、すなわち翻訳に好適な単位で認識結果単語列を出力および翻訳処理を行うので、結果として逐次的な音声翻訳結果の出力が可能となる。
　句境界の判定は、認識処理終了後に行うのではなく、音声認識処理のうち単語探索の過程で行うので、認識結果出力の逐次性・リアルタイム性を損なう恐れが少ない。また、単語探索の過程で仮説の尤度や占有率を考慮することで、認識結果出力を逐次的に行うことによる音声認識精度の劣化を抑えることが可能となる。
［実施の形態３］
　次に、本発明の実施の形態３について説明する。図４は、音声処理装置２００を用いた実施の形態３における通話翻訳システムの構成を示す構成図である。本システムは、上述した実施の形態２における音声処理装置２００に加え、受信部４０１，音声合成部４０８，出力部４０９，および通信ネットワーク４２０を備える。通信ネットワーク４２０は、例えば、公衆電話網である。なお、通信ネットワーク４２０は、インターネット通信網であってもよい。
　受信部４０１は、通信ネットワーク４２０から入力となる音声を受信し、音声処理装置２００に出力する。受信部４０１は、例えば、音声通話を実現する電話における受信部である。
　音声処理装置２００では、分析部２０２が、受信部４０１によって受信された音声を入力として、音声検出・分析を行う。翻訳部２０７は、翻訳結果を逐次的に音声合成部４０８に出力する。例えば、入力言語が英語で出力言語が日本語である場合には、英日翻訳を行って日本語の単語列を翻訳結果として出力する。
　音声合成部４０８は、逐次的に得られる翻訳結果を音声合成し、合成音声を出力する。具体的には、例えば日本語の単語列を翻訳結果として得た場合には、日本語音声合成を行う。テキストデータを音声データに音声合成する技術は、公知技術として良く知られており、ここでは詳細な説明を省略する。出力部４０９は、例えばスピーカであり、音声合成部４０８で得られた音声データを入力として音声出力を行う。
　次に、本実施の形態３におけるシステムの動作について、図５のフローチャートを用いて説明する。まず、ステップＳ５０１で、受信部４０１が通信ネットワーク４２０から連続的に入力される音声波形を受信する。次に、ステップＳ５０２で、音声処理装置２００における分析部２０２，音声認識部２０３，翻訳部２０７の処理により、実施の形態２で説明した音声処理が行われ、翻訳結果が逐次的に出力される。
　次に、ステップＳ５０３で、音声合成部４０８が、音声処理装置２００より得られた翻訳結果を音声合成する（Ｓ２０２）。例えば、翻訳結果として出力された日本語単語列を音声合成する。次に、ステップＳ５０４で、出力部４０９が、合成された音声を、例えばスピーカより出力する。
　このように、本実施の形態３によれば、通信ネットワーク４２０より連続的に受信・入力される音声データを逐次的に音声処理し、結果として逐次的な音声翻訳結果の出力（合成音声出力）を可能としている。なお、上述では、音声翻訳結果を合成音声出力したが、これに限らず、テキスト情報として出力してもよい。
　なお、上述したシステムは、例えば、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ、ＲＡＭ、ＲＯＭ、および不揮発性記憶装置を備え、ＣＰＵがＲＡＭ、ＲＯＭ、または不揮発性記憶装置に格納されたＯＳおよび通話翻訳プログラムを読み込み、これらを実行することで通話翻訳処理を行う。これにより、通話中の音声を翻訳して逐次的に出力することができる。なお、上述したシステムは１台のコンピュータである必要はなく、複数台のコンピュータで構成してもよい。
［実施の形態４］
　次に、本発明の実施の形態４について説明する。図６は、実施の形態４における音声処理装置６００の構成を示す構成図である。音声処理装置６００は、分析部６０２，音声認識部６０３，音響モデル記憶部６０４，認識辞書記憶部６０５，翻訳辞書記憶部６０６，および翻訳部６０７を備える。
　分析部６０２は、入力部６０１より入力された音声データから音声区間を検出し、検出された区間を音響分析し、特徴量系列である、例えばケプストラムの時系列を出力する。音声検出および音響分析を行う技術は、公知技術として良く知られているものであり、ここでは詳細な説明を省略する。
　音声認識部６０３は、距離計算部６３１および単語探索部６３２を内部に備える。また、単語探索部６３２は、句判定部６３３を備える。これらの構成は、前述した実施の形態２と同様である。加えて、本実施の形態では、句判定部６３３が、区間指定部６３４を備える。区間指定部６３４は、入力開始時からの区間情報、例えば時刻情報により、設定されている区間毎、例えば入力音声の５００ｍｓ（ミリ秒）という区間単位毎に、句判定部６３３が句判定に用いる閾値を、設定した区間内で一時変更する。例えば入力音声の５００ｍｓ毎に、この区間内で句判定部６３３が用いる閾値を小さくし、句境界の判定がされやすい状態とする。
　なお、本実施の形態においても、音声処理装置６００は、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ、ＲＡＭ、ＲＯＭ（Read Only Memory）、および不揮発性記憶装置を備える。音声処理装置６００は、ＣＰＵがＲＡＭ、ＲＯＭ、または不揮発性記憶装置に格納されたＯＳおよび音声処理プログラムを読み込み、これらを実行することで音声処理を実施する。これにより、連続的な入力音声に対して、音声翻訳結果を逐次的に出力することができる。なお、音声処理装置６００は、１台のコンピュータで構成してもよく、また、複数台のコンピュータで構成してもよい。
　また、音響モデル記憶部６０４、認識辞書記憶部６０５、および翻訳辞書記憶部６０６は、固定ディスク、光磁気ディスク、フラッシュメモリなどの不揮発性の記憶装置や、ＤＲＡＭなどの揮発性の記憶装置で構成されていればよい。また、音響モデル記憶部６０４、認識辞書記憶部６０５、および翻訳辞書記憶部６０６は、音声処理装置６００を構成するコンピュータの外部に接続される記憶装置であってもよい。
　次に、音声処理装置６００の動作例について図７に示すフローチャートを用いて説明する。まず、ステップＳ７０１で、入力部６０１により音声を入力する。例えば、入力部６０１はマイクであり、マイクから入力される例えば英語の音声波形が得られる。次に、ステップＳ７０２で、音声入力の終了を判定する。例えば、入力されている音声が存在していれば、以降の処理を続行するが、終了していれば処理を終了する。
　次に、ステップＳ７０３で、分析部６０２が、入力音声から音声区間を検出し、検出した区間を音響分析し、特徴量系列を出力する。次に、ステップＳ７０４で、音声認識部６０３の距離計算部６３１が、分析部６０２より得られた特徴量系列と音響モデル記憶部６０４に記憶されている音響モデルとの距離を計算する。ここでは、入力音声と音響モデルとの近さが計算されることになる。例えば、距離計算部６３１は、分析部６０２により得られた特徴量系列と音響モデルとの音響距離計算を行い、距離計算結果を出力する。なお、音響モデルとの距離を計算する技術は、公知技術として良く知られており、ここでは詳細な説明を省略する。
　次に、ステップＳ７０５で、音声認識部６０３の単語探索部６３２が、距離計算部６３１により得られた距離計算結果に対し、認識辞書記憶部６０５に記憶されている認識辞書を用いて最も確からしい単語列を探索し、仮説の単語（単語仮説）を生成する。例えば、入力音声が英語である場合には英語音声認識を行い、確からしい英語の単語あるいは単語列からなる単語仮説を生成する。音声認識における単語探索の技術は、公知技術として良く知られており、ここでは詳細な説明を省略する。
　次に、ステップＳ７０６で、単語探索部６３２において、区間指定部６３４が、設定されている時間間隔（例えば５００ｍ秒）が経過していることを判定する。ステップＳ７０６が、音声の入力（音声処理）を開始した時点より初めてなされる場合は、音声処理を開始してから５００ｍｍ秒が経過していることを判定する。ステップＳ７０６の判定で、設定されている時間間が経過していないと判定すると、ステップＳ７０８に移行する。一方、ステップＳ７０６の判定で、設定されている時間が経過していると判断すると、区間指定部６３４は、句判定部６３３が用いる閾値を、設定されている値だけ小さい値とする。
　次に、ステップＳ７０８で、句判定部６３３が、得られた単語仮説と、設定されている句境界を表す単語との比較に基づいて句境界を判定する。句判定部６３３は、前述した実施の形態２の句判定部２３３と同様に、句境界を判定する。この判定で、仮説占有率が閾値以下の場合（ステップＳ７０８の「Ｎ」）、次の音声入力を受け付けるため、ステップＳ７０１に戻る。
　一方、上記判定で、仮説占有率が閾値を超えた場合、実施の形態２と同様にして句の境界を設定し、ステップＳ７０９に移行する。ステップＳ７０９では、句判定部６３３が用いる閾を初期化する。従って、仮説占有率が閾値以下の状態が継続すると、ステップＳ７０６で設定されている時間間隔が経過したと判断される毎に、上記閾値が小さくされることになる。このため、句境界が判定されやすくなる。
　この後、ステップＳ７１０で、翻訳部６０７が、判定された句境界までの認識結果単語列に対し、翻訳辞書記憶部６０６に記憶されている翻訳辞書を用いて翻訳を行い、翻訳結果を出力する。例えば、入力言語が英語で、出力言語が日本語である場合には、認識結果単語列として得られる英語の単語列を英日翻訳し、日本語の単語列を翻訳結果として出力する。次に、ステップＳ７１１で、上述した翻訳結果が出力部６０８で利用者に視認可能な状態で出力される。翻訳結果が出力されると、ステップＳ７０１に戻り、音声入力が終了するまで、上述したステップＳ７０１～ステップＳ７１１を継続する。
　以上に説明したように、本実施の形態における音声処理装置６００は、連続的に入力される音声に対し、句境界を判定しながら音声翻訳を行う、すなわち翻訳に好適な単位で認識結果単語列を出力および翻訳処理を行うので、結果として逐次的な音声翻訳結果の出力が可能となる。また、一定の時間が経過しても、句境界の判定がなされない場合は、句判定のための閾値を変更変更するようにしたため、例えば、句境界が判定しにくい場合であっても、句境界の判定がしやすくなり、より逐次的に翻訳処理ができるようになる。
　また、本実施の形態においても、句境界の判定は、認識処理終了後に行うのではなく、音声認識処理のうち単語探索の過程で行うので、認識結果出力の逐次性・リアルタイム性を損なう恐れが少ない。また、単語探索の過程で仮説の尤度や占有率を考慮することで、認識結果出力を逐次的に行うことによる音声認識精度の劣化を抑えることが可能となる。
　なお、上述では、句境界の判定がなされるまで、設定されている一定の時間間毎に、句判定のための閾値を変更するようにしたが、これに限るものではない。例えば、設定されている一定の時間内で、句判定の閾値を２段階に（２回）変更してもよい。
［実施の形態５］
　次に、本発明の実施の形態５について説明する。図８は、音声処理装置６００を用いた実施の形態５における字幕生成システムの構成を示す構成図である。本システムは、上述した実施の形態４における音声処理装置６００に加え、受信部８０１，整形部８０８，出力部８０９，および通信ネットワーク８２０を備える。
　受信部８０１は、通信ネットワーク８２０から入力となる音声を受信し、音声処理装置６００に出力する。音声処理装置６００では、分析部６０２が、受信部８０１によって受信された音声を入力として、音声検出・分析を行う。翻訳部６０７は、翻訳結果を逐次的に整形部８０８に出力する。例えば、入力言語が英語で出力言語が日本語である場合には、英日翻訳を行って日本語の単語列を翻訳結果として出力する。
　整形部８０８は、逐次的に得られる翻訳結果（テキストデータ）を整形し、整形したテキストデータを出力する。具体的には、例えば日本語の単語列を翻訳結果として得た場合には、要約や改行の挿入を行う。テキストデータに対して要約や改行の挿入などを行う技術は、公知技術として良く知られており、ここでは詳細な説明を省略する。出力部８０９は、例えばディスプレイであり、整形部８０８で得られた音声データを入力として音声出力を行う。
　次に、本実施の形態５におけるシステムの動作について、図９のフローチャートを用いて説明する。まず、ステップＳ９０１で、受信部８０１が通信ネットワーク８２０から連続的に入力される音声波形を受信する。次に、ステップＳ９０２で、音声処理装置６００における分析部６０２，音声認識部２０３，翻訳部６０７の処理により、実施の形態４で説明した音声処理が行われ、翻訳結果が逐次的に出力される。
　次に、ステップＳ９０３で、整形部８０８が、音声処理装置２００より得られた翻訳結果を整形する（Ｓ２０２）。例えば、翻訳結果として出力された日本語単語列（テキストデータ）に対し、要約しまた改行を挿入するなどを行い、テキストを表示する際に見やすい形に整形し、整形結果のテキストデータを出力する。次に、ステップＳ９０４で、出力部８０９が、整形されたテキストを、例えばディスプレイに表示出力する。
　このように、本実施の形態５によれば、通信ネットワーク８２０より連続的に受信・入力される音声データを逐次的に音声処理し、結果として逐次的な翻訳結果の出力（整形テキストデータ出力）を可能としている。例えば、テレビ放送の字幕生成などのように、入力がユーザの意図に関わらず連続的に行われ、処理の保留や遅延が大きな問題となる場合には、一定区間間隔で出力が行われることの効果が高いものと言える。
　なお、上述したシステムは、例えば、汎用的なコンピュータシステムであり、図示しない構成として、ＣＰＵ、ＲＡＭ、ＲＯＭ、および不揮発性記憶装置を備え、ＣＰＵがＲＡＭ、ＲＯＭ、または不揮発性記憶装置に格納されたＯＳおよび通話翻訳プログラムを読み込み、これらを実行することで通話翻訳処理を行う。これにより、通話中の音声を翻訳して逐次的に出力することができる。なお、上述したシステムは１台のコンピュータである必要はなく、複数台のコンピュータで構成してもよい。
　なお、上述では、音声処理を逐次的に行うことを前提としているが、音声認識と組み合わせる後段の処理は翻訳に限らない。例えば、音声検索や音声要約など言語処理が必要となる処理であれば同様に適用が可能である。近年、音声認識・翻訳の技術を用いた製品の市場が拡大しているが、本発明は、このような状況に適用可能である。
　上記実施形態の一部または全部は、以下の付記のようにも記載されるが、以下には限られない。
（付記１）
　入力された音声を音声検出・分析して特徴量を出力する分析手段と、前記特徴量に基づいて音声認識を行い、認識結果を出力する音声認識手段とを備え、前記音声認識手段は、前記音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定手段を備え、この句判定手段が判定した句境界による句の単位で前記認識結果を出力することを特徴とする音声処理装置。
（付記２）
　付記１記載の音声処理装置において、前記句判定手段は、前記句境界を表す単語の前記仮説の単語群における尤度に基づいて前記句境界を定めることを特徴とする音声処理装置。
（付記３）
　付記２記載の音声処理装置において、前記句判定手段は、前記仮説の単語群の中における前記句境界を表す単語の占有率が設定されている閾値を超える場合に、前記句境界を判定することを特徴とする音声処理装置。
（付記４）
　付記２記載の音声処理装置において、前記句判定手段は、前記句境界を表す単語仮説が全体の単語仮説の中で最尤であり、かつ、次に尤度の高い単語仮説との尤度差が、設定されている閾値を超える場合に、前記句境界を判定することを特徴とする音声処理装置。
（付記５）
　付記１～４のいずれか１項に記載の音声処理装置において、前記句判定手段は、入力された音声の区間情報を指定する区間指定手段をさらに備え、前記句判定手段は、前記区間指定手段に設定されている区間毎に、設定した区間内で前記閾値を一時変更することを特徴とする音声処理装置。
（付記６）
　付記１～５のいずれか１項に記載の音声処理装置において、前記句境界を表す単語は、句の先頭あるいは末尾に現れる句境界を表す単語であることを特徴とする音声処理装置。
（付記７）
　付記６記載の音声処理装置において、前記句境界を表す単語は、前置詞または接続詞であり、単語の直前を句境界とすることを特徴とする音声処理装置。
（付記８）
　入力された音声を音声検出・分析して特徴量を出力する分析ステップと、前記特徴量に基づいて音声認識を行い、認識結果を出力する音声認識ステップとを備え、前記音声認識ステップは、前記音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定ステップを備え、この句判定ステップで判定した句境界による句の単位で前記認識結果を出力することを特徴とする音声処理方法。
（付記９）
　コンピュータに、入力された音声を音声検出・分析して特徴量を出力する分析機能と、前記特徴量に基づいて音声認識を行い、認識結果を出力する音声認識機能とを備え、前記音声認識機能は、前記音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定機能を備え、前記音声認識機能は、前記句判定機能で判定した句境界による句の単位で前記認識結果を出力する機能を実現するためのプログラムを記憶したコンピュータに読み取り可能な記憶媒体。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年７月１７日に出願された日本出願特願２００９－１６８７６４号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
　本発明によれば、音声認識・機械翻訳技術を用いた音声入力・翻訳サービスといった用途に適用できる。
　１０１…分析部、１０２…音声認識部、１０３…句判定部。

Claims (9)

  1. 　入力された音声を音声検出・分析して特徴量を出力する分析手段と、
    　前記特徴量に基づいて音声認識を行い、認識結果を出力する音声認識手段と
    　を備え、
    　前記音声認識手段は、前記音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定手段を備え、この句判定手段が判定した句境界による句の単位で前記認識結果を出力する
    　ことを特徴とする音声処理装置。
  2. 　請求項１記載の音声処理装置において、
    　前記句判定手段は、前記句境界を表す単語の前記仮説の単語群における尤度に基づいて前記句境界を定める
    　ことを特徴とする音声処理装置。
  3. 　請求項２記載の音声処理装置において、
    　前記句判定手段は、前記仮説の単語群の中における前記句境界を表す単語の占有率が設定されている閾値を超える場合に、前記句境界を判定する
    　ことを特徴とする音声処理装置。
  4. 　請求項２記載の音声処理装置において、
    　前記句判定手段は、前記句境界を表す単語仮説が全体の単語仮説の中で最尤であり、かつ、次に尤度の高い単語仮説との尤度差が、設定されている閾値を超える場合に、前記句境界を判定する
    　ことを特徴とする音声処理装置。
  5. 　請求項１記載の音声処理装置において、
    　前記句判定手段は、入力された音声の区間情報を指定する区間指定手段をさらに備え、
    　前記句判定手段は、前記区間指定手段に設定されている区間毎に、設定した区間内で前記閾値を一時変更する
    　ことを特徴とする音声処理装置。
  6. 　請求項１記載の音声処理装置において、
    　前記句境界を表す単語は、句の先頭あるいは末尾に現れる句境界を表す単語であることを特徴とする音声処理装置。
  7. 　請求項６記載の音声処理装置において、
    　前記句境界を表す単語は、前置詞または接続詞であり、単語の直前を句境界とすることを特徴とする音声処理装置。
  8. 　入力された音声を音声検出・分析して特徴量を出力する分析ステップと、
    　前記特徴量に基づいて音声認識を行い、認識結果を出力する音声認識ステップと
    　を備え、
    　前記音声認識ステップは、前記音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定ステップを備え、この句判定ステップで判定した句境界による句の単位で前記認識結果を出力する
    　ことを特徴とする音声処理方法。
  9. 　コンピュータに、
    　入力された音声を音声検出・分析して特徴量を出力する分析機能と、
    　前記特徴量に基づいて音声認識を行い、認識結果を出力する音声認識機能と
    　を備え、
    　前記音声認識機能は、前記音声認識により生成した仮説の単語群と、設定されている句境界を表す単語との比較に基づいて句境界を判定する句判定機能を備え、
    　前記音声認識機能は、前記句判定機能で判定した句境界による句の単位で前記認識結果を出力する
    　機能を実現するためのプログラムを記憶したコンピュータに読み取り可能な記憶媒体。
PCT/JP2010/059515 2009-07-17 2010-06-04 音声処理装置および方法ならびに記憶媒体 WO2011007627A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011522761A JP5418596B2 (ja) 2009-07-17 2010-06-04 音声処理装置および方法ならびに記憶媒体
US13/383,527 US9583095B2 (en) 2009-07-17 2010-06-04 Speech processing device, method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-168764 2009-07-17
JP2009168764 2009-07-17

Publications (1)

Publication Number Publication Date
WO2011007627A1 true WO2011007627A1 (ja) 2011-01-20

Family

ID=43449236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/059515 WO2011007627A1 (ja) 2009-07-17 2010-06-04 音声処理装置および方法ならびに記憶媒体

Country Status (3)

Country Link
US (1) US9583095B2 (ja)
JP (1) JP5418596B2 (ja)
WO (1) WO2011007627A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672820B2 (en) 2013-09-19 2017-06-06 Kabushiki Kaisha Toshiba Simultaneous speech processing apparatus and method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9583095B2 (en) * 2009-07-17 2017-02-28 Nec Corporation Speech processing device, method, and storage medium
US10102851B1 (en) * 2013-08-28 2018-10-16 Amazon Technologies, Inc. Incremental utterance processing and semantic stability determination
US10121471B2 (en) 2015-06-29 2018-11-06 Amazon Technologies, Inc. Language model speech endpointing
US11158307B1 (en) * 2019-03-25 2021-10-26 Amazon Technologies, Inc. Alternate utterance generation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04117560A (ja) * 1990-09-07 1992-04-17 Fujitsu Ltd 節／句境界抽出方式
JPH07200591A (ja) * 1993-12-28 1995-08-04 Fujitsu Ltd 構文解析装置
JPH07261782A (ja) * 1994-03-22 1995-10-13 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 音声認識装置
JPH08123469A (ja) * 1994-10-28 1996-05-17 Mitsubishi Electric Corp 句境界確率計算装置および句境界確率利用連続音声認識装置
JPH1011439A (ja) * 1996-06-21 1998-01-16 Oki Electric Ind Co Ltd 英日機械翻訳システム
JPH11259474A (ja) * 1998-03-10 1999-09-24 Matsushita Electric Ind Co Ltd 機械翻訳装置及び機械翻訳方法
JP2000112941A (ja) * 1998-10-07 2000-04-21 Internatl Business Mach Corp <Ibm> イディオム処理機能を有する電子辞書
JP2004012615A (ja) * 2002-06-04 2004-01-15 Sharp Corp 連続音声認識装置および連続音声認識方法、連続音声認識プログラム、並びに、プログラム記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3766111B2 (ja) 1991-08-13 2006-04-12 株式会社東芝 音声認識装置
JPH0695684A (ja) 1992-09-17 1994-04-08 Meidensha Corp 音声認識システム
JP3009642B2 (ja) 1997-10-22 2000-02-14 株式会社エイ・ティ・アール音声翻訳通信研究所 音声言語処理単位変換装置
JP3614648B2 (ja) * 1998-03-13 2005-01-26 富士通株式会社 文書理解支援装置、要約文生成方法、並びに文書理解支援プログラムを記録したコンピュータ読み取り可能な記録媒体
US6453292B2 (en) * 1998-10-28 2002-09-17 International Business Machines Corporation Command boundary identifier for conversational natural language
JP3834169B2 (ja) 1999-09-22 2006-10-18 日本放送協会 連続音声認識装置および記録媒体
DE10018134A1 (de) * 2000-04-12 2001-10-18 Siemens Ag Verfahren und Vorrichtung zum Bestimmen prosodischer Markierungen
NO316480B1 (no) * 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
US7386454B2 (en) * 2002-07-31 2008-06-10 International Business Machines Corporation Natural error handling in speech recognition
US8818793B1 (en) * 2002-12-24 2014-08-26 At&T Intellectual Property Ii, L.P. System and method of extracting clauses for spoken language understanding
JP3998668B2 (ja) * 2004-07-14 2007-10-31 沖電気工業株式会社 形態素解析装置、方法及びプログラム
EP1681670A1 (en) * 2005-01-14 2006-07-19 Dialog Semiconductor GmbH Voice activation
US20070192309A1 (en) * 2005-10-12 2007-08-16 Gordon Fischer Method and system for identifying sentence boundaries
US7908552B2 (en) * 2007-04-13 2011-03-15 A-Life Medical Inc. Mere-parsing with boundary and semantic driven scoping
JP2008269122A (ja) 2007-04-18 2008-11-06 National Institute Of Information & Communication Technology 処理単位分割装置、処理単位分割方法、及びプログラム
US8364485B2 (en) * 2007-08-27 2013-01-29 International Business Machines Corporation Method for automatically identifying sentence boundaries in noisy conversational data
DE602007004733D1 (de) * 2007-10-10 2010-03-25 Harman Becker Automotive Sys Sprechererkennung
JP2010230695A (ja) * 2007-10-22 2010-10-14 Toshiba Corp 音声の境界推定装置及び方法
US9583095B2 (en) * 2009-07-17 2017-02-28 Nec Corporation Speech processing device, method, and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04117560A (ja) * 1990-09-07 1992-04-17 Fujitsu Ltd 節／句境界抽出方式
JPH07200591A (ja) * 1993-12-28 1995-08-04 Fujitsu Ltd 構文解析装置
JPH07261782A (ja) * 1994-03-22 1995-10-13 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 音声認識装置
JPH08123469A (ja) * 1994-10-28 1996-05-17 Mitsubishi Electric Corp 句境界確率計算装置および句境界確率利用連続音声認識装置
JPH1011439A (ja) * 1996-06-21 1998-01-16 Oki Electric Ind Co Ltd 英日機械翻訳システム
JPH11259474A (ja) * 1998-03-10 1999-09-24 Matsushita Electric Ind Co Ltd 機械翻訳装置及び機械翻訳方法
JP2000112941A (ja) * 1998-10-07 2000-04-21 Internatl Business Mach Corp <Ibm> イディオム処理機能を有する電子辞書
JP2004012615A (ja) * 2002-06-04 2004-01-15 Sharp Corp 連続音声認識装置および連続音声認識方法、連続音声認識プログラム、並びに、プログラム記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672820B2 (en) 2013-09-19 2017-06-06 Kabushiki Kaisha Toshiba Simultaneous speech processing apparatus and method

Also Published As

Publication number Publication date
US9583095B2 (en) 2017-02-28
US20120116765A1 (en) 2012-05-10
JPWO2011007627A1 (ja) 2012-12-27
JP5418596B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
US10643609B1 (en) Selecting speech inputs
US9972318B1 (en) Interpreting voice commands
US11061644B2 (en) Maintaining context for voice processes
US10460034B2 (en) Intention inference system and intention inference method
CN110675855B (zh) 一种语音识别方法、电子设备及计算机可读存储介质
US8635070B2 (en) Speech translation apparatus, method and program that generates insertion sentence explaining recognized emotion types
CN105632499B (zh) 用于优化语音识别结果的方法和装置
JP3004883B2 (ja) 終話検出方法及び装置並びに連続音声認識方法及び装置
EP4018437B1 (en) Optimizing a keyword spotting system
US20080077387A1 (en) Machine translation apparatus, method, and computer program product
JP5418596B2 (ja) 音声処理装置および方法ならびに記憶媒体
JP2010230695A (ja) 音声の境界推定装置及び方法
EP3739583B1 (en) Dialog device, dialog method, and dialog computer program
KR101747873B1 (ko) 음성인식을 위한 언어모델 생성 장치 및 방법
Tran et al. Joint modeling of text and acoustic-prosodic cues for neural parsing
KR20180127020A (ko) 자연어 대화체 음성 인식 방법 및 장치
JP5184467B2 (ja) 適応化音響モデル生成装置及びプログラム
US6772116B2 (en) Method of decoding telegraphic speech
US11277304B1 (en) Wireless data protocol
US11043212B2 (en) Speech signal processing and evaluation
US11393451B1 (en) Linked content in voice user interface
KR20200102309A (ko) 단어 유사도를 이용한 음성 인식 시스템 및 그 방법
Furui et al. Speech-to-speech and speech to text summarization
JPH09311694A (ja) 音声認識装置
US11089183B1 (en) Multiple device audio-video synchronization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10799689

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011522761

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13383527

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10799689

Country of ref document: EP

Kind code of ref document: A1