WO2009081861A1 - 単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体 - Google Patents

単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体 Download PDF

Info

Publication number
WO2009081861A1
WO2009081861A1 PCT/JP2008/073192 JP2008073192W WO2009081861A1 WO 2009081861 A1 WO2009081861 A1 WO 2009081861A1 JP 2008073192 W JP2008073192 W JP 2008073192W WO 2009081861 A1 WO2009081861 A1 WO 2009081861A1
Authority
WO
WIPO (PCT)
Prior art keywords
word category
word
model
graph
speech recognition
Prior art date
Application number
PCT/JP2008/073192
Other languages
English (en)
French (fr)
Inventor
Hitoshi Yamamoto
Kiyokazu Miki
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to US12/809,199 priority Critical patent/US8583436B2/en
Priority to JP2009547077A priority patent/JP5440177B2/ja
Publication of WO2009081861A1 publication Critical patent/WO2009081861A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning

Definitions

  • the present invention relates to a speech recognition technology for converting speech into electronic data such as text data, and more particularly to a technology for estimating a category of a phrase being uttered.
  • an information search apparatus that receives a recognition result of a voice (utterance) uttered by a user, it is important to correctly recognize phrases (keywords) effective for narrowing down information that matches the user's intention. For example, in an apparatus for searching for a television program, the programs are narrowed down using a program name or a performer name as a keyword. At this time, if a keyword included in the user's utterance is misrecognized, the program is narrowed down by the erroneous word / phrase, so that a program different from that which the speaker wants to view may be provided as a search result.
  • phrases phrases
  • the technology described in Document 1 is a method for identifying a specific expression class using a language model learned from text with a specific expression class.
  • the specific expression class identification device As shown in FIG. 11, the specific expression class identification device according to this technique generates a word graph with a specific expression class from a speech recognition result, and uses a morpheme language model with a specific expression class to maximize the overall probability. A morpheme sequence with a proper expression class is output.
  • the method described in the above-mentioned document 2 uses various features for identifying whether or not it is a specific expression as a feature of the identification model, it is extracted from the specific expression compared with the method described in the above-mentioned document 1. The accuracy may increase. However, since this method uses only a limited feature of two words before and after each word, there is a problem that it is difficult to extract a specific expression in a section where speech recognition errors continue for several words.
  • the present invention has been made in view of the above problems, and when estimating a category of a phrase being uttered, a word category estimation device and a word category estimation method capable of improving robustness against speech recognition errors and estimation accuracy
  • An object of the present invention is to provide a voice recognition device, a voice recognition method, a program, and a recording medium.
  • a word category estimation device includes a probability model having a plurality of types of information related to a word category as features, and includes information related to the entire word category graph as at least one of the features.
  • the word category model and the word category graph of the speech recognition hypothesis to be processed are input, the word category model is referenced to calculate a score for each arc constituting the word category graph, and based on these scores, word category string candidates And a word category estimation unit for outputting.
  • the word category estimation method includes a probability model having a plurality of types of information related to word categories as features, and stores a word category model including information related to the entire word category graph as at least one of the features in the storage unit.
  • a word category graph of a speech recognition hypothesis to be processed is input by the arithmetic processing unit, a score is calculated for each arc constituting the word category graph with reference to the word category model, and based on these scores
  • the speech recognition apparatus includes a speech recognition unit that generates a speech recognition hypothesis corresponding to input speech, and a probability model having a plurality of types of information related to word categories as features, and includes at least one feature.
  • a speech recognition unit that generates a speech recognition hypothesis corresponding to input speech
  • a probability model having a plurality of types of information related to word categories as features, and includes at least one feature.
  • Enter the word category model that contains information about the entire word category graph and the word category graph of the speech recognition hypothesis, calculate the score for each arc that makes up the word category graph by referring to the word category model, and based on these scores
  • a word category estimation unit that performs word category estimation
  • a re-speech recognition unit that performs speech recognition again using the word category estimation result as a vocabulary constraint.
  • the speech recognition method includes a speech recognition step for generating a speech recognition hypothesis corresponding to the input speech by the arithmetic processing unit, and a probability model having a plurality of types of information related to word categories as features, A step of storing a word category model including information on the entire word category graph as at least one feature in the storage unit, and a word category graph of the speech recognition hypothesis is input by the arithmetic processing unit, and the word category model is referred to and the word A word category estimation step for calculating a score for each arc constituting the category graph and estimating a word category based on these scores, and a re-voice recognition for performing speech recognition again using the word category estimation result as a vocabulary constraint by an arithmetic processing unit. And steps.
  • FIG. 1 is a block diagram showing the configuration of the word category estimation apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the word category estimation apparatus according to the first embodiment of the present invention.
  • FIG. 3 is an example of a word graph.
  • FIG. 4 is an example of a word category graph.
  • FIG. 5 is an example of features relating to word categories.
  • FIG. 6 is an example of the features of the word category model.
  • FIG. 7 is a flowchart showing word category estimation processing of the word category estimation device according to the first embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of the word category estimation apparatus according to the second embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of the word category estimation apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the word category estimation apparatus according to the first embodiment of the present invention.
  • FIG. 3 is an example of a word graph.
  • FIG. 9 is a flowchart showing word category estimation processing of the word category estimation device according to the second embodiment of the present invention.
  • FIG. 10 is a block diagram showing the configuration of a speech recognition apparatus according to the third embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of a conventional class identification device.
  • the word category estimation apparatus 100 is composed of an information processing apparatus such as a PC terminal or a server apparatus that processes input data with a computer, and a speech recognition hypothesis output from the speech recognition apparatus or the like. And estimates the category of each word included in the speech recognition hypothesis.
  • the word category estimation device 100 includes a word category estimation unit 4 and a word category model 5 as main basic components.
  • the word category model 5 is a model that includes a probability model having a plurality of types of information related to the word category as features, and includes information related to the entire word category graph as at least one of the features.
  • the word category estimation unit 4 inputs a word category graph of a speech recognition hypothesis to be processed, calculates a score for each arc constituting the word category graph with reference to the word category model, and based on these scores, the word category Output column candidates.
  • the word category estimation device 101 includes a speech recognition hypothesis input unit 2, a word category graph generation unit 3, a word category estimation unit 4, and a word category model 5 as main components.
  • the speech recognition hypothesis input unit 2, the word category graph generation unit 3, and the word category estimation unit 4 are components corresponding to programs executed by the CPU (not shown) of the word category estimation device 101.
  • the word category model 5 is data stored in a storage device (not shown) of the word category estimation apparatus 101.
  • Each component of the word category estimation device 101 is centered on an arbitrary computer CPU, memory, a program for realizing each component loaded in the memory, a storage unit such as a hard disk for storing the program, and a network connection interface. Realized by any combination of hardware and software. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus. Each drawing described below shows a block in units of functions, not a configuration in units of hardware.
  • the speech recognition hypothesis input unit 2 receives a speech recognition hypothesis output from an external speech recognition device (not shown), and provides the speech recognition hypothesis to the word category graph generation unit 3.
  • the speech recognition hypothesis is information generated by performing speech recognition processing in which the speech recognition apparatus recognizes a word string from speech.
  • the speech recognition hypothesis is a word graph or N best word string (the best N word strings) that is information representing a plurality of word strings.
  • the word category graph generation unit 3 receives the speech recognition hypothesis output from the speech recognition hypothesis input unit 2, generates a word category graph, and provides it to the word category estimation unit 4.
  • the word category refers to a semantic type of a word such as a person name, place name, time expression, numerical value, and the like, and is set according to the use. For example, for searching TV programs, the names of people (talent names, group names, etc.), program names, program genres (variety, sports, etc.), broadcast station names, time expressions (evening, 8 o'clock, etc.), etc. It is.
  • the word category graph has the same network format as that of the speech recognition hypothesis word graph, and is expressed in a format in which each arc label is represented by a word category instead of a word.
  • the word category graph can be generated, for example, by replacing each arc of the speech recognition hypothesis word graph with a predetermined word category. Or you may perform the same process about the graph which clustered the arc of the word graph of a speech recognition hypothesis based on the similarity of a word, etc.
  • FIG. 3 is a part of the word graph (representing that there are two candidates for "country travel” and “dog travel”).
  • FIG. 4 is a word category graph generated by expanding each arc into three categories “person name”, “program name”, and “ ⁇ (other)”.
  • the word category estimation unit 4 receives the word category graph from the word category graph generation unit 3, searches the word category graph with reference to the word category model 5, and outputs an optimum word category string based on a predetermined criterion.
  • the word category estimation unit 4 includes a path search unit 41 and a score calculation unit 42.
  • the path search unit 41 ranks and outputs the word category strings (paths) represented by the input word category graph according to a predetermined criterion, for example, the magnitude of the word category appearance score.
  • the word category appearance score of each arc is acquired from the score calculation unit 42, and the score is accumulated for each pass.
  • the upper path can be determined by A * search.
  • efficiency can be improved by pruning processing or the like.
  • post-processing such as combining the same word categories when they are consecutive can be applied.
  • the score calculation unit 42 extracts a feature about an arc every time it is referred to from the path search unit 41 in each word category graph, calculates a score of the arc with reference to the word category model 5, and searches for a path. Provided to part 41.
  • the score of the word category can be expressed as the conditional probability p (c
  • the word category model 5 stores the relationship between the characteristics of the word category and the appearance degree of the word category in the form of a probability model or a rule (rule). For example, when using CRF (Conditional
  • CRF Consumer
  • the word model 51 stores the relationship between the characteristics of each arc and the appearance level of the word category.
  • the features include, for example, linguistic features (surface layer (notation), reading (pronunciation), part of speech, etc.) of the original word corresponding to the arc, and features (reliability, correctness, etc.) as recognition results.
  • linguistic features surface layer (notation), reading (pronunciation), part of speech, etc.
  • features reliability, correctness, etc.
  • the utterance model 52 stores the relationship between the characteristics of the entire word category graph (the entire utterance) and the appearance level of the word category.
  • Features of the entire word category graph include, for example, position information in the word category graph (first half, second half, Nth from the beginning, etc.), information on the structure of the word category graph (number of arcs, average number of branches, etc.) ), Combinations of words included in the word category graph (co-occurrence information of a plurality of words, etc.), concatenation information of word categories, and the like.
  • the word category model 5 in one embodiment, CRF (Conditional Random Fields), which is a kind of identification model, can be used.
  • CRF Consumer Random Fields
  • the word category model 5 can be defined as follows.
  • Equation 1 “x” is an input to be subjected to category estimation processing, and “y” is a category as an identification result.
  • ⁇ (y, x) is information indicating the feature (feature) of the processing target “x”, and “ ⁇ ” is a model parameter (weight value) in the CRF corresponding to each feature.
  • Zx is a normalization term.
  • Exp () indicates a function for obtaining the power of a numerical value with e as the base. Therefore, the word category model 5 of this example stores the feature ⁇ and the model parameter ⁇ (weight value) in the storage device.
  • the word category estimation unit 4 first receives the word category graph input from the word category graph generation unit 3.
  • FIG. 4 is an example of a word category graph.
  • the word category estimation unit 4 specifies a path that maximizes the left side P (y
  • the score at each arc included in the word category graph is the product of the feature (feature) related to each arc and the weight value for each feature whose CRF is also a model parameter.
  • FIG. 5 is an illustration of features associated with arc A.
  • FIG. 6 is an example in which the features of FIG. 5 are expressed as features of the word category model.
  • These features can be expressed as CRF features ( ⁇ ) as shown in FIG.
  • the score of arc A is obtained by the product of the value of these features and the weight ( ⁇ ) of the word category “program name” corresponding to arc A among the model parameters. The larger this score is, the more likely the word category is.
  • the features of “part of speech (part of speech of the word corresponding to arc A)” and “recognition reliability (recognition reliability of the word corresponding to arc A)” are expressed in the word model 51 and “position (arc in the word category graph)”.
  • the features of “position of A” and “co-occurrence (words co-occurring with the word corresponding to arc A in the word category graph)” are included in the utterance model 52, but by using the CRF, both features can be handled simultaneously.
  • the score of the word category can be obtained on the same basis.
  • the model parameters of the CRF are repeated according to a criterion for maximizing the log likelihood of the above equation 1, using a pair of input (x: speech recognition hypothesis) and output (y: word category) associated in advance as learning data. It may be optimized (learned) by a calculation method or the like.
  • a graph search algorithm corresponding to the word category estimation unit 4 a learning algorithm for model parameters when the graph is used as learning data, and multi-class identification in one model are known. This has advantages suitable for identification of word categories.
  • the word category estimation device 101 When activated, the word category estimation device 101 reads the word category model 5 from the storage device and performs an initialization process so that it can be referred to from the word category estimation unit 4 (step S11).
  • the speech recognition hypothesis input unit 2 acquires a speech recognition hypothesis from an external speech recognition device and inputs it to the word category graph creation unit 3 in response to a notification indicating the end of the speech recognition process (step S12).
  • the word category graph creation unit 3 generates a word category graph from the input speech recognition hypothesis and provides it to the word category estimation unit 4 (step S13).
  • the word category estimation unit 4 uses the path search unit 41 to trace the arc from the beginning to the end of the word category graph, and the score calculation unit 42 extracts the characteristics of each arc, and refers to the word category model 5. Then, the score of the word category of the arc is obtained (step S14). Thereafter, the path search unit 41 ranks the word category strings (paths) on the word category graph according to a predetermined criterion, and outputs the word category strings as candidates from the highest ranking (step S15). The category estimation process ends.
  • the score of the word category corresponding to each arc of the word category graph is obtained by combining the feature of the word related to each arc and the feature of the entire word category graph. Therefore, it is possible to improve the accuracy of searching for a word category string that is optimal for utterance.
  • a score of a word category has been conventionally obtained based on recognition error information, but sufficient estimation accuracy has not been obtained. By using, the estimation accuracy of the word category in the section can be increased.
  • the configuration of the word category estimation device 102 of this embodiment is obtained by adding the utterance pattern estimation unit 6 to the configuration of the word category estimation device 101 according to the first embodiment shown in FIG.
  • the utterance pattern estimation unit 6 receives the speech recognition hypothesis output from the speech recognition hypothesis input unit 2, estimates the utterance pattern in response thereto, and provides the estimation result to the word category estimation unit 4.
  • the utterance pattern refers to information characterized by the number and combination of word categories included in the utterance. For example, it is information that the word category included in the utterance is one, or that the utterance includes “person name” and “program name”.
  • a method of regular classification based on words included in the speech recognition hypothesis can be used.
  • the model adjustment unit 43 to which the result of the utterance pattern estimation unit 6 is input selects one model from a plurality of word category models 5 prepared in advance for each utterance pattern. The score is calculated, and the word category string (path) to be output is searched for in the same manner as in the first embodiment.
  • a plurality of models may be weighted.
  • a word category model suitable for speech it is possible to improve the estimation accuracy of the word category. For example, if it is found that there is one word category included in the utterance, it is possible to suppress erroneous estimation of two or more word categories.
  • step S21, S22, S23 The processing until the word category graph generation unit 3 generates the word category graph (steps S21, S22, S23) is the same as the procedure of steps S11, S12, S13 of FIG. Detailed description here is omitted.
  • the utterance pattern estimation unit 6 estimates the word category pattern based on the input speech recognition hypothesis (step S24), and the model adjustment unit 43 of the word category estimation unit 4 uses the result to refer to the word category model 5
  • the weight is changed (step S25).
  • the score calculation unit 42 extracts the characteristics of each arc, and the word category model 5 via the model adjustment unit 43. , The score of the word category of the arc is obtained (step S26). Then, the path search unit 41 ranks the word category strings (paths) on the word category graph according to a predetermined criterion, and outputs them in descending order (step S27), and ends the series of word category estimation processes.
  • the utterance pattern estimation unit 6 can determine a word category based on a rule or estimate a word category based on features not included in the word category model 5. . By adding these pieces of information, the accuracy of the word category estimation unit 4 using the word category model 5 can be improved.
  • the speech recognition apparatus 103 is realized as a whole by, for example, an information processing apparatus such as a PC terminal or a server apparatus that processes input data with a computer.
  • the speech recognition device 103 is a device that recognizes and outputs a word included in the input speech, and in particular, the word category estimation device 101 of the first embodiment (FIG. 2) or the second embodiment (FIG. 4). ) Is added to the speech recognition result, and speech recognition processing is performed again based on the word category information.
  • the speech recognition apparatus 103 includes a speech recognition unit 71, a word category estimation unit 72, and a re-speech recognition unit 73 as main components.
  • the voice recognition unit 71 performs voice recognition processing on the voice input to the voice recognition device 103 to obtain word string candidates corresponding to the voice, and outputs, for example, a word graph as a voice recognition hypothesis.
  • the speech recognition unit 71 searches for a word string that matches speech data according to the score given by a speech recognition model (including a language model, a word dictionary, and an acoustic model) for speech.
  • a recognition process may be performed. For example, a trigram is used as the language model, and a hidden Markov model is used as the acoustic model.
  • the word category estimation unit 72 is a processing unit corresponding to the word category estimation device 101 of FIG. 2 or the word category estimation device 102 of FIG. 4, and generates a word category graph from the word graph output by the speech recognition unit 71, Based on the word category model, the type and interval (frame number, etc.) of the word category included in the utterance are estimated and output.
  • the re-speech recognition unit 73 uses the estimation result output from the word category estimation unit 72 as a language restriction, for example, restricts the vocabulary of the section to those belonging to the word category of the type and performs speech recognition processing. I do.
  • the voice recognition unit 71 performs voice recognition on the input voice, and outputs, for example, a word string candidate “a program appearing in the countryside road”.
  • the word category estimation unit 72 inputs the first-stage speech recognition result, and estimates, for example, that the word category of “country”, “travel”, and “road” is “person name”. From this estimation result, the language restriction is obtained that the utterance section (frame number or the like) corresponding to the “country road” that is a part of the word string of the speech recognition hypothesis in the first stage is “person name”.
  • the re-speech recognition unit 73 performs a second-stage speech recognition process using this language restriction.
  • an utterance section (such as a frame number) corresponding to “country travel” in the first speech recognition result
  • words that do not belong to the word category “person name” are included in the speech recognition hypothesis so that candidates are not candidates.
  • the recognition process is performed so as to be excluded from the above.
  • the speech recognition accuracy can be improved by the speech recognition processing to which the language restriction that the word category belongs to which part of the utterance belongs.
  • extremely high recognition accuracy can be obtained for a phrase belonging to a specific word category, such as a keyword to be input to the information search apparatus.
  • the word category estimation device, the word category estimation method, the speech recognition device, the speech recognition method, and the program according to the present invention can be widely applied to speech recognition technology that converts speech into electronic data such as text data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

　単語カテゴリ推定装置(101)は、単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデル(5)を備え、単語カテゴリ推定部(4)により、処理対象となる音声認識仮説の単語カテゴリグラフを入力し、単語カテゴリモデルを参照して単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する。

Description

単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体
　本発明は、音声をテキストデータ等の電子データに変換する音声認識技術に関し、特に、発話中の語句のカテゴリを推定する技術に関する。
　ユーザによって発せられた音声（発話）の認識結果を入力とする情報検索装置では、ユーザの意図に適合する情報の絞り込みに有効な語句（キーワード）を正しく認識することが重要である。例えば、テレビ番組を検索する装置では、番組名や出演者名などをキーワードとして番組を絞り込む。このとき、ユーザの発話に含まれるキーワードを誤認識すると、その誤り語句で番組を絞り込むため、話者の視聴したいものと異なる番組を検索結果として提供するおそれがある。
　このようなキーワードを精度よく認識する方法として、発話に含まれるキーワードの種類を言語制約とする方法がある。従来、発話に含まれるキーワードの種類を同定するために、音声認識結果から固有表現を自動抽出する方法が提案されている。この方式に関する技術として、例えば、文献１「特開２００４－１８４９５１号公報」に記載のものがある。
　文献１に記載の技術は、固有表現クラスつきテキストで学習した言語モデルを用いた固有表現クラス同定方法である。この技術による固有表現クラス同定装置は、図１１に示すように、音声認識結果から固有表現クラス付きの単語グラフを生成し、固有表現クラス付き形態素の言語モデルを用いて、全体の確率が最大となる固有表現クラス付き形態素列を出力する。
　また、音声認識結果に含まれる固有表現を抽出する際に、音声認識誤りの影響による抽出精度低下を軽減する方法がある。例えば、文献２「須藤他、"音声認識の確信度と識別モデルを利用した音声からの固有表現抽出"、第１回音声ドキュメント処理ワークショップ予稿集、豊橋技術科学大学メディア科学リサーチセンター、日本、2007年」は、音声認識の確信度を固有表現抽出のための識別モデルの素性として用いる。
　しかしながら、上記文献１に記載の固有表現クラス同定方法を用いる場合、発話に含まれる固有表現の同定に十分な精度が得られないおそれがある。その理由は、固有表現クラスの推定に用いる尺度として、固有表現クラスつき単語の連接確率（bigram）のみを用いており、固有表現であるかどうかを識別するために有用な特徴の一部のみが考慮されるに過ぎないためである。
　また、同方法では、固有表現クラスと単語の両者を同時に同定するため、音声認識誤りがある場合はどの単語に誤ったかも言語モデルに含める必要があるが、単語のみの言語モデルと比べて学習すべきパラメタが多いため、そのような言語モデルを高い精度で学習することは難しい。そのため、発話に含まれる固有表現の検出漏れや、発話全体の内容に適合しない種類の固有表現の誤検出が発生するという問題がある。
　一方、上記文献２に記載の方法は、固有表現であるかどうかを識別するための多種の特徴を識別モデルの素性として用いているため、上記文献１に記載の方法と比較すると、固有表現抽出精度が高まる可能性がある。
　しかしながら、同方法は、各単語の前後２単語の特徴という限られた特徴のみを用いているため、音声認識誤りが数単語続くような区間では、固有表現の抽出が難しいという問題がある。
　本発明は、上記課題に鑑みてなされたものであり、発話中の語句のカテゴリを推定する際、音声認識誤りに対する頑健性と推定精度を高めることが可能な単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体を提供することを目的としている。
　このような目的を達成するために、本発明にかかる単語カテゴリ推定装置は、単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルと、処理対象となる音声認識仮説の単語カテゴリグラフを入力し、単語カテゴリモデルを参照して単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する単語カテゴリ推定部とを備えている。
　また、本発明にかかる単語カテゴリ推定方法は、単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを記憶部で記憶するステップと、演算処理部により、処理対象となる音声認識仮説の単語カテゴリグラフを入力し、単語カテゴリモデルを参照して単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する単語カテゴリ推定ステップとを備えている。
　また、本発明にかかる音声認識装置は、入力された音声に対応する音声認識仮説を生成する音声認識部と、単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルと、音声認識仮説の単語カテゴリグラフを入力し、単語カテゴリモデルを参照して単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ推定を行う単語カテゴリ推定部と、単語カテゴリ推定結果を語彙制約として再び音声認識を行う再音声認識部とを備えている。
　また、本発明にかかる音声認識方法は、演算処理部により、入力された音声に対応する音声認識仮説を生成する音声認識ステップと、単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを記憶部で記憶するステップと、演算処理部により、音声認識仮説の単語カテゴリグラフを入力し、単語カテゴリモデルを参照して単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ推定を行う単語カテゴリ推定ステップと、演算処理部により、単語カテゴリ推定結果を語彙制約として再び音声認識を行う再音声認識ステップとを備えている。
　本発明によれば、発話中の語句のカテゴリを推定する際、音声認識誤りに対する頑健性と推定精度を高めることができる。
図１は、本発明の第１の実施形態にかかる単語カテゴリ推定装置の構成を示すブロック図である。 図２は、本発明の第１の実施形態にかかる単語カテゴリ推定装置の構成を示すブロック図である。 図３は、単語グラフの例示である。 図４は、単語カテゴリグラフの例示である。 図５は、単語カテゴリに関する特徴の例示である。 図６は、単語カテゴリモデルの素性の例示である。 図７は、本発明の第１の実施形態にかかる単語カテゴリ推定装置の単語カテゴリ推定処理を示すフローチャートである。 図８は、本発明の第２の実施形態にかかる単語カテゴリ推定装置の構成を示すブロック図である。 図９は、本発明の第２の実施形態にかかる単語カテゴリ推定装置の単語カテゴリ推定処理を示すフローチャートである。 図１０は、本発明の第３の実施形態にかかる音声認識装置の構成を示すブロック図である。 図１１は、従来のクラス同定装置の構成を示すブロック図である。
　次に、本発明の実施形態について図面を参照して説明する。
［第１の実施形態］
　まず、図１を参照して、本発明の第１の実施形態にかかる単語カテゴリ推定装置の基本構成について説明する。
　本実施形態にかかる単語カテゴリ推定装置１００は、全体として、入力されたデータをコンピュータで情報処理するＰＣ端末やサーバ装置などの情報処理装置からなり、音声認識装置などから出力された音声認識の仮説を取得し、この音声認識仮説に含まれる各単語のカテゴリを推定する装置である。
　この単語カテゴリ推定装置１００は、主な基本構成要素として、単語カテゴリ推定部４、および単語カテゴリモデル５とを備える。
　単語カテゴリモデル５は、単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも素性の１つとして単語カテゴリグラフ全体に関する情報を含むモデルである。
　単語カテゴリ推定部４は、処理対象となる音声認識仮説の単語カテゴリグラフを入力し、単語カテゴリモデルを参照して単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する。
　次に、図２を参照して、本発明の第１の実施形態にかかる単語カテゴリ推定装置について詳細に説明する。
　この単語カテゴリ推定装置１０１は、主な構成要素として、音声認識仮説入力部２、単語カテゴリグラフ生成部３、単語カテゴリ推定部４、および単語カテゴリモデル５とを備える。
　これら構成要素のうち、音声認識仮説入力部２、単語カテゴリグラフ生成部３、単語カテゴリ推定部４は、単語カテゴリ推定装置１０１のＣＰＵ（図示略）が実行するプログラムに対応する構成要素である。また、単語カテゴリモデル５は、単語カテゴリ推定装置１０１の記憶デバイス（図示略）に記憶されたデータである。
　単語カテゴリ推定装置１０１の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた各構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心に、ハードウェアとソフトウェアの任意の組み合わせによって実現される。そして、その実現方法と装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、機能単位でのブロックを示している。
　音声認識仮説入力部２は、外部の音声認識装置（図示略）より出力された音声認識仮説を受け取り、その音声認識仮説を単語カテゴリグラフ生成部３に提供する。音声認識仮説は、音声認識装置が音声から単語列を認識する音声認識処理を行うことにより生成された情報である。例えば、音声認識仮説は、複数の単語列を表す情報である単語グラフやＮベスト単語列（最良のＮ個の単語列）である。
　単語カテゴリグラフ生成部３は、音声認識仮説入力部２が出力する音声認識仮説を受け取り、単語カテゴリグラフを生成し、単語カテゴリ推定部４に提供する。ここで、単語カテゴリとは、人名、地名、時間表現、数値などのような、単語の意味的な種類を指し、用途に応じて設定されるものである。例えば、テレビ番組を検索する用途では、人名（タレント名、グループ名、など）、番組名、番組ジャンル（バラエティ、スポーツ、など）、放送局名、時間表現（夕方、８時、など）、などである。
　単語カテゴリグラフは、１つの実施形態では、音声認識仮説の単語グラフと同様のネットワーク形式であり、各アークのラベルを単語ではなく単語カテゴリで表した形式で表現される。単語カテゴリグラフは、例えば、音声認識仮説の単語グラフの各アークを所定の単語カテゴリに置き換えることにより生成できる。あるいは、音声認識仮説の単語グラフのアークを単語の類似度等に基づいてクラスタリングしたグラフについて同様の処理を行ってもよい。
　図３は単語グラフの一部（「田舎紀行」と「犬が紀行」の２つの候補があることを表している）である。また、図４は、その各アークを３つのカテゴリ「人名」「番組名」「φ（その他）」に展開して生成した単語カテゴリグラフである。
　単語カテゴリ推定部４は、単語カテゴリグラフ生成部３より単語カテゴリグラフを受け取り、単語カテゴリモデル５を参照して単語カテゴリグラフを探索し、所定の基準で最適な単語カテゴリ列を出力する。１つの実施形態では、単語カテゴリ推定部４は、パス探索部４１とスコア計算部４２とを備える。
　パス探索部４１は、入力された単語カテゴリグラフが表現する単語カテゴリ列（パス）を所定の基準、例えば、単語カテゴリ出現スコアの大小によって順位付けて出力する。各アークの単語カテゴリ出現スコアをスコア計算部４２から取得し、パスごとにスコアを蓄積する。１つの実施形態では、Ａ＊探索により上位のパスを求めることができる。また、枝刈り処理等により効率化できる。また、単語カテゴリ列を出力する際には、同じ単語カテゴリが連続した場合はそれらをまとめるなどのような後処理も適用できる。
　スコア計算部４２は、単語カテゴリグラフの各アークにおいて、パス探索部４１から参照されるたびに、アークに関する特徴を抽出し、単語カテゴリモデル５を参照して当該アークのスコアを計算し、パス探索部４１に提供する。１つの実施形態において、単語カテゴリのスコアは、特徴量（ｆ）を条件とする単語カテゴリ（ｃ）の条件付き確率ｐ（ｃ｜ｆ）のように表現できる。
　単語カテゴリモデル５は、単語カテゴリの特徴と単語カテゴリの出現度の関係について、確率モデルや規則（ルール）の形式で格納する。例えば、識別モデルの一種であるＣＲＦ（Ｃｏｎｉｄｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ）を用いる場合、各単語カテゴリに対する各特徴量（素性）の重み値がモデルのパラメタとして表現される。
　単語モデル５１は各アークの特徴と単語カテゴリの出現度の関係を格納する。特徴としては、例えば、当該アークに対応する元の単語の言語的特徴（表層（表記）、読み（発音）、品詞など）や認識結果としての特徴（信頼度、正誤など）などがあげられる。また、当該アークの特徴として、当該アークの前後のアークや、当該アークと対立するアークの特徴と組み合わせたものを用いることができる。
　発話モデル５２は単語カテゴリグラフ全体（発話全体）の特徴と単語カテゴリの出現度の関係を格納する。単語カテゴリグラフ全体の特徴としては、例えば、単語カテゴリグラフ内での位置情報（前半、後半、先頭からＮ番目、など）や、単語カテゴリグラフの構造に関する情報（アークの数、平均分岐数、など）や、単語カテゴリグラフに含まれる単語の組み合わせ（複数単語の共起情報など）や、単語カテゴリの連接情報などが挙げられる。
　単語カテゴリモデル５として、１つの実施形態では、識別モデルの一種であるＣＲＦ（Conditional Random Fields）を用いることができる。このとき、単語カテゴリモデル５を次の数１のように定義できる。
Figure JPOXMLDOC01-appb-M000001
　数１において、「ｘ」はカテゴリ推定処理の対象となる入力であり、「ｙ」は識別結果としてのカテゴリである。また、「Φ（ｙ，ｘ）」は処理対象「ｘ」の特徴（素性）を表す情報であり、「Λ」は素性のそれぞれに対応するＣＲＦにおけるモデルパラメタ（重み値）である。また、「Ｚｘ」は正規化項である。なお、「ｅｘｐ（）」は、ｅを底とする数値のべき乗を求める関数を示している。
　したがって、本例の単語カテゴリモデル５は、素性Φ、および、モデルパラメタΛ（重み値）を記憶装置に記憶させている。
　いま、音声認識仮説が単語グラフであり、かつ、単語カテゴリモデル５としてＣＲＦを用いる場合に、単語カテゴリ推定部４が音声認識仮説の各単語の表す（属する）カテゴリを推定する方法の一例について説明する。
　単語カテゴリ推定部４は、まず、単語カテゴリグラフ生成部３より入力された単語カテゴリグラフを受け取る。図４は、単語カテゴリグラフの例示である。
　次に、単語カテゴリ推定部４は、上記数１の左辺Ｐ（ｙ｜ｘ）が最大となるパスを、Ｖｉｔｅｒｂｉアルゴリズムを用いる探索により特定する。また、単語カテゴリ推定部４は、順位づけられた上位のパスを、Ａ＊探索により特定する。
　単語カテゴリグラフに含まれる各アークにおけるスコアは、各アークに関する特徴（素性）と、ＣＲＦもモデルパラメタである各素性に対する重み値と、の積である。
　図４の単語カテゴリグラフに含まれるアークＡを例として、当該アークにおけるスコアを求める方法の一例を説明する。図５はアークＡに関する特徴の例示である。図６は、図５の特徴を単語カテゴリモデルの素性として表現した例示である。いま、アークＡには、図５に示すような「品詞＝名詞、認識信頼度＝0.4、位置＝前半、共起＝出演」などの特徴があるとする。これらの特徴は、ＣＲＦの素性（Φ）としては、図６のように表現できる。これらの素性のとる値と、モデルパラメタのうちのアークＡに相当する単語カテゴリ「番組名」の重み（Λ）との積により、アークＡのスコアが求まる。このスコアが大きいほど、その単語カテゴリらしさが高まる。
　このとき、「品詞（アークＡに対応する単語の品詞）」や「認識信頼度（アークＡに対応する単語の認識信頼度）」の特徴は単語モデル５１に、「位置（単語カテゴリグラフにおけるアークＡの位置」や「共起（単語カテゴリグラフにおいて、アークＡに対応する単語と共起する単語）」の特徴は発話モデル５２に含まれるが、ＣＲＦを用いることにより、両者の特徴を同時に扱い、同じ基準で単語カテゴリのスコアを求めることができる。
　ＣＲＦのモデルパラメタは、あらかじめ対応づけられた入力（ｘ：音声認識仮説）と出力（ｙ：単語カテゴリ）との組を学習データとして、上記数１の対数尤度を最大化する基準に従って、反復計算法などにより最適化（学習）されてもよい。
　なお、上述した、ＣＲＦを用いた識別方法、モデルパラメタの学習方法、に関する詳細は、例えば、文献３「Ｊ．Ｌａｆｆｅｒｔｙ，　Ａ．ＭｃＣａｌｌｕｍ，　Ｆ．Ｐｅｒｅｉｒａ，”Ｃｏｎｄｉｔｉｏｎａｌ　Ｒａｎｄｏｍ　Ｆｉｅｌｄｓ：　Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｓｅｇｍｅｎｔｉｎｇ　ａｎｄ　Ｌａｂｅｌｉｎｇ　Ｓｅｑｕｅｎｃｅ　Ｄａｔａ”，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　１８ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，２００１年，ｐ．２８２－２８９」に記載されている。
　このように、ＣＲＦでは、単語カテゴリ推定部４に相当するグラフの探索アルゴリズムや、グラフを学習データとするときのモデルパラメタの学習アルゴリズムが知られていることや、多クラスの識別を１つのモデルで可能であることなど、単語カテゴリの識別に適した利点を有する。
［第１の実施形態の動作］
　次に、図７を参照して、本発明の第１の実施形態にかかる単語カテゴリ推定装置の動作について説明する。
　単語カテゴリ推定装置１０１は、起動されると、記憶デバイスから単語カテゴリモデル５を読み出し、それを単語カテゴリ推定部４から参照できるようにするための初期化処理を行う（ステップＳ１１）。
　一方、音声認識仮説入力部２は、音声認識処理の終了を表す通知に応じて、外部の音声認識装置より音声認識仮説を取得して単語カテゴリグラフ作成部３に入力する（ステップＳ１２）。
　続いて、単語カテゴリグラフ作成部３は、入力された音声認識仮説から単語カテゴリグラフを生成して単語カテゴリ推定部４に提供する（ステップＳ１３）。
　次に、単語カテゴリ推定部４は、パス探索部４１で、単語カテゴリグラフの先頭から終端までアークをたどりながら、スコア計算部４２で、各アークの特徴を抽出し、単語カテゴリモデル５を参照して当該アークの単語カテゴリのスコアを求める（ステップＳ１４）。
　この後、パス探索部４１は、単語カテゴリグラフ上で、所定の基準で単語カテゴリ列（パス）を順位付けし、順位の高いものから単語カテゴリ列候補として出力し（ステップＳ１５）、一連の単語カテゴリ推定処理を終了する。
［第１の実施形態の効果］
　このように、本実施形態によれば、単語カテゴリグラフの各アークに対応する単語カテゴリのスコアを、各アークに関連する単語の特徴と、単語カテゴリグラフ全体の特徴とをあわせて求めるようにしたので、発話に最適な単語カテゴリ列を探索する精度を高めることができる。特に、音声認識誤り区間については、従来は認識誤りの情報に基づいて単語カテゴリのスコアを求めていたために十分な推定精度が得られていなかったが、当該区間以外の情報として発話全体の特徴を用いることにより、当該区間の単語カテゴリの推定精度を高めることができる。
［第２の実施形態］
　次に、図８を参照して、本発明の第２の実施形態にかかる単語カテゴリ装置について説明する。
　本実施形態の単語カテゴリ推定装置１０２の構成は、図２に示した第１の実施形態にかかる単語カテゴリ推定装置１０１の構成に発話パタン推定部６を付加したものである。
　発話パタン推定部６は、音声認識仮説入力部２が出力する音声認識仮説を入力とし、これに対してその発話パタンを推定し、推定結果を単語カテゴリ推定部４に提供する。発話パタンとは、発話に含まれる単語カテゴリの数や組み合わせで特徴づけられる情報を指す。例えば、発話に含まれる単語カテゴリは１つであるとか、発話には「人名」と「番組名」が含まれる、という情報である。発話パタンの推定は、例えば、音声認識仮説に含まれる単語によって規則的に分類する方法を用いることができる。
　単語カテゴリ推定部４では、発話パタン推定部６の結果を入力されたモデル調整部４３において、例えば、あらかじめ発話パタンごとに分けて用意した複数の単語カテゴリモデル５から１つのモデルを選択した上で、スコアの計算を行い、上記第一の実施形態と同様にして出力すべき単語カテゴリ列（パス）を探索する。あるいは、１つのモデルを選択する代わりに、複数のモデルに重みを付与してもよい。このように、発話に適した単語カテゴリモデルを用いることにより、単語カテゴリの推定精度を高めることができる。例えば、発話に含まれる単語カテゴリが１つであるとわかれば、２つ以上の単語カテゴリを誤って推定することを抑制できる。
［第２の実施形態の動作］
　次に、図９を参照して、本発明の第２の実施形態にかかる単語カテゴリ推定装置の動作について説明する。
　単語カテゴリグラフ生成部３が単語カテゴリグラフを生成するまでの処理（ステップＳ２１、Ｓ２２、Ｓ２３）は、単語カテゴリ推定装置１０１について説明した図７のステップＳ１１，Ｓ１２，Ｓ１３の手順と同様であり、ここでの詳細な説明は省略する。
　発話パタン推定部６は入力された音声認識仮説に基づいて単語カテゴリのパタンを推定し（ステップＳ２４）、単語カテゴリ推定部４のモデル調整部４３でその結果を用いて参照する単語カテゴリモデル５の重みを変更する（ステップＳ２５）。
　単語カテゴリ推定部４のパス探索部４１で、単語カテゴリグラフの先頭から終端までアークをたどりながら、スコア計算部４２で、各アークの特徴を抽出し、モデル調整部４３を介して単語カテゴリモデル５を参照し、当該アークの単語カテゴリのスコアを求める（ステップＳ２６）。そして、パス探索部４１は、単語カテゴリグラフ上で、所定の基準で単語カテゴリ列（パス）を順位付け、順位の高いものから出力し（ステップＳ２７）、一連の単語カテゴリ推定処理を終了する。
［第２の実施形態の効果］
　このように、本実施形態によれば、発話パタン推定部６によって、規則（ルール）に基づく単語カテゴリの判定や、単語カテゴリモデル５に含まれない特徴に基づく単語カテゴリの推定を行うことができる。これらの情報を付加することにより、単語カテゴリモデル５を用いた単語カテゴリ推定部４の精度を高めることができる。
［第３の実施形態］
　次に、図１０を参照して、本発明の第３の実施形態にかかる音声認識装置について説明する。
　本実施形態にかかる音声認識装置１０３は、全体として、例えば、入力されたデータをコンピュータで情報処理するＰＣ端末やサーバ装置などの情報処理装置によって実現される。音声認識装置１０３は、入力された音声に含まれる単語を認識して出力する装置であり、特に、第１の実施形態（図２）の単語カテゴリ推定装置１０１または第２の実施形態（図４）の単語カテゴリ推定装置１０２を用いて音声認識結果に単語カテゴリ情報を付与し、それに基づいて再び音声認識処理を行う。
　この音声認識装置１０３は、主な構成要素として、音声認識部７１と、単語カテゴリ推定部７２と、再音声認識部７３とを備える。
　音声認識部７１は、音声認識装置１０３に入力される音声に対して音声認識処理を行って、該音声に対応する単語列候補を求め、音声認識仮説として、例えば単語グラフを出力する。音声認識部７１では、発話に対して、音声認識のためのモデル（言語モデルや単語辞書、音響モデルなどを含む）の与えるスコアにしたがって、音声データに適合する単語列を探索するといった通常の音声認識処理を行えばよい。例えば、言語モデルにはトライグラム、音響モデルには隠れマルコフモデルなどを用いる。
　単語カテゴリ推定部７２は、図２の単語カテゴリ推定装置１０１や図４の単語カテゴリ推定装置１０２に相当する処理部であって、音声認識部７１が出力する単語グラフから単語カテゴリグラフを生成し、単語カテゴリモデルに基づいて発話に含まれる単語カテゴリの種類および区間（フレーム番号等）を推定して出力する。
　再音声認識部７３は、単語カテゴリ推定部７２の出力する推定結果を用いて、これを言語制約として、例えば、当該区間の語彙を当該種類の単語カテゴリに属するものに限定した上で音声認識処理を行う。
　音声認識装置１０３の動作について、図１０の例を用いて説明する。
　まず、音声認識部７１は、入力された音声に対して音声認識を行い、例えば、単語列候補「田舎紀行路のえー出演している番組」を出力する。
　次に、単語カテゴリ推定部７２は、この１段目の音声認識結果を入力し、例えば、「田舎」「紀行」「路」の単語カテゴリが「人名」であると推定する。この推定結果から、１段目の音声認識仮説の単語列の一部である「田舎紀行路」に相当する発話区間（フレーム番号等）は「人名」であるという言語制約を得る。
　続いて、再音声認識部７３は、この言語制約を用いて２段目の音声認識処理を行う。例えば、１段目の音声認識結果の「田舎紀行路」に相当する発話区間（フレーム番号等）では、単語カテゴリ「人名」に属する単語のみを音声認識仮説に含めるように、そうでない単語は候補から除くようにして認識処理を行う。
［第３の実施形態の効果］
　このように、本実施形態によれば、発話のどこからどこまでがどの単語カテゴリに属するかという言語制約を加えた音声認識処理により、音声認識精度を高めることができる。特に、情報検索装置に入力するためのキーワードのような、特定の単語カテゴリに属する語句について極めて高い認識精度を得ることができる。
　以上、本発明を上記実施形態に即して説明したが、本発明は上述の構成のみに制限されるものでなく、本発明の範囲内で当業者によりなし得る各種変形や修正を含むことは勿論である。
　本発明にかかる単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、およびプログラムは、音声をテキストデータ等の電子データに変換する音声認識技術に広く適用することが可能である。

Claims (24)

  1. 　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルと、
    　処理対象となる音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する単語カテゴリ推定部と
    　を備えることを特徴とする単語カテゴリ推定装置。
  2. 　前記音声認識仮説を用いて発話パタンの推定を行う発話パタン推定部をさらに備え、
    　前記単語カテゴリ推定部は、前記発話パタン推定部での発話パタン推定結果に基づきスコア計算に用いる前記単語カテゴリモデルを変更する
    　ことを特徴とする請求項１に記載の単語カテゴリ推定装置。
  3. 　前記単語カテゴリモデルはＣＲＦモデルからなることを特徴とする請求項１に記載の単語カテゴリ推定装置。
  4. 　前記単語カテゴリモデルの前記単語カテゴリグラフ全体に関する素性として、前記単語カテゴリグラフにおける位置情報、前記単語カテゴリグラフの構造に関する統計情報、前記単語カテゴリグラフに含まれる単語共起情報、単語カテゴリの連接情報のうち、少なくともいずれか１つを用いることを特徴とする請求項１に記載の単語カテゴリ推定装置。
  5. 　前記単語カテゴリ推定部は、前記発話パタン推定結果によってスコア計算に用いる前記単語カテゴリモデルを変更する際、発話パタンと単語カテゴリモデルの関係度を用いて複数モデルの選択あるいは重み付けを行うことを特徴とする請求項２に記載の単語カテゴリ推定装置。
  6. 　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを記憶部で記憶するステップと、
    　演算処理部により、処理対象となる音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する単語カテゴリ推定ステップと
    　を備えることを特徴とする単語カテゴリ推定方法。
  7. 　前記演算処理部により、前記音声認識仮説を用いて発話パタンの推定を行う発話パタン推定ステップをさらに備え、
    　前記単語カテゴリ推定ステップは、前記発話パタン推定ステップでの発話パタン推定結果に基づきスコア計算に用いる前記単語カテゴリモデルを変更するステップを含む
    　ことを特徴とする請求項６に記載の単語カテゴリ推定方法。
  8. 　前記単語カテゴリモデルはＣＲＦモデルからなることを特徴とする請求項６に記載の単語カテゴリ推定方法。
  9. 　前記単語カテゴリモデルの前記単語カテゴリグラフ全体に関する素性として、前記単語カテゴリグラフにおける位置情報、前記単語カテゴリグラフの構造に関する統計情報、前記単語カテゴリグラフに含まれる単語共起情報、単語カテゴリの連接情報のうち、少なくともいずれか１つを用いることを特徴とする請求項６に記載の単語カテゴリ推定方法。
  10. 　前記単語カテゴリ推定ステップは、前記発話パタン推定結果によってスコア計算に用いる前記単語カテゴリモデルを変更する際、発話パタンと単語カテゴリモデルの関係度を用いて複数モデルの選択あるいは重み付けを行うステップを含むことを特徴とする請求項７に記載の単語カテゴリ推定方法。
  11. 　記憶部と演算処理部とを備えるコンピュータに、
    　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを前記記憶部で記憶するステップと、
    　前記演算処理部により、処理対象となる音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する単語カテゴリ推定ステップと
    　を実行させるプログラム。
  12. 　前記演算処理部により、前記音声認識仮説を用いて発話パタンの推定を行う発話パタン推定ステップをさらに備え、
    　前記単語カテゴリ推定ステップは、前記発話パタン推定ステップでの発話パタン推定結果に基づきスコア計算に用いる前記単語カテゴリモデルを変更するステップを含む
    　ことを特徴とする請求項１１に記載のプログラム。
  13. 　前記単語カテゴリモデルはＣＲＦモデルからなることを特徴とする請求項１１に記載のプログラム。
  14. 　前記単語カテゴリモデルの前記単語カテゴリグラフ全体に関する素性として、前記単語カテゴリグラフにおける位置情報、前記単語カテゴリグラフの構造に関する統計情報、前記単語カテゴリグラフに含まれる単語共起情報、単語カテゴリの連接情報のうち、少なくともいずれか１つを用いることを特徴とする請求項１１に記載のプログラム。
  15. 　前記単語カテゴリ推定ステップは、前記発話パタン推定結果によってスコア計算に用いる前記単語カテゴリモデルを変更する際、発話パタンと単語カテゴリモデルの関係度を用いて複数モデルの選択あるいは重み付けを行うステップを含むことを特徴とする請求項１２に記載のプログラム。
  16. 　記憶部と演算処理部とを備えるコンピュータに、
    　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを前記記憶部で記憶するステップと、
    　前記演算処理部により、処理対象となる音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ列候補を出力する単語カテゴリ推定ステップと
    　を実行させるプログラム
    　を記録した記録媒体。
  17. 　前記プログラムにおいて、
    　前記演算処理部により、前記音声認識仮説を用いて発話パタンの推定を行う発話パタン推定ステップをさらに備え、
    　前記単語カテゴリ推定ステップは、前記発話パタン推定ステップでの発話パタン推定結果に基づきスコア計算に用いる前記単語カテゴリモデルを変更するステップを含む
    　ことを特徴とする請求項１６に記載の記録媒体。
  18. 　前記プログラムにおいて、前記単語カテゴリモデルはＣＲＦモデルからなることを特徴とする請求項１６に記載の記録媒体。
  19. 　前記プログラムにおいて、
    　前記単語カテゴリモデルの前記単語カテゴリグラフ全体に関する素性として、前記単語カテゴリグラフにおける位置情報、前記単語カテゴリグラフの構造に関する統計情報、前記単語カテゴリグラフに含まれる単語共起情報、単語カテゴリの連接情報のうち、少なくともいずれか１つを用いることを特徴とする請求項１６に記載の記録媒体。
  20. 　前記プログラムにおいて、前記単語カテゴリ推定ステップは、前記発話パタン推定結果によってスコア計算に用いる前記単語カテゴリモデルを変更する際、発話パタンと単語カテゴリモデルの関係度を用いて複数モデルの選択あるいは重み付けを行うステップを含むことを特徴とする請求項１７に記載の記録媒体。
  21. 　入力された音声に対応する音声認識仮説を生成する音声認識部と、
    　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルと、
    　前記音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ推定を行う単語カテゴリ推定部と、
    　前記単語カテゴリ推定結果を語彙制約として再び音声認識を行う再音声認識部と
    　を備えることを特徴とする音声認識装置。
  22. 　演算処理部により、入力された音声に対応する音声認識仮説を生成する音声認識ステップと、
    　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを記憶部で記憶するステップと、
    　前記演算処理部により、前記音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ推定を行う単語カテゴリ推定ステップと、
    　前記演算処理部により、前記単語カテゴリ推定結果を語彙制約として再び音声認識を行う再音声認識ステップと
    　を備えることを特徴とする音声認識方法。
  23. 　記憶部と演算処理部とを備えるコンピュータに、
    　演算処理部により、入力された音声に対応する音声認識仮説を生成する音声認識ステップと、
    　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを記憶部で記憶するステップと、
    　前記演算処理部により、前記音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ推定を行う単語カテゴリ推定ステップと、
    　前記演算処理部により、前記単語カテゴリ推定結果を語彙制約として再び音声認識を行う再音声認識ステップと
    　を実行させるプログラム。
  24. 　記憶部と演算処理部とを備えるコンピュータに、
    　演算処理部により、入力された音声に対応する音声認識仮説を生成する音声認識ステップと、
    　単語カテゴリに関する複数種類の情報を素性とする確率モデルからなり、少なくとも前記素性の１つとして単語カテゴリグラフ全体に関する情報を含む単語カテゴリモデルを記憶部で記憶するステップと、
    　前記演算処理部により、前記音声認識仮説の単語カテゴリグラフを入力し、前記単語カテゴリモデルを参照して前記単語カテゴリグラフを構成するアークごとにスコアを計算し、これらスコアに基づいて単語カテゴリ推定を行う単語カテゴリ推定ステップと、
    　前記演算処理部により、前記単語カテゴリ推定結果を語彙制約として再び音声認識を行う再音声認識ステップと
    　を実行させるプログラム
    　を記録した記録媒体。
PCT/JP2008/073192 2007-12-21 2008-12-19 単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体 WO2009081861A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/809,199 US8583436B2 (en) 2007-12-21 2008-12-19 Word category estimation apparatus, word category estimation method, speech recognition apparatus, speech recognition method, program, and recording medium
JP2009547077A JP5440177B2 (ja) 2007-12-21 2008-12-19 単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-330154 2007-12-21
JP2007330154 2007-12-21

Publications (1)

Publication Number Publication Date
WO2009081861A1 true WO2009081861A1 (ja) 2009-07-02

Family

ID=40801162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/073192 WO2009081861A1 (ja) 2007-12-21 2008-12-19 単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体

Country Status (3)

Country Link
US (1) US8583436B2 (ja)
JP (1) JP5440177B2 (ja)
WO (1) WO2009081861A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053182B2 (en) 2011-01-27 2015-06-09 International Business Machines Corporation System and method for making user generated audio content on the spoken web navigable by community tagging

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5533042B2 (ja) * 2010-03-04 2014-06-25 富士通株式会社 音声検索装置、音声検索方法、プログラム及び記録媒体
JP2011253374A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
CN102682763B (zh) * 2011-03-10 2014-07-16 北京三星通信技术研究有限公司 修正语音输入文本中命名实体词汇的方法、装置及终端
US9202465B2 (en) * 2011-03-25 2015-12-01 General Motors Llc Speech recognition dependent on text message content
US9201862B2 (en) * 2011-06-16 2015-12-01 Asociacion Instituto Tecnologico De Informatica Method for symbolic correction in human-machine interfaces
JP5799733B2 (ja) * 2011-10-12 2015-10-28 富士通株式会社 認識装置、認識プログラムおよび認識方法
US10629186B1 (en) * 2013-03-11 2020-04-21 Amazon Technologies, Inc. Domain and intent name feature identification and processing
US10170114B2 (en) 2013-05-30 2019-01-01 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
US9818401B2 (en) 2013-05-30 2017-11-14 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
EP3005152B1 (en) * 2013-05-30 2024-03-27 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
US9589563B2 (en) * 2014-06-02 2017-03-07 Robert Bosch Gmbh Speech recognition of partial proper names by natural language processing
US9773499B2 (en) * 2014-06-18 2017-09-26 Google Inc. Entity name recognition based on entity type
US10140581B1 (en) * 2014-12-22 2018-11-27 Amazon Technologies, Inc. Conditional random field model compression
US9300801B1 (en) 2015-01-30 2016-03-29 Mattersight Corporation Personality analysis of mono-recording system and methods
CA3036998A1 (en) * 2016-09-19 2018-03-22 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
US10810472B2 (en) 2017-05-26 2020-10-20 Oracle International Corporation Techniques for sentiment analysis of data using a convolutional neural network and a co-occurrence network
US20190266246A1 (en) * 2018-02-23 2019-08-29 Microsoft Technology Licensing, Llc Sequence modeling via segmentations
WO2020044415A1 (ja) * 2018-08-27 2020-03-05 日本電気株式会社 仮説推論装置、仮説推論方法、及びコンピュータ読み取り可能な記録媒体
US11170170B2 (en) 2019-05-28 2021-11-09 Fresh Consulting, Inc System and method for phonetic hashing and named entity linking from output of speech recognition
CN110956959B (zh) * 2019-11-25 2023-07-25 科大讯飞股份有限公司 语音识别纠错方法、相关设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619959A (ja) * 1992-06-30 1994-01-28 N T T Data Tsushin Kk 固有名詞特定処理システム
JP2001318792A (ja) * 2000-05-10 2001-11-16 Nippon Telegr & Teleph Corp <Ntt> 固有表現抽出規則生成システムと方法およびその処理プログラムを記録した記録媒体ならびに固有表現抽出装置
JP2004094434A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 言語処理方法、プログラム及び装置
JP2004184951A (ja) * 2002-12-06 2004-07-02 Nippon Telegr & Teleph Corp <Ntt> クラス同定モデル生成方法、装置、およびプログラム、クラス同定方法、装置、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613036A (en) * 1992-12-31 1997-03-18 Apple Computer, Inc. Dynamic categories for a speech recognition system
DE10032255A1 (de) * 2000-07-03 2002-01-31 Siemens Ag Verfahren zur Sprachanalyse
DE10196793D2 (de) * 2000-11-03 2004-10-07 Voicecom Ag Robuste Spracherkennung mit Datenbankorganisation
US7103542B2 (en) * 2001-12-14 2006-09-05 Ben Franklin Patent Holding Llc Automatically improving a voice recognition system
TW559783B (en) * 2002-05-31 2003-11-01 Ind Tech Res Inst Error-tolerant natural language understanding system and method integrating with confidence measure
US7302383B2 (en) * 2002-09-12 2007-11-27 Luis Calixto Valles Apparatus and methods for developing conversational applications
US7328155B2 (en) * 2002-09-25 2008-02-05 Toyota Infotechnology Center Co., Ltd. Method and system for speech recognition using grammar weighted based upon location information
JP2005010691A (ja) * 2003-06-20 2005-01-13 P To Pa:Kk 音声認識装置、音声認識方法、会話制御装置、会話制御方法及びこれらのためのプログラム
KR100612839B1 (ko) * 2004-02-18 2006-08-18 삼성전자주식회사 도메인 기반 대화 음성인식방법 및 장치
JP2007004233A (ja) * 2005-06-21 2007-01-11 Yamatake Corp 文章分類装置、文章分類方法、およびプログラム
KR100755677B1 (ko) * 2005-11-02 2007-09-05 삼성전자주식회사 주제 영역 검출을 이용한 대화체 음성 인식 장치 및 방법
US7587308B2 (en) * 2005-11-21 2009-09-08 Hewlett-Packard Development Company, L.P. Word recognition using ontologies
JP4156639B2 (ja) * 2006-08-14 2008-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声インターフェースの設計を支援するための装置、方法、プログラム
JP2008064885A (ja) * 2006-09-05 2008-03-21 Honda Motor Co Ltd 音声認識装置、音声認識方法、及び音声認識プログラム
JP4188989B2 (ja) * 2006-09-15 2008-12-03 本田技研工業株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
EP1939860B1 (en) * 2006-11-30 2009-03-18 Harman Becker Automotive Systems GmbH Interactive speech recognition system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619959A (ja) * 1992-06-30 1994-01-28 N T T Data Tsushin Kk 固有名詞特定処理システム
JP2001318792A (ja) * 2000-05-10 2001-11-16 Nippon Telegr & Teleph Corp <Ntt> 固有表現抽出規則生成システムと方法およびその処理プログラムを記録した記録媒体ならびに固有表現抽出装置
JP2004094434A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 言語処理方法、プログラム及び装置
JP2004184951A (ja) * 2002-12-06 2004-07-02 Nippon Telegr & Teleph Corp <Ntt> クラス同定モデル生成方法、装置、およびプログラム、クラス同定方法、装置、およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Proceedings of the 18th International Conference on Computational Linguistics", 2000, article MASAYUKI ASAHARA ET AL.: "Extended Models and Tools for High-performance Part-of- speech Tagger", pages: 21 - 27 *
DANIEL M.BIKEL ET AL.: "An Algorithm that Learns What's in a Name", MACHINE LEARNING, vol. 34, February 1999 (1999-02-01), pages 211 - 231, XP002485096, DOI: doi:10.1023/A:1007558221122 *
TAKU KUDO ET AL.: "Conditional Random Fields o Mochiita Nihongo Keitaiso Kaiseki", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU, vol. 2004, no. 47, 13 May 2004 (2004-05-13), pages 89 - 96, XP003019605 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053182B2 (en) 2011-01-27 2015-06-09 International Business Machines Corporation System and method for making user generated audio content on the spoken web navigable by community tagging

Also Published As

Publication number Publication date
US20110173000A1 (en) 2011-07-14
US8583436B2 (en) 2013-11-12
JPWO2009081861A1 (ja) 2011-05-06
JP5440177B2 (ja) 2014-03-12

Similar Documents

Publication Publication Date Title
JP5440177B2 (ja) 単語カテゴリ推定装置、単語カテゴリ推定方法、音声認識装置、音声認識方法、プログラム、および記録媒体
US9911413B1 (en) Neural latent variable model for spoken language understanding
US10210862B1 (en) Lattice decoding and result confirmation using recurrent neural networks
US10134388B1 (en) Word generation for speech recognition
US8185376B2 (en) Identifying language origin of words
Zhang et al. Unsupervised spoken keyword spotting via segmental DTW on Gaussian posteriorgrams
US9336769B2 (en) Relative semantic confidence measure for error detection in ASR
US10490182B1 (en) Initializing and learning rate adjustment for rectifier linear unit based artificial neural networks
He et al. Discriminative learning for speech recognition: theory and practice
Metze et al. The spoken web search task at MediaEval 2012
JP5207642B2 (ja) 語句として新たに認識するべき文字列を取得するためのシステム、方法及びコンピュータプログラム
JP4215418B2 (ja) 単語予測方法、音声認識方法、その方法を用いた音声認識装置及びプログラム
US20110224982A1 (en) Automatic speech recognition based upon information retrieval methods
JP2004005600A (ja) データベースに格納された文書をインデックス付け及び検索する方法及びシステム
CN105981099A (zh) 语音检索装置和语音检索方法
WO2003010754A1 (fr) Systeme de recherche a entree vocale
JP2011070192A (ja) 音声検索装置及び音声検索方法
JP4930379B2 (ja) 類似文検索方法、類似文検索システム及び類似文検索用プログラム
JP2004133880A (ja) インデックス付き文書のデータベースとで使用される音声認識器のための動的語彙を構成する方法
Cui et al. Multi-view and multi-objective semi-supervised learning for hmm-based automatic speech recognition
JP5524138B2 (ja) 同義語辞書生成装置、その方法、及びプログラム
Lugosch et al. Donut: Ctc-based query-by-example keyword spotting
WO2010044123A1 (ja) 検索装置、検索用索引作成装置、および検索システム
WO2008150003A1 (ja) キーワード抽出モデル学習システム、方法およびプログラム
JPH09134192A (ja) 統計的言語モデル生成装置及び音声認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08863563

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2009547077

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12809199

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08863563

Country of ref document: EP

Kind code of ref document: A1