WO2018109806A1 - モデル学習装置及びモデル学習方法 - Google Patents

モデル学習装置及びモデル学習方法 Download PDF

Info

Publication number
WO2018109806A1
WO2018109806A1 PCT/JP2016/086904 JP2016086904W WO2018109806A1 WO 2018109806 A1 WO2018109806 A1 WO 2018109806A1 JP 2016086904 W JP2016086904 W JP 2016086904W WO 2018109806 A1 WO2018109806 A1 WO 2018109806A1
Authority
WO
WIPO (PCT)
Prior art keywords
intention
unit
learning data
model
learning
Prior art date
Application number
PCT/JP2016/086904
Other languages
English (en)
French (fr)
Inventor
悠介 小路
洋一 藤井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/086904 priority Critical patent/WO2018109806A1/ja
Priority to CN201680091397.7A priority patent/CN110073374A/zh
Priority to JP2018556040A priority patent/JP6556381B2/ja
Publication of WO2018109806A1 publication Critical patent/WO2018109806A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to a model learning apparatus and a model learning method for generating a model by learning a relationship between a feature amount extracted from a sentence example and an intention.
  • an intent understanding device that converts speech uttered by a user into a character string by speech recognition and estimates the user's intention as to what operation to perform from the character string. Since a plurality of intentions may be included in one utterance, the intention understanding device is required to be able to estimate an intention for an utterance including a plurality of intentions.
  • Patent Document 1 discloses an utterance intention recognition device that can estimate an intention even when a plurality of intentions are included in one utterance.
  • a utterance intention recognition apparatus a utterance intention in which a product of two probabilities is increased by calculating a division point probability for dividing a character string indicating an utterance into two and a tag candidate (intention) probability for each divided character string. Search for tag solutions.
  • the character string “Make rice varieties and how to cook normally” includes the intention “Make rice varieties normal” and the intention “Make rice cooker normal”.
  • the utterance intention recognition device cannot obtain both intentions.
  • Non-Patent Document 1 a character string is expressed in a format called Bag of words, and a support vector machine or logarithmic linear model (maximum entropy) with this Bag of words as a feature quantity.
  • a classifier intention understanding model
  • a model is learned and the intention is estimated. Since classification is performed using all words included in the character string as Bag of words, the intention can be estimated even when the character string has a parallel structure.
  • a separate classifier is learned for each intention, and a determination result based on each classifier at the time of execution It is possible to integrate them.
  • a method for integrating determination results based on a plurality of classifiers is shown in Non-Patent Document 2, for example.
  • a sentence example for the intention to be determined (referred to as a target intention) is a positive example
  • a sentence example for other intentions (referred to as a non-target intention) is a negative example. learn. Therefore, when trying to determine a character string that includes both a target intention and a non-target intention, the feature amount included in the character string exists in both the positive example and the negative example. May be higher than the score for intention. Therefore, the estimation accuracy of the intention is lowered as a whole.
  • Non-Patent Documents 1 and 2 the intention can be estimated even when the character strings have a parallel structure.
  • the methods of Non-Patent Documents 1 and 2 have a problem that the intention cannot be estimated when a plurality of intentions are included in one character string.
  • the present invention has been made to solve the above-described problem, and uses learning data indicating a sentence example as a positive example and a sentence example as a negative example, even when a plurality of intentions are included in one character string.
  • An object of the present invention is to provide a model learning apparatus that obtains a model that can estimate an intention.
  • the model learning apparatus generates a new positive example by duplicating the negative example from learning data indicating a positive example sentence and a negative example sentence example for each intention, and the new positive example.
  • a morpheme that extracts a feature amount by analyzing a morphological example of a learning data extension unit that generates extended learning data by adding to the learning data and a sentence example indicated by the extended learning data generated by the learning data extension unit for each intention An analysis unit and a model learning unit that generates a model by learning the relationship between the feature amount extracted by the morpheme analysis unit and the intention for each intention are provided.
  • Embodiment 1 of this invention It is a figure which shows an example of the learning data in Embodiment 1 of this invention. It is a figure which shows an example of the extended learning data in Embodiment 1 of this invention. It is a flowchart which shows the example of an intention estimation process by the intention understanding apparatus which concerns on Embodiment 1 of this invention. It is a figure which shows an example of the determination result by the intention understanding part in Embodiment 1 of this invention. It is a figure which shows an example of the integration result by the result integration part in Embodiment 1 of this invention. It is a flowchart which shows the example of a result integration process by the result integration part in Embodiment 1 of this invention.
  • the model learning device 1 includes a sentence example database 101 and a model creation unit 102.
  • the model creation unit 102 includes a learning data generation unit 103, a learning data expansion unit 104, a morpheme analysis unit 105, and a model learning unit 106.
  • the sentence example database 101 stores sentence example data indicating sentence examples for each intention.
  • the expression format of the intention is an example, and the present invention is not limited to this.
  • the learning data generation unit 103 generates learning data indicating a sentence example as a positive example and a sentence example as a negative example for each intention based on the sentence example data stored in the sentence example database 101.
  • the learning data for each intention generated by the learning data generation unit 103 is output to the learning data expansion unit 104.
  • the learning data extension unit 104 generates extended learning data for each intention based on the learning data generated by the learning data generation unit 103. At this time, the learning data expansion unit 104 duplicates a negative example from the learning data generated by the learning data generation unit 103 for each intention, generates a new positive example, and sets the new positive example as the learning data. Extended learning data is generated by adding. The expanded learning data for each intention generated by the learning data expansion unit 104 is output to the morpheme analysis unit 105.
  • the morpheme analysis unit 105 uses the morpheme analysis dictionary 107 to perform morpheme analysis on the sentence examples indicated by the extended learning data generated by the learning data extension unit 104 for each intention, and extract independent words as feature quantities.
  • the data indicating the feature quantity for each intention extracted by the morpheme analysis unit 105 is added to the corresponding extended learning data and output to the model learning unit 106 as extended learning data after morphological analysis.
  • the model learning unit 106 learns (models) the relationship with the feature amount extracted by the morphological analysis unit 105 for each intention, and generates an intention understanding model (model) 108.
  • the model learning unit 106 can perform the learning using a method such as a maximum entropy method.
  • a method such as a maximum entropy method.
  • an intent understanding model 108 indicating how likely the intent is with respect to the list of feature quantities is generated by supervised machine learning from a large collection.
  • FIG. 1 shows a case where the sentence example database 101 and the learning data generation unit 103 are provided inside the model learning apparatus 1.
  • the present invention is not limited to this, and the sentence example database 101 and the learning data generation unit 103 may be provided outside the model learning apparatus 1.
  • the intention understanding device 2 includes an input unit 201, a morphological analysis unit 202, an intention understanding unit 203, a result integration unit 204, and an output unit 205.
  • the input unit 201 obtains character string data indicating a character string.
  • the input unit 201 may obtain character string data by accepting input of a character string, or may obtain character string data by accepting speech input and converting it into a character string by speech recognition.
  • the character string data obtained by the input unit 201 is output to the morphological analysis unit 105.
  • the morpheme analysis unit 202 uses the morpheme analysis dictionary 206 to perform morpheme analysis on the character string indicated by the character string data obtained by the input unit 201 and extract independent words as feature quantities. Data indicating the feature amount extracted by the morpheme analysis unit 202 is output to the intention understanding unit 203.
  • the intention understanding unit 203 uses a plurality of intention understanding models 108 and determines whether the feature value belongs to the corresponding intention for each intention understanding model 108 from the feature values obtained by the morphological analysis unit 202.
  • the intention understanding model 108 is a model obtained by the model learning device 1.
  • Data indicating the determination result for each intention understanding model 108 by the intention understanding unit 203 is output to the result integration unit 204.
  • the result integration unit 204 integrates the determination results for each intention understanding model 108 by the intention understanding unit 203. Data indicating the result of integration by the result integration unit 204 is output to the output unit 205.
  • the output unit 205 outputs an operation command to the rice cooker based on the integration result by the result integration unit 204.
  • Each function of the learning data generation unit 103, the learning data expansion unit 104, the morpheme analysis unit 105, and the model learning unit 106 in the model learning device 1 is a processor that executes a program stored in the memory 52 (see FIG. 3).
  • a CPU Central Processing Unit
  • a central processing unit a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor) (51) 51, or processing that is dedicated hardware as shown in FIG. This is realized by the circuit 56.
  • DSP Digital Signal Processor
  • the functions of the learning data generation unit 103, the learning data expansion unit 104, the morpheme analysis unit 105, and the model learning unit 106 are realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are described as programs and stored in the memory 52.
  • the processor 51 reads out and executes the program stored in the memory 52, thereby realizing the function of each unit.
  • the model learning device 1 includes a memory 52 for storing a program that, when executed by the processor 51, for example, results in each step shown in FIG. It can also be said that these programs cause the computer to execute the procedures and methods of the learning data generation unit 103, the learning data expansion unit 104, the morpheme analysis unit 105, and the model learning unit 106.
  • the memory 52 is, for example, a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Programmable EPROM), or the like. And a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), and the like.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Programmable EPROM), or the like.
  • a magnetic disk a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), and the like.
  • the processing circuit 56 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array). Or a combination of these.
  • the functions of the learning data generation unit 103, the learning data expansion unit 104, the morpheme analysis unit 105, and the model learning unit 106 may be realized by the processing circuit 56, or the functions of the respective units may be collectively realized by the processing circuit 56. May be.
  • the learning data generation unit 103 is realized by dedicated hardware, and part of them are realized by software or firmware. May be.
  • the learning data generation unit 103 is realized by a processing circuit 56 as dedicated hardware, and the learning data generation unit 103, the learning data expansion unit 104, the morpheme analysis unit 105, and the model learning unit 106 are processed by the processor 51.
  • the function can be realized by reading and executing the program stored in the memory 52.
  • each of the functions described above can be realized by hardware, software, firmware, or a combination thereof.
  • the sentence example database 101 is stored in the hard disk 53 that is a storage device.
  • Data indicating the intent understanding model 108 that is output from the model learning device 1 is output by the output interface 54 that is an output device.
  • reference numeral 55 denotes a bus.
  • the hardware configuration example of the intent understanding device 2 is the same as in FIGS. 3 and 4 except that a sensor interface that is an input device such as a microphone or a keyboard is added, and the description thereof is omitted.
  • step ST 501 the learning data generation unit 103, based on the phrase data stored in the phrase database 101, with respect to the intended I n, generates the learning data indicating the phrase is a phrase and negative examples are positive examples .
  • n is a number associated with the intention.
  • FIG. 6 shows an example of sentence example data.
  • the sentence example data is composed of a combination of an intention and a sentence example.
  • the sentence example data shown in FIG. 6 there are three types of intentions, and a plurality of sentence examples are shown for each intention.
  • the learning data generation unit 103 first generates learning data for the intention I 1 .
  • the learning data generation unit 103 generates a positive example for the intention I 1 by duplicating the sentence example corresponding to the intention I 1 that is the target intention from the sentence example data shown in FIG. Further, the learning data generation unit 103 generates a negative example for the intention I 1 by duplicating the sentence example corresponding to the intentions I 2 and I 3 that are not intended from the sentence example data shown in FIG. Figure 7 shows an example of learning data for the intended I 1. In FIG. 7, the name of the intention for the negative example is “OTHER”.
  • step ST 502 the learning data extension unit 104, based on the learning data for the intended I n generated by the learning data generating unit 103 generates an extended training data for the intended I n. That is, the learning data extension unit 104, extended learning for intended I n by generating a new positive cases duplicates the negative examples from the training data for the intended I n, adds the new positive cases in the training data Generate data.
  • the learning data generation unit 103 generates learning data for the intention I 1 as shown in FIG.
  • Extended learning data is generated by replacing it and adding it to the learning data as a new positive example.
  • FIG. 8 shows an example of extended learning data for intention I 1 .
  • the learning data expansion unit 104 generates a new positive example by simply duplicating the negative example.
  • the present invention is not limited to this, and any method may be used as long as a sentence example including at least a negative example is a new positive example.
  • the learning data extension unit 104 may generate a sentence example in which a copied negative example and an arbitrary positive example are combined with “,” and may be used as a new positive example.
  • the morpheme analyzing unit 105 first sets “rice seed / noun, / particle, white rice / noun, / particle”. / Verb, Te / Participant "and morphological analysis. Subsequently, the morphological analysis unit 105 selects only independent words from the result of morphological analysis and extracts them as feature quantities. In the above example, the feature amount is “rice species, white rice, set”.
  • step ST 504 the model learning unit 106, using the maximum entropy method, generates the intention understanding model 108 to learn the relationship between the intention I n the extracted feature by the morphological analysis unit 105.
  • the model learning unit 106 calls the intention understanding model (I 1 determination preparation diagram understanding model) for the intention I 1 from the feature quantity “rice species, white rice, set” and the extended learning data shown in FIG. ) 108 is generated.
  • step ST505 model creation part 102 determines whether to generate an intention understanding model 108 with respect to all intents I n.
  • this step ST505 when it is determined that there is intention I n the modeling unit 102 does not generate the intention understanding model 108, the sequence returns to the step ST 501, the above process is repeated for the next intended I n .
  • step ST505 when it is determined that the modeling unit 102 has generated the intention understanding model 108 with respect to all intents I n, the sequence is terminated.
  • the model learning device 1 since the model learning device 1 has generated only the I 1 determination preparation diagram understanding model, the sequence returns to step ST501. Thereafter, the model learning device 1 generates an I 2 determination preparation diagram understanding model and an I 3 determination preparation diagram understanding model.
  • step ST901 the input unit 201 obtains character string data indicating a character string. For example, it is assumed that the user has made an utterance “How to cook hurry to cook white rice” intended for an operation instruction to the rice cooker. In this case, the input unit 201 obtains character string data by converting the voice into a character string “how to cook quickly with white rice” by voice recognition.
  • voice recognition by the input unit 201 uses a known technique.
  • speech recognition can be realized by using the technique described in Chapter 8 (pages 149 to 192) of “Digital Speech Processing” (Tokai University Press, released on September 25, 1985).
  • step ST902 the morpheme analysis unit 202 uses the morpheme analysis dictionary 206 to perform morphological analysis on the character string indicated by the character string data obtained by the input unit 201 and extract independent words as feature quantities.
  • the morpheme analysis unit 202 first selects “how to cook / noun, ha / particle, hurry / noun, de / particle, and white rice / noun. , // particle, cook / verb ”. Subsequently, the morphological analysis unit 202 selects only independent words from the result of the morphological analysis, and extracts them as feature quantities. In the above example, the feature amount is “how to cook, hurry, white rice, cook”.
  • the intention understanding unit 203 using the intention understanding model for determination I n, from the feature quantity obtained by the morphological analysis unit 202 determines whether the feature quantity belonging to the intended I n.
  • the determination result by the intention understanding unit 203, the intention I n, the feature quantity is composed of a set of the score indicating whether belonging to the intended I n.
  • Figure 10A is the feature amount with respect to "cook how, hurry, rice, cooking", shows the determination results in the case of using the intention understanding model for determining I 1.
  • step ST 904 the intention understanding unit 203 determines whether to obtain a judgment result for all I n determining intention understanding model. In this step ST 904, if the intention understanding unit 203 determines that there is I n determining intention understanding model that does not give a determination result, the sequence returns to step ST 903, using the following I n determining intention understanding model Repeat the above process. On the other hand, in step ST 904, if it is determined that the intention understanding unit 203 to obtain a determination result for every I n determining intention understanding model sequence proceeds to step ST 905.
  • the intention understanding unit 203 for not getting only the determination result for intention understanding model for determining I 1, the sequence returns to the step ST 903. Thereafter, the intention understanding unit 203 obtains an intention understanding result for the I 2 determination preparation diagram understanding model and the I 3 determination preparation diagram understanding model.
  • FIG. 10B shows the determination result when the I 2 determination preparation diagram understanding model is used for the feature amount “how to cook, hurry, cook white rice, cook”.
  • FIG. 10C the feature to "cook how, hurry, rice, cooking”, shows the determination results in the case of using the intention understanding model for determining I 3.
  • step ST905 the result integration unit 204 integrates the determination results for each intention understanding model 108 obtained by the intention understanding unit 203.
  • FIG. 11 shows the result of integrating the plurality of determination results shown in FIG. In the integration result shown in FIG. 11, intentions are displayed in a list. Details of the result integration processing by the result integration unit 204 in step ST905 will be described later.
  • the output unit 205 converts the intention included in the integration result obtained by the result integration unit 204 into an operation command corresponding to one-to-one, and outputs the operation command to the rice cooker.
  • the output unit 205 outputs, as operation commands, “a command to set rice varieties to white rice” and “a command to quickly set how to cook”. Output the data shown to the rice cooker.
  • step ST1202 the result integration unit 204 determines whether the selected intention is “OTHER”. If it is determined in step ST1201 that the intention selected by the result integration unit 204 is not “OTHER”, the sequence proceeds to step ST1203. On the other hand, when it is determined in step ST1201 that the intention selected by the result integration unit 204 is “OTHER”, the sequence proceeds to step ST1204 and the process in step ST1203 is skipped.
  • step ST1203 the result integration unit 204 adds the selected intention to the integration result.
  • step ST1204 the result integration unit 204 determines whether all determination results have been processed.
  • step ST1204 when the result integration unit 204 determines that there is a determination result that is not processed, the sequence returns to step ST1201, and the above-described processing is repeated for the next determination result. On the other hand, if it is determined in step ST1204 that the result integration unit 204 has processed all the determination results, the sequence ends.
  • result integration unit 204 because the process has not been performed only for the determination result for the intention understanding model for determining I 1, the sequence returns to step ST1201. After that, the result integration unit 204 performs the above processing on the determination results for the I 2 determination preparation diagram understanding model and the I 3 determination preparation diagram understanding model.
  • the result integration unit 204 selects the intention with the highest score and adds the result to the integration result when the intention is not “OTHER”.
  • the present invention is not limited to this.
  • the result integration unit 204 may set a threshold and add it to the integration result when the highest score is higher than the threshold.
  • a new positive example is generated by duplicating the negative example from learning data indicating a sentence example that is a positive example and a sentence example that is a negative example.
  • a learning data expansion unit 104 that generates extended learning data by adding a new positive example to the learning data, and a sentence example indicated by the extended learning data generated by the learning data expansion unit 104 for each intention
  • a morpheme analysis unit 105 that extracts a feature amount
  • a model learning unit 106 that learns the relationship between the feature amount extracted by the morpheme analysis unit 105 and the intention for each intention and generates an intention understanding model 108.
  • the intention understanding model 108 that makes it possible to estimate the intention even when a plurality of intentions are included in one character string is obtained. That is, by generating the intention understanding model 108 by expanding the positive example using the negative example, when understanding the intention using the intention understanding model 108, the target intention and the non-target intention are included in one character string. Even in such a case, the score of the target intention can be increased by the feature amount that increases the score of the non-target intention. As a result, it can suppress that the score of a non-target intention becomes higher than the score of a target intention, and it can be estimated that it is a target intention with high accuracy.
  • the model learning apparatus may generate one intention understanding model 108 for two intentions, and may set a sentence example for the two intentions as a positive example and a sentence example for other intentions as a negative example. it can.
  • the model learning device may generate one intention understanding model 108 for three or more intentions.
  • the input unit 201 receives voice input and converts it into a character string by voice recognition is mainly shown.
  • the present invention is not limited to this, and the input unit 201 may receive character string input to obtain character string data, and a similar effect can be expected.
  • the intention comprehension device 2 outputs the operation command as the target is shown as the rice cooker.
  • the present invention is not limited to this, and any device that accepts an operation instruction in a natural language may be used as the target.
  • any component of the embodiment can be modified or any component of the embodiment can be omitted within the scope of the invention.
  • the model learning device uses a learning data indicating a sentence example that is a positive example and a sentence example that is a negative example, and a model that can estimate the intention even when a plurality of intentions are included in one character string is obtained. It is suitable for use in a model learning apparatus that learns the relationship between an intention and a sentence example and generates a model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

意図毎に、正例である文例及び負例である文例を示す学習データから当該負例を複製して新たな正例を作成し、当該新たな正例を当該学習データに追加することで拡張学習データを生成する学習データ拡張部（１０４）と、意図毎に、学習データ拡張部（１０４）により生成された拡張学習データが示す文例を形態素解析して、特徴量を抽出する形態素解析部（１０５）と、意図毎に、形態素解析部（１０５）により抽出された特徴量と意図との関係を学習してモデルを生成するモデル学習部（１０６）とを備えた。

Description

モデル学習装置及びモデル学習方法
　この発明は、文例から抽出した特徴量と意図との関係を学習してモデルを生成するモデル学習装置及びモデル学習方法に関する。
　従来から、使用者により発話された音声を音声認識により文字列に変換し、当該文字列から、どのような操作を実行したいのかという使用者の意図を推定する意図理解装置が知られている。１つの発話に複数の意図が含まれる場合もあるため、意図理解装置は、複数の意図を含む発話に対して意図を推定可能であることが求められる。
　例えば特許文献１では、１つの発話に複数の意図が含まれる場合でも意図を推定可能とする発話意図認識装置が示されている。この発話意図認識装置では、発話を示す文字列を２つに分割する分割点確率と、分割した各文字列に対するタグ候補（意図）確率とを計算し、２つの確率の積が大きくなる発話意図タグの解を探索する。
　しかしながら、文字列が並列の構造を持つ場合には適切な分割点が存在しないため、上記発話意図認識装置では対応できない。例えば、「米種と炊き方をふつうにして」という文字列は、「米種をふつうにする」という意図と、「炊き方をふつうにする」という意図を含む。しかしながら、上記文字列では適切な分割点が存在しないため、上記発話意図認識装置では両方の意図を得られない。
　一方、非特許文献１に開示された教師あり学習を用いた方式では、文字列をＢａｇ　ｏｆ　ｗｏｒｄｓと呼ばれる形式で表現し、このＢａｇ　ｏｆ　ｗｏｒｄｓを特徴量としてサポートベクトルマシン又は対数線形モデル（最大エントロピーモデル）と呼ばれる分類器（意図理解モデル）を学習し、意図を推定する。Ｂａｇ　ｏｆ　ｗｏｒｄｓとして文字列に含まれるすべての単語を用いて分類を行うため、文字列が並列の構造を持つ場合でも意図を推定できる。なお、非特許文献１で開示された方式を、１つの文字列に複数の意図が含まれる場合に適用する場合、意図毎に別々の分類器を学習し、実行時に各分類器に基づく判定結果を統合する方法が考えられる。なお、複数の分類器に基づく判定結果を統合する方式は、例えば非特許文献２に示されている。
特開２０００－２００２７３号公報
言語処理のための機械学習入門、コロナ社 100 クラスSVM による薬物の活性クラス分類、第30回情報化学討論会予稿
　非特許文献１，２の方式では、各分類器において、判定対象とする意図（対象意図と呼ぶ）に対する文例を正例とし、それ以外の意図（対象外意図と呼ぶ）に対する文例を負例として学習する。そのため、対象意図と対象外意図の両方を含む文字列を判定しようとすると、文字列に含まれる特徴量が正例及び負例の両方に存在するため、上記判定における対象外意図に対するスコアが対象意図に対するスコアよりも高くなる場合がある。よって、全体として意図の推定精度が低くなる。
　このように、非特許文献１，２の方式では、文字列が並列の構造を持つ場合でも意図を推定できる。しかしながら、非特許文献１，２の方式では、１つの文字列に複数の意図が含まれる場合に、意図を推定できない場合があるという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、正例である文例及び負例である文例を示す学習データを用い、１つの文字列に複数の意図が含まれる場合でも意図を推定可能とするモデルを得るモデル学習装置を提供することを目的としている。
　この発明に係るモデル学習装置は、意図毎に、正例である文例及び負例である文例を示す学習データから当該負例を複製して新たな正例を生成し、当該新たな正例を当該学習データに追加することで拡張学習データを生成する学習データ拡張部と、意図毎に、学習データ拡張部により生成された拡張学習データが示す文例を形態素解析して、特徴量を抽出する形態素解析部と、意図毎に、形態素解析部により抽出された特徴量と意図との関係を学習してモデルを生成するモデル学習部とを備えたことを特徴とする。
　この発明によれば、上記のように構成したので、正例である文例及び負例である文例を示す学習データを用い、１つの文字列に複数の意図が含まれる場合でも意図を推定可能とするモデルが得られる。
この発明の実施の形態１に係るモデル学習装置の機能構成例を示すブロック図である。 この発明の実施の形態１に係る意図理解装置の機能構成例を示すブロック図である。 この発明の実施の形態１に係るモデル学習装置のハードウェア構成例を示すブロック図である。 この発明の実施の形態１に係るモデル学習装置の別のハードウェア構成例を示すブロック図である。 この発明の実施の形態１に係るモデル学習装置によるモデル学習処理例を示すフローチャートである。 この発明の実施の形態１における文例データの一例を示す図である。 この発明の実施の形態１における学習データの一例を示す図である。 この発明の実施の形態１における拡張学習データの一例を示す図である。 この発明の実施の形態１に係る意図理解装置による意図推定処理例を示すフローチャートである。 この発明の実施の形態１における意図理解部による判定結果の一例を示す図である。 この発明の実施の形態１における結果統合部による統合結果の一例を示す図である。 この発明の実施の形態１における結果統合部による結果統合処理例を示すフローチャートである。
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　まず、モデル学習装置１の機能構成例について、図１を参照しながら説明する。
　モデル学習装置１は、図１に示すように、文例データベース１０１及びモデル作成部１０２を備えている。また、モデル作成部１０２は、学習データ生成部１０３、学習データ拡張部１０４、形態素解析部１０５及びモデル学習部１０６を有している。
　文例データベース１０１は、意図毎の文例を示す文例データを格納する。
　意図は、「＜主意図＞［＜スロット名＞＝＜スロット値＞，…］」のような形で表現される。炊飯器に対する操作を対象とした場合には、意図は、例えば、「米種設定［米種＝白米］」、「炊き方設定［炊き方＝お急ぎ］」のように表現できる。「米種設定［米種＝白米］」は、米種を白米に設定したいという意図を示し、「炊き方設定［炊き方＝お急ぎ］」は炊き方をお急ぎにしたいという意図を示す。上記意図の表現形式は一例であり、これに限らない。
　学習データ生成部１０３は、文例データベース１０１に格納された文例データに基づいて、意図毎に、正例である文例及び負例である文例を示す学習データを生成する。この学習データ生成部１０３により生成された意図毎の学習データは、学習データ拡張部１０４へ出力される。
　学習データ拡張部１０４は、意図毎に、学習データ生成部１０３により生成された学習データに基づいて、拡張学習データを生成する。この際、学習データ拡張部１０４は、意図毎に、学習データ生成部１０３により生成された学習データから負例を複製して新たな正例を生成し、当該新たな正例を当該学習データに追加することで拡張学習データを生成する。この学習データ拡張部１０４により生成された意図毎の拡張学習データは、形態素解析部１０５へ出力される。
　形態素解析部１０５は、形態素解析辞書１０７を用い、意図毎に、学習データ拡張部１０４により生成された拡張学習データが示す文例を形態素解析し、自立語を特徴量として抽出する。この形態素解析部１０５により抽出された意図毎の特徴量を示すデータは、対応する拡張学習データに付加されて形態素解析済み拡張学習データとしてモデル学習部１０６へ出力される。
　モデル学習部１０６は、意図毎に、形態素解析部１０５により抽出された特徴量との関係を学習（モデリング）して意図理解モデル（モデル）１０８を生成する。この際、モデル学習部１０６は、最大エントロピー法等の手法を用いて、上記学習を実施できる。具体的には、例えば「米種を白米に設定して」という文例に対し、形態素解析部１０５で抽出される特徴量「米種、白米、設定する」と、正解意図「米種設定［｛米種＝白米｝］」との組を用意する。そして、大量に収集した組から教師あり機械学習によって、特徴量のリストに対し意図がどれくらい尤もらしいかを示す意図理解モデル１０８を生成する。以下では、モデル学習部１０６は、最大エントロピー法を用いて意図理解モデル１０８を生成するものとする。
　なお図１は、文例データベース１０１及び学習データ生成部１０３がモデル学習装置１の内部に設けられる場合を示した。しかしながら、これに限らず、文例データベース１０１及び学習データ生成部１０３はモデル学習装置１の外部に設けられてもよい。
　次に、意図理解装置２の機能構成例について、図２を参照しながら説明する。なお以下では、意図理解装置２が操作命令を出力する対象が炊飯器である場合を例にして説明を行う。
　意図理解装置２は、図２に示すように、入力部２０１、形態素解析部２０２、意図理解部２０３、結果統合部２０４及び出力部２０５を備えている。
　入力部２０１は、文字列を示す文字列データを得る。ここで、入力部２０１は、文字列の入力を受付けて文字列データを得てもよいし、音声の入力を受付けて音声認識により文字列に変換することで文字列データを得てもよい。この入力部２０１により得られた文字列データは、形態素解析部１０５へ出力される。
　形態素解析部２０２は、形態素解析辞書２０６を用い、入力部２０１により得られた文字列データが示す文字列を形態素解析し、自立語を特徴量として抽出する。この形態素解析部２０２により抽出された特徴量を示すデータは、意図理解部２０３へ出力される。
　意図理解部２０３は、複数の意図理解モデル１０８を用い、形態素解析部２０２により得られた特徴量から、意図理解モデル１０８毎に当該特徴量が該当する意図に属するかを判定する。なお、意図理解モデル１０８は、モデル学習装置１で得られたモデルである。この意図理解部２０３による意図理解モデル１０８毎の判定結果を示すデータは、結果統合部２０４へ出力される。
　結果統合部２０４は、意図理解部２０３による意図理解モデル１０８毎の判定結果を統合する。この結果統合部２０４による統合結果を示すデータは、出力部２０５へ出力される。
　出力部２０５は、結果統合部２０４による統合結果に基づいて、操作命令を炊飯器へ出力する。
　次に、モデル学習装置１のハードウェア構成例について、図３，４を参照しながら説明する。
　モデル学習装置１における学習データ生成部１０３、学習データ拡張部１０４、形態素解析部１０５及びモデル学習部１０６の各機能は、図３に示すように、メモリ５２に格納されるプログラムを実行するプロセッサ（ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）５１、又は、図４に示すように、専用のハードウェアである処理回路５６によって実現される。
　図３の構成の場合、学習データ生成部１０３、学習データ拡張部１０４、形態素解析部１０５及びモデル学習部１０６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、モデル学習装置１は、プロセッサ５１により実行されるときに、例えば後述する図５に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。また、これらのプログラムは、学習データ生成部１０３、学習データ拡張部１０４、形態素解析部１０５及びモデル学習部１０６の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５２とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　また、図４に示す構成の場合、処理回路５６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。学習データ生成部１０３、学習データ拡張部１０４、形態素解析部１０５及びモデル学習部１０６の各部の機能それぞれを処理回路５６で実現してもよいし、各部の機能をまとめて処理回路５６で実現してもよい。
　なお、学習データ生成部１０３、学習データ拡張部１０４、形態素解析部１０５及びモデル学習部１０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、学習データ生成部１０３については専用のハードウェアとしての処理回路５６でその機能を実現し、学習データ生成部１０３、学習データ拡張部１０４、形態素解析部１０５及びモデル学習部１０６についてはプロセッサ５１がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、上述の各機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、実現することができる。
　また、文例データベース１０１は、記憶装置であるハードディスク５３に記憶される。また、モデル学習装置１からの出力となる意図理解モデル１０８を示すデータは、出力装置である出力インタフェース５４により出力される。また、図３，４において、符号５５はバスである。
　なお、意図理解装置２のハードウェア構成例についても、図３，４に対し、マイク又はキーボード等の入力装置であるセンサインタフェースを追加した点以外は同様であり、その説明を省略する。
　次に、上記のように構成されたモデル学習装置１によるモデル学習処理例について、図５を参照しながら説明する。
　まず、ステップＳＴ５０１では、学習データ生成部１０３が、文例データベース１０１に格納された文例データに基づいて、意図Ｉｎに対し、正例である文例及び負例である文例を示す学習データを生成する。なお、ｎは意図に紐付けられた番号である。
　図６に文例データの一例を示す。この図６に示すように、文例データは、意図と文例との組から成る。図６に示す文例データでは、意図が３種類存在し、各意図に対して複数の文例が示されている。ここでは、「米種設定［米種＝白米］」を意図Ｉ１、「炊き方設定［炊き方＝お急ぎ］」を意図Ｉ２、「米種設定［米種＝玄米］」を意図Ｉ３とする。
　そして、学習データ生成部１０３は、まず、意図Ｉ１に対する学習データを生成する。この際、学習データ生成部１０３は、図６に示す文例データから、対象意図である意図Ｉ１に対応している文例を複製することで、意図Ｉ１に対する正例を生成する。また、学習データ生成部１０３は、図６に示す文例データから、対象外意図である意図Ｉ２，Ｉ３に対応している文例を複製することで、意図Ｉ１に対する負例を生成する。図７に意図Ｉ１に対する学習データの一例を示す。なお図７では、負例に対する意図の名称を「ＯＴＨＥＲ」としている。
　次いで、ステップＳＴ５０２では、学習データ拡張部１０４が、学習データ生成部１０３により生成された意図Ｉｎに対する学習データに基づいて、意図Ｉｎに対する拡張学習データを生成する。即ち、学習データ拡張部１０４は、意図Ｉｎに対する学習データから負例を複製して新たな正例を生成し、当該新たな正例を当該学習データに追加することで意図Ｉｎに対する拡張学習データを生成する。
　ここで、学習データ生成部１０３が、図７に示すような意図Ｉ１に対する学習データを生成したとする。この場合、学習データ拡張部１０４は、図７に示す学習データから、負例である文例を複製し、当該複製した文例に対する意図を「ＯＴＨＥＲ」から「米種設定［米種＝白米］」に置換して新たな正例として学習データに追加することで、拡張学習データを生成する。図８に意図Ｉ１に対する拡張学習データの一例を示す。
　なお上記では、学習データ拡張部１０４が、単純に、負例を複製することで、新たな正例を生成する場合を示した。しかしながら、これに限らず、負例を少なくとも含む文例を新たな正例とする方式であればよい。例えば、学習データ拡張部１０４は、複製した負例と任意の正例とを“、”で結合した文例を生成し、これを新たな正例としてもよい。
　次いで、ステップＳＴ５０３では、形態素解析部１０５が、形態素解析辞書１０７を用い、学習データ拡張部１０４により得られた意図Ｉｎに対する拡張学習データが示す文例を形態素解析し、自立語を特徴量として抽出する。
　例えば、図８に示す文例「米種を白米に設定して」を用いた場合、形態素解析部１０５は、まず、「米種／名詞、を／助詞、白米／名詞、に／助詞、設定し／動詞、て／助詞」のように形態素解析する。続いて、形態素解析部１０５は、形態素解析した結果から自立語のみを選択し、特徴量として抽出する。上記の例では、特徴量は「米種、白米、設定する」となる。
　次いで、ステップＳＴ５０４では、モデル学習部１０６が、最大エントロピー法を用い、形態素解析部１０５により抽出された特徴量と意図Ｉｎとの関係を学習して意図理解モデル１０８を生成する。
　上記の例では、モデル学習部１０６は、特徴量「米種、白米、設定する」と図８に示す拡張学習データとから、意図Ｉ１に対する意図理解モデル（Ｉ１判定用意図理解モデルと呼ぶ）１０８を生成する。
　次いで、ステップＳＴ５０５では、モデル作成部１０２が、全ての意図Ｉｎに対して意図理解モデル１０８を生成したかを判定する。このステップＳＴ５０５において、モデル作成部１０２が意図理解モデル１０８を生成していない意図Ｉｎがあると判定した場合には、シーケンスはステップＳＴ５０１に戻り、次の意図Ｉｎに対して上記処理を繰り返す。一方、ステップＳＴ５０５において、モデル作成部１０２が全ての意図Ｉｎに対して意図理解モデル１０８を生成したと判定した場合には、シーケンスは終了する。
　上記の例では、モデル学習装置１はＩ１判定用意図理解モデルしか生成していないため、シーケンスはステップＳＴ５０１へ戻る。その後、モデル学習装置１は、Ｉ２判定用意図理解モデル及びＩ３判定用意図理解モデルを生成する。
　次に、意図理解装置２による意図推定処理例について、図９を参照しながら説明する。　まず、ステップＳＴ９０１では、入力部２０１が、文字列を示す文字列データを得る。例えば、使用者が炊飯器に対する操作命令を意図する発話「炊き方はお急ぎで白米を炊く」を行ったとする。この場合、入力部２０１は、音声認識により上記音声を文字列「炊き方はお急ぎで白米で炊く」に変換することで、文字列データを得る。
　なお、入力部２０１による音声認識は公知の技術を利用する。例えば、「デジタル音声処理」（東海大学出版会、１９８５年９月２５日発売）の８章（１４９ページ～１９２ページ）に記載された技術を利用することで音声認識は実現可能である。
　次いで、ステップＳＴ９０２では、形態素解析部２０２が、形態素解析辞書２０６を用い、入力部２０１により得られた文字列データが示す文字列を形態素解析し、自立語を特徴量として抽出する。
　例えば、上記文字列が「炊き方はお急ぎで白米を炊く」である場合、形態素解析部２０２は、まず、「炊き方／名詞、は／助詞、お急ぎ／名詞、で／助詞、白米／名詞、を／助詞、炊く／動詞」のように形態素解析する。続いて、形態素解析部２０２は、形態素解析した結果から自立語のみを選択し、特徴量として抽出する。上記の例では、特徴量は「炊き方、お急ぎ、白米、炊く」となる。
　次いで、ステップＳＴ９０３では、意図理解部２０３が、Ｉｎ判定用意図理解モデルを用い、形態素解析部２０２により得られた特徴量から、当該特徴量が意図Ｉｎに属するかを判定する。ここで、意図理解部２０３による判定結果は、意図Ｉｎと、上記特徴量が当該意図Ｉｎに属するかを示すスコアとの組から成る。図１０Ａは特徴量「炊き方、お急ぎ、白米、炊く」に対し、Ｉ１判定用意図理解モデルを用いた場合での判定結果を示している。
　ここで、Ｉ１判定用意図理解モデルは図８に記載の学習データから生成される。よって、特徴量「お急ぎ」及び「炊き方」が正例と負例の両者に含まれるため、判定に大きな影響を与えず、特徴量「白米」が正例にのみ含まれるため、図１０Ａに示すように米種設定［米種＝白米］のスコアが「ＯＴＨＥＲ」より高い結果を得ることが可能となる。
　一方、従来の学習データである図７に記載の学習データでは、特徴量「お急ぎ」及び「炊き方」が負例にのみ含まれ、特徴量「白米」が正例にのみ含まれる。そのため、「ＯＴＨＥＲ」のスコアが米種設定［米種＝白米］より高くなり、正しく意図理解できなくなる。
　次いで、ステップＳＴ９０４では、意図理解部２０３が、全てのＩｎ判定用意図理解モデルに対する判定結果を得たかを判定する。このステップＳＴ９０４において、意図理解部２０３が判定結果を得ていないＩｎ判定用意図理解モデルがあると判定した場合には、シーケンスはステップＳＴ９０３へ戻り、次のＩｎ判定用意図理解モデルを用いて上記処理を繰り返す。一方、ステップＳＴ９０４において、意図理解部２０３が全てのＩｎ判定用意図理解モデルに対して判定結果を得たと判定した場合には、シーケンスはステップＳＴ９０５へ移行する。
　上記の例では、意図理解部２０３はＩ１判定用意図理解モデルに対する判定結果しか得ていないため、シーケンスはステップＳＴ９０３へ戻る。その後、意図理解部２０３は、Ｉ２判定用意図理解モデル及びＩ３判定用意図理解モデルに対する意図理解結果を得る。図１０Ｂは、特徴量「炊き方、お急ぎ、白米、炊く」に対し、Ｉ２判定用意図理解モデルを用いた場合での判定結果を示している。また、図１０Ｃは、特徴量「炊き方、お急ぎ、白米、炊く」に対し、Ｉ３判定用意図理解モデルを用いた場合での判定結果を示している。
　次いで、ステップＳＴ９０５では、結果統合部２０４が、意図理解部２０３により得られた意図理解モデル１０８毎の判定結果を統合する。図１１に、図１０に示す複数の判定結果を統合した結果を示す。図１１に示す統合結果では、意図がリスト表示されている。ステップＳＴ９０５における結果統合部２０４による結果統合処理の詳細については後述する。
　次いで、ステップＳＴ９０６では、出力部２０５が、結果統合部２０４により得られた統合結果に含まれる意図を１対１に対応する操作命令に変換し、操作命令を炊飯器へ出力する。
　例えば、結果統合部２０４が図１１に示す統合結果を得た場合、出力部２０５は、操作命令として、「米種を白米に設定する命令」及び「炊き方をお急ぎに設定する命令」を示すデータを炊飯器へ出力する。
　次に、ステップＳＴ９０５における結果統合部２０４による結果統合処理例について、図１２を参照しながら説明する。
　まず、ステップＳＴ１２０１では、結果統合部２０４が、Ｉｎ判定用意図理解モデルに対する判定結果からスコアが最も高い意図を選択する。
　例えば、Ｉ１判定用意図理解モデルに対する判定結果が図１０Ａである場合、「米種設定［米種＝白米］」に対するスコアの方が「ＯＴＨＥＲ」に対するスコアよりも高いため、「米種設定［米種＝白米］」を選択する。
　次いで、ステップＳＴ１２０２では、結果統合部２０４が、選択した意図が「ＯＴＨＥＲ」であるかを判定する。このステップＳＴ１２０１において結果統合部２０４が選択した意図が「ＯＴＨＥＲ」ではないと判定した場合には、シーケンスはステップＳＴ１２０３へ移行する。一方、ステップＳＴ１２０１において結果統合部２０４が選択した意図が「ＯＴＨＥＲ」であると判定した場合には、シーケンスはステップＳＴ１２０４へ移行してステップＳＴ１２０３における処理はスキップされる。
　上記の例では、選択した意図「米種設定［米種＝白米］」が「ＯＴＨＥＲ」ではないため、シーケンスはステップＳＴ１２０３へ移行する。
　次いで、ステップＳＴ１２０３では、結果統合部２０４が、選択した意図を統合結果に加える。上記の例では、「米種設定［米種＝白米］」を統合結果に加える。
　次いで、ステップＳＴ１２０４では、結果統合部２０４が、全ての判定結果に対して処理を行ったかを判定する。このステップＳＴ１２０４において、結果統合部２０４が処理を行っていない判定結果があると判定した場合には、シーケンスはステップＳＴ１２０１へ戻り、次の判定結果に対して上記処理を繰り返す。一方、ステップＳＴ１２０４において、結果統合部２０４が全ての判定結果に対して処理を行ったと判定した場合には、シーケンスは終了する。
　上記の例では、結果統合部２０４はＩ１判定用意図理解モデルに対する判定結果に対してしか処理を行っていないため、シーケンスはステップＳＴ１２０１に戻る。その後、結果統合部２０４は、Ｉ２判定用意図理解モデル及びＩ３判定用意図理解モデルに対する判定結果に対して上記処理を行う。
　ここで、図１０Ｂに示すＩ２判定用意図理解モデルに対する判定結果に対して上記処理を行うと、ステップＳＴ１２０１において「炊き方設定［炊き方＝お急ぎ］」を選択し、ステップＳＴ１２０３において「炊き方設定［炊き方＝お急ぎ］」を統合結果に加えることになる。
　一方、図１０Ｃに示すＩ２判定用意図理解モデルに対する判定結果に対して上記処理を行うと、ステップＳＴ１２０１において「ＯＴＨＥＲ」を選択することになるため、「米種設定［米種＝玄米］」は統合結果には加えられない。
　なお上記では、結果統合部２０４が、スコアが最も高い意図を選択し、当該意図が「ＯＴＨＥＲ」ではない場合に統合結果に加える場合を示したが、これに限らない。例えば、結果統合部２０４は、閾値を設定し、最も高いスコアが当該閾値より高い場合に統合結果に加えるようにしてもよい。
　以上のように、この実施の形態１によれば、意図毎に、正例である文例及び負例である文例を示す学習データから当該負例を複製して新たな正例を生成し、当該新たな正例を当該学習データに追加することで拡張学習データを生成する学習データ拡張部１０４と、意図毎に、学習データ拡張部１０４により生成された拡張学習データが示す文例を形態素解析して、特徴量を抽出する形態素解析部１０５と、意図毎に、形態素解析部１０５により抽出された特徴量と意図との関係を学習して意図理解モデル１０８を生成するモデル学習部１０６とを備えたので、正例である文例及び負例である文例を示す学習データを用い、１つの文字列に複数の意図が含まれる場合でも意図を推定可能とする意図理解モデル１０８が得られる。
　即ち、負例を用いて正例を拡張して意図理解モデル１０８を生成することで、意図理解モデル１０８を用いて意図を理解する際において、１つの文字列に対象意図と対象外意図が含まれる場合でも、対象外意図のスコアが高くなる特徴量によって、対象意図のスコアも高くすることができる。その結果、対象外意図のスコアが対象意図のスコアより高くなることを抑制でき、高い精度で対象意図であると推定できる。
　なお上記では、モデル学習装置が、１つの意図に対して１つ意図理解モデル１０８を生成する場合を説明したが、これに限らない。モデル学習装置は、例えば２つの意図に対して１つの意図理解モデル１０８を生成し、上記２つの意図に対する文例を正例、それ以外の意図に対する文例を負例としてもよく、同様の効果が期待できる。同様に、モデル学習装置は３つ以上の意図に対して１つの意図理解モデル１０８を生成してもよい。
　また上記では、入力部２０１が音声の入力を受付けて音声認識により文字列に変換することで文字列データを得る場合を主に示した。しかしながら、これに限らず、入力部２０１は文字列の入力を受付けて文字列データを得てもよく、同様の効果が期待できる。
　また上記では、意図理解装置２が操作命令を出力する対象を炊飯器とした場合を示した。しかしながら、これに限らず、上記対象としては、自然言語による操作命令を受付ける装置であればよい。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　この発明に係るモデル学習装置は、正例である文例及び負例である文例を示す学習データを用い、１つの文字列に複数の意図が含まれる場合でも意図を推定可能とするモデルが得られ、意図と文例との関係を学習してモデルを生成するモデル学習装置等に用いるのに適している。
　１　モデル学習装置、２　意図理解装置、５１　プロセッサ、５２　メモリ、５３　ハードディスク、５４　出力インタフェース、５５　バス、５６　処理回路、１０１　文例データベース、１０２　モデル作成部、１０３　学習データ生成部、１０４　学習データ拡張部、１０５　形態素解析部、１０６　モデル学習部、１０７　形態素解析辞書、１０８　意図理解モデル、２０１　入力部、２０２　形態素解析部、２０３　意図理解部、２０４　結果統合部、２０５　出力部、２０６　形態素解析辞書。

Claims (2)

  1. 　意図毎に、正例である文例及び負例である文例を示す学習データから当該負例を複製して新たな正例を生成し、当該新たな正例を当該学習データに追加することで拡張学習データを生成する学習データ拡張部と、
    　前記意図毎に、前記学習データ拡張部により生成された拡張学習データが示す文例を形態素解析して、特徴量を抽出する形態素解析部と、
    　前記意図毎に、前記形態素解析部により抽出された特徴量と前記意図との関係を学習してモデルを生成するモデル学習部と
    　を備えたモデル学習装置。
  2. 　学習データ拡張部が、意図毎に、正例である文例及び負例である文例を示す学習データから当該負例を複製して新たな正例を作成し、当該新たな正例を当該学習データに追加することで拡張学習データを生成し、
    　形態素解析部が、前記意図毎に、前記学習データ拡張部により生成された拡張学習データが示す正例を形態素解析して、特徴量を抽出し、
    　モデル学習部が、前記意図毎に、前記形態素解析部により抽出された特徴量と前記意図との関係を学習してモデルを生成する
    　ことを特徴とするモデル学習方法。
PCT/JP2016/086904 2016-12-12 2016-12-12 モデル学習装置及びモデル学習方法 WO2018109806A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/086904 WO2018109806A1 (ja) 2016-12-12 2016-12-12 モデル学習装置及びモデル学習方法
CN201680091397.7A CN110073374A (zh) 2016-12-12 2016-12-12 模型学习装置和模型学习方法
JP2018556040A JP6556381B2 (ja) 2016-12-12 2016-12-12 モデル学習装置及びモデル学習方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086904 WO2018109806A1 (ja) 2016-12-12 2016-12-12 モデル学習装置及びモデル学習方法

Publications (1)

Publication Number Publication Date
WO2018109806A1 true WO2018109806A1 (ja) 2018-06-21

Family

ID=62558175

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086904 WO2018109806A1 (ja) 2016-12-12 2016-12-12 モデル学習装置及びモデル学習方法

Country Status (3)

Country Link
JP (1) JP6556381B2 (ja)
CN (1) CN110073374A (ja)
WO (1) WO2018109806A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035641A (zh) * 2020-08-31 2020-12-04 康键信息技术（深圳）有限公司 意图抽取模型验证方法、装置、计算机设备和存储介质
JP2023087772A (ja) * 2021-12-14 2023-06-26 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム
JP7445730B2 (ja) 2020-12-28 2024-03-07 楽天グループ株式会社 学習装置、機械学習モデル及び学習方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544472B2 (en) 2020-01-17 2023-01-03 Samsung Electronics Co., Ltd. Structured adversarial, training for natural language machine learning tasks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237923A (ja) * 2008-03-27 2009-10-15 Nec Corp 学習方法およびシステム
US20160092789A1 (en) * 2014-09-29 2016-03-31 International Business Machines Corporation Category Oversampling for Imbalanced Machine Learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200273A (ja) * 1998-11-04 2000-07-18 Atr Interpreting Telecommunications Res Lab 発話意図認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237923A (ja) * 2008-03-27 2009-10-15 Nec Corp 学習方法およびシステム
US20160092789A1 (en) * 2014-09-29 2016-03-31 International Business Machines Corporation Category Oversampling for Imbalanced Machine Learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROAKI TAKATSU ET AL.: "Bunsan Hyogen o Mochiita Doshi·Phrase no Gan'i Kankei Ninshik i", PROCEEDINGS OF THE 21ST ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, March 2015 (2015-03-01), pages 929 - 931 *
YOICHI FUJII ET AL.: "Spoken Dialog Technology", MITSUBISHI DENKI GIHO, vol. 88, no. 7, 2014, pages 19 - 22 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035641A (zh) * 2020-08-31 2020-12-04 康键信息技术（深圳）有限公司 意图抽取模型验证方法、装置、计算机设备和存储介质
JP7445730B2 (ja) 2020-12-28 2024-03-07 楽天グループ株式会社 学習装置、機械学習モデル及び学習方法
JP2023087772A (ja) * 2021-12-14 2023-06-26 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム
JP7333377B2 (ja) 2021-12-14 2023-08-24 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2018109806A1 (ja) 2019-06-24
JP6556381B2 (ja) 2019-08-07
CN110073374A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
KR102342066B1 (ko) 뉴럴 네트워크 모델을 이용한 기계 번역 방법, 장치 및 그 장치를 학습시키기 위한 방법
JP6493866B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6556575B2 (ja) 音声処理装置、音声処理方法及び音声処理プログラム
US10037758B2 (en) Device and method for understanding user intent
US10949615B2 (en) Apparatus and method for verifying sentence
JP6556381B2 (ja) モデル学習装置及びモデル学習方法
JP5932869B2 (ja) Ｎ−ｇｒａｍ言語モデルの教師無し学習方法、学習装置、および学習プログラム
JP7143916B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US8316004B2 (en) Speech retrieval apparatus and speech retrieval method
CN104462071A (zh) 语音翻译设备和语音翻译方法
TWI610294B (zh) 語音辨識系統及其方法、詞彙建立方法與電腦程式產品
CN112331206A (zh) 语音识别方法及设备
JP5524138B2 (ja) 同義語辞書生成装置、その方法、及びプログラム
JP2019082931A (ja) 検索装置、類似度算出方法、およびプログラム
CN112700778A (zh) 语音识别方法和语音识别设备
van Esch et al. Future directions in technological support for language documentation
CN104750677A (zh) 语音传译装置、语音传译方法及语音传译程序
KR101988165B1 (ko) 청각 장애 학생들을 위한 전문 자료 텍스트 분석 기반 음성인식 기술 정확도 향상 방법 및 시스템
JP2018081169A (ja) 話者属性推定システム、学習装置、推定装置、話者属性推定方法、およびプログラム
JP6082657B2 (ja) ポーズ付与モデル選択装置とポーズ付与装置とそれらの方法とプログラム
JP6577900B2 (ja) 音素誤り獲得装置、音素誤り獲得方法、およびプログラム
JP5954836B2 (ja) 不理解文判定モデル学習方法、不理解文判定方法、装置、及びプログラム
JP5980101B2 (ja) 音響モデル学習用テキスト作成装置とその方法とプログラム
JP2008293098A (ja) 応答スコア情報生成装置、対話処理装置
JP6546070B2 (ja) 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16924131

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556040

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16924131

Country of ref document: EP

Kind code of ref document: A1