WO2019160096A1 - 関係性推定モデル学習装置、方法、及びプログラム - Google Patents

関係性推定モデル学習装置、方法、及びプログラム Download PDF

Info

Publication number
WO2019160096A1
WO2019160096A1 PCT/JP2019/005620 JP2019005620W WO2019160096A1 WO 2019160096 A1 WO2019160096 A1 WO 2019160096A1 JP 2019005620 W JP2019005620 W JP 2019005620W WO 2019160096 A1 WO2019160096 A1 WO 2019160096A1
Authority
WO
WIPO (PCT)
Prior art keywords
relationship
phrases
estimation model
phrase
connection expression
Prior art date
Application number
PCT/JP2019/005620
Other languages
English (en)
French (fr)
Inventor
いつみ 斉藤
京介 西田
準二 富田
久子 浅野
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/970,315 priority Critical patent/US20210081612A1/en
Publication of WO2019160096A1 publication Critical patent/WO2019160096A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Definitions

  • the present invention relates to a relationship estimation model learning device, method, and program.
  • Non-Patent Document 1 uses a corpus as input and acquires inter-situation knowledge using co-occurrence information of a predicate term structure and the distribution of inter-node relations.
  • Non-Patent Document 2 uses a large amount of labeled data created by hand to learn a neural network and estimate a relation score.
  • the relation score is a numerical value indicating whether or not the combination of the triplet ⁇ phrase 1, phrase 2, label ⁇ given as input is correct.
  • Kenichi Otomo Tomohide Shibata, Ikuo Kurohashi, “Acquisition of knowledge of inter-relationships using co-occurrence information of predicate term structure and distribution of inter-node relations” (3 months)
  • Xiang Li Aynaz Taheri, Lifu Tu, Kevin Gimpel, "Commonsense Knowledge Base Completion", Proc. Of ACL, 2016.
  • the relation score can be output for an arbitrary triplet, but there is a problem that the cost of creating a large amount of labeled data is high.
  • the present invention has been made to solve the above-described problem, and can learn a relationship estimation model that can accurately estimate the relationship between phrases without incurring the cost of creating learning data.
  • An object of the present invention is to provide a relationship estimation model learning apparatus, method, and program that can be used.
  • the relationship estimation model learning device includes a phrase including a predetermined connection expression representing a relationship between phrases based on a text analysis result with respect to an input text and a predetermined value.
  • a learning data generation unit that extracts a combination of phrases having a relationship and creates a triple consisting of the extracted phrase combination and at least one of a relation label indicating the relation represented by the connection expression or the connection expression.
  • a learning unit that learns a relationship estimation model for estimating the relationship between phrases based on the triple set created by the learning data generation unit.
  • the learning data generation unit has a predetermined relationship with a phrase including a predetermined connection expression representing a relationship between phrases based on a text analysis result with respect to an input text.
  • a combination of phrases is extracted, and a triplet composed of the extracted phrase combination and at least one of relationship labels indicating the relationship represented by the connection expression or the connection expression is created.
  • a relationship estimation model for estimating the relationship between phrases is learned.
  • the program according to the present invention is a program for causing a computer to function as each part of the relationship estimation model learning device according to the above invention.
  • a combination of a phrase having a predetermined relationship with a phrase including a connection expression representing a relationship between phrases based on a text analysis result for an input text Can be accurately estimated without incurring the cost of creating learning data by creating a triple consisting of a combination of phrases and at least one of a connection expression or a relational label.
  • the effect that the relationship estimation model which can be learned can be learned is acquired.
  • the input triplet is ⁇ text 1: raining, text 2: wet ground, relationship label: result ⁇ , and the output is the relationship score.
  • a triple of a phrase and a connection expression connecting between the phrases is extracted using a dependency structure. Then, using the extracted triples, a relationship estimation model that is a neural network model for estimating the relationship is learned.
  • a relationship estimation apparatus 100 includes a CPU, a RAM, a ROM that stores a program and various data for executing a relationship estimation processing routine described later, Can be configured with a computer including Functionally, the relationship estimation apparatus 100 includes an input unit 10, a calculation unit 20, and an output unit 40 as shown in FIG.
  • the input unit 10 accepts a triple ⁇ Phrase 1, Phrase 2, Connection expression ⁇ consisting of two phrases (text) and a connection expression representing the relationship between them.
  • the calculation unit 20 includes an estimation unit 21 and a storage unit 22.
  • the storage unit 22 stores a relationship estimation model learned by a relationship estimation model learning device 150 described later.
  • a neural network is used for the relationship estimation model, and the learning method will be described in the relationship estimation model learning device 150. Any neural network may be used. Another machine learning may be used, but the neural network is more effective.
  • the estimation unit 21 estimates the relationship score for the input triple using the relationship estimation model stored in the storage unit 22 and outputs the relationship score from the output unit 40.
  • the relationship score is a numerical value indicating whether or not there is a relationship indicated by the connection expression between two phrases in a triplet given as an input. For example, a value from 0 to 1 is taken, and the closer to 1, the closer the relationship is.
  • each of the three inputs ⁇ phrase 1, phrase 2, connection expression ⁇ is converted into a vector.
  • the converted phrase 1 vector is h
  • the phrase 2 vector is t
  • the connection expression vector is r.
  • the conversion method may be anything as long as it is a technique for vectorizing phrases and words. In this embodiment, the technique of Non-Patent Document 3 is used.
  • Non-Patent Document 3 Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013.
  • the estimation unit 21 outputs a relation score of 0.87.
  • the estimation unit 21 determines the output relation score with a predetermined threshold, and estimates whether the phrase 1 and the phrase 2 have a relation “result” indicated by “NO”. For example, if the relation score value is 0.6 and the threshold value is 0.4 mm, it is estimated that there is a relation because 0.6> 0.4. However, since threshold determination requires knowledge acquisition or a score drop to 0/1, depending on the application, the value of the relation score may be output as it is without performing threshold determination.
  • the relationship estimation model learning device 150 stores a CPU, a RAM, a program for executing a relationship estimation model learning processing routine to be described later, and various data. And a computer including a ROM. Functionally, the relationship estimation model learning device 150 includes an input unit 50, a calculation unit 60, and an output unit 90 as shown in FIG.
  • the input unit 50 accepts input text.
  • the calculation unit 60 includes a learning data generation unit 62 and a learning unit 63.
  • the learning data generation unit 62 includes a basic analysis unit 71, a phrase extraction unit 72, and a connection expression database 73.
  • the basic analysis unit 71 performs dependency analysis on the input text.
  • Fig. 6 shows an example of input text
  • Fig. 7 shows an example of dependency analysis results. Any dependency analysis may be used.
  • CaboCha which is a known morphological analyzer is used.
  • the phrase extraction unit 72 extracts a phrase from the dependency analysis result.
  • the phrase is assumed to have a subject and predicate in a dependency relationship as a minimum unit, and up to n other adjective clauses (n is an arbitrary natural number).
  • connection expression represents a phrase including the connection expression
  • aaaa and “bbbb” represent phrases having a positional relationship before and after the phrase including the connection expression.
  • phrase extraction part 72 extracts the phrase which has a dependency relation with the clause in which the connection expression is included among the combinations of the said phrase, and produces the triple which consists of ⁇ phrase 1, phrase 2, connection expression ⁇ . .
  • connection expression in the present embodiment is predetermined by an expression representing the relationship between phrases. For example, conjunctions such as “so”, “so”, “for”, “to”, “case”, “when”, “time”, “ba”, “from”, “ga” can be used as connection expressions.
  • a connection expression is registered in advance in the connection expression database 73 as shown in FIG.
  • N types of connection expressions there are N types of connection expressions, N types of labels are included in the final triplet.
  • extraction unit 72 there is a method of performing the following three processes after extraction, in addition to the method of extracting the triplet and outputting it as it is (extraction method 1) as described above. is there.
  • connection expression database 73 Using the connection expression database 73, the connection expression is converted into a relation label and ⁇ phrase 1, phrase 2, relation label ⁇ is output.
  • the triple that is input to the relationship estimation apparatus 100 is ⁇ phrase 1, phrase 2, relationship label ⁇ .
  • the triple that is input to the relationship estimation apparatus 100 is ⁇ phrase 1, phrase 2, relationship label ⁇ .
  • the triple that is input to the relationship estimation apparatus 100 is ⁇ phrase 1, phrase 2, connection expression ⁇ or ⁇ phrase 1, phrase 2, relationship label ⁇ .
  • the learning unit 63 learns the relationship estimation model using the triplet ⁇ phrase 1, phrase 2, connection expression ⁇ extracted by the learning data generation unit 62 as correct answer data in learning.
  • the relationship estimation model uses a neural network (hereinafter referred to as NN) such as a multilayer perceptron, performs loss calculation by the following method, and updates NN parameters.
  • NN neural network
  • the data used for learning is to use a negative example, and a negative example is obtained by randomly replacing one element of a triple of positive examples.
  • Loss calculation method 1 Corresponding to the above-described relation score calculation method 1, loss calculation is performed using the following equation.
  • score (h ', t', r ') represents a negative score.
  • Loss can be calculated using hinge loss, sigmoid loss, softmax loss, etc.
  • Loss calculation method 2 Corresponding to the above-described relation score calculation method 2, loss calculation is performed using the following equation.
  • Loss can be calculated using hinge loss, sigmoid loss, softmax loss, etc.
  • step S100 dependency analysis is performed on the input text.
  • step S102 a phrase is extracted based on the dependency analysis result for the input text.
  • step S104 a phrase having a dependency relationship with the phrase including the connection expression is extracted from the combination of phrases extracted in step S102, and a triple consisting of ⁇ phrase 1, phrase 2, connection expression ⁇ is extracted.
  • step S106 each of phrase 1, phrase 2, and label included in the triple set created in step S104 is converted into a vector.
  • step S108 the result of converting the triple ⁇ phrase 1, phrase 2, connection expression ⁇ into a vector is used as correct answer data in learning to learn the relationship estimation model, and the relationship estimation model learning processing routine Exit.
  • step S120 each of phrase 1, phrase 2, and label included in the triple received by the input unit 10 is converted into a vector.
  • step S122 a relation score is calculated based on the result of converting the triple ⁇ phrase 1, phrase 2, connection expression ⁇ into a vector in step S120 and the relation estimation model.
  • step S124 it is determined whether or not the phrase 1 and the phrase 2 have the relationship indicated by the label by determining whether or not the relationship score calculated in step S122 is equal to or greater than a predetermined threshold.
  • the determination result is output by the output unit 40, and the relationship estimation processing routine is terminated.
  • the relationship estimation model learning device based on the dependency analysis result with respect to the input text, the clause and the relationship including the connection expression representing the relationship between phrases is included.
  • the relationship between phrases can be accurately determined without incurring the cost of creating learning data.
  • a relationship estimation model that can be estimated can be learned.
  • connection expression and the relation label do not correspond one-to-one (for example, the connection expression “for” and the relation label “cause” and “purpose”), the data provided manually Based on this, you can correct mistakes and learn.
  • connection expression itself such as “NO”
  • abstract relationship such as “cause”
  • effect of the extraction method 3 is also acquired.
  • the relationship between phrases can be estimated with high accuracy.
  • relationship estimation device 100 and the relationship estimation model learning device 150 are configured as separate devices.
  • the relationship estimation device 100 and the relationship estimation model learning device are 150 may be configured as one apparatus.
  • the relationship estimation model learning device and the relationship estimation device described above have a computer system inside, but if the “computer system” uses a WWW system, a homepage providing environment (or display) Environment).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

学習データの作成コストをかけることなく、フレーズ間の関係性を精度良く推定することができる。　学習データ生成部６２が、入力テキストに対する係り受け解析結果に基づいて、フレーズ間の関係性を表わす予め定められた接続表現が含まれる文節と係り受け関係にあるフレーズの組み合わせを抽出し、前記抽出されたフレーズの組み合わせと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルとからなる３つ組を作成する。学習部６３が、前記学習データ生成部によって作成された前記３つ組に基づいて、フレーズ間の関係性を推定するための関係性推定モデルを学習する。

Description

関係性推定モデル学習装置、方法、及びプログラム
　本発明は、関係性推定モデル学習装置、方法、及びプログラムに関する。
　非特許文献１は、コーパスを入力とし、述語項構造の共起情報と節間関係の分布を用いて事態間関係知識を獲得するものである。
　非特許文献２は、人手により作成された大量のラベル付きデータを使って、ニューラルネットワークの学習を行い、関係スコアを推定するものである。関係スコアとは、入力として与えた３つ組み｛フレーズ１、フレーズ２、ラベル｝の組み合わせが正しいか否かを数値化したものである。
大友謙一、柴田知秀、黒橋禎夫、「述語項構造の共起情報と節間関係の分布を用いた事態間関係知識の獲得」、言語処理学会 第17 回年次大会 発表論文集 (2011 年3 月) Xiang Li, Aynaz Taheri, Lifu Tu, Kevin Gimpel," Commonsense Knowledge Base Completion ", Proc. of ACL, 2016.
　上記非特許文献１の手法により獲得した３つ組を用いて関係性推定をする際には、入力となるコーパスに出現する３つ組のみしか推定できないという課題がある。
　上記非特許文献２の手法によれば任意の３つ組に対して関係スコアを出力できるが、大量のラベル付きデータの作成コストが高い、という課題がある。
　本発明は、上記課題を解決するために成されたものであり、学習データの作成コストをかけることなく、フレーズ間の関係性を精度良く推定することができる関係性推定モデルを学習することができる関係性推定モデル学習装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、本発明に係る関係性推定モデル学習装置は、入力テキストに対するテキスト解析結果に基づいて、フレーズ間の関係性を表わす予め定められた接続表現が含まれる文節と所定の関係にあるフレーズの組み合わせを抽出し、前記抽出されたフレーズの組み合わせと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる３つ組を作成する学習データ生成部と、前記学習データ生成部によって作成された前記３つ組に基づいて、フレーズ間の関係性を推定するための関係性推定モデルを学習する学習部と、を含んで構成されている。
　本発明に係る関係性推定モデル学習方法は、学習データ生成部が、入力テキストに対するテキスト解析結果に基づいて、フレーズ間の関係性を表わす予め定められた接続表現が含まれる文節と所定の関係にあるフレーズの組み合わせを抽出し、前記抽出されたフレーズの組み合わせと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる３つ組を作成し、学習部が、前記学習データ生成部によって作成された前記３つ組に基づいて、フレーズ間の関係性を推定するための関係性推定モデルを学習する。
　本発明に係るプログラムは、コンピュータを、上記発明に係る関係性推定モデル学習装置の各部として機能させるためのプログラムである。
　本発明の関係性推定モデル学習装置、方法、及びプログラムによれば、入力テキストに対するテキスト解析結果に基づいて、フレーズ間の関係性を表わす接続表現が含まれる文節と所定の関係にあるフレーズの組み合わせを抽出し、フレーズの組み合わせと接続表現又は関係ラベルの少なくとも一方とからなる３つ組を作成することにより、学習データの作成コストをかけることなく、フレーズ間の関係性を精度良く推定することができる関係性推定モデルを学習することができる、という効果が得られる。
本発明の実施の形態に係る関係性推定装置の構成を示すブロック図である。 関係スコアの計算方法を説明するための図である。 関係スコアの計算方法を説明するための図である。 本発明の実施の形態に係る関係性推定モデル学習装置の構成を示すブロック図である。 本発明の実施の形態に係る関係性推定モデル学習装置の学習データ生成部の構成を示すブロック図である。 入力テキストの一例を示す図である。 係り受け解析結果の一例を示す図である。 接続表現データベースの一例を示す図である。 本発明の実施の形態に係る関係性推定モデル学習装置における関係性推定モデル学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る関係性推定装置における関係性推定処理ルーチンを示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態の概要＞
　関係性推定では、２つのテキストとその間の関係性を表す関係ラベルからなる３つ組｛フレーズ１、フレーズ２、関係ラベル｝が入力として与えられた際に、３つの組み合わせの信頼度スコア（以下関係スコア）を出力する。
　例えば、入力となる３つ組が、{テキスト1：雨が降る，テキスト2：地面が濡れる，関係ラベル：結果}であり、出力が関係スコアとなる。
　本実施の形態では、２つのテキストの関係として、関係ラベルが正しいか否かを推定する方法について説明する。
　また、本発明の実施の形態では接続表現を起点として、係り受け構造を用いてフレーズとその間をつなぐ接続表現の３つ組を抽出する。そして、抽出した３つ組を用いて、関係性を推定するニューラルネットワークモデルである関係性推定モデルを学習する。
＜本発明の実施の形態に係る関係性推定装置の構成＞
　次に、本発明の実施の形態に係る関係性推定装置の構成について説明する。図１に示すように、本発明の実施の形態に係る関係性推定装置１００は、ＣＰＵと、ＲＡＭと、後述する関係性推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この関係性推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを備えている。
　入力部１０は、２つのフレーズ（テキスト）と、その間の関係性を表す接続表現からなる３つ組｛フレーズ１、フレーズ２、接続表現｝を受け付ける。
　演算部２０は、推定部２１と、記憶部２２とを備える。
　記憶部２２には、後述する関係性推定モデル学習装置１５０により学習された、関係性推定モデルが記憶される。
　関係性推定モデルにはニューラルネットワークを用いることとし、学習方法については関係性推定モデル学習装置１５０において説明する。ニューラルネットワークであればどのようなものでもよい。また、別の機械学習でもよいが、ニューラルネットワークの方が効果は高い。
　推定部２１は、記憶部２２に記憶されている関係性推定モデルを用いて、入力された３つ組に対する関係スコアを推定し、出力部４０により出力する。
　関係スコアとは、入力として与えた３つ組の２つのフレーズ間に接続表現が示す関係性があるか否かを数値化したものである。例えば、０～１の値を取り、１に近い程、関係があることを示すものとする。
　推定部２１の処理について以下に説明する。
　まず入力｛フレーズ１、フレーズ２、接続表現｝の３つをそれぞれベクトルに変換する。
変換したフレーズ１のベクトルをh、フレーズ2のベクトルをt、接続表現のベクトルをrとする。変換方法は、フレーズや単語をベクトル化する手法であれば何でもよい。本実施の形態では非特許文献３の手法を利用する。
[非特許文献３]Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013.
　関係スコア計算方法には、以下の２つの方法が考えられる。
（スコア計算方法１）
　図２に示すように、h、t、rを連結し、多層パーセプトロンなどを用いて、１次元の出力値である関係スコアｓｃｏｒｅ（ｈ，ｔ，ｒ）を出力する。
（スコア計算方法２）
　図３に示すように、hとｒを連結し、多層パーセプトロンなどを用いて、ｒ次元のベクトルE_hrを出力し、ｔから、多層パーセプトロンなどを用いて、ｒ次元のベクトルE_tを出力し、E_hrとE_tの近さで関係スコアを計算する。両ベクトルの近さは、例えばコサイン類似度等を用いればよい。
　例えば、推定部２１は、３つ組{フレーズ1：雨が降る，フレーズ2：地面が濡れる，接続表現：ので}に対して、関係スコア0.87を出力する。
　また、推定部２１は、出力された関係スコアを所定の閾値で判定し、フレーズ１とフレーズ２には「ので」が示す「結果」という関係性があるか否かを推定する。例えば、関係スコアの値が0.6、閾値が0.4 の場合は、0.6>0.4なので関係性がある、と推定する。ただし、閾値判定は知識獲得や0/1にスコアを落とし込む必要がある場合なので、用途によっては閾値判定を行わずに、関係スコアの値をそのまま出力してもよい。
＜本発明の実施の形態に係る関係性推定モデル学習装置の構成＞
　次に、本発明の実施の形態に係る関係性推定モデル学習装置の構成について説明する。図４に示すように、本発明の実施の形態に係る関係性推定モデル学習装置１５０は、ＣＰＵと、ＲＡＭと、後述する関係性推定モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この関係性推定モデル学習装置１５０は、機能的には図４に示すように入力部５０と、演算部６０と、出力部９０とを備えている。
　入力部５０は、入力テキストを受け付ける。
　演算部６０は、学習データ生成部６２と、学習部６３とを備えている。
　学習データ生成部６２は、図５に示すように、基本解析部７１と、フレーズ抽出部７２と、接続表現データベース７３とを備えている。
　基本解析部７１は、入力テキストに対して係り受け解析を行う。
　図６に、入力テキストの例を示し、図７に、係り受け解析結果の例を示す。係り受け解析は任意のものを用いればよく、例えば、既知の形態素解析器であるCaboChaを利用する。
　フレーズ抽出部７２は、係り受け解析結果からフレーズを抽出する。本実施の形態では、フレーズとは、係り受け関係にある主語と述語を最小単位として，その他形容詞節を最大n個（nは任意の自然数）まで考慮するものとする。
　上記図７を係り受け解析結果の例とすると、下記のようなフレーズが抽出される。フレーズを抽出する際には、解析結果の原型（ただし、必ずしも原型にしなくてもよい）を利用し、「壊れたので」→「壊れる」、「買い換えました」→「買い換える」のように変換したものを抽出する。
携帯電話が壊れる
買い換える
ｘｘｘ7に買い換える
ｘｘｘ5を換える
　なお、フレーズを抽出する際には、基本的に主語＋動詞の組み合わせを基本単位とするが、サ変名詞動詞は単独でもよいものとする。
　また、係り受け関係を考慮せずに、接続表現の前後の文字列それぞれを、フレーズとして抽出してもよい。例えば、「ａａａａ［接続表現］ｂｂｂｂ」という文が存在する場合に、「ａａａａ」と「ｂｂｂｂ」とをそれぞれフレーズとして抽出してもよい。この場合、［接続表現］が接続表現を含む文節を表し、「ａａａａ」と「ｂｂｂｂ」が接続表現を含む前記文節を挟んで、前及び後の位置関係にあるフレーズを表している。
　そして、フレーズ抽出部７２は、上記フレーズの組み合わせのうち、接続表現が含まれる文節と係り受け関係にあるフレーズを抽出し、｛フレーズ１、フレーズ２、接続表現｝からなる３つ組を作成する。
　本実施の形態における接続表現とは、フレーズ間の関係性を表す表現であらかじめ定められたものとする。例えば、「なので」「ので」「ために」「と」「たら」「場合」「とき」「時」「ば」「から」「が」などの接続詞は接続表現として用いることが可能である。本実施の形態では、図８（Ａ）に示すように、接続表現データベース７３に接続表現が予め登録されているものとする。
　上記図７の係り受け解析結果の例では、以下の３つ組が作成される。
｛携帯電話が壊れる、買い換える、ので｝
｛携帯電話が壊れる、ｘｘｘ7に買い換える、ので｝
｛携帯電話が壊れる、ｘｘｘ5を買い換える、ので｝
　接続表現の種類をＮ通りとすると、最終的な３つ組に含まれるラベルの種類はＮ通りとなる。
　また、フレーズ抽出部７２の別の実施例として、上記のように３つ組を抽出してそのまま出力する方法（抽出方法１とする）以外に、抽出後に次の３通りの処理を行う方法がある。
（抽出方法２）
　図８（Ｂ）に示すように、接続表現データベース７３に、接続表現と接続表現が表す関係性を示す関係ラベルが予め登録されているものとする。
　接続表現データベース７３を用いて、接続表現を関係ラベルに変換して｛フレーズ１、フレーズ２、関係ラベル｝を出力する。
　上記図７の係り受け解析結果の例では、以下の３つ組が作成される。
｛携帯電話が壊れる、買い換える、原因｝
｛携帯電話が壊れる、ｘｘｘ7に買い換える、原因｝
｛携帯電話が壊れる、ｘｘｘ5を買い換える、原因｝
　関係ラベルの種類をＭ通りとすると、最終的に出力されるラベルの種類はＭ通りとなる。
　上記抽出方法２を用いる場合には、関係性推定装置１００の入力となる３つ組は、｛フレーズ１、フレーズ２、関係ラベル｝となる。
（抽出方法３）
　人手により、接続表現を関係ラベルに変換したもの｛フレーズ１、フレーズ２、関係ラベル｝、抽出方法２の｛フレーズ１、フレーズ２、関係ラベル｝を合わせて出力する。最終的に出力されるラベルの種類はＭ通りとなる。
　上記抽出方法３を用いる場合には、関係性推定装置１００の入力となる３つ組は、｛フレーズ１、フレーズ２、関係ラベル｝となる。
（抽出方法４）
　人手により、接続表現を関係ラベルに変換したもの｛フレーズ１、フレーズ２、関係ラベル｝と、抽出方法１の｛フレーズ１、フレーズ２、接続表現｝を合わせて出力する。最終的に出力されるラベルの種類はＮ＋Ｍ通りとなる。
　上記抽出方法４を用いる場合には、関係性推定装置１００の入力となる３つ組は、｛フレーズ１、フレーズ２、接続表現｝又は｛フレーズ１、フレーズ２、関係ラベル｝となる。
　学習部６３は、学習データ生成部６２で抽出した３つ組｛フレーズ１、フレーズ２、接続表現｝を学習における正解データとして用い、関係性推定モデルの学習を行う。
　関係性推定モデルは前述したように、多層パーセプトロン等のニューラルネットワーク（以下ＮＮ）を用い、下記の方法で損失計算を行い、ＮＮのパラメタの更新を行うこととする。
　なお、学習に用いるデータは、負例を足して用いる事とし、正例の３つ組の一つの要素をランダムに置き換えたものを負例とする。
（損失計算方法１）
　上記の関係スコア計算方法１に対応して、以下の式で損失計算を行う。
Figure JPOXMLDOC01-appb-M000001
 
　ただし、score(h',t',r')は、負例のスコアを表す。Lossの計算は，hinge loss, sigmoid loss, softmax lossなどが利用可能である。
（損失計算方法２）
　上記の関係スコア計算方法２に対応して、以下の式で損失計算を行う。
Figure JPOXMLDOC01-appb-M000002
 
　ただし、E_h'r'－E_t'は、負例のスコアを表す。Lossの計算は，hinge loss, sigmoid loss, softmax lossなどが利用可能である。
＜本発明の実施の形態に係る関係性推定モデル学習装置の作用＞
　次に、本発明の実施の形態に係る関係性推定モデル学習装置１５０の作用について説明する。入力部５０において入力テキストを受け付けると、関係性推定モデル学習装置１５０は、図９に示す関係性推定モデル学習処理ルーチンを実行する。
　まず、ステップＳ１００で、入力テキストに対して係り受け解析を行う。
　そして、ステップＳ１０２で、入力テキストに対する係り受け解析結果に基づいて、フレーズを抽出する。
　ステップＳ１０４では、上記ステップＳ１０２で抽出されたフレーズの組み合わせのうち、接続表現が含まれる文節と係り受け関係にあるフレーズを抽出し、｛フレーズ１、フレーズ２、接続表現｝からなる３つ組を作成する
　ステップＳ１０６では、上記ステップＳ１０４で作成された３つ組に含まれるフレーズ１、フレーズ２、及びラベルの各々をベクトルに変換する。
　そして、ステップＳ１０８では、３つ組｛フレーズ１、フレーズ２、接続表現｝をベクトルに変換した結果を、学習における正解データとして用い、関係性推定モデルの学習を行い、関係性推定モデル学習処理ルーチンを終了する。
＜本発明の実施の形態に係る関係性推定装置の作用＞
　次に、本発明の実施の形態に係る関係性推定装置１００の作用について説明する。関係性推定モデル学習装置１５０によって予め学習された関係性推定モデルが関係性推定装置１００に入力されると、関係性推定装置１００は、関係性推定モデルを記憶部２２へ格納する。そして、入力部１０が、推定対象の３つ組｛フレーズ１、フレーズ２、接続表現｝を受け付けると、関係性推定装置１００は、図１０に示す関係性推定処理ルーチンを実行する。
　ステップＳ１２０で、入力部１０により受け付けた３つ組に含まれるフレーズ１、フレーズ２、及びラベルの各々をベクトルに変換する。
　ステップＳ１２２では、上記ステップＳ１２０で３つ組｛フレーズ１、フレーズ２、接続表現｝をベクトルに変換した結果と、関係性推定モデルとに基づいて、関係スコアを算出する。
　ステップＳ１２４では、上記ステップＳ１２２で算出された関係スコアが所定の閾値以上であるか否かを判定することにより、フレーズ１とフレーズ２にはラベルが示す関係性があるか否かを判定し、判定結果を出力部４０により出力して、関係性推定処理ルーチンを終了する。
　以上説明したように、本発明の実施の形態に係る関係性推定モデル学習装置によれば、入力テキストに対する係り受け解析結果に基づいて、フレーズ間の関係性を表わす接続表現が含まれる文節と係り受け関係にあるフレーズの組み合わせを抽出し、フレーズの組み合わせと接続表現又は関係ラベルとからなる３つ組を作成することにより、学習データの作成コストをかけることなく、フレーズ間の関係性を精度良く推定することができる関係性推定モデルを学習することができる。
　また、上記抽出方法１または２を用いる場合には、入力テキストから接続表現を用いて抽出した３つ組のデータを学習データとして、フレーズのニューラル関係知識推定モデルを構築することにより、人手データなしに、接続表現に基づくニューラル関係性のモデル化が可能となる。また、人手の正解なしで，あらかじめ定めた関係ラベルと任意のフレーズの３つ組みに対する関係スコアを求めるモデルを構築することができる。
　上記抽出方法２を用いる場合には、「ので」のような接続表現そのものではなく、「原因」のように抽象化した関係性の推定ができる。
　また、上記抽出方法３を用いる場合には、接続表現と関係ラベルが一対一に対応しない場合（例えば、接続表現「ため」と関係ラベル「原因」「目的」）でも、人手で与えられたデータを元に間違いを訂正して学習できる。
　また、上記抽出方法４を用いる場合には、「ので」のような接続表現そのものと、「原因」のように抽象化した関係の両方が推定ができる。また、抽出方法３の効果も得られる。人手対応づけラベルと、接続表現を混ぜるパタンでは、人手変換きる確実なラベルとそうでない場合を同時に考慮するモデルを作ることができる。
　また、本発明の実施の形態に係る関係性推定装置によれば、フレーズ間の関係性を精度良く推定することができる。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上述した実施の形態では、関係性推定装置１００と関係性推定モデル学習装置１５０とを別々の装置として構成する場合を例に説明したが、関係性推定装置１００と関係性推定モデル学習装置１５０とを１つの装置として構成してもよい。
　上述の関係性推定モデル学習装置及び関係性推定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
１０ 入力部
２０ 演算部
２１ 推定部
２２ 記憶部
４０ 出力部
５０ 入力部
６０ 演算部
６２ 学習データ生成部
６３ 学習部
７１ 基本解析部
７２ フレーズ抽出部
７３ 接続表現データベース
９０ 出力部
１００ 関係性推定装置
１５０ 関係性推定モデル学習装置

Claims (4)

  1. 　入力テキストに対するテキスト解析結果に基づいて、フレーズ間の関係性を表わす予め定められた接続表現が含まれる文節と所定の関係にあるフレーズの組み合わせを抽出し、前記抽出されたフレーズの組み合わせと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる３つ組を作成する学習データ生成部と、
    　前記学習データ生成部によって作成された前記３つ組に基づいて、フレーズ間の関係性を推定するための関係性推定モデルを学習する学習部と、
    　を含む関係性推定モデル学習装置。
  2. 　前記関係性推定モデルは、
    フレーズの組み合わせに含まれる各フレーズを表すベクトルと、前記接続表現又は前記関係ラベルを表すベクトルを入力として、関係スコアを出力するニューラルネットワークである請求項１記載の関係性推定モデル学習装置。
  3. 　学習データ生成部が、入力テキストに対するテキスト解析結果に基づいて、フレーズ間の関係性を表わす予め定められた接続表現が含まれる文節と所定の関係にあるフレーズの組み合わせを抽出し、前記抽出されたフレーズの組み合わせと、前記接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方とからなる３つ組を作成し、
    　学習部が、前記学習データ生成部によって作成された前記３つ組に基づいて、フレーズ間の関係性を推定するための関係性推定モデルを学習する
    　関係性推定モデル学習方法。
  4. 　コンピュータを、請求項１又は２記載の関係性推定モデル学習装置を構成する各部として機能させるためのプログラム。
PCT/JP2019/005620 2018-02-16 2019-02-15 関係性推定モデル学習装置、方法、及びプログラム WO2019160096A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/970,315 US20210081612A1 (en) 2018-02-16 2019-02-15 Relationship estimation model learning device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-026507 2018-02-16
JP2018026507A JP6709812B2 (ja) 2018-02-16 2018-02-16 関係性推定モデル学習装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2019160096A1 true WO2019160096A1 (ja) 2019-08-22

Family

ID=67620000

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005620 WO2019160096A1 (ja) 2018-02-16 2019-02-15 関係性推定モデル学習装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210081612A1 (ja)
JP (1) JP6709812B2 (ja)
WO (1) WO2019160096A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291192A (zh) * 2020-01-15 2020-06-16 北京百度网讯科技有限公司 知识图谱中三元组置信度计算方法和装置
JP2021033668A (ja) * 2019-08-26 2021-03-01 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625555B1 (en) * 2020-03-12 2023-04-11 Amazon Technologies, Inc. Artificial intelligence system with unsupervised model training for entity-pair relationship analysis
CN111400451B (zh) * 2020-03-16 2023-05-09 北京百度网讯科技有限公司 信息抽取方法、信息抽取装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170636A (ja) * 2015-03-12 2016-09-23 日本電信電話株式会社 接続関係推定装置、方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110882B2 (en) * 2010-05-14 2015-08-18 Amazon Technologies, Inc. Extracting structured knowledge from unstructured text

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170636A (ja) * 2015-03-12 2016-09-23 日本電信電話株式会社 接続関係推定装置、方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
INUI TAKASHI ET AL: "Acquiring causal knowledge from text using the connective marker tame", IPSJ JOURNAL, vol. 45, no. 3, 15 March 2004 (2004-03-15), pages 919 - 933, XP055634904 *
SAITO ITSUMI ET AL: "Simultaneous Learning of Complement and Generation of Phrase Knowledge", PROCEEDING OF THE 24TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, vol. 9, no. 5, 5 March 2018 (2018-03-05), pages 951 - 954, XP055634906, Retrieved from the Internet <URL:http://www.anlp.jp/proceedings/annual_meeting/2018/pdf_dir/C5-3.pdf> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021033668A (ja) * 2019-08-26 2021-03-01 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP7085521B2 (ja) 2019-08-26 2022-06-16 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
CN111291192A (zh) * 2020-01-15 2020-06-16 北京百度网讯科技有限公司 知识图谱中三元组置信度计算方法和装置
CN111291192B (zh) * 2020-01-15 2023-08-25 北京百度网讯科技有限公司 知识图谱中三元组置信度计算方法和装置

Also Published As

Publication number Publication date
JP2019144706A (ja) 2019-08-29
US20210081612A1 (en) 2021-03-18
JP6709812B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
CN110737758B (zh) 用于生成模型的方法和装置
WO2019160096A1 (ja) 関係性推定モデル学習装置、方法、及びプログラム
US7295965B2 (en) Method and apparatus for determining a measure of similarity between natural language sentences
CN111708882B (zh) 基于Transformer的中文文本信息缺失的补全方法
CN111611810B (zh) 一种多音字读音消歧装置及方法
CN111143569B (zh) 一种数据处理方法、装置及计算机可读存储介质
US11568132B2 (en) Phrase generation relationship estimation model learning device, phrase generation device, method, and program
CN108304468A (zh) 一种文本分类方法以及文本分类装置
CN112417885A (zh) 基于人工智能的答案生成方法、装置、计算机设备及介质
CN112070138B (zh) 多标签混合分类模型的构建方法、新闻分类方法及系统
CN108345583B (zh) 基于多语注意力机制的事件识别及分类方法及装置
CN113704416B (zh) 词义消歧方法、装置、电子设备及计算机可读存储介质
US11669740B2 (en) Graph-based labeling rule augmentation for weakly supervised training of machine-learning-based named entity recognition
CN106778878B (zh) 一种人物关系分类方法及装置
JP6603828B1 (ja) フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム
Gómez-Adorno et al. A graph based authorship identification approach
CN112579794B (zh) 一种为中英文单词对预测义原树的方法及系统
Rahman et al. NLP-based automatic answer script evaluation
CN117609419A (zh) 基于元学习与知识增强的领域检索方法
CN114722174A (zh) 提词方法和装置、电子设备及存储介质
CN116719683A (zh) 异常检测方法、异常检测装置、电子设备及存储介质
CN110263321B (zh) 一种情感词典构建方法及系统
CN110765241A (zh) 推荐题的超纲检测方法、装置、电子设备和存储介质
CN113705207A (zh) 语法错误识别方法及装置
CN113342944A (zh) 一种语料泛化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19754667

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19754667

Country of ref document: EP

Kind code of ref document: A1